La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

YAOUNDÉ, DU 22 AU 24 JUIN 2010 LIEU: MONASTÈRE DES BÉNÉDICTINS Séminaire atelier sur le renforcement des capacités des responsables des organes dirigeants.

Présentations similaires


Présentation au sujet: "YAOUNDÉ, DU 22 AU 24 JUIN 2010 LIEU: MONASTÈRE DES BÉNÉDICTINS Séminaire atelier sur le renforcement des capacités des responsables des organes dirigeants."— Transcription de la présentation:

1 YAOUNDÉ, DU 22 AU 24 JUIN 2010 LIEU: MONASTÈRE DES BÉNÉDICTINS Séminaire atelier sur le renforcement des capacités des responsables des organes dirigeants du CNJC

2 Par Mathias MPABE, Ph.D. Consultant en formation Thème : lévaluation des performances

3 Plan de lexposé 1. Définition des concepts 2. Objet de lévaluation des performances 3. Méthodologie de lévaluation des performances 4. Outils de lévaluation des performances 5. Mécanisme de mise en œuvre et de suivi-évaluation

4 I. Définition des concepts

5 Lévaluation L'évaluation est une appréciation systématique et objective menée dans un cadre méthodologique et institutionnel formalisé, en vue de porter un jugement sur la valeur dun projet, dun programme, dune politique, à partir de leur conception, de leur mise en œuvre et de leurs résultats. Lévaluation est ainsi un processus systématique et objectif par lequel on détermine la valeur et la portée d'une action projetée (ex ante), en cours (ex itinere) ou achevée (ex post). Lévaluation suppose la définition dun standard de référence (normes appropriées), la comparaison des performances réalisées avec ces normes, et la prise de décision par rapport aux résultats obtenus.

6 Selon le moment on distingue : lévaluation ex ante : cest une évaluation qui est conduite avant la mise en œuvre dune action. Elle est utilisée pour désigner létude de faisabilité dun projet. l'évaluation à mi-parcours ou évaluation formative: elle permet de suivre et, éventuellement, de réorienter l'action pendant son déroulement ; l'évaluation finale, récapitulative ou sommative: elle intervient en fin d'action; elle examine les résultats et permet den observer les effets à court terme; elle vise à fournir des informations sur la validité dun projet ou dun programme; lévaluation ex post : elle sintéresse aux effets à moyen ou long terme (impacts). Elle peut être réalisée tout de suite après l'achèvement de l'intervention ou longtemps après. Le but est didentifier les facteurs de succès ou déchec et d'apprécier la durabilité des résultats et des impacts;

7 Selon le mode de réalisation de l'évaluation on distingue l'évaluation interne : Cest une évaluation conduite par un service et/ou des personnes qui dépendent des responsables de l'action au sein de lorganisation chargée de la mise en œuvre du projet ou du programme; l'évaluation externe : Cest une évaluation conduite par des services et/ou des personnes extérieures à l'organisation responsable de la mise en œuvre; ce qui favorise un regard neutre, neuf et en principe sans préjugés.

8 Autres concepts l'audit s'assure que la mise en œuvre dun projet s'effectue dans le respect des règles et des procédures. Il est réalisé par des auditeurs spécialisés et accrédités, internes ou externes. L'audit ne s'intéresse ni à la pertinence ni à l'impact du projet le contrôle de gestion et le pilotage sont des processus continus permettant dassurer un suivi régulier de lactivité. Ils sont effectués en interne, sur la base des données recueillies dans les systèmes dinformation élaborés. l'inspection procède à un contrôle de conformité par rapport aux normes financières, aux procédures administratives et aux orientations politiques. Effectuée par des inspecteurs internes, elle exige un suivi et ses recommandations ont un caractère obligatoire et contraignant.

9 II. Lobjet de lévaluation

10 Lobjet de lévaluation part dune problématique Quelles sont les principales préoccupations du commanditaire ? Sagit-il dune évaluation sommative ou récapitulative (destinée à rendre compte aux décideurs)? ou dune évaluation formative (destinée à tirer des enseignements pour les opérateurs) ? Quelles sont les interrogations et les attentes des parties prenantes ? Y a-t-il une priorité ou une hiérarchie dans les questions?

11 L objet de lévaluation Lévaluation peut sintéresser à : Une action, un projet, un programme, une stratégie, une politique. Dans le but : De vérifier la pertinence et la cohérence des objectifs de départ; Dapprécier la mise en œuvre des moyens ainsi que leur adéquation par rapport aux objectifs envisagés; De mesurer l'efficacité de l'action, c'est à dire le degré d'atteinte des objectifs ; Dexaminer la durabilité des effets observés.

12 III. Méthodologie de lévaluation

13 La démarche évaluative Il sagit de choisir un référentiel dévaluation, de décrire les différentes tâches à effectuer à chaque étape. Le référentiel de lévaluation des performances dun projet comporte les éléments suivants : l'objet de l'évaluation (Quoi? Laction à évaluer); Les objectifs de l'évaluation (Pourquoi? Les justificatifs); les acteurs de l'évaluation (Avec qui?); les critères de l'évaluation; les méthodes de recueil données (recherche documentaire, visites, protocoles dobservation); les indicateurs de l'évaluation; les outils de l'évaluation; la planification de lévaluation : Organisation; Temps/ chronogramme; Ressources disponibles; Collecte et traitement de linformation; Rapport: préconisations/recommandations; Prise de décision.

14 Les critères de lévaluation Les critères de lévaluation sont des caractéristiques qui permettent dapprécier les résultats dune action, dun projet, dun programme ou dune politique.

15 Exemples de critères Les critères présentés ci-après doivent être repris selon un questionnement qui sapplique à laction à évaluer. Pertinence Cohérence Effectivité Efficacité Efficience Impacts-Effets Conformité Satisfaction Utilité sociale Etc.

16 La pertinence Examine le bien-fondé de l'action au regard des objectifs et enjeux déterminés au départ. Les éléments suivants peuvent être examinés : Correspondance avec les besoins et les demandes des bénéficiaires ; Conformité avec les orientations générales du ministère (document-cadre de partenariat, stratégies sectorielles, etc.).

17 La cohérence Apprécie les rapports entre les divers éléments constitutifs de l'action. Les éléments suivants peuvent être examinés : Concordance des divers moyens et instruments mobilisés pour concourir à la réalisation des objectifs (cohérence interne) ; Concordance avec les actions entreprises par les partenaires : administration, société civile, organisations non gouvernementales (cohérence externe).

18 L'effectivité Rend compte de la réalité des actions conduites. Les éléments suivants peuvent être examinés : Degré de réalisation des activités ; Taux dexécution financière ; Respect des délais et du chronogramme ; Qualité du suivi et de la gestion des imprévus ; Recherche des éléments de surcoût éventuel et de leurs causes; Vérification, le cas échéant, de lapplication des clauses (signature de la convention, cahier des charges, déblocage des fonds, conditions suspensives)

19 L'efficacité Apprécie le degré de réalisation des objectifs de l'action ainsi que ses éventuels effets. Les éléments suivants peuvent être examinés : Résultats attendus et résultats effectifs de laction ; Résultats imprévus (négatifs ou positifs, effets daubaine) ; Analyse des écarts constatés.

20 L'efficience Etudie la relation entre les coûts et les avantages. Les éléments suivants peuvent être examinés : Mobilisation des ressources financières, techniques, organisationnelles et humaines à temps et au moindre coût ; Comparaison des coûts avec des éléments de référence pertinents; Concordance entre les résultats obtenus et les sommes dépensées ; Atteinte des mêmes résultats avec des moyens plus restreints ou des instruments différents en comparaison avec des actions équivalentes dautres organisations.

21 L'impact Permet dapprécier les retombées de l'action en étudiant les effets tant immédiats quà long terme de celle-ci, dans un environnement plus large. Les éléments suivants peuvent être examinés : Identification des bénéficiaires (directs et/ou indirects) de laction ; Estimation du nombre de personnes concernées ; Description quantitative de limpact de laction ; Description qualitative de limpact de laction (négatif, positif, attendu, imprévu); Visibilité de lopération.

22 La viabilité (ou la durabilité) Examine si laction a engendré des structures ou favoriser lémergence des pratiques capables de se développer et de se pérenniser après la fin de lintervention. Les éléments suivants peuvent être examinés : Viabilité financière et opérationnelle des mécanismes ; Prise en charge institutionnelle des activités par les responsables de laction et/ou les autorités locales des activités Possibilité de reproduire ou de généraliser l'opération.

23 REPRESENTATION SCHEMATIQUE DES PRINCIPAUX CRITERES D'EVALUATION CONSEIL NATIONAL D'EVALUATION – FRANCE 1996 BESOINS ObjetObjectifsMoyens ACTION ENVIRONNEMENT (Contexte) Impact (long terme) EFFETS Impact (moyen terme) Efficacité Résultats Efficience

24 Acteurs Cadres de Jeunesse Equipes dirigeantes du CNJC Jeunes défavorisés Jeunes bénéficiaires dun financement FIJ Leaders dassociations Membres dassociations Membres de la Société civile Animateurs dévénements, etc.

25 Les indicateurs Un indicateur est un élément qui permet de déterminer en termes de quantité ou de qualité le résultat de la mesure de latteinte dun objectif ou de toute autre variable du contexte dévaluation (ressources, infrastructures, gestion, effets, etc.) Lindicateur produit une information synthétique quantifiée permettant dapprécier les divers aspects dune action, dun projet, dun programme ou dune stratégie.

26 Catégories dindicateurs On peut distinguer trois grandes catégories dindicateurs : 1. les indicateurs denvironnement ou de contexte Les indicateurs de contexte (ou de situation) reflètent les contraintes générales de lintervention et fournissent des éléments sur létat des lieux avant projet; 2. les indicateurs de moyens et dactivités Ces indicateurs informent sur la disponibilité, laffectation des ressources humaines, organisationnelles et financières qui permettent la production des services (extrants ou output) 3. les indicateurs de résultats ou de performance Les indicateurs de performance sont directement associés aux critères de lévaluation, notamment: Lefficacité; Lefficience; Limpact

27 Éléments de détermination des indicateurs activités (nombre dactivités rélisées) gestion administrative (liste du personnel, courrier, etc.) gestion financière (documents comptables et financiers) animation d'équipes de travail (nombre de réunions, périodicité des rencontres, etc.) Capacités professionnelles et comportementales (dossiers traités, problèmes résolus, présence effective…) encadrement (niveau dexécution du programme dactions, approche managériale…) finances(budget,ressources, dépenses, contrôle) formation(renforcement de capacités) infrastructures, matériels et équipements communication (up-down) lieux (sites - contextualisation) Associations (nombre, caractéristiques des adhérents) ressources humaines recherche de financement, recherche de partenariat participation (taux de participation) cadre juridique(lois, statuts, règlement, etc.)

28 IV. Outils de lévaluation

29 Instruments de recueil dinformations (liste non exhaustive) Questionnaires; Guides dentretien; Entrevues; Grilles d'observation; Fiches anecdotiques; Échelles d'appréciation; Listes de vérification (check-lists); Tests de performance (dossiers, rapports, situation-problème, etc.) Tableaux de bord.

30 V. Mise en œuvre et suivi-évaluation

31 Le « suivi-évaluation » Monitoring and Evaluation Le suivi-évaluation est un processus continu de collecte systématique d'informations, selon des indicateurs choisis, pour fournir aux gestionnaires et aux parties prenantes d'une action de développement en cours, des éléments sur les progrès réalisés, les objectifs atteints et les difficultés éventuelles pour une rétroaction; Le suivi est assuré en interne, de manière continue, par les responsables des actions. Toutefois, le suivi- évaluation et lévaluation rétrospective se réfèrent aux mêmes techniques et senrichissent mutuellement.

32 La mise en place dun système de suivi Le système de suivi doit être conçu dès le départ en précisant les méthodes, les ressources, les responsabilités, la périodicité; Il doit prévoir une batterie dindicateurs quantitatifs de réalisation présentés sous forme de tableau de bord; Il doit associer toutes les parties concernées au processus de suivi ; Il doit prendre en compte les données extérieures au projet (environnement social, politique, économique) pour apprécier son impact;

33 Le dispositif de suivi-évaluation 1. Objectif et étendue du système de suivi La nature du système de suivi est fonction des objectifs, du coût estimé et des difficultés envisagées. Construction dun cadre logique (activités, processus, moyens, réalisations, résultats et impacts); 2. les indicateurs Précision des indicateurs de performance attendus. Choix dindicateurs pertinents, 3. La collecte des informations et lorganisation du dispositif Déterminer des priorités: certaines données ont une utilité immédiate dans le suivi, dautres seront nécessaires dans la phase ultérieure dévaluation rétrospective. 4. Renforcement des capacités intégrer une dimension renforcement des capacités des acteurs internes.

34 Responsabilités et tâches Déterminer le cadre logique: hiérarchie des objectifs, indicateurs pertinents par rapport à chaque composante à évaluer, mécanismes de suivi; Définir des questions relatives à la performance du projet et des critères dévaluation; Fixer le cadre et les procédures dévaluation des activités du projet. Choisir les méthodes de collecte et sassurer de leur adéquation par rapport à lévaluation de limpact. Examiner la qualité des données socioéconomiques disponibles dans la zone du projet; Établir un plan de renforcement des capacités des acteurs y compris les bénéficiaires, notamment pour les aspects participatifs; Définir le schéma et les procédures du suivi opérationnel.

35 Exemple de démarche évaluative Objet de lévaluation: Linsertion socio économique des jeunes Objectifs de lévaluation: Déterminer le niveau dacquisition de la culture entrepreneuriale des acteurs identifiés ; Apprécier lutilisation des capacités entrepreneuriales acquises ; Apprécier leffet de lactivité professionnelle sur leur mode de vie.

36 Exemple de démarche évaluative (suite) Acteurs : Jeunes non formés bénéficiaires dun financement du Fonds dInsertion des Jeunes (FIJ); Jeunes formés ayant reçu un financement du FIJ; Jeunes formés nayant pas reçu un financement du FIJ; Leader dassociations. Critères : satisfaction ( autonomie sociale, autonomie de gestion, partenariat gagnant-gagnant) ; rentabilité (gain, profits, bénéfices, réalisations, valeur ajoutée).

37 Exemple de démarche évaluative (suite) Indicateurs : siège structures administratives de lentreprise compte de gestion documents administratifs (organigramme, liste du personnel, courrier, etc.) documents comptables et financiers (registre de commerce) Infrastructures, matériels et équipement budget personnel mode de déplacement lieu dhabitation personnes à charge recherche de financement, recherche de partenariat Instruments: Questionnaire Guide dentretien Visites Grilles d'observation Check-lists (listes de vérification) Recherche documentaire (Textes, Contrats, Conventions, …)

38 Les résultats de lévaluation La présentation des résultats d'une évaluation saccompagne dun exposé clair de son objet, de ses objectifs, de ses destinataires, des questions posées, des méthodes utilisées et de leurs limites, ainsi que des arguments et critères qui conduisent à ces résultats.

39 Les conclusions de lévaluation Les conclusions de lévaluation doivent : Répondre aux questions posées dans les termes de référence; Indiquer les forces et les faiblesses du projet ou du programme; Déterminer les causes des écarts par rapport aux objectifs initiaux. Décrire les moyens utilisés pour valider ces conclusions.

40 Les recommandations Ce sont des propositions qui contribuent à améliorer les performances du projet. Les recommandations indiquent: Comment les atouts (forces) du projet peuvent être consolidés; Dans quelle mesure les difficultés (faiblesses) du projet pourraient être résolues; La hiérarchie des préconisations selon leur importance; La hiérarchie des préconisations selon un calendrier prévisionnel; Les recommandations dordre stratégique et celles dordre opérationnel.

41 Je vous remercie pour votre bienveillante attention…

42 EXEMPLE Etude relative à linventaire de lexistant sur les petits métiers et métiers du secteur jeunesse

43 Contexte et justification Valorisation des ressources humaines pour un développement durable ; Lutte contre la pauvreté à travers la création demplois jeunes, de petits métiers liés aux secteurs jeunesse et sport. Lavènement de la décentralisation et la nécessité de mieux structurer et former les jeunes ; Lexistence dun nombre important de jeunes en déperdition scolaire et nécessitant une insertion ou une reconversion socio-économique et professionnelle.

44 Objectifs Identifier les métiers existants et inventorier les métiers potentiels ; Catégoriser les métiers, les structurer, les stabiliser, identifier des mécanismes ou stratégies de promotion et former des jeunes aux activités génératrices de revenus.; Constituer une base dinformations générales et nationales actualisables avec lévolution des secteurs ;

45 Approche méthodologique Préparer et élaborer des outils de collecte et danalyse des données ; Utiliser les relais (nationaux, régionaux ou locaux ); Interviewer des agents existants, des acteurs du mouvement sportif, associatif, les collectivités territoriales décentralisées et tout autre intervenant dans un domaine susceptible de favoriser lémergence ou le recours à des métiers relatifs aux secteurs jeunesse et sport ; ; Fournir un rapport détaillé et une base de données informatisée.

46 INDICATEURS GÉNÉRAUX POUR LA LABELLISATION DUN ORGANISME DE FORMATION Evaluation dune organisation

47 Résultats attendus Rédiger un rapport détaillé et une base de données informatisée qui donne des indications sur les éléments caractéristiques de métiers en sport et jeunesse mais aussi qui inventorie de façon générale les métiers possibles ou existants Identifier les bassins potentiels des petits métiers dans notre pays et dans la Sous-Région ; Déterminer les grandes tendances des besoins en formation des publics cibles.

48 Sur lorganisme lui-même Statut ; Organes de gouvernance ; Existence dune politique de développement (Plan stratégique, projet détablissement, plan daffaires, etc) ; Existence dun Système Intégré de Gestion ; Degré de spécialisation de lorganisme dans le domaine concerné ; Références de lorganisme (sur le même type daction) ; Flexibilité pour construire des cas spécifiques, pour modifier le produit et sadapter aux besoins du client par rapport à des réponses toutes faites ; Capacités de recherche Ressources documentaires ; Adhésion à un réseau opérationnel national, régional ou international dorganismes de formation, ; Existence de partenariats (entreprises, organisations professionnelles) ; Compétences administratives et comptables Infrastructures et équipements ; Sources de financement et gestion des ressources financières

49 Sur le personnel Effectifs de lorganisme (le nombre de formateurs permanents par apport aux vacataires) ; Curriculum Vitae des intervenants ; Qualité du personnel (statut, qualification, expérience) ; « Styles » des intervenants (adéquation avec le public à former).

50 Sur loffre elle – même Les programmes ; Précision de la construction pédagogique ; Cohérence de loffre, son approche globale; Qualité de largumentation de loffre ; Qualité du dispositif dévaluation de formation proposé; Qualité de loffre pédagogique (contenu, progression, évaluation) ; Présence, diversité et qualité des supports ; Nature des engagements sur le suivi de laction ; Communication sur laction, auprès du public visé ; Coût(dont on demandera une décomposition pour les actions importantes) ; Modulation du coût en fonction de la taille du marché.

51 Le tableau de bord Le tableau de bord de gestion comporte des axes daction assortis d'indicateurs pertinents permettant à un gestionnaire de suivre l'évolution des résultats, les écarts par rapport à des valeurs de référence (objectifs fixés, normes internes ou externes, références statistiques, etc.);


Télécharger ppt "YAOUNDÉ, DU 22 AU 24 JUIN 2010 LIEU: MONASTÈRE DES BÉNÉDICTINS Séminaire atelier sur le renforcement des capacités des responsables des organes dirigeants."

Présentations similaires


Annonces Google