Yaoundé, du 22 au 24 Juin 2010 Lieu: monastère des bénédictins Séminaire atelier sur le renforcement des capacités des responsables des organes dirigeants du CNJC Yaoundé, du 22 au 24 Juin 2010 Lieu: monastère des bénédictins

Thème : l’évaluation des performances Par Mathias MPABE, Ph.D. Consultant en formation

Plan de l’exposé Définition des concepts Objet de l’évaluation des performances Méthodologie de l’évaluation des performances Outils de l’évaluation des performances Mécanisme de mise en œuvre et de suivi-évaluation

I. Définition des concepts

L’évaluation L'évaluation est une appréciation systématique et objective menée dans un cadre méthodologique et institutionnel formalisé, en vue de porter un jugement sur la valeur d’un projet, d’un programme, d’une politique, à partir de leur conception, de leur mise en œuvre et de leurs résultats. L’évaluation est ainsi un processus systématique et objectif par lequel on détermine la valeur et la portée d'une action projetée (ex ante), en cours (ex itinere) ou achevée (ex post). L’évaluation suppose la définition d’un standard de référence (normes appropriées), la comparaison des performances réalisées avec ces normes, et la prise de décision par rapport aux résultats obtenus.

Selon le moment on distingue : l’évaluation ex ante : c’est une évaluation qui est conduite avant la mise en œuvre d’une action. Elle est utilisée pour désigner l’étude de faisabilité d’un projet. l'évaluation à mi-parcours ou évaluation formative: elle permet de suivre et, éventuellement, de réorienter l'action pendant son déroulement ; l'évaluation finale, récapitulative ou sommative: elle intervient en fin d'action; elle examine les résultats et permet d’en observer les effets à court terme; elle vise à fournir des informations sur la validité d’un projet ou d’un programme; l’évaluation ex post : elle s’intéresse aux effets à moyen ou long terme (impacts). Elle peut être réalisée tout de suite après l'achèvement de l'intervention ou longtemps après. Le but est d’identifier les facteurs de succès ou d’échec et d'apprécier la durabilité des résultats et des impacts;

Selon le mode de réalisation de l'évaluation on distingue • l'évaluation interne : C’est une évaluation conduite par un service et/ou des personnes qui dépendent des responsables de l'action au sein de l’organisation chargée de la mise en œuvre du projet ou du programme; • l'évaluation externe : C’est une évaluation conduite par des services et/ou des personnes extérieures à l'organisation responsable de la mise en œuvre; ce qui favorise un regard neutre, neuf et en principe sans préjugés.

Autres concepts • l'audit s'assure que la mise en œuvre d’un projet s'effectue dans le respect des règles et des procédures. Il est réalisé par des auditeurs spécialisés et accrédités, internes ou externes. L'audit ne s'intéresse ni à la pertinence ni à l'impact du projet • le contrôle de gestion et le pilotage sont des processus continus permettant d’assurer un suivi régulier de l’activité. Ils sont effectués en interne, sur la base des données recueillies dans les systèmes d’information élaborés. • l'inspection procède à un contrôle de conformité par rapport aux normes financières, aux procédures administratives et aux orientations politiques. Effectuée par des inspecteurs internes, elle exige un suivi et ses recommandations ont un caractère obligatoire et contraignant.

II. L’objet de l’évaluation

L’objet de l’évaluation part d’une problématique Quelles sont les principales préoccupations du commanditaire ? S’agit-il d’une évaluation sommative ou récapitulative (destinée à rendre compte aux décideurs)? ou d’une évaluation formative (destinée à tirer des enseignements pour les opérateurs) ? Quelles sont les interrogations et les attentes des parties prenantes ? Y a-t-il une priorité ou une hiérarchie dans les questions?

L’ objet de l’évaluation L’évaluation peut s’intéresser à : Une action, un projet, un programme, une stratégie, une politique. Dans le but : De vérifier la pertinence et la cohérence des objectifs de départ; D’apprécier la mise en œuvre des moyens ainsi que leur adéquation par rapport aux objectifs envisagés; De mesurer l'efficacité de l'action, c'est à dire le degré d'atteinte des objectifs ; D’examiner la durabilité des effets observés.

III. Méthodologie de l’évaluation

La démarche évaluative Il s’agit de choisir un référentiel d’évaluation, de décrire les différentes tâches à effectuer à chaque étape. Le référentiel de l’évaluation des performances d’un projet comporte les éléments suivants : l'objet de l'évaluation (Quoi? L’action à évaluer); Les objectifs de l'évaluation (Pourquoi? Les justificatifs); les acteurs de l'évaluation (Avec qui?); les critères de l'évaluation; les méthodes de recueil données (recherche documentaire, visites, protocoles d’observation); les indicateurs de l'évaluation; les outils de l'évaluation; la planification de l’évaluation : Organisation; Temps/ chronogramme; Ressources disponibles; Collecte et traitement de l’information; Rapport: préconisations/recommandations; Prise de décision.

Les critères de l’évaluation Les critères de l’évaluation sont des caractéristiques qui permettent d’apprécier les résultats d’une action, d’un projet, d’un programme ou d’une politique.

Exemples de critères Pertinence Impacts-Effets Cohérence Conformité Les critères présentés ci-après doivent être repris selon un questionnement qui s’applique à l’action à évaluer. Pertinence Cohérence Effectivité Efficacité Efficience   Impacts-Effets Conformité Satisfaction  Utilité sociale Etc.

La pertinence  Examine le bien-fondé de l'action au regard des objectifs et enjeux déterminés au départ. Les éléments suivants peuvent être examinés : Correspondance avec les besoins et les demandes des bénéficiaires ; Conformité avec les orientations générales du ministère (document-cadre de partenariat, stratégies sectorielles, etc.).

La cohérence Apprécie les rapports entre les divers éléments constitutifs de l'action. Les éléments suivants peuvent être examinés : Concordance des divers moyens et instruments mobilisés pour concourir à la réalisation des objectifs (cohérence interne) ; Concordance avec les actions entreprises par les partenaires : administration, société civile, organisations non gouvernementales (cohérence externe).

L'effectivité Rend compte de la réalité des actions conduites. Les éléments suivants peuvent être examinés : Degré de réalisation des activités ; Taux d’exécution financière ; Respect des délais et du chronogramme ; Qualité du suivi et de la gestion des imprévus ; Recherche des éléments de surcoût éventuel et de leurs causes; Vérification, le cas échéant, de l’application des clauses (signature de la convention, cahier des charges, déblocage des fonds, conditions suspensives)

L'efficacité Apprécie le degré de réalisation des objectifs de l'action ainsi que ses éventuels effets. Les éléments suivants peuvent être examinés : • Résultats attendus et résultats effectifs de l’action ; • Résultats imprévus (négatifs ou positifs, effets d’aubaine) ; • Analyse des écarts constatés.

L'efficience Etudie la relation entre les coûts et les avantages. Les éléments suivants peuvent être examinés : Mobilisation des ressources financières, techniques, organisationnelles et humaines à temps et au moindre coût ; Comparaison des coûts avec des éléments de référence pertinents; Concordance entre les résultats obtenus et les sommes dépensées ; Atteinte des mêmes résultats avec des moyens plus restreints ou des instruments différents en comparaison avec des actions équivalentes d’autres organisations.

L'impact Permet d’apprécier les retombées de l'action en étudiant les effets tant immédiats qu’à long terme de celle-ci, dans un environnement plus large. Les éléments suivants peuvent être examinés : Identification des bénéficiaires (directs et/ou indirects) de l’action ; Estimation du nombre de personnes concernées ; Description quantitative de l’impact de l’action ; Description qualitative de l’impact de l’action (négatif, positif, attendu, imprévu); Visibilité de l’opération.

La viabilité (ou la durabilité) Examine si l’action a engendré des structures ou favoriser l’émergence des pratiques capables de se développer et de se pérenniser après la fin de l’intervention. Les éléments suivants peuvent être examinés : Viabilité financière et opérationnelle des mécanismes ; Prise en charge institutionnelle des activités par les responsables de l’action et/ou les autorités locales des activités Possibilité de reproduire ou de généraliser l'opération.

REPRESENTATION SCHEMATIQUE DES PRINCIPAUX CRITERES D'EVALUATION CONSEIL NATIONAL D'EVALUATION – FRANCE 1996   Impact (long terme) BESOINS ENVIRONNEMENT (Contexte) Efficience Objet Objectifs Moyens ACTION Résultats EFFETS Efficacité Impact (moyen terme)

Acteurs Leaders d’associations Membres d’associations Membres de la Société civile Animateurs d’événements, etc. Cadres de Jeunesse Equipes dirigeantes du CNJC Jeunes défavorisés Jeunes bénéficiaires d’un financement FIJ

Les indicateurs Un indicateur est un élément qui permet de déterminer en termes de quantité ou de qualité le résultat de la mesure de l’atteinte d’un objectif ou de toute autre variable du contexte d’évaluation (ressources, infrastructures, gestion, effets, etc.) L’indicateur produit une information synthétique quantifiée permettant d’apprécier les divers aspects d’une action, d’un projet, d’un programme ou d’une stratégie.

Catégories d’indicateurs On peut distinguer trois grandes catégories d’indicateurs : 1. les indicateurs d’environnement ou de contexte Les indicateurs de contexte (ou de situation) reflètent les contraintes générales de l’intervention et fournissent des éléments sur l’état des lieux avant projet; 2. les indicateurs de moyens et d’activités Ces indicateurs informent sur la disponibilité, l’affectation des ressources humaines, organisationnelles et financières qui permettent la production des services (extrants ou output) 3. les indicateurs de résultats ou de performance Les indicateurs de performance sont directement associés aux critères de l’évaluation, notamment: L’efficacité; L’efficience; L’impact

Éléments de détermination des indicateurs activités (nombre d’activités rélisées) gestion administrative (liste du personnel, courrier, etc.) gestion financière (documents comptables et financiers) animation d'équipes de travail (nombre de réunions, périodicité des rencontres, etc.)   Capacités professionnelles et comportementales (dossiers traités, problèmes résolus, présence effective…) encadrement (niveau d’exécution du programme d’actions, approche managériale…) finances(budget,ressources, dépenses, contrôle) formation(renforcement de capacités) infrastructures, matériels et équipements communication (up-down)  lieux (sites - contextualisation) Associations (nombre, caractéristiques des adhérents)  ressources humaines recherche de financement, recherche de partenariat participation (taux de participation) cadre juridique(lois, statuts, règlement, etc.)  

IV. Outils de l’évaluation

Instruments de recueil d’informations (liste non exhaustive) Questionnaires; Guides d’entretien; Entrevues; Grilles d'observation; Fiches anecdotiques; Échelles d'appréciation; Listes de vérification (check-lists); Tests de performance (dossiers, rapports, situation-problème, etc.) Tableaux de bord.

V. Mise en œuvre et suivi-évaluation

Le « suivi-évaluation » Monitoring and Evaluation Le suivi-évaluation est un processus continu de collecte systématique d'informations, selon des indicateurs choisis, pour fournir aux gestionnaires et aux parties prenantes d'une action de développement en cours, des éléments sur les progrès réalisés, les objectifs atteints et les difficultés éventuelles pour une rétroaction; Le suivi est assuré en interne, de manière continue, par les responsables des actions. Toutefois, le suivi-évaluation et l’évaluation rétrospective se réfèrent aux mêmes techniques et s’enrichissent mutuellement.

La mise en place d’un système de suivi Le système de suivi doit être conçu dès le départ en précisant les méthodes, les ressources, les responsabilités, la périodicité; Il doit prévoir une batterie d’indicateurs quantitatifs de réalisation présentés sous forme de tableau de bord; Il doit associer toutes les parties concernées au processus de suivi ; Il doit prendre en compte les données extérieures au projet (environnement social, politique, économique) pour apprécier son impact;

Le dispositif de suivi-évaluation 1. Objectif et étendue du système de suivi La nature du système de suivi est fonction des objectifs, du coût estimé et des difficultés envisagées. Construction d’un cadre logique (activités, processus, moyens, réalisations, résultats et impacts); 2. les indicateurs Précision des indicateurs de performance attendus. Choix d’indicateurs pertinents, 3. La collecte des informations et l’organisation du dispositif Déterminer des priorités: certaines données ont une utilité immédiate dans le suivi, d’autres seront nécessaires dans la phase ultérieure d’évaluation rétrospective. 4. Renforcement des capacités intégrer une dimension renforcement des capacités des acteurs internes.

Responsabilités et tâches Déterminer le cadre logique: hiérarchie des objectifs, indicateurs pertinents par rapport à chaque composante à évaluer, mécanismes de suivi; Définir des questions relatives à la performance du projet et des critères d’évaluation; Fixer le cadre et les procédures d’évaluation des activités du projet. Choisir les méthodes de collecte et s’assurer de leur adéquation par rapport à l’évaluation de l’impact. Examiner la qualité des données socioéconomiques disponibles dans la zone du projet; Établir un plan de renforcement des capacités des acteurs y compris les bénéficiaires, notamment pour les aspects participatifs; Définir le schéma et les procédures du suivi opérationnel.

Exemple de démarche évaluative Objet  de l’évaluation: L’insertion socio économique des jeunes Objectifs de l’évaluation: Déterminer le niveau d’acquisition de la culture entrepreneuriale des acteurs identifiés ; Apprécier l’utilisation des capacités entrepreneuriales acquises ; Apprécier l’effet de l’activité professionnelle sur leur mode de vie.

Exemple de démarche évaluative (suite) Acteurs : Jeunes non formés bénéficiaires d’un financement du Fonds d’Insertion des Jeunes (FIJ); Jeunes formés ayant reçu un financement du FIJ; Jeunes formés n’ayant pas reçu un financement du FIJ; Leader d’associations. Critères : satisfaction ( autonomie sociale, autonomie de gestion, partenariat gagnant-gagnant) ; rentabilité (gain, profits, bénéfices, réalisations, valeur ajoutée).

Exemple de démarche évaluative (suite) Indicateurs : siège structures administratives de l’entreprise compte de gestion documents administratifs (organigramme, liste du personnel, courrier, etc.) documents comptables et financiers (registre de commerce) Infrastructures, matériels et équipement budget personnel mode de déplacement lieu d’habitation personnes à charge recherche de financement, recherche de partenariat Instruments: Questionnaire Guide d’entretien Visites Grilles d'observation Check-lists (listes de vérification) Recherche documentaire (Textes, Contrats, Conventions, …)

Les résultats de l’évaluation La présentation des résultats d'une évaluation s’accompagne d’un exposé clair de son objet, de ses objectifs, de ses destinataires, des questions posées, des méthodes utilisées et de leurs limites, ainsi que des arguments et critères qui conduisent à ces résultats.

Les conclusions de l’évaluation  Les conclusions de l’évaluation doivent : Répondre aux questions posées dans les termes de référence; Indiquer les forces et les faiblesses du projet ou du programme; Déterminer les causes des écarts par rapport aux objectifs initiaux. Décrire les moyens utilisés pour valider ces conclusions.

Les recommandations Ce sont des propositions qui contribuent à améliorer les performances du projet. Les recommandations indiquent: Comment les atouts (forces) du projet peuvent être consolidés; Dans quelle mesure les difficultés (faiblesses) du projet pourraient être résolues; La hiérarchie des préconisations selon leur importance; La hiérarchie des préconisations selon un calendrier prévisionnel; Les recommandations d’ordre stratégique et celles d’ordre opérationnel.

Je vous remercie pour votre bienveillante attention…

Etude relative à l’inventaire de l’existant sur les petits métiers et métiers du secteur jeunesse Exemple

Contexte et justification Valorisation des ressources humaines pour un développement durable ; Lutte contre la pauvreté à travers la création d’emplois jeunes, de petits métiers liés aux secteurs jeunesse et sport. L’avènement de la décentralisation et la nécessité de mieux structurer et former les jeunes ; L’existence d’un nombre important de jeunes en déperdition scolaire et nécessitant une insertion ou une reconversion socio-économique et professionnelle.

Objectifs Identifier les métiers existants et inventorier les métiers potentiels ; Catégoriser les métiers, les structurer, les stabiliser, identifier des mécanismes ou stratégies de promotion et former des jeunes aux activités génératrices de revenus.; Constituer une base d’informations générales et nationales actualisables avec l’évolution des secteurs ;

Approche méthodologique Préparer et élaborer des outils de collecte et d’analyse des données ; Utiliser les relais (nationaux , régionaux ou locaux ); Interviewer des agents existants, des acteurs du mouvement sportif, associatif, les collectivités territoriales décentralisées et tout autre intervenant dans un domaine susceptible de favoriser l’émergence ou le recours à des métiers relatifs aux secteurs jeunesse et sport ;  ; Fournir un rapport détaillé et une base de données informatisée.

Evaluation d’une organisation Indicateurs généraux pour la labellisation d’un organisme de formation

Résultats attendus Rédiger un rapport détaillé et une base de données informatisée qui donne des indications sur les éléments caractéristiques de métiers en sport et jeunesse mais aussi qui inventorie de façon générale les métiers possibles ou existants Identifier les bassins potentiels des petits métiers dans notre pays et dans la Sous-Région ; Déterminer les grandes tendances des besoins en formation des publics cibles.

Sur l’organisme lui-même Statut ;  Organes de gouvernance ; Existence d’une politique de développement (Plan stratégique, projet d’établissement, plan d’affaires, etc) ; Existence d’un Système Intégré de Gestion ; Degré de spécialisation de l’organisme dans le domaine concerné ; Références de l’organisme (sur le même type d’action) ; Flexibilité pour construire des cas spécifiques, pour modifier le produit et s’adapter aux besoins du client par rapport à des réponses toutes faites ; Capacités de recherche Ressources documentaires ; Adhésion à un réseau opérationnel national, régional ou international d’organismes de formation, ;  Existence de partenariats (entreprises, organisations professionnelles) ; Compétences administratives et comptables Infrastructures et équipements ; Sources de financement et gestion des ressources financières

Sur le personnel Effectifs de l’organisme (le nombre de formateurs permanents par apport aux vacataires) ; Curriculum Vitae des intervenants ; Qualité du personnel (statut, qualification, expérience) ; « Styles » des intervenants (adéquation avec le public à former).

Sur l’offre elle – même Les programmes ; Précision de la construction pédagogique ;  Cohérence de l’offre, son approche globale; Qualité de l’argumentation de l’offre ; Qualité du dispositif d’évaluation de formation proposé; Qualité de l’offre pédagogique (contenu, progression, évaluation) ; Présence, diversité et qualité des supports ; Nature des engagements sur le suivi de l’action ; Communication sur l’action, auprès du public visé ;  Coût(dont on demandera une décomposition pour les actions importantes) ; Modulation du coût en fonction de la taille du marché.

Le tableau de bord Le tableau de bord de gestion comporte des axes d’action assortis d'indicateurs pertinents permettant à un gestionnaire de suivre l'évolution des résultats, les écarts par rapport à des valeurs de référence (objectifs fixés, normes internes ou externes, références statistiques, etc.);