Module 5- Questions et critères de l'évaluation Ce qu'il faut évaluer Méthodes et techniques Qualité

La (ou les) question(s) de l'évaluation Exprime une préoccupation a l'état brut, un besoin que ressent le commanditaire (futur utilisateur ?) S'exprime en langage courant Est le meilleur moyen de se comprendre et de s'entendre entre commanditaire et évaluateurs Les mises au point se font par les moyens habituels de la communication interpersonnelle (écoute, re-formulation, etc.)

Le processus de focalisation des questions Question de départ Méthodes et techniques utilisables Etude de faisabilité

Les différents niveaux d'une discussion itérative sur les questions, les méthodes, le coût, ... Partenaires Commanditaire Bénéficiaires Equipe du projet, du programme ou de la politique Equipe d'évaluation

Bien classer les questions Il existe trois types de questions: Descriptives Comment s’est déroulé le programme, le profil du personnel en poste était-il adapte, le projet au départ était-il cohérent… Normatives Les coûts unitaires sont-ils conformes a ceux des établissements de même nature, le taux d’insertion après formation est-il satisfaisant, la part des dépenses publiques… D’impact (causalité) Les revenus des groupes cibles ont-ils été améliorés durablement, dans quelle mesure l’amélioration de l’état sanitaire résulte du projet…

Bien classer les questions Ces trois types de questions nécessitent des méthodes différentes: Descriptives Etude de cas, entretiens, lecture de dossiers, enquêtes statistiques Normatives Analyse comparative: données disponibles, études de cas, enquête statistique, analyse coût-bénéfice, analyse coût-efficacité D’impact (causalité) Expérimentation avec groupe de contrôle ou au moins analyse avant-après: recherche de relations causales, analyse statistique, analyse prévisionnelle.

Les critères d'évaluation Structure logique Buts, Finalités Résultats Produits Activités Intrants Impact Pertinence Pérennité Efficacité Réplicabilité Cohérence Efficience

Les critères... Comment s’y retrouver? cohérence efficacité efficience impact durabilité (pérennité) Percoeffidu Pertinence

Les critères... Quelle est leur utilité? C'est le "politiquement correct" de l'évaluation, selon les standards du CAD Dans les discussions/réflexions sur les questions d'évaluation, les critères aident à ne rien oublier et à classer les préoccupations Une évaluation "totale" (sur tous les critères) renforce la logique des conclusions et donc leur solidité

Critères et Questions: la correspondance Le programme était il bien approprié ou adéquat pour atteindre le but général poursuivi ? L'objectif est-il toujours d'actualité aujourd'hui ? Le programme correspond-il toujours aux attentes des parties prenantes? Dans la conception originelle du programme, les objectifs étaient-ils (sont-ils) cohérents entre eux, les activités prévues permettaient- elles d'atteindre les objectifs opérationnels visés, les moyens prévus permettaient-ils de réaliser les activités envisagées dans les temps impartis ? Pertinence Cohérence

Critères et Questions: la correspondance Comment le projet, la politique a-t-il (elle) fonctionné ? Les ressources ont-elles été bien mobilisées ? Les coûts unitaires sont-il dans les normes ? Les résultats immédiats escomptés ont-ils été effectivement obtenus et dans quelles conditions de qualité, coût et délais ? Les résultats ont-ils été à la mesure des sommes dépensées ? Les exigences contractuelles ont-elles été respectées? Efficience

Critères et Questions: la correspondance Efficacité Impact Quel est le niveau d'atteinte de l'objectif principal du projet ? Le programme a-t-il eu les effets attendus au niveau des bénéficiaires (correction des déséquilibres, renforcement institutionnel, modifications de comportement, etc.) ? Le programme a-t-il contribué a corriger le problème visé (niveau de pauvreté par exemple) ou à produire le développement escompté ? A-t-il des effets négatifs imprévus ? Les conséquences globales du programme sont-elles bénéfiques ?

Critères et Questions: la correspondance Les effets du projet ou du programme seront-ils durables ? Les mécanismes mis en place sont-ils viables ? La politique peut-elle être reproduite? A quelles conditions ? Durabilité Réplicabilité

Un exemple : (Projet FAC d'appui à la formation professionnelle et à l'emploi, Mali, 1999)

Comment? Pour donner à toutes les questions un contenu concret, il faut repartir des objectifs et des indicateurs de départ (document de projet et cadre logique). Quand le cadre logique n'existe pas, l'évaluateur doit le reconstituer.