Questions Méthodes et et critères techniques Qualité Module 7- La qualité d'une évaluation et ses dimensions, les standards à respecter Questions Méthodes et et critères techniques Qualité Termes de référence Profil des évaluateurs Dispositif mis en place Démarche suivie Etc...

Les qualités d'une évaluation Crédible Qualité et transparence des méthodes employées, compétence des évaluateurs Utile Pertinente Communication des résultats Présentation claire, complète et détaillée de tous les arguments, distinction nette entre observations, hypothèses, jugements Pertinence des questions initiales posées aux évaluateurs par rapport aux préoccupations du commanditaire, des services concernés et de toutes les parties prenantes au projet ou à la politique Objectivité, impartialité, pluralisme au niveau de la réalisation, indépendance par rapport aux services gestionnaires du projet ou de la politique Pour qu'une évaluation soit : Elle doit être : Accessible Qualité des mesures et des relations causales établies Caractère reproductible des conclusions (un autre évaluateur aboutirait aux mêmes conclusions) , séparation complète entre conclusions et recommandations (digne de confiance) Qualité du rapport : organisation, taille, style (clarté, concision) Ce qui suppose : Réalisation au moment opportun, en réponse à une demande des responsables du projet ou de la politique, en vue d'améliorer la conception ou la réalisation de leurs programmes

Les déterminants de la qualité C'est un processus. La qualité est à assurer tout au long de la chaîne : - Qualité de la demande et des TdR - "Evaluabilité" du programme - Qualité des évaluateurs - Qualité de la préparation - Qualité de la réalisation - Qualité des debriefings et des confrontations - Qualité du rapport final

Qualité de la demande - Justifiée par une volonté de progrès - Dans un climat de transparence et de partenariat - Pertinence des questions - Choix du moment - Cohérence entre question et moyens - Qualité des termes de référence (qui traduisent la demande)

Qualité des termes de référence Thèmes à inclure dans les TdR: Origine du projet d'évaluation Description schématique du programme à évaluer avec identification des parties prenantes Les questions d’évaluations – les problèmes posés Les résultats attendus La démarche et le plan de travail Le dispositif d'évaluation (les intervenants et leur rôle, les qualifications requises) Le calendrier

Qui devrait participer à la préparation des termes de référence ? Commanditaire (s) Ensemble des parties prenantes Termes de référence Equipe d'évaluation

"Evaluabilité" du programme - Qualité de la structure logique du projet - Précision des attentes (les indicateurs) - Le cadre d'évaluation - Le système de suivi

Composantes d'activités La structure logique SI les résultats directs sont produits Et SI les hypothèses de développement se vérifient, ALORS l'objectif principal du projet sera atteint Moyens de vérification Présentation Indicateurs Hypothèses Finalités Matrice du cadre logique Objectif Principal Résultats opérationnels Composantes d'activités Ressources

Rappel d'une phase essentielle de la préparation des programmes Définition des indicateurs de résultats La logique horizontale

Les points clés pour l'évaluabilité d'un programme L'objectif principal est bien un objectif de développement (il décrit un changement dans l'attitude ou les performances des bénéficiaires, pas de confusion avec les résultats opérationnels) L'objectif principal est réaliste (pas de confusion avec les finalités) Des indicateurs de performance et de résultat ont été définis. Ils sont mesurables et possèdent les trois dimensions (quantitatifs, qualitatifs, phases dans le temps)

Le cadre d'évaluation défini au départ C'est désormais une exigence dans le cahier des charges pour la définition des projets et des programmes Le cadre de départ doit préciser : - Quel système de suivi - Quelles évaluations prévues - Les responsabilités et le plan d'action Quand le suivi a été bien fait, c'est un acquis énorme pour les évaluations ultérieures

Qualité des évaluateurs Quelles sont les qualités requises pour une évaluation ? Discussion

Les qualités requises d’un évaluateur • Capacité d'initiative et d'innovation.   • Indépendance. • Connaissance du domaine. • Compétences analytiques. • Relations interpersonnelles. • Compétences dans la gestion des projets. • Qualités de synthèse et de rédaction.

Qualité de la préparation Au centre de la préparation se situe le choix de la démarche retenue, qui doit être pertinent, mais aussi la qualité du programme d'activité, la bonne préparation des outils et instruments, ... La préparation suit un processus dont toutes les étapes doivent être respectées et réalisées correctement (Voir la description des étapes à suivre, ci-dessous Module 8)

Qualité de la réalisation - le plan prévu a été réalisé, sans surprise ou accident. (le rapport final rendra compte de ce déroulement) - qualité des mesures réalisées, - qualité des argumentaires et des conclusions

Comment se faire une opinion Les critères utilisés doivent être connus et visibles. Convenir au départ, avec les parties prenantes, des critères/éléments qui seront utilisés pour évaluer. Utiliser ensuite en toute transparence ces mêmes critères pour construire les jugements d'évaluation Normes: Rechercher des indicateurs de bonnes performances (autres organisations dans le domaine) et s’en servir comme point de référence Panel d’experts: Présenter les données à des experts reconnus et utiliser les appréciations qu'ils en retirent à partir de leur expérience

Chercher la sur-détermination ou des confirmations multiples ("Triangulation") Exemple d'une conclusion d'évaluation Données des questionnaires Le prix de l'eau à la pompe est trop élevé en milieu rural et limite l'usage des ouvrages Données des groupes de discussion Données des entretiens La moindre divergence doit attirer l'attention des évaluateurs sur un risque d'erreur

L'argumentaire doit être construit avec soin Exercice en groupe : réflexion sur un argumentaire simple conduisant à une conclusion Faire apparaître les différents concepts en jeu (faits, opinions, inférences, conclusions, ...) Montrer l'importance, pour la qualité de l'évaluation, d'un traitement différencié de ces différents concepts

Dans l'argumentaire, il est essentiel de bien séparer : Observés, incontestables, font généralement l'objet d'un consensus Résultat intermédiaire de l'évaluateur qui déduit ou "infère". Les infèrences doivent être éprouvés Jugement personnel, à présenter clairement comme tel. A banir si pas justifiées A banir totalement Résultent de tout un argumentaire. Doivent être clairement reliées à cet argumentaire et présentées comme telles A isoler très nettement des conclusions. Tendances fortes à sauter sur les recommandations avant même d'avoir clairement tirées les conclusions Se rapport à un principe qui peut avoir des applications plus générales Faits Déductions Opinions Sentiments Conclusions Recommandations Enseignements

Qualité des confrontations C'est la discipline de base de l'évaluateur Préparer les débriefing avec soin. Chacun d'eux doit améliorer la compréhension mutuelle et permettre de gagner de l'adhésion Ne pas supprimer la confrontation finale avec toutes les parties prenantes. Souvent difficile à réaliser. Doit être prévue dans le programme de l'évaluation.

Le rapport final Un exercice particulièrement difficile car : Pour faire partager les conclusions il faut tout expliquer Pour être lu il faut être court Pour être compris par des publics très différents, il faut des présentations différentes.

Plusieurs rapports Le personnel du programme pourra avoir besoin d’un rapport verbal et d’une note interne avec les points principaux Les bailleurs de fonds et les intervenants externes pourront avoir besoin d’un rapport complet. Les décideurs pourront avoir besoin d’un résumé Le public pourra avoir besoin d’un sommaire des résultats

Qualité du rapport final Répond aux questions et problèmes identifiés dans les termes de référence Clair et bien organisé, utiliser graphiques, matrices, ... Certains éléments peuvent être préparés avec les parties prenantes Fourni à temps Écrit dans la langue des utilisateurs Présente une position détachée et désintéressée. Est objectif.

Le contenu du rapport final d'une évaluation rétrospective Un résumé analytique de 1 à 3 pages Une description de la politique évaluée Un rappel du contexte de l'évaluation, du commanditaire, de ses objectifs (les questions auxquelles l'évaluation devait répondre) Un exposé méthodologique rappelant les choix opérés, les techniques utilisées et les étapes du travail d'évaluation  Un bref compte rendu des études réalisées Des développements informatifs à partir des données recueillies et des observations effectuées Des conclusions correspondant aux critères retenues pour l'évaluation Des recommandations qui doivent apparaître clairement comme telles Des annexes

Grille d'estimation de la qualité d'une évaluation (pour le commanditaire) 1- Niveau de réponse à la demande (par référence aux questions posées à l'origine dans les termes de référence) 2- Pertinence du champ couvert 3- Indépendance/pluralisme de l'équipe d'évaluation 4- Adéquation méthodologique 5- Fiabilité des données utilisées 6- Solidité des analyses 7- Crédibilité des conclusions 8- Clarté du rapport (ou de la présentation) Excellent Bon Acceptable Inacceptable Attention : la note générale n'est pas la moyenne des notes mais correspond à la plus mauvaise note obtenue pour l'un quelconque des 8 points ci-dessus.

Les standards à respecter American National Standards Institute Utilité : L'évaluation doit répondre aux besoins des utilisateurs prévus Faisabilité : L'évaluation doit être réaliste et praticable, prudente et diplomatique Respectueuse : L'évaluation doit être conduite dans le respect du bien-être de ceux qui sont associés à sa réalisation et pourraient être affectés par ses résultats Appropriée : L'évaluation doit produire et utiliser les informations techniquement adéquates pour déterminer la valeur ou les mérites du programme évalué