La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Questions et critères Méthodes et techniques Qualité Termes de référence Profil des évaluateurs Dispositif mis en place Démarche suivie Etc... Module 7-

Présentations similaires


Présentation au sujet: "Questions et critères Méthodes et techniques Qualité Termes de référence Profil des évaluateurs Dispositif mis en place Démarche suivie Etc... Module 7-"— Transcription de la présentation:

1 Questions et critères Méthodes et techniques Qualité Termes de référence Profil des évaluateurs Dispositif mis en place Démarche suivie Etc... Module 7- La qualité d'une évaluation et ses dimensions, les standards à respecter

2 2

3 Crédible Qualité et transparence des méthodes employées, compétence des évaluateurs Utile Pertinente Communication des résultats Présentation claire, complète et détaillée de tous les arguments, distinction nette entre observations, hypothèses, jugements Pertinence des questions initiales posées aux évaluateurs par rapport aux préoccupations du commanditaire, des services concernés et de toutes les parties prenantes au projet ou à la politique Objectivité, impartialité, pluralisme au niveau de la réalisation, indépendance par rapport aux services gestionnaires du projet ou de la politique Pour qu'une évaluation soit : Elle doit être : Accessible Qualité des mesures et des relations causales établies Caractère reproductible des conclusions (un autre évaluateur aboutirait aux mêmes conclusions), séparation complète entre conclusions et recommandations (digne de confiance) Qualité du rapport : organisation, taille, style (clarté, concision) Ce qui suppose : Réalisation au moment opportun, en réponse à une demande des responsables du projet ou de la politique, en vue d'améliorer la conception ou la réalisation de leurs programmes Les qualités d'une évaluation

4 4 - Qualité de la demande et des TdR - "Evaluabilité" du programme - Qualité des évaluateurs - Qualité de la préparation - Qualité de la réalisation - Qualité des debriefings et des confrontations - Qualité du rapport final C'est un processus. La qualité est à assurer tout au long de la chaîne : Les déterminants de la qualité

5 5 Qualité de la demande - Justifiée par une volonté de progrès - Dans un climat de transparence et de partenariat - Pertinence des questions - Choix du moment - Cohérence entre question et moyens - Qualité des termes de référence (qui traduisent la demande)

6 6 Qualité des termes de référence Thèmes à inclure dans les TdR: Origine du projet d'évaluation Description schématique du programme à évaluer avec identification des parties prenantes Les questions dévaluations – les problèmes posés Les résultats attendus La démarche et le plan de travail Le dispositif d'évaluation (les intervenants et leur rôle, les qualifications requises) Le calendrier

7 7 Termes de référence Commanditaire (s) Ensemble des parties prenantes Equipe d'évaluation Qui devrait participer à la préparation des termes de référence ?

8 8 "Evaluabilité" du programme - Qualité de la structure logique du projet - Précision des attentes (les indicateurs) - Le cadre d'évaluation - Le système de suivi

9 SI les résultats directs sont produits Et SI les hypothèses de développement se vérifient, ALORS l'objectif principal du projet sera atteint PrésentationIndicateurs Moyens de vérification Hypothèses Finalités Objectif Principal Résultats opérationnels Composantes d'activités Ressources Matrice du cadre logique La structure logique

10 Définition des indicateurs de résultats La logique horizontale Rappel d'une phase essentielle de la préparation des programmes

11 11

12 12 L'objectif principal est bien un objectif de développement (il décrit un changement dans l'attitude ou les performances des bénéficiaires, pas de confusion avec les résultats opérationnels) L'objectif principal est réaliste (pas de confusion avec les finalités) Des indicateurs de performance et de résultat ont été définis. Ils sont mesurables et possèdent les trois dimensions (quantitatifs, qualitatifs, phases dans le temps) Les points clés pour l'évaluabilité d'un programme

13 13 Quand le suivi a été bien fait, c'est un acquis énorme pour les évaluations ultérieures Le cadre d'évaluation défini au départ C'est désormais une exigence dans le cahier des charges pour la définition des projets et des programmes Le cadre de départ doit préciser : - Quel système de suivi - Quelles évaluations prévues - Les responsabilités et le plan d'action

14 14 Qualité des évaluateurs Quelles sont les qualités requises pour une évaluation ? Discussion

15 15 Les qualités requises dun évaluateur Capacité d'initiative et d'innovation. Indépendance. Connaissance du domaine. Compétences analytiques. Relations interpersonnelles. Compétences dans la gestion des projets. Qualités de synthèse et de rédaction.

16 16 Qualité de la préparation Au centre de la préparation se situe le choix de la démarche retenue, qui doit être pertinent, mais aussi la qualité du programme d'activité, la bonne préparation des outils et instruments,... La préparation suit un processus dont toutes les étapes doivent être respectées et réalisées correctement (Voir la description des étapes à suivre, ci-dessous Module 8)

17 17 Qualité de la réalisation - le plan prévu a été réalisé, sans surprise ou accident. (le rapport final rendra compte de ce déroulement) - qualité des mesures réalisées, - qualité des argumentaires et des conclusions

18 18 Comment se faire une opinion Les critères utilisés doivent être connus et visibles. Convenir au départ, avec les parties prenantes, des critères/éléments qui seront utilisés pour évaluer. Utiliser ensuite en toute transparence ces mêmes critères pour construire les jugements d'évaluation Normes: Rechercher des indicateurs de bonnes performances (autres organisations dans le domaine) et sen servir comme point de référence Panel dexperts: Présenter les données à des experts reconnus et utiliser les appréciations qu'ils en retirent à partir de leur expérience

19 19 Chercher la sur-détermination ou des confirmations multiples ("Triangulation") Données des questionnaires Données des groupes de discussion Données des entretiens Le prix de l'eau à la pompe est trop élevé en milieu rural et limite l'usage des ouvrages Exemple d'une conclusion d'évaluation La moindre divergence doit attirer l'attention des évaluateurs sur un risque d'erreur

20 20 L'argumentaire doit être construit avec soin Montrer l'importance, pour la qualité de l'évaluation, d'un traitement différencié de ces différents concepts Exercice en groupe : réflexion sur un argumentaire simple conduisant à une conclusion Faire apparaître les différents concepts en jeu (faits, opinions, inférences, conclusions,...)

21 Dans l'argumentaire, il est essentiel de bien séparer : Faits Observés, incontestables, font généralement l'objet d'un consensus Résultat intermédiaire de l'évaluateur qui déduit ou "infère". Les infèrences doivent être éprouvés Jugement personnel, à présenter clairement comme tel. A banir si pas justifiées A banir totalement Résultent de tout un argumentaire. Doivent être clairement reliées à cet argumentaire et présentées comme telles A isoler très nettement des conclusions. Tendances fortes à sauter sur les recommandations avant même d'avoir clairement tirées les conclusions Se rapport à un principe qui peut avoir des applications plus générales Déductions Opinions Sentiments Conclusions Recommandations Enseignements

22 22 Qualité des confrontations C'est la discipline de base de l'évaluateur Préparer les débriefing avec soin. Chacun d'eux doit améliorer la compréhension mutuelle et permettre de gagner de l'adhésion Ne pas supprimer la confrontation finale avec toutes les parties prenantes. Souvent difficile à réaliser. Doit être prévue dans le programme de l'évaluation.

23 23 Le rapport final Un exercice particulièrement difficile car : Pour faire partager les conclusions il faut tout expliquer Pour être lu il faut être court Pour être compris par des publics très différents, il faut des présentations différentes.

24 24 Plusieurs rapports -Le personnel du programme pourra avoir besoin dun rapport verbal et dune note interne avec les points principaux -Les bailleurs de fonds et les intervenants externes pourront avoir besoin dun rapport complet. -Les décideurs pourront avoir besoin dun résumé -Le public pourra avoir besoin dun sommaire des résultats

25 25 Qualité du rapport final Répond aux questions et problèmes identifiés dans les termes de référence Clair et bien organisé, utiliser graphiques, matrices,... Certains éléments peuvent être préparés avec les parties prenantes Fourni à temps Écrit dans la langue des utilisateurs Présente une position détachée et désintéressée. Est objectif.

26 26 Le contenu du rapport final d'une évaluation rétrospective n Un résumé analytique de 1 à 3 pages n Une description de la politique évaluée n Un rappel du contexte de l'évaluation, du commanditaire, de ses objectifs (les questions auxquelles l'évaluation devait répondre) n Un exposé méthodologique rappelant les choix opérés, les techniques utilisées et les étapes du travail d'évaluation n Un bref compte rendu des études réalisées n Des développements informatifs à partir des données recueillies et des observations effectuées n Des conclusions correspondant aux critères retenues pour l'évaluation n Des recommandations qui doivent apparaître clairement comme telles n Des annexes

27 27 1- Niveau de réponse à la demande (par référence aux questions posées à l'origine dans les termes de référence) 2- Pertinence du champ couvert 3- Indépendance/pluralisme de l'équipe d'évaluation 4- Adéquation méthodologique 5- Fiabilité des données utilisées 6- Solidité des analyses 7- Crédibilité des conclusions 8- Clarté du rapport (ou de la présentation) Excellent Bon AcceptableInacceptable Attention :la note générale n'est pas la moyenne des notes mais correspond à la plus mauvaise note obtenue pour l'un quelconque des 8 points ci-dessus. Grille d'estimation de la qualité d'une évaluation (pour le commanditaire)

28 28 Les standards à respecter American National Standards Institute Utilité : L'évaluation doit répondre aux besoins des utilisateurs prévus Faisabilité : L'évaluation doit être réaliste et praticable, prudente et diplomatique Respectueuse : L'évaluation doit être conduite dans le respect du bien-être de ceux qui sont associés à sa réalisation et pourraient être affectés par ses résultats Appropriée : L'évaluation doit produire et utiliser les informations techniquement adéquates pour déterminer la valeur ou les mérites du programme évalué


Télécharger ppt "Questions et critères Méthodes et techniques Qualité Termes de référence Profil des évaluateurs Dispositif mis en place Démarche suivie Etc... Module 7-"

Présentations similaires


Annonces Google