CONGRÈS RÉGIONAUX Planifier, effectuer et utiliser l’évaluation

Quelles expériences de l’évaluation avez-vous eues?

JOURNÉE DE L’ÉVALUATION DU TRAVAIL LENT PARESSEUX MAUVAISE ATTITUDE

Introduction Les 3 composantes de l’évaluation de programmes Planification Conception de l’évaluation Exécution Collecte des données, analyse, interprétation Utilisation Application et diffusion des résultats

La planification des évaluations On détermine les besoins en information : l’objectif de l’évaluation, la communication avec les partenaires On élabore une stratégie d’évaluation : modèle logique, indicateurs, mesures, questions, logistique

Qui pourriez-vous définir comme un partenaire clé?

L’exécution de l’évaluation Collecter et compiler les données Analyser les informations Rédiger des conclusions et des recommandations Écrire le rapport

L’utilisation des évaluations Élaborer un plan de communications Élaborer des stratégies et des plans d’action pour veiller à utiliser les résultats de l’évaluation

La planification des évaluations Étapes à suivre pour être prêts – facteur critique pour le succès de l’évaluation : Identifier les obstacles et les facilitateurs Identifier et faire participer les partenaires clés s’intéressant manifestement à l’évaluation Identifier un « champion » de l’évaluation Faire des recherches sur les meilleures pratiques existantes, les conceptions précédentes, les mesures et la bibliographie universitaire concernant le programme

La planification de l’évaluation Les étapes à suivre pour être prêts (suite) Collaborer avec d’autres agences pour développer un réseau de soutien Établir une compréhension de la raison pour laquelle l’évaluation est effectuée Élaborer un cadre d’évaluation, veiller à la participation des partenaires clés et du personnel Développer un modèle logique de programme

Planification de l’évaluation : élaborer un cadre d’évaluation Étapes à suivre pour être prêts (suite) Formuler des questions d’évaluation Identifier les indicateurs pour tous les résultats mesurés Choisir des mesures appropriées et des sources d’information Identifier la responsabilité de chacun pour la collecte des données

Selon votre expérience, offrez des exemples de : 1) Deux obstacles que vous avez rencontrés dans la mise en vigueur de l’évaluation dans votre organisme, et… 2) Deux facilitateurs que vous avez rencontrés dans votre mise en vigueur de l’évaluation dans votre organisme.

Modèle logique de programmes Un modèle logique est un diagramme visuel indiquant les relations causales entre les différentes composantes d’un programme, comme : relier les activités du programme aux résultats souhaités. C’est aussi le fondement de la conception des questions d’évaluation.

Modèles logiques de programme – Exemple EntréesActivitésSortiesRésultats Que devrait avoir le programme pour bien fonctionner? Que devez- vous faire pour obtenir les résultats souhaités? Combien de travail devez- vous faire pour combien de gens sur quelle période? Quelle différence le programme fait-il pour la population cible?

Modèle logique de programmes Composantes : Entrées – subventions et ressources Activités – les produits livrables par le programme; les services que vous fournissez Sorties – ce qui est produit – les produits tangibles résultant des activités Résultats – les impacts du programme reliés à la population cible se produisant à la suite de la prestation du programme

Modèle logique de programmes Résultats :  À court terme – le client change ce qui peut être directement attribué à la prestation du programme.  Intermédiaire – le client change ce qui peut être attribué directement à la prestation du programme; peut être relié aux objectifs à long terme des résultats à court terme  Objectif à long terme – Objectif global du programme; l’état idéal où les objectifs du programme ont été atteints; les besoins ou le problème de la communauté ont été abordés.

Modèle logique de programmes - Exemple Coureur de marathon Objectif : améliorer son rendement pendant la course par rapport à l’année dernière

Pouvez-vous identifier des entrées, des activités, des sorties et des résultats pouvant être associés à ce programme de formation?

Modèle logique de programmes - Exemple Entrées : nouvelles espadrilles; temps consacré à l’entraînement pendant l’horaire quotidien; ressources pour l’entraînement; abonnement à un gymnase Activités : entraînement par intervalles; course de fond; entraînement de la force Sorties : 2 séances d’une heure d’entraînement de la force par semaine; 2 séances d’une heure d’entraînement par intervalles par semaine; 2 courses de fond de deux heures par semaine Résultats : vitesse accrue; endurance accrue

Les indicateurs et les mesures Le verre est à moitié plein Le verre est à moitié vide À moitié plein… non! Attends! À moitié vide. Non! Et c’était quoi la question? Hey! J’ai commandé un hambourgeois au fromage! Les quatre types fondamentaux de personnalité

Les indicateurs et les mesures Indicateurs : preuve que vous avez atteint votre objectif et que les résultats ont été réalisés Choisissez le résultat particulier que vous voulez mesurer. Demandez « Comment saurez-vous que ce résultat a été réalisé? » « Quelle en est la preuve? » « Comment sera-t-elle mesurée? » Veuillez à la qualité, au caractère approprié et à l’intégrité des informations ainsi qu’à leur quantité – pouvoir de détecter les effets avec un fardeau minime sur les répondants en matière de fourniture d’information

ENTRÉESACTIVITÉSSORTIES Résultats à court terme Résultats intermédiaires Résultat final ÉVALUATION DES ÉVALUATION DES PROCESSUS RÉSULTATS ÉVALUATION DES ÉVALUATION DES PROCESSUS RÉSULTATS

Les évaluations de processus Questions clés : Prestation de service – le degré auquel les composantes du programme sont fournies comme prévu Couverture – étendue de la participation de la population cible au programme Biais – mesure dans laquelle les sous- groupes de la population cible désignés participent (ou ne participent pas)

Les évaluations de résultats Questions clés : Efficacité/impact du programme – le programme est-il en mesure d’obtenir les résultats souhaités pour la population cible (soit changements au niveau des connaissances/compréhension, attitudes et comportement/fonctionnement)?

sur page distincte en Word

Activité : Élaboration du modèle logique Objectif à long terme : Population cible : ENTRÉES (Ressources comme : $, personnel, équipement) ACTIVITÉS (Services comme : counseling, approche, groupes de soutien) RÉSULTATS (Impact ou efficacité du programme sur le client) À COURT TERME INTERMÉDIAIRE SORTIES (Produits comme : nombre de classes, nombre de sessions)

Susan Kasprzak, adjointe de recherche Tanya Witteveen, adjointe de recherche

Visitez notre site Web pour obtenir de plus amples informations :