 2007 École de Santé Publique John Hopkins Bloomberg Introduction à l’évaluation de programmes Frances Stillman, EdD Institute for Global Tobacco Control Johns Hopkins Bloomberg School of Public Health

 2007 École de Santé Publique John Hopkins Bloomberg 2 Objectifs Composantes de l’évaluation de programmes Types d’évaluations Un modèle de planification et de direction d’évaluations de programmes

 2007 École de Santé Publique John Hopkins Bloomberg Section A Introduction à l’évaluation de programmes

 2007 École de Santé Publique John Hopkins Bloomberg 4 Définition de l’évaluation « L’évaluation est l’acquisition et l’estimation systématiques d’informations en vue de fournir un feedback utile à propos d’un sujet »* Les composantes importantes de l’évaluation  Une procédure systématique  Recueil et filtrage de données  Estimation de la validité des informations  Utilisation des informations à des fins décisionnelles *Source : Trochim, W. (1999).

 2007 École de Santé Publique John Hopkins Bloomberg 5 Recherche vs évaluation L’évaluation est un domaine méthodologique en étroite relation avec, mais distinct de la recherche sociale plus traditionnelle L’évaluation s’appuie sur nombre de méthodologies identiques à celles utilisées dans la recherche sociale traditionnelle Toutefois, l’évaluation s’effectuant dans un contexte politique et organisationnel, elle nécessite :  Une prise en compte des différentes parties prenantes  Une habileté politique  Des capacités de gestion  Une aptitude à travailler en groupe  D’autres compétences sur lesquelles la recherche sociale ne s’appuie généralement pas

 2007 École de Santé Publique John Hopkins Bloomberg 6 Recherche vs évaluation « La recherche vise à prouver, l’évaluation vise à améliorer …” — M.Q. Patton

 2007 École de Santé Publique John Hopkins Bloomberg 7 Surveillance et contrôle vs programme d’évaluation Surveillance : assure le suivi des maladies ou des comportements à risque Contrôle : assure le suivi des évolutions des résultats des programmes sur la durée Évaluation : vise à comprendre de façon spécifique les raisons de ces changements

 2007 École de Santé Publique John Hopkins Bloomberg 8 Pourquoi évaluer votre programme ? Pour contrôler les progrès en fonction de l’objectif Pour démontrer l’efficacité du programme ou de l’action Pour déterminer si les composants du programme produisent les effets souhaités Pour justifier vos besoins en financement et soutien Pour apprendre comment améliorer votre programme N’oubliez pas, l’objectif de l’évaluation est l’amélioration d’un programme  L’évaluation n’est pas utile à moins que ses résultats soient utilisés en vue de faire la différence !

 2007 École de Santé Publique John Hopkins Bloomberg 9 Les quatre standards 1.Utilité : qui a besoin de ces informations ; de quelles informations ont-ils besoin ? 2.Faisabilité : quelles sommes, quel temps et quels efforts pouvons-nous investir à cet effet ? 3.Propriété : quelles étapes doivent être respectées pour que cette évaluation ait un caractère déontologique ? 4.Précision : quel dispositif permettra d’obtenir des informations précises ?

 2007 École de Santé Publique John Hopkins Bloomberg 10 Quand conduire une évaluation ? L’étape de développement du programme détermine les raisons de l’évaluation du programme

 2007 École de Santé Publique John Hopkins Bloomberg 11 Types d’évaluations Formative  Renforce ou améliore le programme en train d’être évalué Sommative  Détermine si les attentes du programme ont été satisfaites et évalue les performances du programme

 2007 École de Santé Publique John Hopkins Bloomberg 12 Exemples de recherche formative Besoin d’estimation Étude de l’évaluabilité Conceptualisation structurée Évaluation de la mise en oeuvre Procédure d’évaluation

 2007 École de Santé Publique John Hopkins Bloomberg 13 Types de questions : évaluation formative Quelle est la définition et l’ampleur du problème ?  Ou, Quelle est la question ? Où se situe le problème, quelle est sa gravité ? Comment le programme devrait être appliqué afin de résoudre le problème ? Quelle est la qualité d’application du programme ?

 2007 École de Santé Publique John Hopkins Bloomberg 14 Exemples de recherche sommative Évaluation des résultats Évaluation de l’impact Analyse coût-efficacité et coût-bénéfices Analyse de données secondaires Méta-analyse

 2007 École de Santé Publique John Hopkins Bloomberg 15 Types de questions : évaluation sommative Quel type d’évaluation peut être effectué ? Quelle fut l’efficacité du programme ? Quel est l’impact net du programme ?

 2007 École de Santé Publique John Hopkins Bloomberg 16 Méthodes de recueil des informations Questionnaires, enquêtes et listes de contrôle Interviews Documents Observations Études de cas