Introduction au suivi et à l’évaluation Module suivi/évaluation, cours international sur infection VIH et IST dans les pays à ressources limitées. Paris, IMEA, 25 au 27 novembre 2009 Jean-Pierre Gervasoni, Thérèse Huissoud, Françoise Dubois-Arber Unité d’évaluation de programmes de prévention, Institut universitaire de médecine sociale et préventive, Lausanne

Objectifs pédagogiques A la fin de la journée les participants seront capables de: Définir les différents concepts de Suivi et Evaluation Décrire le rôle du Suivi et Evaluation dans le cycle du programme Décrire les divers types d’évaluation Formuler des questions d’évaluation Créer des indicateurs pertinents Décrire les divers utilisateurs des résultats de suivi/évaluation

L’évaluation, c’est quoi pour vous? À quels mots /idées l’associez-vous? Avez-vous déjà été impliqué(e) dans une évaluation et à quel titre?

Principales raisons d'entreprendre une évaluation Investiguer la nécessité, la pertinence d'un programme Planifier un programme Suivre la mise en oeuvre d'un programme Comprendre les raisons des réussites et échecs Vérifier l’efficacité et l’utilité d’un programme Améliorer les programmes Etre responsable et motiver les parties prenantes (partenaires) Rendre des comptes

L‘importance de S/E pour les Programmes Nationaux de VIH/SIDA Fournir une information (stratégique) pour les décideurs, pour un meilleur pilotage de la lutte contre le VIH/sida Plaidoyer: convaincre les décideurs et les politiciens de la nécessité d’un meilleur engagement politique pour la mise en œuvre des programmes Tirer les leçons des programmes efficaces, pour les reproduire dans de nouvelles régions Réorienter les priorités quand l'épidémie elle-même continue à changer Justifier l’utilisation des fonds et assurer la transparence

Proportion rapportant usage systématique de préservatifs Proportion des professionnels du sexe et leurs clients qui utilisent toujours des condoms avec leur partenaire, Cambodge, 1997 à 1999 90 80 70 Trav.sex dans les bordels 60 Militaires /police Proportion rapportant usage systématique de préservatifs (%) 50 Cyclo-taxis Femmes dans bars à bière 40 30 20 10 1997 1998 1999 Source: National AIDS Programme, Cambodia, and Family Health International, 2000

Définitions… Le SUIVI est une fonction continue qui vise à fournir aux gestionnaires du programme et aux principales parties prenantes, des indications sur les progrès réalisés les difficultés rencontrées au cours de la mise en oeuvre du programme

Définitions… L’évaluation c’est l’application de stratégies de recherche (sociale, économique ou épidémiologique) pour examiner / juger la conception / planification, la mise en oeuvre, l’efficacité et l’utilité d’interventions et de programmes.

L’évaluation c'est, suivant la situation, répondre à des questions telles que: Quelle est la nature (quoi, où, qui cela affecte-t-il ?) et la taille d'un problème nécessitant une intervention préventive  ? Quelle intervention (faisable) est susceptible d'améliorer le problème de façon significative ? (comment et pourquoi ?) Qui sera la population-cible de l'intervention projetée ? Est-ce que l'intervention atteint réellement cette population ? Est-ce qu'elle se déroule de la manière prévue, quels sont les problèmes rencontrés ? Est-ce qu'elle est efficace ? Est-ce que les résultats observés sont dus à l’intervention? À quel coût ? Y a-t-il des effets non prévus / non recherchés? Besoins, pertinence Processus, Suivi Résultats Impact

Identification de probème Méthode de questionnement en Santé Publique pour le suivi et évaluation des programmes pour le SIDA Source: cours M/E CESAG / Measure evaluation Les efforts collectifs sont-ils réalisés à suffisamment grande échelle pour avoir un effet sur l’épidémie (couverture; impact)? Sondages et Surveillance Déterminer l’efficacité collective SUIVI DES RÉSULTATS ET IMPACT Données Programmes Nationaux de Suivi et Évaluation Les interventions fonctionnent-elles et opèrent-elles une différence? Etudes d’évaluation des résultats RÉSULTATS Données Sommes-nous en train d’appliquer le programme tel que prévu? Suivi du rendement RENDEMENT Que faisons-nous? Le faisons-nous bien? Suivi et évaluation du processus, Evaluations de la qualité ACTIVITÉS Quelles interventions et ressources sont-elles necessaires? Analyse des besoins, ressources, réponses et suivi des apports APPORTS Données Comprendre les réponses possibles Quelles interventions fonctionnent bien? Faisons nous ce qu’il faut faire? Études spéciales, recherches opératives et formatives, et synthèse de recherche Quels sont les facteurs déterminants? Recherche des déterminants Identification de probème Quel est le problème? Analysie et Surveillance continue de la situation

Le cycle de l’évaluation Contrôle bilan EVALUATION Opérationalisation Mise en oeuvre efficience besoins, pertinence Résultats, efficacité Processus, Source Office fédéral de la santé publique. Guide pour la planification de l’évaluation de projets ou programmes de santé. Berne: Office fédéral de la santé publique; 1997, p. 19.

Terminologie Intrants /ressources Un ensemble de ressources (ex: financement, personnel, équipement) qui sont utilisées pour le programme Processus Un ensemble d’activités qui utilisent les intrants à la poursuite des résultats souhaités dans le programme (formation du personnel, programme d’éducation sexuelle, distribution de condoms, etc.)

Terminologie Extrants, produits, production Les résultats obtenus au niveau du programme, suite aux activités, utilisant les ressources (ex: campagnes organisées, enfants vaccinés, condoms vendus, etc.) Effets Les résultats obtenus au niveau de la population dus aux activités et extrants du programme (ex: changement du comportement, morbidité, mortalité, etc. Impact Résultat final (ex. diminution de l’incidence du VIH) ou Effets non prévus / non désirés

Enjeux Les interventions en santé publique Mot-clef  complexité formes très diverses ne visent pas toujours un but précis mais une chaîne d'événements environnement changeant multiplicité d'acteurs coût Mot-clef  complexité

Conséquences pour l'évaluation Panoplie de méthodes et instruments Multidisciplinarité Simplification de la réalité Choix sur les aspects de l'intervention à évaluer Concertation, participation Mot-clef  pertinence

Quelques approches de l'évaluation positiviste constructiviste Source: Stecher. M et. Al. How to focus an evaluation

Définir une approche d'évaluation Responsabilité: évaluateurs et mandant(s) /parties prenantes Quelle est la situation du programme ? raison d'être, buts et objectifs cibles organisation fonctionnement il faut comprendre le cadre conceptuel du programme, sa « théorie d’action » Quelles sont les attentes vis-à-vis de l'évaluation ? Quelles sont les questions d'évaluation ?

Composantes du Cadre d’évaluation Relations entre les composantes du programme Intrants  Processus  Extrants  Résultats/Impact Au niveau du programme Au niveau de la population Inputs: the set of resources (personnel, facilities, space, equipment, supplies, etc.) Processes: set of activities in which program inputs are utilized in pursuit of results expected from the program. Outputs: results obtained at program level through the execution of activities. Functional: #of persons traned, etc. Service: access, quality, etc. Service utilization: CYP, #new acceptors Outcomes: set of results to occur at the population level due to program activities and the generation of program outputs.

Les trois composantes d’une théorie du programme Théorie des processus Plan organisationnel Comment assembler, configurer et déployer les ressources, et organiser le programme de façon à ce que le système de prestations de services prévu soit développé et maintenu Plan d’utilisation des services Comment la population-cible reçoit la quantité prévue des services prévus en interaction avec le système de prestations de services Théorie d’impact Comment l’intervention prévue pour la population cible spécifiée apporte les résultats /bénéfices désirés Source: Rossi PH et al. Evaluation: a systematic approach, 1999.

Théories du changement : théorie de mise en oeuvre et théorie d’action du programme (formation au travail des jeunes) Théorie mise en oeuvre (activités du programme) Théorie d’action (mécanismes du changement) Le programme annonce un projet de formation au travail Jeunes en entendent parler Sont intéressés et motivés à participer Recrutement de jeunes éligibles Jeunes s’engagent Formation au travail dans un lieu accessible Jeunes reçoivent défraiement pour y assister Jeunes viennent régulièrement (certains non) La formation est en phase avec les besoins du marché du travail formation de qualité Jeunes acquièrent compétences et développent aisance (pas tous) La formation enseigne les bonnes habitudes de travail Les formateurs offrent aide et support Jeunes acquièrent les valeurs nécessaires au travail Et des comportements adéquats Le programme développe des listes de jobs appropriés et ces jobs existent Le programme oriente les jeunes vers ces emplois Jeunes cherchent du travail Jeunes se comportent de manière adéquate lors de l’interview d’engagement Employeurs offrent le poste Jeune prend le poste Employeur assiste le jeune dans sa transition vers l’emploi L’équipe du programme suit les jeunes Les jeunes ont un travail Jeunes acceptent autorité au travail Jeunes travaillent bien Jeunes restent dans leur emploi Source: C.H. Weiss. Evaluation 1998

Modèle logique de mise en oeuvre d’un Programme de Conseil et Dépistage Volontaire Source: cours M/E CESAG / Measure evaluation INTRANTS ACTIVITES EXTRANTS EFFETS IMPACT Financement gvt et autres donateurs Formation personnel CDV et Gestionnaire de site # personnel certifié dans le VCT Qualité des services CDV accrue # clients recevant un counseling pré-test # clients dépistés # clients recevant le résultat du test et un counseling post-test taux de transmission du VIH réduit Accès au CDV accru Personnel de Conseil et Dépistage Fournir un conseil pré et post test ainsi qu’un dépistage à tous les clients testés Comportements à risque diminués Protocoles CDV, Directives, Matériel de formation l’incidence du VIH réduite Clients (VIH+ et -) développent et adhèrent à un plan individuel de réduction du risque et une stratégie de traitement Fournir aux femmes enceintes des services de PTME # de femmes ayant bénéficié de service PTME L’état de santé des VIH+ amélioré Kits de dépistage VIH Examiner les VIH+ (ou les orienter pour rechercher OI et TB # clients VIH+ référés ou examinés pour IO/TB Morbidité et Mortalité du VIH réduites SGI CDV Augmentation de l’offre de services de prévention, soin et traitement pour VIH+, VIH- et couples sérodiscordants Système de référence vers sce de prévention et PEC Orienter les VIH+ vers les services de TTT # clients VIH+ référés vers des centres de PEC (ARV, Soins et soutien)

Définir une approche d'évaluation Responsabilité: évaluateurs et mandant(s) /parties prenantes Quelle est la situation du programme ? raison d'être, buts et objectifs cibles organisation fonctionnement Quelles sont les attentes vis-à-vis de l'évaluation ? Quelles sont les questions d'évaluation ?

Parties prenantes : les personnes, groupes, institutions ayant des intérêts dans le programme et/ou l'évaluation Politiciens et décideurs Organismes internationaux Financeurs du programme ONGs Groupes ou personnes-cibles du programme Responsable(s) et équipe(s) qui travaillent dans le programme ……

Définir une approche d’évaluation… suite Responsabilité: évaluateurs Quelles sont les procédures / méthodes à disposition ? Quels sont les moyens à disposition, les contraintes ? budget temps compétences

Suivi ou évaluation? Evaluation externe ou interne ? Dépend du degré de nouveauté de l'envergure des enjeux pour l'avenir des problèmes / conflits