Indicateurs de Suivi et Evaluation

Introduction Pourquoi les indicateurs sont-ils importants ? Les indicateurs fournissent des informations de S&E vitales pour la prise de décisions à chaque niveau et à chaque étape de l’exécution du projet/programme.

Objectif général L’objectif général du module «  Généralités sur les indicateurs  » est de faire acquérir aux stagiaires les connaissances sur la construction des indicateurs.

Objectifs spécifiques A la fin de cette séance, les participants doivent être capables de: Définir un indicateur ; Décrire les caractéristiques d’un bon indicateur; Montrer le lien des indicateurs avec les cadres de suivi et évaluation ex: cadre logique). Choisir un indicateur et remplir une feuille de référence .

Méthodes pédagogiques Exposé introductif Discussions Travaux de groupes.

Plan du module Définition d’un indicateur Mesures courantes des indicateurs Types de mesure Caractéristiques d’un bon indicateur Critères de sélection des indicateurs Différents niveaux d’indicateurs Liens entre les indicateurs et les cadres de résultats Mode de calcul d’un indicateur Opérationnalisation des indicateurs Conclusion

Qu’est-ce qu’un indicateur (1/2)? une variable qui mesure un aspect du programme ou projet (en terme de changement). Il est utilisé pour montrer les changements sur les progrès qu’un programme achève dans la réalisation d’un résultat spécifique.

Qu’est-ce qu’un indicateur(2/2) C’est une information qui fournit une indication pour la pise de décision. Un ensemble approprié d'indicateurs inclut au moins un indicateur de chaque aspect significatif du programme ou du projet (c.-à-d. au moins un par case du cadre de S&E)

Indicateurs Quantitatif Qualitatif Impliquent la perception, peuvent être analysés quantitativement (Niveau de) Congruence avec … Satisfaction avec … Connaissance de … Capacité de … Adéquation de ... Importance de … Peuvent être directement comptés et exprimés par un nombre % de … # de… Fréquence de … Ratio de … Quantité de … Respect des délais de … Origine: Origine: UNIFEM RBM Curriculum: Module 5: Indicators

Mesures courantes des indicateurs(1/2) Décompte Nombre de prestataires formés Nombre de préservatifs distribués Calcul % d’établissements sanitaires ayant un prestataire formé Taux de mortalité maternelle Taux de fertilité.

Mesures courantes des indicateurs(2/2) Index composite: un « score », une combinaison de plusieurs indicateurs. Indice de développement humain(espérance de vie à la naissance, éducation, niveau de vie) Index d’effort des programmes VIH. Seuils: Présence, absence.

Types de mesures d’un indicateur(1/4) Un indicateur peut être : taux ratio proportion/pourcentage moyenne classement nombre index composite

Types de mesures des indicateurs(2/4) Taux : Nombre de sujets qui répondent aux critères de l’évènement étudié/Population cible, au cours d’une période de temps bien définie. Exemple : Taux de couverture vaccination = Nb. d’enfant vaccinés / Nb. d’enfants âgés de 12-60 mois pendant l’année Ratio : Le numérateur n’est pas inclus dans le dénominateur Exemple : Ratio mortalité maternelle = Nb. de femmes qui meurent pendant la grossesse ou à l’accouchement / Nb. de naissances vivantes On parle aussi d’indice de mortalité maternelle

Types de mesures des indicateurs(3/4) Moyenne : La somme des valeurs observées sur le nombre total d’observations Exemple : nombre moyen d’infirmier(e)s formés par an ou par région. Le classement ou le rang : Le niveau dans le groupe Exemple : le 1er, le 2ème , etc.

Types de mesures des indicateurs(4/4) Nombre Exemple : Nombre de préservatifs distribués par les agents de santé communautaire. Index composite : un ‘score’, une combinaison de plusieurs indicateurs Exemple 1 : L’index de l’effort des programmes de sida Exemple 2: Indicateur de prévention des IST, exprimes en % IS1/anciennement IP6: Histoire de la maladie, Examen physique, traitement IS2/anciennement IP7 intérêt du condom, notification aux partenaires et référence pour le CDV

Caractéristiques d’un bon indicateur SMART Spécifique Measurable Adaptable Realisable Temporel

Caractéristiques d’un bon indicateur(1/3) Spécifique : mesure claire et précise de ce qu’il est sensé mesurer : - % du personnel formé (non) - % du personnel qui a reçu une formation en management dans les six derniers mois(oui) Measurable : erreur de mesure minimale; - nombre de personnes utilisant un condom(non) - nombre de personnes qui savent comment utiliser un coorectement un condom(oui)

Caractéristiques d’un bon indicateur(2/3) Adaptable : valeurs existantes dans différents groupes de population et sous différentes approches du programme; - Montant du budget alloué au programme VIH/sida(non) - % du budget alloué au programme national VIH/sida(oui) Réalisable: disponibilité des valeurs de l’indicateur -Taux de mortalité(non) - % de naissances assistées par du personnel de santé(oui)

Caractéristiques d’un bon indicateur(3/3) Temporel : mesure à intervalles réguliers et appropriés en fonction des objectifs et des activités du programme. L’indicateur est obtenu à des intervalles réguliers

Critères de sélection d’un indicateur Disponibilité de données Logique et lien avec les cadres de suivi et évaluation Ressources/ coûts Besoins programmatiques, du gouvernement, des bailleurs Consensus entre les parties prenantes Exigences des bailleurs.

Différents niveaux d’indicateurs Cinq niveaux d’indicateurs : Intrants Processus Extrants Effets Impact

Indicateurs d’intrant Mesurent les ressources fournies pour exécuter les activités. Exemples : Le montant d’argent mobilisé Le nombre de personnes recrutées Les fournitures disponibles

Indicateurs de Processus mesurent les activités exécutées sont des données quantitatives Exemples : Le nombre de formations effectuées Le nombre de matériels d’IEC imprimés Le nombre de sites de Conseil dépistage volontaire (CDV) crées

Indicateurs d’extrant mesurent les produits ou les services offerts Exemples : Le nombre des CDV offrant des services aux jeunes; Le nombre de médecins formés en suivi évaluation

Indicateurs d’effet mesurent le changement dans le comportement des bénéficiaires mesurent l’atteinte des objectifs mettent l’accent sur les résultats immédiats, intermédiaires ou moyen terme du programme Exemples Pourcentage de jeunes de la population utilisant régulièrement les services CDV Pourcentage de jeunes de la population dont le niveau de connaissance en matière de prévention du VIH s’est accru.

Indicateurs d’impact mesurent le résultat à long terme Exemples : Taux de morbidité et de mortalité Taux de fécondité Taux d’incidence

Opérationnalisation d’un indicateur (1/2) Un fois un indicateur choisi de façon appropriée, il aura besoin d’ être mieux défini pour être opérationnel A ce stade, un indicateur précédemment sélectionné peut être rejeté simplement parce que non facilement opérationnel

Opérationnalisation d’un indicateur (2/2) Questions utiles pour l’opérationnalisation Sources des données (numérateur et dénominateur)? Fréquence de collecte des numérateurs et dénominateurs ? Fréquence de traitement et d’analyse de l’indicateur? Niveau d’agrégation dans le temps et l’espace Cible objective de l’indicateur qui a besoin d’ être atteinte? Seuil ( valeur minimale ou maximale) pour lequel il faut déclencher une action? Nature de la décision ou action quand le seuil est atteint?

Conclusion(1/2) Les indicateurs aident ā montrer les changements directs ou indirects opérer dans un programme/projet Le choix d’un indicateur requiert un haut degré de jugement faisant appel ā une approche participative : recherche de consensus La sélection des indicateurs doit tenir compte des caractéristiques de ces derniers et des éléments ā considérer pour juger de leurs opérationnalisation

Conclusion(2/2). L’importance de la décision ā prendre peut contrebalancer les problèmes de coût liés ā la collecte de l’indicateur et conduire ā le retenir. Parfois les coût élevés des indicateurs peut conduire ā l’abandon d’un indicateur même si la décision ā prendre semble d’une grande importance. Tuyau de sélection des indicateurs: Keep it straightforward and simple = Rendre la sélection des indicateurs direct et simple

Références Indicator Manuals/Guidelines: National AIDS Programmes: A Guide to Monitoring and Evaluating Antiretroviral Programmes, WHO(2005) http://www.who.int/hiv/pub/me/naparv/en/ Guide to Monitoring and Evaluation of the national response for Children Orphaned and Made Vulnerable by HIV/AIDS, UNICEF(2005) Directive pour l’elaboration d’indicateurs de base,ONUSIDA/Suvi de la Declaration d’engagement sur le VIH/sida, Rapport 2008 Programme sida Nationaux; Guide de S/E, ONUSIDA, septembre 2000. . Design and Implementation of Health Information Systems