lndicateurs de Suivi et Evaluation

Introduction Pourquoi les indicateurs sont-ils importants ? Les indicateurs fournissent des informations de S&E vitales pour la prise de décisions à chaque niveau et à chaque étape de l’exécution du programme.

Objectif général L’objectif général du module «  Généralités sur les indicateurs  » est de faire acquérir aux stagiaires les connaissances sur la construction d’indicateurs.

Objectifs spécifiques A la fin de ce cours, les stagiaires doivent être capables de: Définir un indicateur ; Critiquer un indicateur; Décrire les caractéristiques d’un bon indicateur; Montrer le lien des indicateurs avec les cadres de suivi et évaluation précédemment présentés Choisir un indicateur et remplir une feuille de référence de calcul d’indicateur.

Méthodes pédagogiques Exposé introductif Discussions Travaux de groupes.

Plan du module Définition d’un indicateur Types de mesures Méthodes de mesure Caractéristiques d’un bon indicateur Critères de sélection des indicateurs Différents niveaux d’indicateurs Liens entre les indicateurs et les cadres de résultats Mode de calcul d’un indicateur Opérationnalisation des indicateurs Conclusion

Qu’est-ce qu’un indicateur ? une variable qui mesure un aspect du programme ou projet (en terme de changement) Un ensemble approprié d'indicateurs inclut au moins un indicateur de chaque aspect significatif du programme ou du projet (c.-à-d. au moins un par case du cadre de S&E)

Types de mesures d’un indicateur Un indicateur peut être : taux ratio pourcentage moyenne classement nombre index composite

Méthodes de mesure d’un indicateur Décompte Nombre de prestataires formés Nombre de préservatifs distribués Calcul % d’établissements sanitaires ayant un prestataire formé Taux de mortalité maternelle Taux de fertilité Index de qualité comportant la somme des points au dessus de six résultats de qualité.

Types d’indicateurs(1/3) Taux : Nombre de sujets qui répondent aux critères de l’évènement étudié/Population cible, au cours d’une période de temps bien définie. Exemple : Taux de vaccination = Nb. d’enfant vaccinés / Nb. d’enfants âgés de 12-60 mois pendant l’année Ratio : Le numérateur n’est pas inclus dans le dénominateur Exemple : Ratio mortalité maternelle = Nb. de femmes qui meurent pendant la grossesse ou à l’accouchement / Nb. de naissances vivantes

Types d’indicateurs(2/3) Moyenne : La somme des valeurs observées sur le nombre total d’observations Exemple : Moyenne des infirmier(e)s formés par an ou par région. Le classement ou le rang : Le niveau dans le groupe Exemple : le 1er, le 2ème , etc.

Types d’indicateurs(3/3) Nombre Exemple : Nombre de préservatifs distribués par les agents de santé communautaire. Index composite : un ‘score’, une combinaison de plusieurs indicateurs Exemple : L’index de l’effort des programmes de sida

Caractéristiques d’un bon indicateur SMART Specific Measurable Attaignable (réaliste) Relevant (pertinent) Trackable (Que l’on peut suivre )

Caractéristiques d’un bon indicateur : l’approche SMART. « SMART » récapitule les critères principaux, demandant « est-ce que l'indicateur est Spécifique, Mesurable, Possible/Réaliste, Approprié et Trackable ? » Spécifique: Mesure-t-il exactement ce qui est supposé mesurer ? Le niveau approprié de la désagrégation a-t-il été indiqué ? L'indicateur capture-t-il l'essence du résultat désiré ?

Caractéristiques d’un bon indicateur : l’approche SMART. Capture-t-il des différences à travers des secteurs et catégories de personnes ? L'indicateur est-il assez spécifique pour mesurer le progrès vers le résultat ? Par exemple, en utilisant l'indicateur « augmentez de 20 pour cent en nombre de plaintes criminelles classées » peut refléter un système plus efficace de justice OU une augmentation de crime.

Caractéristiques d’un bon indicateur : l’approche SMART. Mesurable: Les changements sont-ils objectivement vérifiables L'indicateur montre-t-il le changement souhaité ? Est-ce une mesure fiable et claire du résultat ? Est-il sensible aux changements des politiques et des programmes ? Les parties prenantes se sont-elles mises d’accord sur ce que l’indicateur doit exactement mesurer ?

Caractéristiques d’un bon indicateur : l’approche SMART. Attainable (réaliste) : Quels sont les changements prévus comme résultat de l’assistance technique ? Les résultats (s) sont-ils réalistes ? Pour cela, un lien crédible entre les produits et les contributions du partenariat et les résultats sont indispensables. . Relevant (pertinent): Est-ce que l’indicateur capture l’essentiel des résultats désirés? Est-il pertinent pour les produits et les résultats ? Pour juger de la pertinence de l’indicateur, on peut identifier les groupes cibles, leurs besoins, espérances et critères. Est-ce que l’indicateur est associé avec la partie de l’activité ?

Caractéristiques d’un bon indicateur : l’approche SMART. Trackable (que l’on peut suivre): Les données sont-elles réellement disponibles à un coût et effort raisonnables ? Est-ce que les sources de données sont connues ? On devrait établir des principes réalistes, les mécanismes et responsabilités pour la collecte des données. Est-ce qu’il existe un plan de suivi de l’indicateur?

Critères de sélection d’un indicateur Disponibilité de données Logique et lien avec les cadres de suivi et évaluation Ressources/ couts Besoins programmatiques, du gouvernement, des bailleurs Consensus entre les parties prenantes Exigences des bailleurs.

Différents niveaux d’indicateurs Cinq niveaux d’indicateurs : Intrants Processus Extrants Effets Impact

Indicateurs d’intrant Mesurent les ressources fournies pour exécuter les activités. Exemples : Le montant d’argent mobilisé Le nombre de personnes recrutées Les fournitures disponibles

Indicateurs de Processus mesurent les activités exécutées sont des données quantitatives Exemples : Le nombre de formations effectuées Le nombre de matériels d’IEC imprimés Le nombre de sites Conseil dépistage volontaire (CDV) crées

Indicateurs d’extrant mesurent les produits ou les services offerts Exemples : Le nombre des CDV offrant des services aux jeunes; Le nombre de médecins formés en suivi évaluation

Indicateurs d’effet mesurent le changement dans le comportement des bénéficiaires mesurent l’atteinte des objectifs mettent l’accent sur les résultats immédiats, intermédiaires ou moyen terme du programme Exemples Pourcentage des jeunes de la population utilisant régulièrement les services CDV des jeunes de la population dont le niveau de connaissance en matière de prévention du VIH s’est accru.

Indicateurs d’impact mesurent le résultat à long terme Exemples : Taux de morbidité et de mortalité Taux de fécondité Taux l’incidence

Cadre type de résultats

Cadre type ( Partiel ) avec activités

Cadre type (partiel) avec indicateurs

Mode de calcul des indicateurs (1/2)

Mode de calcul des indicateurs (2/2)

Opérationnalisation d’un indicateur (1/2) Un fois un indicateur choisi de façon appropriée, il aura besoin d’ être mieux défini pour être opérationnel A ce stade, un indicateur précédemment sélectionné peut être rejeté simplement parce que non facilement opérationnel

Opérationnalisation d’un indicateur (2/2) Questions utiles pour l’opérationnalisation Sources des données (numérateur et dénominateur)? Fréquence de collecte des numérateurs et dénominateurs ? Fréquence de traitement et d’analyse de l’indicateur? Niveau d’agrégation dans le temps et l’espace Cible objective de l’indicateur qui a besoin d’ être atteinte? Seuil ( valeur minimale ou maximale) pour lequel il faut déclencher une action? Nature de la décision ou action quand le seuil est atteint?

Conclusion(1/2) Les indicateurs aident ā montrer les changements directs ou indirects opérer dans un programme/projet Le choix d’un indicateur requiert un haut degré de jugement faisant appel ā une approche participative : recherche de consensus La sélection des indicateurs doit tenir compte des caractéristiques de ces derniers et des éléments ā considérer pour juger de leurs opérationnalisation

Conclusion(2/2). L’importance de la décision ā prendre peut contrebalancer les problèmes de coût liés ā la collecte de l’indicateur et conduire ā le retenir. Parfois les coût élevés des indicateurs peut conduire ā l’abandon d’un indicateur même si la décision ā prendre semble d’une grande importance. Tuyau de sélection des indicateurs: Keep it straightforward and simple = Rendre la sélection des indicateurs direct et simple

Références Indicator Manuals/Guidelines: National AIDS Programmes: A Guide to Monitoring and Evaluating Antiretroviral Programmes, WHO(2005) http://www.who.int/hiv/pub/me/naparv/en/ Guide to Monitoring and Evaluation of the national response for Children Orphaned and Made Vulnerable by HIV/AIDS, UNICEF(2005) Directive pour l’elaboration d’indicateurs de base,ONUSIDA/Suvi de la Declaration d’engagement sur le VIH/sida, Rapport 2008 Programme sida Nationaux; Guide de S/E, ONUSIDA, septembre 2000. . Design and Implementation of Health Information Systems