Généralités sur les indicateurs S/E Module suivi/évaluation, cours international sur infection VIH et IST dans les pays à ressources limitées Paris, IMEA, 25 novembre au 27 novembre 2009 Jean-Pierre Gervasoni, Unité d’évaluation de programmes de prévention, Institut universitaire de médecine sociale et préventive, Lausanne

A la fin de ce cours les participants seront capables de : Objectifs A la fin de ce cours les participants seront capables de : Décrire les caractéristiques d’un indicateur de qualité Décrire les critères de sélection d’un indicateur Comprendre les niveaux et l’utilisation des indicateurs Cette partie théorique sera suivie d’un exercise pratique sur les indicateurs

Qu’est-ce qu’un indicateur? une variable qui mesure un aspect du programme ou du projet Comme le nom le montre, il s’agit d’une indication

Indicateur peut être: Taux Ratio Pourcentage Moyenne Classement Nombre Index composite L’indicateur est toujours quantitatif

Types d’indicateurs I Taux: le numérateur est inclus dans le dénominateur Exemple: Taux de vaccination = nombre d’enfants vaccinés/ nombre d’enfants âgés de 12 à 60 mois Ratio: le numérateur n’est pas inclus dans le dénominateur Exemple: Ratio mortalité maternelle = nombre de femmes qui meurent pendant la grossesse ou à l’accouchement / nombre de naissances vivantes

Types d’indicateurs II Moyenne: la somme des valeurs observées sur le nombre total d’observations Exemple: Age moyen au premier rapport sexuel Le nombre: Exemple: Nombre de préservatifs distribués par un projet Index composite: un « score », une combinaison de plusieurs indicateurs Exemple: Index de connaissances sur le VIH

Les caractéristiques d’un bon indicateur I Un bon indicateur doit être SMART S: spécifique M: mesurable A: adaptable R: Réalisable T: Temporel

Les caractéristiques d’un bon indicateur II Spécifique: mesure claire et précise de qu’il est censé mesuré Mesurable: erreur de mesure minime Adaptable: valeurs existantes dans différents groupes de population et sous différentes approches du programme Réalisable: disponibilité des valeurs de l’indicateur Temporel: mesure à intervalles réguliers et appropriés en fonction des objectifs et des activités du programme

Les caractéristiques d’un bon indicateur III Spécifique % du personnel formé (non) % du personnel qui a reçu une formation en management dans les six derniers mois (OUI) Mesurable Nombre de personnes utilisant un condom (non) Nombre de personnes qui savent comment utiliser correctement un condom (OUI)

Les caractéristiques d’un bon indicateur IV Adaptable Montant du budget alloué au programme VIH/sida (non) % du budget alloué au programme national VIH/sida (OUI) Réalisable Taux de mortalité (non) % de naissances assistées par du personnel de santé (OUI) Temporel L’indicateur est obtenu à des intervalles réguliers

Les caractéristiques d’un bon indicateur IV Adaptable Montant du budget alloué au programme VIH/sida (non) % du budget alloué au programme national VIH/sida (OUI) Réalisable Taux de mortalité (non) % de naissances assistées par du personnel de santé (OUI) Temporel L’indicateur est obtenu à des intervalles réguliers

Critères de sélection des indicateurs Disponibilité des données Ressources Besoins programmés Exigences des bailleurs 5 types d’indicateurs Inputs/ressources/intrants Processus/activités Outputs/produits/extrants Outcomes/résultats/effets Impacts/résultats finaux

Indicateurs d’inputs/ressources/intrants Mesurent les ressources fournies pour executer les activités Exemples: Le montant d’argent dépensé Les fournitures disponibles Le nombre de personnes recrutées Etc.

Indicateurs de processus/activités Mesurent les activités executées Exemples: Le nombre de formation effectuées Le nombre de matériel d’IEC imprimé Le nombre de sites de CTV ouverts Etc.

Indicateurs d’outputs/produits/extrants Mesurent les produits ou les services offerts Exemples: Le nombre de CTV offrant des services aux jeunes Le nombre de médecins formés en suivi/évaluation Etc.

Indicateurs d’outcomes/résultats/effets Mesurent les changements dans le comportement des bénéficaires Exemples: Le % des jeunes utilisant régulièrement un condom Le % de femmes enceintes faisant un test VIH Etc.

Indicateurs d’impacts/résultats finaux Mesurent les résultats à long terme Exemples: Réduction de la prévalence du VIH Réduction de la morbidité, de la mortalité Réduction de l’incidence du VIH Etc.

Indicateurs de résultats Connaissances et croyances sur le sida Conaissance des voies de transmission du sida Connaissance des moyens de protection Croyances en de fausses voies de transmission Attitudes face au sida et à sa prévention Peur du sida Solidarité, discrimination Comportements d’exposition à un risque potentiel de contamination Nombre total de partenaires en tout ou dans un laps de temps donné Existence de relations sexuelles avec des partenaires occasionnels Changement de partenaire stable ou nouveau partenaire stable Injection de drogue Partage de matériel d’injection Comportements de protection Usage de préservatifs avec le partenaire occasionnel Usage de préservatifs avec le nouveau partenaire stable Usage de préservatifs au dernier rapport Chiffres de ventes des préservatifs Effets indirects éventuels (non intentionnels) de la prévention Précocité sexuelle (% de jeunes sexuellement actifs avant 17 ans) Grossesses non désirées

Surveillance de deuxième génération Module suivi/évaluation, cours international sur infection VIH et IST dans les pays à ressources limitées. Paris, IMEA, 27 novembre au 29 novembre 2008 Jean-Pierre Gervasoni, Unité d’évaluation de programmes de prévention, Institut universitaire de médecine sociale et préventive, Lausanne

Surveillance…de première génération Surveillance épidémiologique = Système de récolte organisée et centralisée de données sur l’occurrence de maladies, de symptômes, d’examens de diagnostic de façon à pouvoir surveiller l’apparition ou suivre l’évolution d’épidémies Dans le cas du VIH signifie un système de recueil de données biologiques du VIH (résultat de test VIH+) dans la population, en général sur la base d’un système centralisé à déclaration obligatoire

Atouts et faiblesses Atouts aide à susciter une riposte publique au VIH aide à cibler la prévention et a planifier la riposte permet de suivre les résultats au niveau national Faiblesses pas de suivi des comportements a risque qui sont des signes d’alerte pour la propagation du VIH ressources souvent ciblées sur la population générale ou l’infection est peu répandue, alors que les sous-populations à risque sont négligées difficultés a expliquer les modifications des taux d’infection par le VIH dans les épidémies parvenues a leur phase d’état ou dans les pays où il existe un traitement cher 

Systèmes de surveillance de deuxième génération Buts Mieux comprendre les tendances de l’épidémie Mieux comprendre les comportements qui sous-tendent l’épidémie dans un pays Axer davantage la surveillance sur les sous-populations à risque maximal d’infection (p.ex.TS, HSH, consommateurs de drogue i/v) Etablir une surveillance souple qui s’adapte aux besoins et au niveau épidémique Mieux utiliser les données de la surveillance pour améliorer la connaissance de l’épidémie et planifier la prévention et les soins

Surveillance de 2è génération Les systèmes de surveillance de deuxième génération ne proposent pas de méthodes radicalement nouvelles pour la collecte des données Au contraire, ils focalisent les méthodes existantes sur des populations et sous-populations appropriées et les combinent de façon à leur donner leur meilleur pouvoir explicatif

Combinaison de diverses sources d’information Surveillance biologique Surveillance comportementale Autres sources de données Registres de décès Surveillance des IST, surveillance de la tuberculose

Système différent selon le type d’épidémie Epidémie généralisée (prévalence du VIH supérieure à 1 % de la population totale) Accent sur le suivi de l’infection à VIH et des comportements à haut risque au sein de l’ensemble de la population; les groupes tels que les professionnel(le)s du sexe devraient également être pris en compte Epidémie concentrée avec taux d’infection à VIH supérieur à 5 % dans un groupe de population particulièrement exposé à un risque d’infection (consommateurs de drogues injectables, professionnel(le)s du sexe et hommes ayant des rapports sexuels avec des hommes) Suivi de l’évolution de l’infection et observer le comportement de ces groupes, en attachant une attention particulière aux liens comportementaux existant entre les membres de ces groupes et la population générale. Les personnes établissant des liens entre les groupes exposés à un risque élevé d’infection et la population générale forment ce que l’on appelle des « populations relais » OMS/Onusida, 2002, Mise en place de systèmes de surveillance de deuxième génération du VIH: Directives pratiques

Surveillance biologique Sérosurveillance sentinelle dans des sous-populations definies (p.ex chez les femmes enceintes des consultations prénatales) en général dans un certain nombre de sites Dépistage régulier du VIH dans les dons de sang Dépistage du VIH dans des échantillons prélevés lors d’enquêtes sur la population générale ou des populations particulières

Source de données : prévalence chez les femmes enceintes dans les consultation prénatale : une petite partie de la population… Centre for population studies, LSHTM, 2002

….mais utilisable pour suivre les tendances Centre for population studies, LSHTM, 2002

Problèmes? Hommes non couverts par cette surveillance sentinelle Moins de 15 ans non couverts Toutes les femmes enceintes ne viennent pas à la consultation prénatale, biais de sélection probable Le bassin de recrutement des cliniques prénatales et les caractéristiques de la population de ce bassin sont inconnus

Surveillance des comportements: les alternatives Enquêtes transversales répétées dans la population générale: Enquêtes démographie et santé (DHS), parfois avec marqueurs biologiques (DHS+) Enquêtes spécifiques sur la sexualité Dans les pays qui n’en disposent pas: enquêtes dans la population adulte jeune dans les régions couvertes par la consultation prénatale (bassin de recrutement) Enquêtes transversales répétées dans des populations particulières (exposées à des hauts risques): jeunes, HSH, TS, conducteurs de camion, consommateurs de drogues i/v, etc.)

Problèmes des enquêtes dans les populations particulières Les populations les plus exposées sont souvent des populations marginalisées, difficiles d’accès Problèmes méthodologiques: échantillonner ces populations, obtenir leur coopération, répéter les enquêtes Problèmes de suivi des enquêtes: s’assurer que les résultats sont rendus à ces populations et sont utiles pour la prévention

Combinaison des informations : Comportement à risque et nouveaux cas de VIH chez les homosexuels, Suisse, 1992-2000

Dernière étape : utilisation de l’information Pour informer les populations concernées Pour informer les autorités concernées Pour le plaidoyer Pour la planification et l’amélioration de la prévention et des soins