Suivi et évaluation des processus Module suivi/évaluation, cours international sur infection VIH et IST dans les pays à ressources limitées. Paris, IMEA, 25 au 27 novembre 2009 Jean-Pierre Gervasoni, Françoise Dubois-Arber Unité d’évaluation de programmes de prévention, Institut universitaire de médecine sociale et préventive, Lausanne

Évaluation des processus Examine la mise en oeuvre et le déroulement d'un programme deux domaines de questionnement, dans un contexte particulier  couverture système de prestation de services

Types de questions posées dans une évaluation de processus Est-ce que le programme atteint la population cible ? De façon équitable? Est-ce que l'intervention se déroule conformément à ce qui était prévu ? Quels sont les problèmes rencontrés ? Est-ce que le programme est conduit de manière efficace et efficiente ? L'essentiel de l'activité évaluative est descriptive (qualité et quantité)

Le cycle de l’évaluation Contrôle bilan EVALUATION Opérationalisation Mise en oeuvre efficience Besoins, pertinence efficacité processus Office fédéral de la santé publique. Guide pour la planification de l’évaluation de projets ou programmes de santé. Berne: Office fédéral de la santé publique; 1997, p. 19.

1. Couverture Cible atteinte (qui et combien ?) Accès au service (qui et combien ?) Problèmes ? Ces questions ont un rapport avec l'efficacité et l'équité du processus

Couverture : éléments à examiner Atteinte/attraction de la population-cible Biais de couverture (attraction différentielle, "écrémage", sur-couverture, etc.) La valeur varie entre +100 (toutes les personnes en besoin sont servies et il n'y a pas cible non éligible servie) et -100 (toutes les personnes servies sont non éligibles).

Couverture vaccinale nécessaire pour garantir l’immunité de groupe Couverture nécessaire Diphtérie et poliomyélite 80-85% Rubéole 85-87% Oreillons 90-92% Coqueluche et rougeole 92-95% Suisse bas âge (24-35 m) Di 95.4 (3 doses), Pol 95.3 (3 doses) 80.8 (1 dose) 81.1 (1 dose) 92.9 (3 doses), 82.3 (1 dose)

Non-participation à un programme de dépistage de cancer du sein par mammographie

Proportion (%) de personnes testées pour le VIH Proportion (%) de personnes testées pour le VIH* dans divers groupes d'exposition au risque   1992 1994 1997 n moyen Ensemble de la population 48 57 59 2823 Aucun de ces risques hommes femmes 51 33 60 44 46 912 984 Multi-partenaires** 62 55 69 65 70 73 392 393 Toxicomane i/v 79 98 24 Contacts avec prostituées (vie) 66 77 240 Contacts homosexuels (vie) 64 75 50 * inclut test lors de don du sang ** quartile supérieur pour leur catégorie d'âge et de sexe

Sur-couverture exemple de cours de rattrapage pour ceux qui ont des difficultés en mathématiques On découvre que des bons élèves viennent aussi aux classes de rattrapage en plus de ceux qui ont des difficultés Conséquence 1  effectifs trop grands, l'enseignant n'a pas assez de temps à consacrer à chacun, davantage d'enseignement en commun Conséquence 2  les meilleurs imposent leur rythme Conséquence 3  les meilleurs font un meilleur usage des classes de rattrapage Conséquence 4  l'écart entre meilleurs et moins bons risque de s'agrandir, même si les moins bons ont progressé

Couverture La mesure / l’analyse de la couverture peut se faire à l’aide de : données provenant de statistiques de population (dénominateur) enquêtes de population enquête auprès de participants / non participants à un programme études de dossiers

2. Système de prestation de services Le suivi et l’évaluation de ce système a pour but de : décrire le fonctionnement réel repérer les forces et faiblesses tenter de comprendre et d’expliquer

Système de prestation de services du programme Trois sources principales de déficiences du système : service (programme) incomplet ou pas de service fourni pas le service prévu fourni service non standardisé ou non contrôlé (variation dans le temps et dans l'espace) Beaucoup d’interrogations possibles dans la logique du système

Exemple de questionnement de processus dans un programme – pilote de prévention par les pairs c/o prostituées Recrutement Comment se fait-il ? Qui recrute et avec quels critères ? Quel cahier des charges? Formation et suivi Contenu et modalités de la formation Suivi des médiatrices, durée d’activité, critères d’efficacité Répercussions sur la vie des médiatrices Activité sur le terrain Comment développent-elles leurs action Groupes-cibles faciles/difficiles à atteindre? Suivi des contacts? Réception par le groupe-cible Visibilité et légitimité des médiateurs? Importance du problème pour le groupe-cible? Utilisation des médiatrices, besoins nouveaux ? Réplicabilité du programme Critères déterminants pour la réussite?

Les données pour l'évaluation du système de prestation de services peuvent être récoltées par  Observation directe (ouverte ou avec une grille) Étude de dossiers ou de systèmes de gestion de l'information Étude des équipes engagées dans le programme Étude des participants au programme (clients, usagers) Étude de l'environnement du programme

Liste de tâches pour l’observation de l’accessibilité des préservatifs « sur le terrain » Indiquer la date, le lieu (marché, dispensaire, pharmacie, etc.) Présence d’incitatifs (affiches, matériel éducatif, etc) concernant les préservatifs ou leur utilisation? Si oui où, visible facilement? Visibilité et accessibilité des préservatifs eux-mêmes (étalage? Comptoir, près du comptoir? Vitrine? Si libre service, facilement accessibles, etc..) Si marché, rue, dispensaire, appréciation de l’intensité de l’incitation et de l’accessibilité (échelle de 1 à 6) Exemples de bonnes pratiques

Les données pour l'évaluation du système de prestation de services peuvent être récoltées par  Observation directe (ouverte ou avec une grille) Étude de dossiers ou de systèmes de gestion de l'information Étude des équipes engagées dans le programme Étude des participants au programme (clients, usagers) Étude de l'environnement du programme

Etude de dossiers: Évolution de la prise en charge à 6 mois et une année, centre de référence pour toxicomanes, 1996-1997 Centre SM T0 6 mois Centre SM Drop - out Réseau ext. 15 20 100 65 Réseau Ext. 1 an 24 51 25 2 4 9 16 45 13 11

Système de gestion : marché des préservatifs (estimation> 80% du marché Suisse 1986-2006 )

Les données pour l'évaluation du système de prestation de services peuvent être récoltées par  Observation directe (ouverte ou avec une grille) Étude de dossiers ou de systèmes de gestion de l'information Étude des équipes engagées dans le programme Étude des participants au programme (clients, usagers) Étude de l'environnement du programme

Suivi des participants à un programme: Proportion de médecins recherchant de routine une exposition au risque de VIH chez différents types de patients / situations, 1990-2002

Les données pour l'évaluation du système de prestation de services peuvent être récoltées par  Observation directe (ouverte ou avec une grille) Étude de dossiers ou de systèmes de gestion de l'information Étude des équipes engagées dans le programme Étude des participants au programme (clients, usagers) Étude de l'environnement du programme

Etude des participants: déclaration des accidents par piqûre / blessure : personnel soignant et de maison Infirmier s(ères) (N=78) Incidence des accidents, taux annuel/ personne Déclaration n % · oui 31 39.7 · non 45 57.7 · ne sait pas 0.0 0.49 · pas de réponse 2 2.6 TOTAL 78 100.0% Médecins (N=88) Déclaration n % · oui 3 3.4 · non 77 87.5 4.28 · ne sait pas 0.0 · pas de réponse 8 9.1 TOTAL 88 100.0% Personnel de maison (N=33) Déclaration n % 0.17 · oui 29 87.9 · non 4 12.1 TOTAL 33 100.0%

Suivi minimum de base d'un projet Description et documentation en continu ou à intervalles réguliers structures services / produits profil des clients / usagers problèmes rencontrés événements marquants avec influence sur le projet changements opérés et raisons