Suivi et évaluation des processus

Présentation au sujet: "Suivi et évaluation des processus"— Transcription de la présentation:

1 Suivi et évaluation des processus
Module suivi/évaluation, cours international sur infection VIH et IST dans les pays à ressources limitées. Paris, IMEA, 25 au 27 novembre 2009 Jean-Pierre Gervasoni, Françoise Dubois-Arber Unité d’évaluation de programmes de prévention, Institut universitaire de médecine sociale et préventive, Lausanne

2 Évaluation des processus
Examine la mise en oeuvre et le déroulement d'un programme deux domaines de questionnement, dans un contexte particulier  couverture système de prestation de services

3 Types de questions posées dans une évaluation de processus
Est-ce que le programme atteint la population cible ? De façon équitable? Est-ce que l'intervention se déroule conformément à ce qui était prévu ? Quels sont les problèmes rencontrés ? Est-ce que le programme est conduit de manière efficace et efficiente ? L'essentiel de l'activité évaluative est descriptive (qualité et quantité)

4 Le cycle de l’évaluation
Contrôle bilan EVALUATION Opérationalisation Mise en oeuvre efficience Besoins, pertinence efficacité processus Office fédéral de la santé publique. Guide pour la planification de l’évaluation de projets ou programmes de santé. Berne: Office fédéral de la santé publique; 1997, p. 19.

5 1. Couverture Cible atteinte (qui et combien ?)
Accès au service (qui et combien ?) Problèmes ? Ces questions ont un rapport avec l'efficacité et l'équité du processus

6 Couverture : éléments à examiner
Atteinte/attraction de la population-cible Biais de couverture (attraction différentielle, "écrémage", sur-couverture, etc.) La valeur varie entre +100 (toutes les personnes en besoin sont servies et il n'y a pas cible non éligible servie) et -100 (toutes les personnes servies sont non éligibles).

7 Couverture vaccinale nécessaire pour garantir l’immunité de groupe
Couverture nécessaire Diphtérie et poliomyélite 80-85% Rubéole 85-87% Oreillons 90-92% Coqueluche et rougeole 92-95% Suisse bas âge (24-35 m) Di 95.4 (3 doses), Pol 95.3 (3 doses) 80.8 (1 dose) 81.1 (1 dose) 92.9 (3 doses), 82.3 (1 dose)

8 Non-participation à un programme de dépistage de cancer du sein par mammographie

9 Proportion (%) de personnes testées pour le VIH
Proportion (%) de personnes testées pour le VIH* dans divers groupes d'exposition au risque 1992 1994 1997 n moyen Ensemble de la population 48 57 59 2823 Aucun de ces risques hommes femmes 51 33 60 44 46 912 984 Multi-partenaires** 62 55 69 65 70 73 392 393 Toxicomane i/v 79 98 24 Contacts avec prostituées (vie) 66 77 240 Contacts homosexuels (vie) 64 75 50 * inclut test lors de don du sang ** quartile supérieur pour leur catégorie d'âge et de sexe

10 Sur-couverture exemple de cours de rattrapage pour ceux qui ont des difficultés en mathématiques
On découvre que des bons élèves viennent aussi aux classes de rattrapage en plus de ceux qui ont des difficultés Conséquence 1  effectifs trop grands, l'enseignant n'a pas assez de temps à consacrer à chacun, davantage d'enseignement en commun Conséquence 2  les meilleurs imposent leur rythme Conséquence 3  les meilleurs font un meilleur usage des classes de rattrapage Conséquence 4  l'écart entre meilleurs et moins bons risque de s'agrandir, même si les moins bons ont progressé

11 Couverture La mesure / l’analyse de la couverture peut se faire à l’aide de : données provenant de statistiques de population (dénominateur) enquêtes de population enquête auprès de participants / non participants à un programme études de dossiers

12 2. Système de prestation de services
Le suivi et l’évaluation de ce système a pour but de : décrire le fonctionnement réel repérer les forces et faiblesses tenter de comprendre et d’expliquer

13 Système de prestation de services du programme
Trois sources principales de déficiences du système : service (programme) incomplet ou pas de service fourni pas le service prévu fourni service non standardisé ou non contrôlé (variation dans le temps et dans l'espace) Beaucoup d’interrogations possibles dans la logique du système

14 Exemple de questionnement de processus dans un programme – pilote de prévention par les pairs c/o prostituées Recrutement Comment se fait-il ? Qui recrute et avec quels critères ? Quel cahier des charges? Formation et suivi Contenu et modalités de la formation Suivi des médiatrices, durée d’activité, critères d’efficacité Répercussions sur la vie des médiatrices Activité sur le terrain Comment développent-elles leurs action Groupes-cibles faciles/difficiles à atteindre? Suivi des contacts? Réception par le groupe-cible Visibilité et légitimité des médiateurs? Importance du problème pour le groupe-cible? Utilisation des médiatrices, besoins nouveaux ? Réplicabilité du programme Critères déterminants pour la réussite?

15 Les données pour l'évaluation du système de prestation de services peuvent être récoltées par 
Observation directe (ouverte ou avec une grille) Étude de dossiers ou de systèmes de gestion de l'information Étude des équipes engagées dans le programme Étude des participants au programme (clients, usagers) Étude de l'environnement du programme

16 Liste de tâches pour l’observation de l’accessibilité des préservatifs « sur le terrain »
Indiquer la date, le lieu (marché, dispensaire, pharmacie, etc.) Présence d’incitatifs (affiches, matériel éducatif, etc) concernant les préservatifs ou leur utilisation? Si oui où, visible facilement? Visibilité et accessibilité des préservatifs eux-mêmes (étalage? Comptoir, près du comptoir? Vitrine? Si libre service, facilement accessibles, etc..) Si marché, rue, dispensaire, appréciation de l’intensité de l’incitation et de l’accessibilité (échelle de 1 à 6) Exemples de bonnes pratiques

17 Les données pour l'évaluation du système de prestation de services peuvent être récoltées par 
Observation directe (ouverte ou avec une grille) Étude de dossiers ou de systèmes de gestion de l'information Étude des équipes engagées dans le programme Étude des participants au programme (clients, usagers) Étude de l'environnement du programme

18 Etude de dossiers: Évolution de la prise en charge à 6 mois et une année, centre de référence pour toxicomanes, Centre SM T0 6 mois Centre SM Drop - out Réseau ext. 15 20 100 65 Réseau Ext. 1 an 24 51 25 2 4 9 16 45 13 11

19 Système de gestion : marché des préservatifs (estimation> 80% du marché Suisse 1986-2006 )

20 Les données pour l'évaluation du système de prestation de services peuvent être récoltées par 
Observation directe (ouverte ou avec une grille) Étude de dossiers ou de systèmes de gestion de l'information Étude des équipes engagées dans le programme Étude des participants au programme (clients, usagers) Étude de l'environnement du programme

21 Suivi des participants à un programme: Proportion de médecins recherchant de routine une exposition au risque de VIH chez différents types de patients / situations,

22 Les données pour l'évaluation du système de prestation de services peuvent être récoltées par 
Observation directe (ouverte ou avec une grille) Étude de dossiers ou de systèmes de gestion de l'information Étude des équipes engagées dans le programme Étude des participants au programme (clients, usagers) Étude de l'environnement du programme

23 Etude des participants: déclaration des accidents par piqûre / blessure : personnel soignant et de maison Infirmier s(ères) (N=78) Incidence des accidents, taux annuel/ personne Déclaration n % oui 31 39.7 non 45 57.7 ne sait pas 0.0 0.49 pas de réponse 2 2.6 TOTAL 78 100.0% Médecins (N=88) Déclaration n % oui 3 3.4 non 77 87.5 4.28 ne sait pas 0.0 pas de réponse 8 9.1 TOTAL 88 100.0% Personnel de maison (N=33) Déclaration n % 0.17 oui 29 87.9 non 4 12.1 TOTAL 33 100.0%

24 Suivi minimum de base d'un projet
Description et documentation en continu ou à intervalles réguliers structures services / produits profil des clients / usagers problèmes rencontrés événements marquants avec influence sur le projet changements opérés et raisons

25

26