Plan de suivi/évaluation Module suivi/évaluation, cours international sur infection VIH et IST dans les pays à ressources limitées Paris, IMEA, 25 novembre au 27 novembre 2009 Jean-Pierre Gervasoni, Unité d’évaluation de programmes de prévention, Institut universitaire de médecine sociale et préventive, Lausanne

Objectifs de la journée A la fin de la journée les participants au cours seront capables de: Décrire les principaux éléments d’un plan de suivi/évaluation Décrire les principales étapes de la réalisation d’un plan de suivi/évaluation Décrire les divers modèles de planification d’un plan de suivi/évaluation Esquisser un plan de suivi/évaluation et des indicateurs de processus et de résultats sur la base d’un exemple de programme (travaux de groupe)

Eléments clés d’un plan de S/E Introduction/description du problème de santé Description du programme: buts, objectifs, cadre conceptuel, activités, ressources, etc. Description des indicateurs (processus, résultats) Description des mécanismes de collecte pour le suivi et l’évaluation Plan de dissémination et utilisation des données (valorisation des résultats du S/E) Plan de la mise en œuvre du plan de S/E avec calendrier et budget

Élement 1: Introduction Le but et les objectifs du plan de S/E Description du processus de développement du plan Contexte Financier Ressources humaines (rôles, responsabilités, organigramme) Infrastructure

Elément 2: Description du programme Description du problème de santé publique Cadre conceptuel But et objectifs du programme Contexte Activités Répartition géographique Populations cibles Calendrier Cadres des résultats

Cadres conceptuels / modèles logiques / théories d’action Ces cadres sont utiles pour fournir une interprétation rationalisée de l’usage planifié des ressources, des objectifs et des buts désirés Ils permettent de clarifier les hypothèses du projet/programme et les liens de causalités entre les divers niveaux d’objectifs (immédiats, intermédiaires et long terme) Ces cadres offrent aussi une vision simplifée et synthétique de programme complexe

Théories d’action Pour la programmation: Pour l’évaluation: situer l’action de chacun dans l’action globale mieux s’approprier les missions, les buts identifier les synergies base de réflexion, de discussion Pour l’évaluation: comprendre l’articulation des objectifs entre eux disposer d’un modèle qui fait la synthèse de l’information recueillie questionner ce modèle (cohérence, pertinence) point de départ (référence) pour l’évaluation permet de développer des critères et indicateurs qui touchent plusieurs domaines (transversaux) évaluer l’action globale grâce à ces critères

Avantages, inconvénients et limites des théories d’action

Exemple de théorie d'action pour le programme opérationnel régional, Objectif 5b de Bourgogne Source : MEANS. Organiser l'Evaluation Intermédiaire dans le cadre du partenariat. Cahier No.1. Bruxelles : Commission européenne (DGXVI/2) - Centre Européen d'Expertise en Evaluation, 1995.

Exemple de théorie d’action complexe

Exemple de cadre conceptuel Auteur(e)s: Cloetta B, Spencer B, Ackermann G, Broesskamp-Stone U, Ruckstuhls B, Spörri-Fahrni, A.  Promotion Santé Suisse. Guide pour la catégorisation des résultats: www.promotionsante.ch

Le modèle de catégorisation des résultats de Promotion Santé Suisse avec ses sous-catégories Health Promotion International: Spencer et al. 23 (1): 86. (2008) http://heapro.oxfordjournals.org/cgi/content/full/dam038?ijkey=zQDCckIz8KuMxob&keytype=ref B1 Offres en matière de promotion de la santé 1.  Notoriété de l’offre 2.  Accessibilité de l’offre et atteinte des groupes cibles 3.  Utilisation de l’offre et satisfaction des utilisateurs 4.  Pérennisation de l’offre 5. A mélioration des compétences prof. des multiplicateurs A1 Développement d’offres de promotion de la santé C1 Environnement physique favorable à la santé 1.  Réduction des influences physiques et chimiques nocives 2.  Amélioration des ressources naturelles 3. Installations et produits favorables à la santé D Santé - Augmentation de l'espérance de vie en bonne santé - Amélioration de la qualité de vie - Diminution de la morbidité et de la mortalité (liée à des facteurs de risques) B2 Stratégies de promotion de la santé dans la politique et les institutions 1.  Engagement ferme de décideurs et/ou de personnalités clés 2.  Bases écrites contraignantes pour des actions significatives 3.  Modifications organisationnelles fonctionnelles 4.  Echanges et coopérations efficaces A2 Représentation d'intérêts, collaboration entre organisations C2 Environnement social favorable à la santé 1.   Soutien social/réseaux/intégration 2.   Climat social 3.   Accès aux ressources sociales générales B3 Potentiel social et engagement favorable à la santé 1.  Existence de groupes actifs chargés des questions de promotion de la santé 2. Collaboration de nouveaux acteurs 3. Diffusion des questions de promotion de la santé auprès de groupes de la population 4. Appropriation des questions de santé par des groupes dans la population A3 Mobilisation sociale C3 Ressources personnelles et types de comportement favorables à la santé Ressources personnelles favorables à la santé Amélioration des comportements favorables à la santé A4 Développement de compétences personnelles B4 Compétences individuelles favorables à la santé 1.  Connaissance des processus/des thèmes 2.  Attitude positive par rapport au thème 3.  Nouvelles aptitudes personnelles et/ou sociales 4.  Renforcement de la confiance en soi

Elément 3: Indicateurs (cf. Jour 1) Sélection des indicateurs basée sur: Besoins en information stratégique pour la prise de décision à chaque niveau Disponibilité des données (faisabilité) Ressources disponibles Besoins programmatiques Exigences des bailleurs Cadre conceptuel Feuille de référence (standardisation des indicateurs) Matrice des indicateurs

Elément 4: Mécanisme de collecte des données Sélection des indicateurs basée sur: Dossiers de patients, registre, etc. Système de surveillance Fiches de gestion de stocks (brochures, condoms, médicaments, etc.) Rapport des formations, trimestriels, des projets Enquêtes de population Enquêtes auprès de populations spécifiques (toxicomanes, travailleuses du sexe, etc.) Etc.

Elément 5: Plan de dissémination et utilisation des données/résultats Description des mécanismes de stockage Description des utilisateurs des résultats et de la façon dont ceux-ci feront un feedback à l’évaluation Description de comment et quand le plan de S/E sera mis à jour en cas de changement du programme ou des corrections apportées en cours de route Description des méthodes de valorisation Type de rapports et fréquence Autres méthodes (conférence de presse, événements, etc.)

Elément 6: Plan de la mise en oeuvre Un plan d’action détaillé pour la mise en œuvre du plan de S/E incluant: Activités nécessaires à la collecte, analyse, interprétation, dissémination et utilisations de données Le calendrier pour chaque activité Les personnes et institutions responsables pour chaque activité Le budget nécessaire à chaque activité

Quelques conseils A faire: A éviter: Commencer tôt Impliquer toutes les parties prenantes à chaque étape Evaluer les capacités existantes et les utiliser à bon escient A éviter: Les duplications dans la collecte des données La collecte d’informations non utilisées Sous estimer l’importance de l’appropriation du processus par toutes les parties prenantes