Formation-action en éducation et promotion de la santé Module L’évaluation en éducation pour la santé : Les outils d’évaluation Cécile Cayre / Emilie Jung 9h30 Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

L’évaluation en éducation pour la santé Comment évaluer : étapes et outils 14h00 Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

Les étapes de l’évaluation 1ère étape : Préparer l’évaluation 2ème étape : Réaliser l’évaluation Recueillir les informations nécessaires Analyser les données, tirer les conclusions Répondre aux questions posées à l’évaluation et faire des recommandations 3ème étape : Valoriser son évaluation A revoir Nicole 1ère étape de l’évaluation : avant l’action, au moment de la conception Pourquoi à la fin: se rendre compte que c’est cohérent tt au long de l’évaluation Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

1ère étape : Préparer l’évaluation Constituer un comité d’évaluation avec chaque partenaires de l’action : professionnels, publics visés, (financeurs), … le comité d’évaluation peut être constitué des mêmes personnes que le comité de suivi. Déterminer les objectifs et l’utilisation prévue de l’évaluation Construire la méthode d’évaluation Indicateurs, critères, modes de recueil de l’information, budget, calendrier « Qui fait quoi, où, quand, avec qui et comment ? » Mobiliser les ressources (humaines et matérielles) nécessaires Planifier le travail d’évaluation autant que l’action elle-même AS : J’ai rajouté cette diapo ainsi que les 4 suivantes (dia 42 à 45) concernant la première étape de l’évaluation. Nicole tu ne les avais pas sélectionnées auparavant donc à voir si on les présente ou non. Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

1ère étape : Préparation de l’évaluation Réaliser le protocole d’évaluation Pour rappel : ces éléments ont déjà été élaborés à la phase de rédaction des objectifs Critère d’évaluation Permet d’apprécier le degré d’atteinte des objectifs Cohérence indispensable entre objectif et critère évaluation Indicateur d’évaluation Mesure du critère Données observables, concrètes à recueillir Outils d’évaluation Instruments de mesure ou de recueil des indicateurs Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

2ème étape : Réalisation Recueillir les informations nécessaires Les quatre sources d’information utilisables : 1) Les documents Documents créés dans le cadre de l’action, (liste de présence, rapports d’activité, comptes-rendus…), 2) Les données existantes Indicateurs calculables à partir de bases de l’ARS, l‘Assurance maladie, l’Insee, du PMSI, des registres, de l’Inserm… Certains indicateurs accessibles via des bases d’indicateurs (Isstal, Score Santé…) ou des enquête déjà réalisées. A revoir Nicole Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

2ème étape : Réalisation 3) L’observation ou mesure directe (infrastructures, activités, personnes, matériel) 4) Les enquêtes : qualitatives/ quantitatives Nécessite la construction d’outils Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

Les outils d’évaluation Généralités : Les outils d’évaluation doivent être construits spécifiquement pour son action. Une action nécessite souvent l’élaboration de plusieurs outils d’évaluation. Le type d’outil à réaliser est fonction du type d’évaluation (processus/résultats) , des critères et indicateurs d’évaluation. Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

Outils d’évaluation du processus Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé Module 5/Session1

Outils d’évaluation du processus Outils d’évaluation du processus = Outils de suivi 1ère étape : Construction de ces outils : reprendre l’ensemble des indicateurs de processus et définir l’outil de recueil des données Outil personnalisable: tableau, grille, fichier… 2ème étape: recueillir les données tout au long de la réalisation des activités Diapo modifiée, à voir si ok Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé Module 5/Session1

Types d’outils pour l’évaluation de processus Le tableau de bord Permet la visualisation dans le temps des différentes activités d’un projet Permet la répartition et la visualisation des tâches pour chaque partenaire du projet Peut être utilisé en réunion de travail autour du projet pour convenir de la répartition des tâches Outil indispensable pour le coordonnateur de projet Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

Exemple d’évaluation de processus Exemple : action « Collèges et Nutrition » Objectif opérationnel 1 : Organiser 10 formations de professionnels de la restauration à l’application des recommandations nutritionnelles du PNNS. Indicateurs : nombre de formation Outils de suivi : listes de présence aux formations/animations Objectif opérationnel 2 : mettre à disposition de chaque établissement scolaire un outil « table des calories » Indicateurs : nombre d’outil « table des calories » distribués/nombre d’établissements ciblés Outils de suivi : tableau de suivi de la distribution Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

Tableau de bord: construction Echéancier/ partenaires Sept Oct Nov Déc… avril mai juin Septembre… Coordinateur A Contact établissements scolaires Logistique soirée parents Envoi invitation soirée parents Soirée parents Recueil données évaluation Partenaire B Interventions Partenaire C … Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

Intérêts et limites de ces outils Mieux visualiser son projet, Se « désangoisser », Assurer une bonne répartition des tâches dans le temps et entre partenaires, Communiquer efficacement sur l’action avec ses partenaires, Facilite le travail au moment de l’interprétation des résultats Limites: Nécessite un temps d’appropriation pour savoir en réaliser, Prend du temps à réaliser ! Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

Outils d’évaluation des résultats Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé Module 5/Session1

Outils d’évaluation du résultat Evaluation du résultat = évaluation de l’atteinte des objectifs généraux et intermédiaires Objectif : augmenter le nombre d’enfants de 6 ans vaccinés contre la rougeole Indicateurs : écart entre le nombre d’enfants vaccinés avant l’action et le nombre après Mise en place d’un recueil spécifique de cette vaccination lors de la visite médicale d’entrée au CP Diapo modifiée Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

Outils d’évaluation des résultats Le questionnaire Points forts : Permet d’avoir des réponses précises à ses questions d’évaluation Permet de garantir l’anonymat Permet d’interroger un grand nombre de personnes Limites : Méthode impersonnelle, ne favorise pas l’implication de l’enquêté Demande beaucoup de temps et de technicité (de la conception à l’analyse en passant par le recueil l’informatisation le traitement statistique) Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

Le questionnaire: exemple Critère :connaissances sur équilibre alimentaire Indicateur : nombre de nouvelles connaissances acquises Outil : questionnaire de connaissances    Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

Exemple de question fermée/ouverte Questions Réponses Question fermée : Parmi les informations suivantes, quelles sont celles que vous ne connaissiez pas avant l’action ? Les féculents ne font pas grossir Les fruits et légumes ont des effets protecteurs sur certains cancers … Questions ouverte : Quelles informations sur les fruits et légumes avez-vous appris grâce à cette action Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

Le questionnaire : autre exemple

Autre type d’outil : l’entretien Points forts : Permet d’avoir des éléments d’information plus détaillés (représentations, attitudes) Permet d’utiliser des relances Permet de lever les ambiguïtés en cas d’incompréhension Limites : Ne permet pas l’anonymat Ne permet pas d’interroger un grand nombre de personnes Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

L’entretien: exemple Objectif: faire évoluer les représentations autour de l’alimentation Critère: les représentations autour de l’alimentation Indicateurs: nombre de personnes pour lesquelles au moins deux représentations ont évolué. Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

L’entretien: exemple En amont du projet Utilisation d’un outil (ex :Photolangage) afin de faire émerger les représentations. En aval du projet Ces représentations seront à nouveau interrogées lors d’entretiens d’évaluation, afin de déterminer si elles ont évolué ou pas. Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

Autre type d’outil : l’observation Points fort : Permet d’obtenir des informations objectives (ne dépendant pas de l’opinion d’une personne). Limites : Subjectivité de l’observateur Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

L’observation: exemple Critère : participation des supermarchés à la promotion des fruits et des légumes Indicateur : nombre supermarchés qui mettent en avant les fruits et légumes Outil : grille d’observation des supermarchés de la commune Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

L’observation: exemple (2) Eléments à observer Modalités de réponses Le stand fruit et légumes est situé dans un endroit bien visible OUI/NON Le SM offre chaque jour au moins 1 fruit et 1 légume à prix coûtant Le supermarché fait la promotion des fruits et légumes (affiches spécifiques) Des brochures PNNS sont à disposition Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

Application A partir des tableaux objectifs/critères/ indicateurs, déterminer les outils d’évaluation à élaborer. 9h50- 10h10: travail individuel ou en binômes sur les tableaux 10h10-10h30: restitution des tableaux Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé Module 5/Session1

Exemple 1 Objectif(s) intermédiaire Critère(s) Indicateur(s) Augmenter la pratique d’activité physique chez les séniors de + 65 ans pratique d’activité physique chez les séniors de + 65 ans Nombre de séniors déclarant avoir augmenté leur pratique d’activité physique au quotidien

Exemple 1 Objectif(s) intermédiaire Critère(s) Indicateur(s) Outil Augmenter la pratique d’activité physique chez les séniors de + 65 ans pratique d’activité physique chez les séniors de + 65 ans Nombre de séniors déclarant avoir augmenté leur pratique d’activité physique au quotidien Questionnaires ou entretiens concernant la pratique d’AP

Exemple 2 Améliorer la qualité de vie perçue chez les séniors Objectif(s) général Critère(s) Indicateur(s) Améliorer la qualité de vie perçue chez les séniors qualité de vie perçue chez les séniors Nombre de séniors déclarant une bonne qualité de vie (avant/après)

Exemple 2: évaluation de résultat Objectif(s) Critère(s) Indicateur(s) Outil Améliorer la qualité de vie perçue chez les séniors qualité de vie perçue chez les séniors Nombre de séniors déclarant une bonne qualité de vie questionnaire

Objectif(s) opérationnel Exemple 3 Objectif(s) opérationnel Critère(s) Indicateur(s) Mettre en place des séances de Pilates pour une dizaine de séniors une fois par semaine au niveau de la MJC du quartier Fréquence des séances Fréquentation des séniors nb séances par semaine Nb séniors par séance

Exemple 3 : Evaluation du processus Objectif Critère (s) indicateurs Outils de suivi Mettre en place des séances de Pilates pour une dizaine de séniors une fois par semaine au niveau de la MJC du quartier Fréquence des séances Fréquentation des séniors Nb séances par semaine Nb séniors par séance Tableau de suivi de l’activité Listes de présence

Application Construire un outil d’évaluation pour son projet 10h45-11h45: travaux individuels ou de groupes sur l’élaboration des outils d’évaluation + PAUSE 11h45-12h30: Restitution sur les outils: si possible un outil d’éval du processus/ un questionnaire/ un guide d’entretien/ un grille d’observations Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé