Evaluation des actions de prévention Aspects théoriques Exemple à propos des « parcours pédagogiques alcool » Sandrine Antoine, Guy Launoy Flers, le 29 mars 2007 Cancers & Populations ERI3 INSERM

Evaluation des actions de prévention Lévaluation, cest rapprocher (comparer) les éléments reflétant le processus ou les résultats observés dune action des éléments attendus ou espérés. Ses résultats servant à lorientation de la suite du projet, sa poursuite, son arrêt ou sa modification, lévaluation doit faire appel à une méthodologie et des indicateurs dont la validité et la pertinence doivent être reconnus par tous. Cancers & Populations ERI3 INSERM

Objectifs de lévaluation – Attentes des acteurs Lévaluation objective = un mythe ? Lacteur peut vouloir prendre du recul, mais aussi promouvoir son action Le payeur peut dans un contexte dallocation de ressources vouloir connaître ou comparer la rentabilité de diverses actions, mais aussi démontrer linutilité dun service quil veut fermer Le chercheur voudra confirmer son hypothèse de départ. Le choix des méthodes et des indicateurs dépendra des attentes. Lévaluation, ses méthodes et ses indicateurs devraient en théorie être décidées au début de laction Cancers & Populations ERI3 INSERM

Places de lévaluation dans le déroulé théorique dune action de prévention 0 - Identification du problème de santé. Sélection des actions susceptibles de le prévenir. 1 - Etude de la faisabilité de lintervention 2 - Démonstration de lefficacité théorique dans des conditions optimales defficacité 3 - Démonstration et quantification des effets de lintervention dans des conditions réelles dapplication 4 - Evaluation de limpact médical, social, économique. Recherche de loptimisation 5 - Evaluation après généralisation : évaluation des procédures – contrôle de qualité 6 - Le cas échéant, comparaison de méthodes alternatives plus efficaces ou plus rentable (coût-efficacité). Cancers & Populations ERI3 INSERM

Lévaluation des résultats porte toujours sur la comparaison de 2 (ou plusieurs) groupes dindividus, lun qui bénéficie de lintervention et lautre qui nen bénéficie pas (ou différemment). Si la comparaison montre une différence dont la significativité sera jugée à laune des lois statistiques, on essaie alors de savoir si cette différence est entièrement expliquée par lintervention ou non (recherche des biais). La conclusion de « causalité » sera dautant plus difficile que la méthode retenue se sera éloigné dun plan expérimental. Evaluation des actions de prévention – Méthodes Principes généraux Cancers & Populations ERI3 INSERM

Places de lévaluation dans le déroulé théorique dune action de prévention 0 - Identification du problème de santé. Sélection des actions susceptibles de le prévenir. 1 - Etude de la faisabilité de lintervention 2 - Démonstration de lefficacité théorique dans des conditions optimales defficacité 3 - Démonstration et quantification des effets de lintervention dans des conditions réelles dapplication 4 - Evaluation de limpact médical, social, économique. Recherche de loptimisation 5 - Evaluation après généralisation : évaluation des procédures – contrôle de qualité 6 - Le cas échéant, comparaison de méthodes alternatives plus efficaces ou plus rentable (coût-efficacité). Cancers & Populations ERI3 INSERM

Démonstration efficacité théorique action de prévention Lessai contrôlé randomisé Comparaison sur un critère de jugement unique Temps Action A Randomisation individuelle ou collective Population A Population B Aucune action ou action B Cancers & Populations ERI3 INSERM

Démonstration efficacité théorique action de prévention Limites de lessai contrôlé randomisé - Critère de jugement unique - Conditions de réalisation « expérimentales », éloignées de la réalité - Temps de réalisation long. Cancers & Populations ERI3 INSERM

Méthodes dévaluation non expérimentales : Enquêtes dobservation :Etudes prospectives Etude Avant/Après. Etude Içi/Ailleurs Etude Avant/Après - Içi/Ailleurs Etudes rétrospectives Etudes Cas-Témoin Cohorte reconstituée Enquête permanente, utilisation de données existantes Les groupes nétant pas comparables, on aura beaucoup plus de mal à attribuer de manière certaine une différence observée à laction de prévention Cancers & Populations ERI3 INSERM

SW Duffy, C. Duffy, J. Estève Quantitave methods for the evaluation for cancer screening. In: SW Duffy, C. Hill, J. Estève, eds. Arnold Oxford University Evolution de lincidence du cancer du col dans les pays nord-européens Cancers & Populations ERI3 INSERM

Étude prospective Rechut e Abstinent Rechute Abstinent Population de patients Rythme des consultations < 1/mois Rythme des consultations > 1/mois RR = 2,5 Cancers & Populations ERI3 INSERM

Méthodes dévaluation non expérimentales : Enquêtes dobservation :Etudes prospectives Etude Avant/Après. Etude Içi/Ailleurs Etude Avant/Après - Içi/Ailleurs Etudes rétrospectives Etudes Cas-Témoin Cohorte reconstituée Enquête permanente, utilisation de données existantes Les groupes nétant pas comparables, on aura beaucoup plus de mal à attribuer de manière certaine une différence observée à laction de prévention Cancers & Populations ERI3 INSERM

Létude cas-témoins 60% de p.e.c. A parmi les « succès » contre 30% seulement parmi les « échecs » 60% de p.e.c. A parmi les « succès » contre 30% seulement parmi les « échecs »69411 Mesure du risque relatif Mesure du risque relatif = 1.83 Arrêt addiction N = 10 Poursuite addiction N = 10 Prise en charge A N = 6 Prise en charge B N = 4 Prise en charge A N = 3 Prise en charge B N=7 Cancers & Populations ERI3 INSERM

Intérêts : Réponse rapide (surtout cas/témoin) Etude dans la « vraie vie ». Mesure lacceptabilité ou la pénétration dune stratégie Les biais De sélection (volontariat, indication) Dévolution spontanée (avant/après) De confusion Méthodes dévaluation non expérimentales : Enquêtes dobservation Cancers & Populations ERI3 INSERM

Facteurs de confusion PEC contraignante Succès Sexe Cancers & Populations ERI3 INSERM

Evaluation des actions de prévention. Le choix des indicateurs -Indicateurs de résultats = critère de jugement Cancers & Populations ERI3 INSERM

Evaluation des actions de prévention. Le choix des indicateurs EX intervention visant à diminuer les accidents domestiques par campagne dinformation : Critères de jugement ? : - Amélioration du niveau de connaissance - Modifications du comportement - Modifications état de santé - Indicateurs de résultats (# impact) = critère de jugement : - Critère mesurable, défini au début de létude, consensuel, pour lequel on attend une différence significative. Cancers & Populations ERI3 INSERM

Evaluation des actions de prévention. Le choix des indicateurs -Indicateurs de résultats = critère de jugement - Indicateurs dapplication de lintervention Cancers & Populations ERI3 INSERM

Evaluation des actions de prévention. Le choix des indicateurs - Indicateurs dapplication de lintervention : - Acceptabilité dune technique - Compliance à un programme - Couverture Cancers & Populations ERI3 INSERM

Evaluation des actions de prévention. Le choix des indicateurs -Indicateurs de résultats = critère de jugement - Indicateurs dapplication de lintervention - Indicateur de niveau de risque - Facteurs de confusion - Indicateurs du processus : tableau de bord Cancers & Populations ERI3 INSERM

- Baisse de la mortalité spécifique - Baisse de la morbidité spécifique - Impact psychologique ? - Impact social ? - Coût de laction ? Evaluation des actions de prévention. Evaluation de limpact. Le rapport bénéfice/risque Cancers & Populations ERI3 INSERM

La balance risque/bénéfice dépistage du cancer du sein 1000 femmes âgées de 50 ans se soumettent à une mammographie tous les deux ans pendant 10 ans 29 cancers dépistés (sur 32) incidents 4 décès évités (sur 12 prévisibles) 150 femmes subiront des examens complémentaires inutiles (dont 40 avec biopsie chirurgicale 25 ont juste une avance au diagnostic ( env. 3 ans) sans modification de leur date de décès 3 femmes seront faussement rassurées P. Schaffer 1997 Cancers & Populations ERI3 INSERM