1 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux Introduction à l ’évaluation Robert J. FREUND E.N.S.P.Rennes

2 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux Plan suivi :1/3 1/- Objectifs 2/- L ’évaluation, incontournable ? 3/- Définitions 4/- Les champs 5/- Quelques points clés

3 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux Plan suivi :2/3 6/- Système de soins, système de santé 7/- Enjeux de l ’évaluation 8/- Conditions pour évaluer 9/- Quelques exemples 10/- Référentiel

4 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux Plan suivi :3/3 11/- Différentes approches en évaluation : –évaluation économique –analyse décisionnelle –recommandations –conférence de consensus –méthodes épidémiologiques 12/- Evaluation et soins 13/- Evaluation et santé publique 14/- Evaluation et régulation du système de soins

5 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Objectifs : montrer l ’importance de l ’évaluation dans l ’aide à la décision préciser la contribution de l ’épidémiologie à l ’évaluation promouvoir l ’évaluation en santé publique sensibiliser les différents futurs acteurs à l ’importance : du recueil de données du traitement des données de l ’élaboration d ’une information utile de la publication et de la communication de l ’information

6 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- L ’évaluation incontournable ? « L ’évaluation est aujourd ’hui un concept à la mode, aux contours flous, qui regroupe des réalités multiples et diverses » « L ’évaluation se trouve au confluent de trois grandes traditions disciplinaires : les sciences sociales, l ’économie, et la recherche clinique et épidémiologique » in Contandriopoulos AP et al. RESP, 2000, 48, : L ’évaluation dans le domaine de la santé, concepts et méthodes

7 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- L ’évaluation : définitions Evaluation et évaluer dans les dictionnaires de référence : –apprécier l ’importance, la quantité, la valeur financière –fixer approximativement

8 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- L ’évaluation : définitions « L ’évaluation consiste à mesurer, comparer (à une référence) puis à porter un jugement de valeur. » in : Dictionnaire de l ’information en santé publique, RUSCH E. et THELOT B.,ed. Frison- Roche, Paris, Mesure du degré d ’atteinte d ’objectifs définis à l ’avance adapté de « Evaluating health services effectiveness », St LEGER AS et al., Open university press, Philadelphia, 1992

9 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- L ’évaluation : définitions « Evaluer consiste à porter un jugement de valeur sur une intervention en mettant en œuvre un dispositif permettant de fournir des informations scientifiquement valides […] de façon à ce que les différents acteurs soient en mesure de prendre position sur l ’intervention et de construire un jugement qui puisse se traduire en actions. » in : Contandriopoulos AP et al. RESP, 200, 48, : L ’évaluation dans le domaine de la santé, concepts et méthodes L ’évaluation, espace de concertation.

10 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- L ’évaluation : les champs Les structures Les procédures (diagnostiques, thérapeutiques, organisationnelles) Les résultats

11 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- L ’évaluation : quelques points clé Mesurer : méthodes, outils de mesure, SI Juger une intervention : –mesurer la différence avant - après. –disposition d ’un état des lieux initial. –existence d ’un référentiel Mesurer le degré d ’atteinte d ’objectifs prédéfinis : –objectifs initiaux –indicateurs d ’atteinte

12 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- L ’évaluation : quelques points clé Si l ’évaluation après intervention nécessite un état des lieux préalable, on ne peut pas dissocier de la procédure d ’évaluation l ’étape d ’appréciation initiale : il y a donc deux types d ’évaluation –évaluation avant –évaluation après

13 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- L ’évaluation : quelques points clé En se référant à –« La Planification de la santé », Pineault R. et Daveluy C on définira : actionniveau opérationnel programmetactique politiquenormatif / stratégique

14 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- L ’évaluation : quelques points clé Place des méthodes épidémiologiques en évaluation : –Descriptives : observation et construction d ’indicateurs surveillance –Les enquêtes : prévalence de cohorte et d ’exposition cas et témoins –Evaluation du dépistage (ainsi que des techniques diagnostiques )

15 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Système de soins et système de santé1/2 Système de soins : –établissements, –professions, –activités, –organisation des différents éléments

16 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Système de soins et système de santé2/2 Système de santé : –politique, –planification, –protection sociale, –stratégie d'intervention : prévention, dépistage, curative

17 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation : les enjeux1/5 Evaluer : mode ou nécéssité ? –pertinence des interventions exemple : remplacement d'une dent manquante et utilité de l'intervention –efficacité –bénéfice exprimé par le patient –coût –alternatives possibles à l'intervention ? exemple : varices, otites ……. –la régulation du système de soins par l'évaluation ?

18 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation : les enjeux2/5 Le contexte politique : –le contexte économique et financier –les "affaires" sang contaminé (1983) hormone de croissance (1980) amiante (1970) ESB et prion ( )

19 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation : les enjeux3/5 Le contexte politique (suite) : –Inertie et inaction, non pas par manque de connaissance mais par manque de processus –Nécessité d'initier et d'entretenir un processus de suivi et d'évaluation des activités : exemples médicaux : ulcer de l'estomac, infarctus

20 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation : les enjeux4/5 Le contexte politique (suite) : –la résultante : exigence de sécurité sanitaire pharmacovigilance (AFSSAPS) toxicovigilance greffe (EFG) produits sanguins (EFS) matériau-vigilance (AFSSAPS) nutrition et alimentation (AFSSA) environnement (InVS) épidémie et épidémiologie (InVS) soins (ANAES) environnement (ADEME)

21 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation : les enjeux5/5 L'évaluation est donc désormais incontournable L'ordonnance du 24/04/1997 : évaluation des soins –"l'évaluation des soins s'appuiera sur les bonnes pratiques cliniques définies par l'ANAES –tous les établissements de santé doivent s'engager d'ici à 5 ans dans une procédure d'accréditation de leurs activités qui appréciera la qualité de celles-ci –les établissements doivent évaluer régulièrement la qualité de l'accueil, du séjour et de la prise en charge des patients"

22 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Conditions pour pouvoir évaluer : Définir ce qui pose problème : –ex: accueil aux urgences, surinfections, DMS,.... Ecrire les buts et objectifs de la procédure d'évaluation Définir les indicateurs à utiliser –collecter les données nécessaires –produire les indicateurs Rédiger le rapport du constat de la situation existante

23 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation : quelques exemples Quelques « angles d ’attaque » en évaluation : –qualité : soins, accueil, suivi –accessibilité : géographique, culturelle –continuité : relations hôpital-ambulatoire –efficacité –efficience –acceptabilité –éthique

24 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation : référentiel 1/2 Cadre conceptuel de l ’évaluation : –Mesures de structure : ressources humaines matériel financement –Mesures de processus : ce qui est mis en œuvre pour atteindre les objectifs (ex : dépistage, consultations) avantage les actes techniques / processus interpersonnels

25 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation : référentiel 2/2 Cadre conceptuel de l ’évaluation (suite) : –Mesures de résultat : d° d ’atteinte des objectifs se pose le problème des facteurs concomitants

26 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Différentes approches en évaluation : Evaluation économique 1/4 Coûts directs et indirects : –directs : médicaments, interventions, journées –indirects : journées perdues, APVP, séquelles

27 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Différentes approches en évaluation : Evaluation économique 2/4 Etudes coût-efficacité –on compare plusieurs stratégies : Ex : vaccination, dépistage, type de traitement quant à leur coût et leur efficacité –ceci suppose un consensus sur les critères d'efficacité au delà de la distinction efficacité potentielle et réelle

28 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Différentes approches en évaluation : Evaluation économique 3/4 Etudes coût-utilité : –le résultat de l'efficacité est pondéré par la qualité de vie résultante afin d'apprécier l'utilité de l'intervention –il existe une controverse sur les indicateurs de qualité

29 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Différentes approches en évaluation : Evaluation économique 4/4 Etudes coût-bénéfice : –on exprime le résultat non plus selon une fonction contestable et pas toujours comparable d'utilité mais en termes monétaire = bénéfice monétaire de l'intervention –le problème est celui de mesurer le coût de la vie humaine ?

30 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Différentes approches en évaluation : Analyse décisionnelle1/2 La nature est probabiliste, l'information incomplète, les ressources limitées, les décisions nécessaires. Attendre d'en savoir assez pour agir en toute lumière, c'est se condamner à l'inaction. Jean ROSTAND

31 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Différentes approches en évaluation : Analyse décisionnelle2/2 Au carrefour de plusieurs disciplines : économie, épidémiologie, biostatistique, mathématique. Eclairer les décideurs sur les différentes modalités de choix Favorise la décision sur des critères plus objectifs qu'intuitifs Problèmes : –transparence du processus décisionnel ? –prise en compte de la complexité du monde réel par rapport aux modèles ?

32 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Différentes approches en évaluation : Les recommandations1/2 Ex : les recommandations pour la pratique clinique RPC –Développées par l'ANAES –Combinaison de : avis d'experts analyse standardisée de la littérature avec quantification du niveau de preuve scientifique

33 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Différentes approches en évaluation : Les recommandations2/2 –Bien adaptées aux pratiques médicales lourdes et complexes –Diffusées sous forme de textes –Serviront certainement de base à l'évaluation des pratiques professionnelles –Point de départ de références médicales

34 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Différentes approches en évaluation : Les conférences de consensus (CC) Il s'agit aussi de recommandations Rédigées par un jury à la suite d'une présentation publique de rapports d'experts avec débat public experts et assistance Le jury est multidisciplinaire Les recommandations comportent: –la partie étayée par des preuves scientifiques –la partie présomptive et celle résultant des pratiques usuelles Ex : lithiase vésiculaire, arthroscopie du genou

35 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Différentes approches en évaluation : Les études épidémiologiques Contribuent à dresser l ’état des lieux initial Permettent de suivre les actions et programmes S ’appuient essentiellement sur des mesures de résultat Permettent de conduire les études d ’efficacité, efficience, coût-bénéfice et coût-utilité Participent aux recommandations issues des conférences de consensus

36 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation et soins1/6 Evaluer les soins, c'est : –évaluer les pratiques médicales –les filières –les protocoles –les prises en charge –la qualité des soins techniques

37 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation et soins2/6 Les domaines : –structures et organisations sanitaires : public / privé domicile / établissement ambulatoire / jour / semaine.. –les stratégies de soins : préventives Ex : tabagisme ? diagnostiques : dépistage Ex : VIH thérapeutiques

38 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation et soins3/6 Les domaines : –résultats des actions de soins et de santé –les technologies: test de dépistage : VIH, HEMOCULT Notion de : –résultats du test –situation vraie –faux positifs et faux négatifs –sensibilité et spécificité –valeurs prédictives positive et négative du test

39 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation et soins4/6 Les domaines : –les technologies: test de dépistage : VIH, HEMOCCULT Se = VP/(VP + FN) Spé = VN / (VN + FP) VPP = VP / (VP + FP) VPN = VN / (VN + FN)

40 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation et soins5/6 Les domaines : –les pratiques : ambulatoires hôpital de jour, de semaine chirurgie de jour / classique –les soins : exemple du modèle infirmier –le PRN ( programme de recherche en nursing ) –l'accréditation : l'Agence Nationale pour l'Accréditation et l'Evaluation en Santé (ANAES ex ANDEM )

41 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation et soins6/6 Les domaines : l'accréditation : –ordonnance n° du –reconnaissance de la qualité des établissements par les pairs et atteinte de certains standards –procédure externe d'évaluation visant à assurer l'amélioration continue de la qualité et de la sécurité des soins –participation des professionnels de santé à la procédure –tous les établissements de soins = 3800 –services et activités des établissements –procédures, les bonnes pratiques cliniques, résultats –triangle : médecin, infirmier et administrateur tous extérieurs –rapport à l'ARH = sanction pour autorisation et planification –validation de la mise en oeuvre des orientations des CRS

42 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation et santé publique1/6 Santé et santé publique : –individu et population –action concertée, programme –planification à moyen et long terme –politique de santé (ex : OMS et le programme SPT 21)

43 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation et santé publique2/6 –les disciplines : épidémiologie, médecine démographie économie sociologie et anthropologie statistique, informations et informatique décision en santé publique

44 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation et santé publique3/6 Evaluation initiale : –état des lieux –besoins, attentes –choix d'intervention –faisabilité

45 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation et santé publique4/6 Evaluation du programme : –pertinence –cohérence interne ( moyens / objectifs ) –efficacité –efficience –impact = effets réels

46 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation et santé publique5/6 Un exemple : dépistage du cancer du sein –impact de la campagne : taux de participation –qualité des tests : validité et reproductibilité, sensibilité, spécificité, VPP, VPN –qualité de la procédure : taux de cancers dépistés, taux de biopsies dont positives, VPP de la biopsie positive

47 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- Evaluation et santé publique6/6 Un exemple : dépistage du cancer du sein (suite) –efficacité court terme : taux des cancers invasifs < 10 mm et sans envahissement ganglionnaire –efficacité moyen terme : tx de mortalité dépistées / non dépistées –réactivité de la procédure ("timeliness") : étude des délais

48 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- L'évaluation comme outil de régulation1/2 Autonomie des professionnels et normalisation des pratiques ? –participation des professionnels à la gestion du système –participation des décideurs à la logique de l'évaluation – ---> = dialogue permanent, négociation

49 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux /- L'évaluation comme outil de régulation2/2 Emergence de choix collectifs consensuels –sur l'innovation –et les orientations futures Expertise externe des pratiques : –ANAES

50 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux Ouf !