1 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 Introduction à l ’évaluation Robert J. FREUND E.N.S.P.Rennes.

Présentation au sujet: "1 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 Introduction à l ’évaluation Robert J. FREUND E.N.S.P.Rennes."— Transcription de la présentation:

1

2 1 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 Introduction à l ’évaluation Robert J. FREUND E.N.S.P.Rennes

3 2 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 Plan suivi :1/3 1/- Objectifs 2/- L ’évaluation, incontournable ? 3/- Définitions 4/- Les champs 5/- Quelques points clés

4 3 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 Plan suivi :2/3 6/- Système de soins, système de santé 7/- Enjeux de l ’évaluation 8/- Conditions pour évaluer 9/- Quelques exemples 10/- Référentiel

5 4 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 Plan suivi :3/3 11/- Différentes approches en évaluation : –évaluation économique –analyse décisionnelle –recommandations –conférence de consensus –méthodes épidémiologiques 12/- Evaluation et soins 13/- Evaluation et santé publique 14/- Evaluation et régulation du système de soins

6 5 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 1/- Objectifs : montrer l ’importance de l ’évaluation dans l ’aide à la décision préciser la contribution de l ’épidémiologie à l ’évaluation promouvoir l ’évaluation en santé publique sensibiliser les différents futurs acteurs à l ’importance : du recueil de données du traitement des données de l ’élaboration d ’une information utile de la publication et de la communication de l ’information

7 6 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 2/- L ’évaluation incontournable ? « L ’évaluation est aujourd ’hui un concept à la mode, aux contours flous, qui regroupe des réalités multiples et diverses » « L ’évaluation se trouve au confluent de trois grandes traditions disciplinaires : les sciences sociales, l ’économie, et la recherche clinique et épidémiologique » in Contandriopoulos AP et al. RESP, 2000, 48, 517-539 : L ’évaluation dans le domaine de la santé, concepts et méthodes

8 7 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 3/- L ’évaluation : définitions Evaluation et évaluer dans les dictionnaires de référence : –apprécier l ’importance, la quantité, la valeur financière –fixer approximativement

9 8 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 3/- L ’évaluation : définitions « L ’évaluation consiste à mesurer, comparer (à une référence) puis à porter un jugement de valeur. » in : Dictionnaire de l ’information en santé publique, RUSCH E. et THELOT B.,ed. Frison- Roche, Paris, 1994. Mesure du degré d ’atteinte d ’objectifs définis à l ’avance adapté de « Evaluating health services effectiveness », St LEGER AS et al., Open university press, Philadelphia, 1992

10 9 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 3/- L ’évaluation : définitions « Evaluer consiste à porter un jugement de valeur sur une intervention en mettant en œuvre un dispositif permettant de fournir des informations scientifiquement valides […] de façon à ce que les différents acteurs soient en mesure de prendre position sur l ’intervention et de construire un jugement qui puisse se traduire en actions. » in : Contandriopoulos AP et al. RESP, 200, 48, 517-539 : L ’évaluation dans le domaine de la santé, concepts et méthodes L ’évaluation, espace de concertation.

11 10 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 4/- L ’évaluation : les champs Les structures Les procédures (diagnostiques, thérapeutiques, organisationnelles) Les résultats

12 11 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 5/- L ’évaluation : quelques points clé Mesurer : méthodes, outils de mesure, SI Juger une intervention : –mesurer la différence avant - après. –disposition d ’un état des lieux initial. –existence d ’un référentiel Mesurer le degré d ’atteinte d ’objectifs prédéfinis : –objectifs initiaux –indicateurs d ’atteinte

13 12 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 5/- L ’évaluation : quelques points clé Si l ’évaluation après intervention nécessite un état des lieux préalable, on ne peut pas dissocier de la procédure d ’évaluation l ’étape d ’appréciation initiale : il y a donc deux types d ’évaluation –évaluation avant –évaluation après

14 13 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 5/- L ’évaluation : quelques points clé En se référant à –« La Planification de la santé », Pineault R. et Daveluy C on définira : actionniveau opérationnel programmetactique politiquenormatif / stratégique

15 14 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 5/- L ’évaluation : quelques points clé Place des méthodes épidémiologiques en évaluation : –Descriptives : observation et construction d ’indicateurs surveillance –Les enquêtes : prévalence de cohorte et d ’exposition cas et témoins –Evaluation du dépistage (ainsi que des techniques diagnostiques )

16 15 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 6/- Système de soins et système de santé1/2 Système de soins : –établissements, –professions, –activités, –organisation des différents éléments

17 16 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 6/- Système de soins et système de santé2/2 Système de santé : –politique, –planification, –protection sociale, –stratégie d'intervention : prévention, dépistage, curative

18 17 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 7/- Evaluation : les enjeux1/5 Evaluer : mode ou nécéssité ? –pertinence des interventions exemple : remplacement d'une dent manquante et utilité de l'intervention –efficacité –bénéfice exprimé par le patient –coût –alternatives possibles à l'intervention ? exemple : varices, otites ……. –la régulation du système de soins par l'évaluation ?

19 18 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 7/- Evaluation : les enjeux2/5 Le contexte politique : –le contexte économique et financier –les "affaires" sang contaminé (1983) hormone de croissance (1980) amiante (1970) ESB et prion (1985-1990)

20 19 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 7/- Evaluation : les enjeux3/5 Le contexte politique (suite) : –Inertie et inaction, non pas par manque de connaissance mais par manque de processus –Nécessité d'initier et d'entretenir un processus de suivi et d'évaluation des activités : exemples médicaux : ulcer de l'estomac, infarctus

21 20 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 7/- Evaluation : les enjeux4/5 Le contexte politique (suite) : –la résultante : exigence de sécurité sanitaire pharmacovigilance (AFSSAPS) toxicovigilance greffe (EFG) produits sanguins (EFS) matériau-vigilance (AFSSAPS) nutrition et alimentation (AFSSA) environnement (InVS) épidémie et épidémiologie (InVS) soins (ANAES) environnement (ADEME)

22 21 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 7/- Evaluation : les enjeux5/5 L'évaluation est donc désormais incontournable L'ordonnance du 24/04/1997 : évaluation des soins –"l'évaluation des soins s'appuiera sur les bonnes pratiques cliniques définies par l'ANAES –tous les établissements de santé doivent s'engager d'ici à 5 ans dans une procédure d'accréditation de leurs activités qui appréciera la qualité de celles-ci –les établissements doivent évaluer régulièrement la qualité de l'accueil, du séjour et de la prise en charge des patients"

23 22 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 8/- Conditions pour pouvoir évaluer : Définir ce qui pose problème : –ex: accueil aux urgences, surinfections, DMS,.... Ecrire les buts et objectifs de la procédure d'évaluation Définir les indicateurs à utiliser –collecter les données nécessaires –produire les indicateurs Rédiger le rapport du constat de la situation existante

24 23 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 9/- Evaluation : quelques exemples Quelques « angles d ’attaque » en évaluation : –qualité : soins, accueil, suivi –accessibilité : géographique, culturelle –continuité : relations hôpital-ambulatoire –efficacité –efficience –acceptabilité –éthique

25 24 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 10/- Evaluation : référentiel 1/2 Cadre conceptuel de l ’évaluation : –Mesures de structure : ressources humaines matériel financement –Mesures de processus : ce qui est mis en œuvre pour atteindre les objectifs (ex : dépistage, consultations) avantage les actes techniques / processus interpersonnels

26 25 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 10/- Evaluation : référentiel 2/2 Cadre conceptuel de l ’évaluation (suite) : –Mesures de résultat : d° d ’atteinte des objectifs se pose le problème des facteurs concomitants

27 26 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 11/- Différentes approches en évaluation : Evaluation économique 1/4 Coûts directs et indirects : –directs : médicaments, interventions, journées –indirects : journées perdues, APVP, séquelles

28 27 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 11/- Différentes approches en évaluation : Evaluation économique 2/4 Etudes coût-efficacité –on compare plusieurs stratégies : Ex : vaccination, dépistage, type de traitement quant à leur coût et leur efficacité –ceci suppose un consensus sur les critères d'efficacité au delà de la distinction efficacité potentielle et réelle

29 28 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 11/- Différentes approches en évaluation : Evaluation économique 3/4 Etudes coût-utilité : –le résultat de l'efficacité est pondéré par la qualité de vie résultante afin d'apprécier l'utilité de l'intervention –il existe une controverse sur les indicateurs de qualité

30 29 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 11/- Différentes approches en évaluation : Evaluation économique 4/4 Etudes coût-bénéfice : –on exprime le résultat non plus selon une fonction contestable et pas toujours comparable d'utilité mais en termes monétaire = bénéfice monétaire de l'intervention –le problème est celui de mesurer le coût de la vie humaine ?

31 30 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 11/- Différentes approches en évaluation : Analyse décisionnelle1/2 La nature est probabiliste, l'information incomplète, les ressources limitées, les décisions nécessaires. Attendre d'en savoir assez pour agir en toute lumière, c'est se condamner à l'inaction. Jean ROSTAND

32 31 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 11/- Différentes approches en évaluation : Analyse décisionnelle2/2 Au carrefour de plusieurs disciplines : économie, épidémiologie, biostatistique, mathématique. Eclairer les décideurs sur les différentes modalités de choix Favorise la décision sur des critères plus objectifs qu'intuitifs Problèmes : –transparence du processus décisionnel ? –prise en compte de la complexité du monde réel par rapport aux modèles ?

33 32 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 11/- Différentes approches en évaluation : Les recommandations1/2 Ex : les recommandations pour la pratique clinique RPC –Développées par l'ANAES –Combinaison de : avis d'experts analyse standardisée de la littérature avec quantification du niveau de preuve scientifique

34 33 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 11/- Différentes approches en évaluation : Les recommandations2/2 –Bien adaptées aux pratiques médicales lourdes et complexes –Diffusées sous forme de textes –Serviront certainement de base à l'évaluation des pratiques professionnelles –Point de départ de références médicales

35 34 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 11/- Différentes approches en évaluation : Les conférences de consensus (CC) Il s'agit aussi de recommandations Rédigées par un jury à la suite d'une présentation publique de rapports d'experts avec débat public experts et assistance Le jury est multidisciplinaire Les recommandations comportent: –la partie étayée par des preuves scientifiques –la partie présomptive et celle résultant des pratiques usuelles Ex : lithiase vésiculaire, arthroscopie du genou

36 35 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 11/- Différentes approches en évaluation : Les études épidémiologiques Contribuent à dresser l ’état des lieux initial Permettent de suivre les actions et programmes S ’appuient essentiellement sur des mesures de résultat Permettent de conduire les études d ’efficacité, efficience, coût-bénéfice et coût-utilité Participent aux recommandations issues des conférences de consensus

37 36 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 12/- Evaluation et soins1/6 Evaluer les soins, c'est : –évaluer les pratiques médicales –les filières –les protocoles –les prises en charge –la qualité des soins techniques

38 37 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 12/- Evaluation et soins2/6 Les domaines : –structures et organisations sanitaires : public / privé domicile / établissement ambulatoire / jour / semaine.. –les stratégies de soins : préventives Ex : tabagisme ? diagnostiques : dépistage Ex : VIH thérapeutiques

39 38 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 12/- Evaluation et soins3/6 Les domaines : –résultats des actions de soins et de santé –les technologies: test de dépistage : VIH, HEMOCULT Notion de : –résultats du test –situation vraie –faux positifs et faux négatifs –sensibilité et spécificité –valeurs prédictives positive et négative du test

40 39 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 12/- Evaluation et soins4/6 Les domaines : –les technologies: test de dépistage : VIH, HEMOCCULT Se = VP/(VP + FN) Spé = VN / (VN + FP) VPP = VP / (VP + FP) VPN = VN / (VN + FN)

41 40 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 12/- Evaluation et soins5/6 Les domaines : –les pratiques : ambulatoires hôpital de jour, de semaine chirurgie de jour / classique –les soins : exemple du modèle infirmier –le PRN ( programme de recherche en nursing ) –l'accréditation : l'Agence Nationale pour l'Accréditation et l'Evaluation en Santé (ANAES ex ANDEM )

42 41 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 12/- Evaluation et soins6/6 Les domaines : l'accréditation : –ordonnance n° 96-346 du 24 04 96 –reconnaissance de la qualité des établissements par les pairs et atteinte de certains standards –procédure externe d'évaluation visant à assurer l'amélioration continue de la qualité et de la sécurité des soins –participation des professionnels de santé à la procédure –tous les établissements de soins = 3800 –services et activités des établissements –procédures, les bonnes pratiques cliniques, résultats –triangle : médecin, infirmier et administrateur tous extérieurs –rapport à l'ARH = sanction pour autorisation et planification –validation de la mise en oeuvre des orientations des CRS

43 42 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 13/- Evaluation et santé publique1/6 Santé et santé publique : –individu et population –action concertée, programme –planification à moyen et long terme –politique de santé (ex : OMS et le programme SPT 21)

44 43 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 13/- Evaluation et santé publique2/6 –les disciplines : épidémiologie, médecine démographie économie sociologie et anthropologie statistique, informations et informatique décision en santé publique

45 44 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 13/- Evaluation et santé publique3/6 Evaluation initiale : –état des lieux –besoins, attentes –choix d'intervention –faisabilité

46 45 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 13/- Evaluation et santé publique4/6 Evaluation du programme : –pertinence –cohérence interne ( moyens / objectifs ) –efficacité –efficience –impact = effets réels

47 46 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 13/- Evaluation et santé publique5/6 Un exemple : dépistage du cancer du sein –impact de la campagne : taux de participation –qualité des tests : validité et reproductibilité, sensibilité, spécificité, VPP, VPN –qualité de la procédure : taux de cancers dépistés, taux de biopsies dont positives, VPP de la biopsie positive

48 47 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 13/- Evaluation et santé publique6/6 Un exemple : dépistage du cancer du sein (suite) –efficacité court terme : taux des cancers invasifs < 10 mm et sans envahissement ganglionnaire –efficacité moyen terme : tx de mortalité dépistées / non dépistées –réactivité de la procédure ("timeliness") : étude des délais

49 48 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 14/- L'évaluation comme outil de régulation1/2 Autonomie des professionnels et normalisation des pratiques ? –participation des professionnels à la gestion du système –participation des décideurs à la logique de l'évaluation – ---> = dialogue permanent, négociation

50 49 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 14/- L'évaluation comme outil de régulation2/2 Emergence de choix collectifs consensuels –sur l'innovation –et les orientations futures Expertise externe des pratiques : –ANAES

51 50 Robert J. FREUND Introduction à l ’évaluation Master Complexes Pathogènes Tropicaux 2003 - 2004 Ouf !