La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL.

Présentations similaires


Présentation au sujet: "29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL."— Transcription de la présentation:

1 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL

2 Evaluer Signification ?

3 Les points clés Pourquoi évaluer ? L’hypothèse et l’objectif Les facteurs confondants Les indicateurs La méthode : une comparaison –sans biais lorsque l’objectif est la mise en évidence d’une relation causale –biaisée dans tous les autres cas La puissance et le nombre d’unités statistiques à inclure La randomisation Le rôle de l’analyse statistique Le résultat L’interprétation

4 Rappel : les deux principes de la méthode expérimentale (Claude Bernard) Premier principe: l'expérience destinée à confirmer une hypothèse de relation causale est une comparaison et pour qu'elle soit interprétable il faut que tous les facteurs confondants, connus ou inconnus, jouent de la même manière sur les deux termes de l'expérience Second principe: l'hypothèse doit être formulée avant le début de la collecte des données

5 Pourquoi évaluer les formations ? Pour mesurer leur efficacité vis-à-vis de l’objectif général : –Transférer les connaissances –Modifier les pratiques dans le sens de : Des soins plus proches du référentiel De meilleurs chances pour les patients Des professionnels plus heureux …/… Comme toute mesure, celle-ci doit être juste et sans biais S’ajoute à cette exigence un impératif éthique propre au champ de l’objectif Que doit-on évaluer ?

6 Une hypothèse, un objectif, des indicateurs Hypothèse –La formation selon telle modalité X transfert des connaissances utiles pour la pratique Objectif –Montrer que la formation que nous allons réaliser selon la modalité X va modifier les pratiques telles qu’on peut les apprécier (évaluer – oh ambiguïté !) grâce aux indicateurs I –Retour sur la question : que doit-on évaluer ? Les indicateurs –Sont-ils pertinents vis-à-vis de L’hypothèse L’objectif

7 Indicateurs Directs ou « cliniques » –Meilleurs soins donc meilleurs pronostics (quantité et qualité de vie) Indirects ou « intermédiaires » : –Modification des prescriptions Explicatifs –Changement des connaissances –Modification des attitudes

8 … et une bonne méthodologie Sans bonne méthodologie les résultats (= la quantité d’évolution des indicateurs causée par la formation) seront ininterprétables Bonne méthodologie = –Cohérente avec l’objectif –Éliminant les facteurs confondants –Tenant compte de l’aléas –Conduisant à un résultat transposable (cad généralisable)

9 Évolution des indicateurs avant-après Recueil des indicateurs AVANT Recueil des indicateurs APRES Formation Effet de la formation = différence avant-après ? comparaison

10 Comparaison avant-après évolution spontanée des pratiques effet « placebo » de la formation régression à la moyenne (à partir des besoins ressentis) autres facteurs confondants (les autres sources de transfert) FORMATION état initial état final A quoi est due la différence entre l’état final et l’état initial ?

11 Régression à la moyenne (1)

12 Régression à la moyenne (2) baisse observée: données du graphique précédent baisse théorique: calculs fondés sur une loi normale (Gauss) sous-groupebaisse observée baisse théorique A17 %15,3 % B12 %13,6 % C8 %12,6 %

13 Effet placebo pré-traitement6 semaines6 mois nombre moyen de crises 10,3 -48% -77% p<0,0001 %

14 Evolution spontanée (1) évolution du cholestérol total sérique

15 Observance au placebo et mortalité Observance Décès (%) RR Beta Blocker Heart Attack Trial Observance < 75%19,0 Observance > 75%6,8 0,36 Coronary Drug Project Observance < 75%25,8 Observance > 75%16,4 0,64 (Petiti, 1994)

16 évolution au cours du temps de l'incidence annuelle des événements thromboemboliques Le graphique représente les incidences annuelles des accidents thrombo-emboliques dans les groupes contrôles traités par un anticoagulant oral des essais randomisés d’antiagrégants plaquettaires chez les porteurs de valves cardiaques artificielles Evolution spontanée (4) %

17 Comparaison avant-après évolution spontanée des pratiques effet « placebo » de la formation régression à la moyenne (à partir des besoins ressentis) autres facteurs confondants (les autres sources de transfert) FORMATION état initial état final A quoi est due la différence entre l’état final et l’état initial ?

18 Annuler les effets des facteurs confondants Facteurs confondants état initial état final contrôletest X YcYt effet de l’intervention = (X-Yc) - (X-Yt) = Yt-Yc FORMATION

19 Évolution des indicateurs avant-après Formation Contrôle comparaison

20 Randomisation ou allocation aléatoire 2 traitements, A et B permutations de n = 6 permutations traitements patients n° 1A1 5A2 2B3 4B4 3A5 6B6 3A7 2B8 4B9 6B10 1A11 5A12 A 1, 3, 5 B 2, 4, 6 attribuer

21 Nombre d’unités statistiques... En général : une US = un médecin Doit être calculé au préalable pour assurer une puissance suffisante à l’essai Il dépend : –Du risque de faux positif que l’on accepte de prendre (rejet à tort de l’hypothèse nulle H0) –De la puissance (complément à 1 du risque de passer à côté de l’effet) –De l’intensité prévisible de l’effet (renvoie au modèle et à l’hypothèse que l’essai doit tester) –De l’effet grappe

22 Effet “grappe” Un groupe de médecin –En formation –Une association de FMC –Un cabinet La clientèle d’un médecin Constitue des réunions d’intérêts communs La variabilité de leurs réponses n’est pas la même que si ils étaient complétement indépendants les uns des autres Il faut en tenir compte : –Dans le calcul du nombre d’US –Dans l’analyse statistique

23 Analyse statistique Prendre en compte les fluctuations d ’échantillon: –Évolution du contrôle = effets des facteurs confondants + aléas –Évolution sous traitement = effet du traitement + effets des facteurs confondants + aléas –Évolution du contrôle - évolution sous traitement = effet du traitement + aléas Le « p » exprime les chances que le résultat ne soit du qu’au hasard Hypothèse nulle H0 et hypothèse alternative...

24 Le problème La bonne méthodologie : –Deux groupes –Dont un contrôle –Randomisation Comment constituer le groupe contrôle ? –Les médecins –La “formation” À ces difficultés s’ajoutent : –La question du nombre d’unités statistiques –Celle de l’effet groupe –La lourdeur de cette approche (coût, énergie, durée) Impossible pour “une” formation À réserver à l’évaluation des modalités et techniques de formation

25 Alors que faire pour “une” formation ? Adapter la méthode aux possibilités et donc changer la question : –Constate-t-on une “amélioration” des pratiques suite à la formation ? –On ne documente pas la relation causale –L’enjeu : En l’absence d’amélioration, on cherche à savoir pourquoi le résultat est contraire à l’attente En présence d’une amélioration on ne conclut pas que la formation a conduit à une amélioration des pratiques On cherche aussi à savoir si les besoins pour la satisfaction desquels la formation a été construite sont satisfaits

26 Interprétation En quoi ce résultat doit modifier la prochaine formation ? Cette réflexion doit faire l’objet d’un compte- rendu

27 Points clés Distinguer l’évaluation « causale » des évaluations « descriptive », « formative », « normative »,… La première impose la prise en compte des principes de la méthode expérimentale Toute évaluation se conçoit par rapport à une référence (appelée aussi « contrôle ») Et nécessite un ou des indicateur(s) Dont la première (mais pas la seule) propriété est la pertinence


Télécharger ppt "29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL."

Présentations similaires


Annonces Google