Méthodologie de l’évaluation Jean-Pierre Boissel UCBL Connaître la méthodologie des essais cliniques pour pouvoir juger l ’information thérapeutique utile à la pratique. Quelle thérapeutique dans la « liste » de chaque médecin ? Quelle thérapeutique pour espérer un bénéfice optimum avec un risque minime pour chaque malade ? Le choix d’une thérapeutique pour un patient est un processus séquentiel. Après avoir fixer l’objectif thérapeutique de concert avec son patient, le médecin sélectionne le traitement (ou la stratégie thérapeutique) le plus à même à l’atteindre. La connaissance de la quantité prédictible d’efficacité est donc un préalable incontournable à la seconde étape du processus. Bien entendu, il est illusoire de vouloir faire de chaque futur médecin un spécialiste de la méthodologie des essais cliniques et de la recherche clinique. Il s’agit, en revanche, de lui fournir les moyens de comprendre le niveau de preuve des informations qu’on lui présente. Aujourd’hui, peu d’informations sont délivrées au médecin assorties de leur niveau de preuve. En outre il n’existe pas encore d ’échelle de niveau de preuve standard. Mais cela changera dans un avenir proche. Les futurs médecins doivent donc s’y préparer. 29/11/05 JPB AEU FMC v1.0

Evaluer Signification ?

Les points clés Pourquoi évaluer ? L’hypothèse et l’objectif Les facteurs confondants Les indicateurs La méthode : une comparaison sans biais lorsque l’objectif est la mise en évidence d’une relation causale biaisée dans tous les autres cas La puissance et le nombre d’unités statistiques à inclure La randomisation Le rôle de l’analyse statistique Le résultat L’interprétation

Rappel : les deux principes de la méthode expérimentale (Claude Bernard) Premier principe: l'expérience destinée à confirmer une hypothèse de relation causale est une comparaison et pour qu'elle soit interprétable il faut que tous les facteurs confondants, connus ou inconnus, jouent de la même manière sur les deux termes de l'expérience Second principe: l'hypothèse doit être formulée avant le début de la collecte des données

Pourquoi évaluer les formations ? Pour mesurer leur efficacité vis-à-vis de l’objectif général : Transférer les connaissances Modifier les pratiques dans le sens de : Des soins plus proches du référentiel De meilleurs chances pour les patients Des professionnels plus heureux …/… Comme toute mesure, celle-ci doit être juste et sans biais S’ajoute à cette exigence un impératif éthique propre au champ de l’objectif Que doit-on évaluer ? L ’impératif éthique doit être envisagé dans le cadre d ’une réflexion approfondie. En effet, on l’a vu et on le voit encore fréquemment invoqué pour refuser l’évaluation correcte (c.a.d. en double insu -- lorsque c’est faisable -- et contre un placebo ou au moins l’absence de traitement concurrent, ce qui ne veut pas dire l’absence de traitement) de thérapeutiques dont l’efficacité n’a pas été mesurée correctement et qui cependant sont « standard ».

Une hypothèse, un objectif, des indicateurs La formation selon telle modalité X transfert des connaissances utiles pour la pratique Objectif Montrer que la formation que nous allons réaliser selon la modalité X va modifier les pratiques telles qu’on peut les apprécier (évaluer – oh ambiguïté !) grâce aux indicateurs I Retour sur la question : que doit-on évaluer ? Les indicateurs Sont-ils pertinents vis-à-vis de L’hypothèse L’objectif Ces trois composantes doivent être un préalable à l’élaboration du projet de l’essai clinique et apparaître dans le préambule de son compte-rendu. Elles s ’enchaînent l’une l’autre. L’exemple ci-dessus est évidemment une réduction simpliste de ce que l’on devrait présenter pour un essai clinique d’un thrombolytique dans l’IDM.

Indicateurs Directs ou « cliniques » Indirects ou « intermédiaires » : Meilleurs soins donc meilleurs pronostics (quantité et qualité de vie) Indirects ou « intermédiaires » : Modification des prescriptions Explicatifs Changement des connaissances Modification des attitudes Seul le crière clinique permet de mesurer le bénéfice pour le patient. Aucun critère de substitution souvent utilisé en pratique n’a été montré posséder les propriétés requises.

… et une bonne méthodologie Sans bonne méthodologie les résultats (= la quantité d’évolution des indicateurs causée par la formation) seront ininterprétables Bonne méthodologie = Cohérente avec l’objectif Éliminant les facteurs confondants Tenant compte de l’aléas Conduisant à un résultat transposable (cad généralisable)

Évolution des indicateurs avant-après Recueil des indicateurs AVANT Recueil des indicateurs APRES comparaison Plan en groupes parallèles : les deux traitements sont appliqués à des patients différents. Plan croisé : chaque patient reçoit l’un et l’autre traitement dans un ordre aléatoire. Ne s’applique qu’à certaines maladies (chroniques, assez stables, et symptomatiques) et à certains traitements (palliatifs, ne guérissant pas ; par exemple anti-inflammatoires dans la PR). Carré latin : extension du plan croisé à plus de deux traitements (ici 4). Formation Effet de la formation = différence avant-après ?

Comparaison avant-après état initial évolution spontanée des pratiques effet « placebo » de la formation régression à la moyenne (à partir des besoins ressentis) autres facteurs confondants (les autres sources de transfert) FORMATION Dans ce type d’approche, on observe l’état initial, on applique l’intervention (le traitement dont on cherche à identifier l’effet), puis après un certain temps on observe l’état final. Mais la différence entre l’état initial et l’état final est la somme des effets des facteurs confondants et de l’intervention. On ne peut pas isoler l’effet de l’intervention des effets des facteurs confondants, puisque ceux-ci ne sont pas identifiables. Un traitement inefficace ne peut donc être identifié par cette approche. Un traitement efficace non plus, sauf si il est extrèmement efficace et la maladie habituellement très grave chez pratiquement tous les malades. . état final A quoi est due la différence entre l’état final et l’état initial ?

Régression à la moyenne (1) 73 patients consécutifs sans traitement hypocholestérolémiant sous-groupe A: cholestérol de base > 3,2 g/l (moy + 2 e.t.) sous-groupe B: chloestérol de base > 2,75 g/l (moy + 1 e.t.) sous-groupe C: cholestérol de base > 2,3 g/l (médiane) pour chaque panneau, à gauche les valeurs à t = 0, à droite les valeurs à t = 21 jours. La régression à la moyenne est un phénomène d’ordre statistique. Il se traduit par le fait que des valeurs extrêmes, c’est à dire écartées de la moyenne du groupe, au temps t = 0 (début de l’observation), se trouveront [en moyenne] plus proche de la moyenne du groupe à un temps t > 0. Ce phénomène concerne toutes les variables biologiques ou physiologiques. L’exemple traité ci-dessus (Boissel JP, Duperat B, Leizorovicz A. The phenomenon of regression to the mean and clinical investigation of blood cholesterol lowering drugs. Eur J Clin Pharmacol 1980;17:227-230) montre que lorsqu’on sélectionne des sujets avec des valeurs élevées pour les inclure dans un essai clinique, on constitue un sous-groupe dont les valeurs s’écartent de la moyenne de la population. Le phénomène s’appliquera donc et que l’on verra baisser la valeur moyenne des patients inclus, même en l’absence d’efficacité de la thérapeutique testée. En outre, la conclusion souvent lue dans des articles rapportant l’effet d’un médicament «l’effet est d’autant plus important que les valeurs de départ étaient anormales» est le plus souvent sans fondement. Ce phénomène s’observe toutes les fois que l’on sélectionne un ou plusieurs individus sur une valeur.

Régression à la moyenne (2) sous-groupe baisse observée théorique A 17 % 15,3 % B 12 % 13,6 % C 8 % 12,6 % Le phénomène de régression à la moyenne peut être modélisé à condition de connaître (ou de supposer) la distribution de probabilité de la variable considérée. Dans l’exemple, ceci a été fait en supposant que la distribution de la concentration du cholestérol total était Gaussienne (loi dite «normale»). Cette modélisation permet de prédire la baisse «théorique» du cholestérol dans chaque sous-groupe et de comparer la prédiction à l’observation. La différence est faible pour les deux sous-groupes les plus extrèmes. Mais elle est importante pour le dernier, probablement parce que l’hypothèse d’une distribution Gaussienne n’est pas très raisonable. Predicted relative decrease of the blood cholesterol in the three sub-groups were obtained by modeling the phenomenon. Departures from the predictions are slight but for the third sub-group. baisse observée: données du graphique précédent baisse théorique: calculs fondés sur une loi normale (Gauss)

Effet placebo -80 -70 -60 -50 -40 -30 -20 -10 pré- traitement pré- traitement 6 semaines 6 mois nombre moyen de crises 10,3 -48% -77% p<0,0001 % 35 patients présentant une angine de poitrine invalidante (> 4 crise par semaine), traités par placebo + trinitrine à croquer et suivis six mois. L’effet placebo est difficile à définir (et encore plus à identifier) [Concepts, page 37]. On peut dire qu’il s’agit des conséquences sur l’évolution d’une maladie des effets non pharmacologiques d’un médicament. Dans l’étude ci-dessus (Boissel JP, Philippon AM, Gauthier E, Schbath J, Destors JM, and the B.I.S. Research Group. Time course of long-term placebo therapy effects in angina pectoris. Eur Heart J 1986;7:1030-1036), l’angine de poitrine des patients inclus s’est considérablement améliorée alors qu’ils ne recevaient qu’un placebo, c’est à dire un médicament dépourvu de molécules à effet pharmacologique.

Evolution spontanée (1) évolution du cholestérol total sérique 1 2 3 4 5 6 7 8 12 16 20 24 28 32 36 40 44 mois CT (g/l) Il s’agit de l’observationd’un cas (non publié). un patients hypercholestérolémique et hypertriglycéridémique au début de la période d’observation il ne reçoit aucun traitement, ni conseil de régime mais il doit faire doser les lipides sériques (toujours dans le même laboratoire) et se peser régulièrement, Si ce patient avait reçu un médicament hypocholestérolémiant (supposé efficace) à partir du début de la période d’observation, l’évolution favorable de la concentration de cholestérol total aurait été rattachée (par erreur) à l’effet de ce médicament. D’où le terme de facteur confondant (parce qu’il y a confusion entre deux causes).

Observance au placebo et mortalité Décès (%) RR Beta Blocker Heart Attack Trial Observance < 75% 19,0 Observance > 75% 6,8 0,36 Coronary Drug Project 25,8 16,4 0,64 (Petiti, 1994)

Evolution spontanée (4) évolution au cours du temps de l'incidence annuelle des événements thromboemboliques 2 4 6 8 10 12 14 1971 1976 1977 1978 1980 1982 1985 % Prendre un contrôle dit historique consiste à utiliser une série de cas recueillis antérieurement et à comparer les évolutions dans la nouvelle série traitée par l’intervention testée alors que la série historique n’était pas traitée. L’exemple ci-dessus montre que des séries apparemment identiques, recevant le même traitement peuvent différer considérablement au cours du temps pour le critère qui intéresse le chercheur, ici les accidents thrombo-emboliques. Si un nouveau médicament (inefficace) avait été appliqué à la série de 1985, la comparaison entre l’incidence des accidents observés après un an de traitement à l’incidence observée dans la série de 1982 aurait fait conclure à tort que ce nouveau traitement était efficace. Les comparaisons (contemporaines) d’un hôpital à l’autre ou d’un pays à l’autre ne sont pas plus sûres comme le montre les données de MONICA (The WHO MONICA Project. The World Health Organization Monica Project (Monitoring Trends and Determinants in Cardiovascular Disease): A Major International Collaboration. J Clin Epidemiol 1988;41:105-114, WHO MONICA Project, Tunstall Pedoe HD, Kuulasmaa K, Amouyel P, Arveiler D, Rajakangas AM, Pafak A. Myocardial infarction and coronary deaths in the world health organization MONICA projec: registration procedures, event rates, and case-fatality rates in 38 populations from 21 countries in four continents. Circulation 1994;90:583-612) en raisons des différences de risque non contrôlables. Le graphique représente les incidences annuelles des accidents thrombo-emboliques dans les groupes contrôles traités par un anticoagulant oral des essais randomisés d’antiagrégants plaquettaires chez les porteurs de valves cardiaques artificielles

Comparaison avant-après état initial évolution spontanée des pratiques effet « placebo » de la formation régression à la moyenne (à partir des besoins ressentis) autres facteurs confondants (les autres sources de transfert) FORMATION Dans ce type d’approche, on observe l’état initial, on applique l’intervention (le traitement dont on cherche à identifier l’effet), puis après un certain temps on observe l’état final. Mais la différence entre l’état initial et l’état final est la somme des effets des facteurs confondants et de l’intervention. On ne peut pas isoler l’effet de l’intervention des effets des facteurs confondants, puisque ceux-ci ne sont pas identifiables. Un traitement inefficace ne peut donc être identifié par cette approche. Un traitement efficace non plus, sauf si il est extrèmement efficace et la maladie habituellement très grave chez pratiquement tous les malades. . état final A quoi est due la différence entre l’état final et l’état initial ?

Annuler les effets des facteurs confondants X état initial contrôle test confondants Facteurs L’approche schématisée ici, où l’évolution dans un groupe recevant l’intervention testée est comparée à celle d’un groupe ne la recevant pas permet au contraire d’isoler l’effet de l’intervention à condition que les états initiaux soient identiques dans les deux groupes (identité représentée par le symbole unique X) et que les facteurs confondants s’appliquent à l’identique dans les deux groupes (pour plus de détails, voir Concepts, pages 34-38 et 40-47). Dans ces conditions l’effet de l’intervention testée est représentée par la différence des états finaux. Mais le problème est alors de constituer les deux groupes afin que ces deux conditions soient respectées. Claude Bernard dans son livre "Introduction à la médecine expérimentale" a probablement le mieux formulé cette idée en insistant sur la simultanéité, élément essentiel de la comparabilité, et sur la nécessaire comparaison à l'absence de traitement: "...[il faut] exiger avant tout l'observation ou l'expérience comparative. En effet, comment un médecin pourra-t-il juger l'influence d'une cause morbifique s'il n'élimine pas par une expérience comparative toutes les circonstances accessoires qui peuvent devenir des causes d'erreurs et lui faire prendre de simples coïncidences pour des relations de cause à effet". [Concepts, pages 38-40] FORMATION Yc Yt état final effet de l’intervention = (X-Yc) - (X-Yt) = Yt-Yc

Évolution des indicateurs avant-après Formation comparaison Plan en groupes parallèles : les deux traitements sont appliqués à des patients différents. Plan croisé : chaque patient reçoit l’un et l’autre traitement dans un ordre aléatoire. Ne s’applique qu’à certaines maladies (chroniques, assez stables, et symptomatiques) et à certains traitements (palliatifs, ne guérissant pas ; par exemple anti-inflammatoires dans la PR). Carré latin : extension du plan croisé à plus de deux traitements (ici 4). Contrôle

Randomisation ou allocation aléatoire permutations traitements patients n° 1 A 1 5 A 2 2 B 3 2 traitements, A et B 4 B 4 3 A 5 permutations de n = 6 6 B 6 A 1, 3, 5 On tire des listes de permutations aléatoires (ici deux permutations à 6 éléments, soit les six premiers nombres entiers) de fonctions spéciales d’ordinateurs. Au préalable on a décidé de la correspondance entre les six premiers nombres entiers et la nature du traitement, A ou B. Cette correspondance et l’ordre des entiers dans les permutations déterminent le traitement attribué à chaque patient. Les patients sont repérés par leur ordre d’entrée dans l’essai. Dans un essai en double-insu, les boîtes de traitements ne portent aucune mention de la nature du traitement qu’elles contiennent. Un numéro (qui ne figure pas ici pour ne pas compliquer le schéma) permet la correspondance entre la boite et le patient. 3 A 7 attribuer B 2, 4, 6 2 B 8 4 B 9 6 B 10 1 A 11 5 A 12

Nombre d’unités statistiques... En général : une US = un médecin Doit être calculé au préalable pour assurer une puissance suffisante à l’essai Il dépend : Du risque de faux positif que l’on accepte de prendre (rejet à tort de l’hypothèse nulle H0) De la puissance (complément à 1 du risque de passer à côté de l’effet) De l’intensité prévisible de l’effet (renvoie au modèle et à l’hypothèse que l’essai doit tester) De l’effet grappe Des formules permettent de calculer le nombre de sujets. Vous n’avez pas à les connaître. En revanche il faut comprendre les composantes du calcul. Une fois l’essai réalisé, le nombre de sujets déterminent la puissance de l’essai. Un essai est négatif (c.a.d. non « statistiquement significatif ») si le traitement ne possède pas l’effet attendu, si l’essai n’est pas assez puissant ou par le seul fait du hasard.

Effet “grappe” Un groupe de médecin La clientèle d’un médecin En formation Une association de FMC Un cabinet La clientèle d’un médecin Constitue des réunions d’intérêts communs La variabilité de leurs réponses n’est pas la même que si ils étaient complétement indépendants les uns des autres Il faut en tenir compte : Dans le calcul du nombre d’US Dans l’analyse statistique

Analyse statistique Prendre en compte les fluctuations d ’échantillon: Évolution du contrôle = effets des facteurs confondants + aléas Évolution sous traitement = effet du traitement + effets des facteurs confondants + aléas Évolution du contrôle - évolution sous traitement = effet du traitement + aléas Le « p » exprime les chances que le résultat ne soit du qu’au hasard Hypothèse nulle H0 et hypothèse alternative... Sans commentaire. Se souvenir de ce qu’est H0 et H1, l’hypothèse alternative (vu en cours de biostatistique).

Le problème La bonne méthodologie : Deux groupes Dont un contrôle Randomisation Comment constituer le groupe contrôle ? Les médecins La “formation” À ces difficultés s’ajoutent : La question du nombre d’unités statistiques Celle de l’effet groupe La lourdeur de cette approche (coût, énergie, durée) Impossible pour “une” formation À réserver à l’évaluation des modalités et techniques de formation

Alors que faire pour “une” formation ? Adapter la méthode aux possibilités et donc changer la question : Constate-t-on une “amélioration” des pratiques suite à la formation ? On ne documente pas la relation causale L’enjeu : En l’absence d’amélioration, on cherche à savoir pourquoi le résultat est contraire à l’attente En présence d’une amélioration on ne conclut pas que la formation a conduit à une amélioration des pratiques On cherche aussi à savoir si les besoins pour la satisfaction desquels la formation a été construite sont satisfaits

Interprétation En quoi ce résultat doit modifier la prochaine formation ? Cette réflexion doit faire l’objet d’un compte-rendu Telle est bien la question ! C’est la lecture critique qui permet d’y répondre.

Points clés Distinguer l’évaluation « causale » des évaluations « descriptive », « formative », « normative »,… La première impose la prise en compte des principes de la méthode expérimentale Toute évaluation se conçoit par rapport à une référence (appelée aussi « contrôle ») Et nécessite un ou des indicateur(s) Dont la première (mais pas la seule) propriété est la pertinence