Principes, intérêts et lecture critique des méta-analyses ? Michel Cucherat EA 643 Faculté Laennec Service de biostatistique - CHU Lyon michel.cucherat@upcl.univ-lyon1.fr

Plan Principes de la méta-analyse Intérêts de la méta-analyse Lecture critique des méta-analyses Présentation des résultats de MA Niveau de preuve

Problématique : multiplicité de l'information Essai 1 Essai 5 Essai 3 Essai 2 Essai 4 Conclusion pour la pratique Synthèse

Définition Synthèse des résultats d'essais cliniques répondant à une même question thérapeutique Synthèse quantifiée quantification de la taille de l'effet du traitement Synthèse rigoureuse et non arbitraire sélection des essais sur leur qualité méthodologique et non pas sur leur résultat Synthèses exhaustive essais publiés et non publiés

Justification des principes fondamentaux de la méta-analyse

Synthèse quantifiée Synthèse non arbitraire Synthèse rigoureuse Synthèse exhaustive

Analyse intuitive d'un tableau de résultats d'essais

Conclusion en faveur de l'efficacité S'appuie sur les résultats significatifs un seul, mais essai parmi les deux plus grands Les résultats non significatifs sont expliqués par un manque de puissance

Conclusion en défaveur de l'efficacité La majorité des essais sont non significatifs Un seul essai est significatif rejeté en argumentant le risque alpha probabilité de 5% que le résultat soit dû au hasard Non prise en compte du manque de puissance des essais non significatifs

Solution ... La taille de l'effet est plus informatif que la conclusion binaire significatif / non significatif

Synthèse quantifiée Synthèse non arbitraire Synthèse rigoureuse Synthèse exhaustive

Fréquence de citation en fonction des résultats Hypocholestérolémiants, Ravnskov, BMJ 1992 Nombre de citations par an résultats favorable (n=14) 40 résultats non favorables (n=10) 7.4 résultats favorable dans une grande revue (n=8) 61

Fréquence de citation en fonction des résultats (2) 2 essais publié dans le JAMA Fréquence de citation dans les années suivant la publication 1er 2ème 3éme 4éme LRC, favorable 109 121 202 180 Miettinen, non favorable 6 5 3

Synthèse quantifiée Synthèse non arbitraire Synthèse rigoureuse Synthèse exhaustive

Qualité des essais La méta-analyse n'est pas une méthode magique elle n'améliore pas la qualité des études qu'elle regroupe Études potentiellement biaisées MA potentiellement biaisée

Synthèse quantifiée Synthèse non arbitraire Synthèse rigoureuse Synthèse exhaustive

Publication sélective des essais en fonction du résultat Les essais positifs sont plus facilement publiés que les négatifs Différence significative Différence non-significative Publication

Biais de publication - 2 Un essai peut être positif à tort (risque alpha) Exemple d'un traitement sans efficacité Risque alpha = 5% Essais réalisés Essais publiés E. positifs 5 5 E. négatifs 95 0 Méta-analyse négative Méta-analyse positive !

Intérêts de la méta-analyse

Apports de la méta-analyse par rapport à un seul essai Synthèse de l'information Réduction de la quantité d'information Clarification des situations contradictoires Peser les arguments en faveur ou en défaveur de l'effet du traitement Meilleure précision dans l'estimation de la taille de l'effet Gain en puissance Représentativité accrue

Utilisation possible de la méta-analyse Augmenter la puissance statistique Améliorer la précision de l'estimation de la taille de l'effet Lever le doute en cas de résultats discordants Tester et augmenter la généralisabilité d'un résultat Expliquer la variabilité des résultats …/...

Utilisation (2) Réaliser des analyses en sous groupes Mettre en perspective un essai par rapport aux autres Constater un manque de données fiables

Utilisation raisonnable de la méta-analyse Outil de synthèse représentation des connaissances sous une forme condensée Rapporter l'ensemble des résultats concernant une question thérapeutique donnée Monter la cohérence d'un résultat avec les autres du domaine (validité externe) Outil de recherche Recherche de l'efficacité "Montrer" l'efficacité d'un traitement en l'absence d'essai concluant Générer des hypothèses (analyses en sous groupes)

Types de méta-analyse Analyse conjointe non exhaustive Méta-analyse sur données résumées exhaustive MA classique Méta-analyse sur données individuelles Méta-analyse prospective projet commun entre plusieurs équipes

Lecture critiques des méta-analyses

Question précise Permet de donner du sens au résultat de la MA Exemple : hypocholestérolémiant dans la prévention cardiovasculaire il existe plusieurs moyens hypocholestérolémiants : médicaments, régime, chirurgie deux types de question : effet de la baisse provoquée de la cholestérolémie effet des statines

Exhaustivité de la recherche des essais Recherche des essais publiés Plusieurs bases bibliographiques : Medline, Embase Registre de la Cochrane Collaboration Références des références Pas de limitation aux publications en anglais Recherche des essais non publiés Moyens mis en œuvres au minimum : abstracts de congrès Existence d'essais non publiés Indispensable pour éviter le biais de publication

Absence d'essais biaisés Sélection des essais de qualité méthodologique suffisante pour éviter les biais Essai randomisé, randomisation imprévisible Essai en double insu Sans perdu de vue Score Jadad Liste des essais exclus et raisons de l'exclusion

Combinaison des effets traitements correcte T. étudié T. contrôle Effet du traitement Essai 1 regroupement Effet global x1/n1 x0/n0 Essai 2 x1/n1 x0/n0 Essai 3 x1/n1 x0/n0 Essai 4 x1/n1 x0/n0

Paradoxe de Simpson Essai T+ T- OR 1 18/60 36/120 1.00 30% 30% 1 18/60 36/120 1.00 30% 30% 2 84/120 42/60 1.00 70% 70% Total 102/180 78/180 0.58 56% 43%

Regroupement des risques relatifs Le résultat de la méta-analyse doit être obtenu en combinant: les effets traitements (risques relatifs) et non pas les événements et les effectifs

Combinaison des effets traitements T. étudié T. contrôle Effet du traitement Essai 1 x1 x0 e Essai 2 x1 x0 e Essai 3 x1 x0 e Essai 4 x1 x0 e Effet global

Hypothèse Les résultats des essais varient d'un essai à l'autre du fait du hasard Ces résultats fluctuent de manière aléatoire autours d'une valeur commune Valeur commune

Principe statistique Le but de MA est de prendre en compte ces fluctuations dues au hasard (suppression du bruit de fond) et de fournir une estimation moins sujette à ces variations que l'estimation données par un seul essai

Hétérogénéité statistique des résultats les différences entre essais sont trop importantes pour être expliquées par le hasard l'efficacité réelle du traitement a été différente d'un essai à l'autre le regroupement n'a plus de sens expliquer l'hétérogénéité facteurs modifiants l'efficacité

Présentation des résultats de MA

Résultats statistiques Effet traitement commun moyenne pondérée par l'inverse de la variance plus un essai est précis, plus sa contribution est forte si un essai est prépondérant il masque complément les autres essais intervalle de confiance Test de l'existence de l'effet traitement test d’association Test de l'hypothèse d'homogénéité test d’hétérogénéité

Risque Relatif RR = RT / RC Réduction Relative de Risque Ev. Effectif Risque Grp T 45 180 45 / 180 = 0.25 Grp C 56 176 56 / 176 = 0.32 RR = 0.25 / 0.32 = 0.79 Réduction Relative de Risque RRR = 1 - 0.79 = 21%

Risque relatif, interprétation RR < 1 (RT < RC) le traitement réduit la fréquence de l'événement effet bénéfique RR > 1 (RT > RC) le traitement augmente la fréquence de l'événement effet délétère RR = 1 (RT = RC) le traitement est sans effet

Odds ratio L'odds ratio est une approximation du risque relatif Ev. Effectif Cote Risque Grp T 45 180 45 / 135 = 0.33 45/180 Grp C 56 176 56 / 120 = 0.47 56/176 OR = 0.33/0.47 = 0.71 (RR=0.79) L'odds ratio est une approximation du risque relatif

Graphique de méta-analyse

Hétérogénéité - graphique Essai 1 Essai 2 Essai 3 Essai 4 Global 0.5 1 1.5 2

Absence d'hétérogénéité Essai 1 Essai 2 Essai 3 Essai 4 Essai 5 Global OR 0.5 1 1.5 2

Odds ratio versus risque relatif L'odds ratio n'estime correctement le risque relatif qu'avec les événements rares Lorsque la fréquence de base des événements est élevée, l'utilisation de l'odds ratio pour estimer le risque relatif entraîne une surestimation de l'effet du traitement …/...

Exemple risque de base = 75% odds ratio = 0.5 interprétation erronée : le traitement réduit de 50% la fréquence de survenue des événements en réalité : RR = 0.80 interprétation correcte : le traitement réduit de 20% la fréquence de survenue des événements

Variation de l'odds ratio en fonction du risque de base 1.0 0.0 0.2 0.4 0.6 0.8 0.00 0.25 0.50 0.75 1.00 Risque de base dans le groupe contrôle Odds-ratio RR=0.8 Un odds ratio exprimé comme un risque relatif surestime l'effet du traitement

Méta-analyse non significative Problème identique à celui d'un essai non significatif Absence réelle d'effet Résultat non significatif ? Manque de puissance

Non infériorité Nécessite de fixer une limite de non infériorité justifiée Calcul de la méta-analyse avec un intervalle unilatéral Mélange d'essais de supériorité et de non infériorité possible Données en per protocole

Niveau de preuve

Niveau de preuve Place de la méta-analyse dans la démonstration de l'effet Effet démontré (plus haut niveau de preuve) MA concluante sans hétérogénéité avec au moins un essais concluant Effet suggéré sans essais concluant

Méta-analyse d'études d'observation Les études d'observation ne contrôlent pas tous les biais Échelle de niveau de preuve étude d'observation < essai randomisé La méta-analyse n'améliore pas la qualité des études Une méta-analyse d'études d'observations n'est pas comparable à une MA d'essais randomisés

Exemple : bêta-carotène et mortalité cardiovasculaire

Etidronate for treating and preventing postmenopausal osteoporosis Cranney A, Welch V, Adachi et al. Osteoporosis International, 2001

Liste de contrôle Question posée Stratégie de recherche les bases employées les moyens utilisés pour rechercher des essais non publiés et le résultat Critères de sélection des essais critère méthodologique : randomisation, insu, perdu de vue critère d'adéquation à la question posée

Liste de contrôle (2) Liste des essais exclus et raison de l’exclusion Description des essais inclus descriptions des traitements, de la méthode, des patients Résultats graphiques le test d'hétérogénéité pour chaque critère le nombre d’essais disponibles