Analyse d’un essai P. Villani

But d’un essai thérapeutique Tenter de répondre à une question Mise en place d’un plan expérimental Respect d’un certain nombre d’exigences méthodologiques Existence d’un groupe témoin TAS Procédure du double insu NSN Définition des hypothèses à tester …

Analyse Description de la population randomisée Description des écarts au protocole Analyse et discussion des résultats

Description de la population Description de tous les patients inclus dans l’essai Doivent apparaître clairement Les effectifs des groupes Les données démographiques (âge, sexe, taille…) Les caractéristiques de la maladie Le recours à des tests statistiques pour comparer les populations à l’inclusion n’est pas nécessaire

Analyse Description de la population randomisée Description des écarts au protocole Analyse et discussion des résultats

Description des écarts au protocole Non respect du protocole fréquent Erreur et/ou manque de rigueur de l’investigateur et/ou du patient Intolérance ou inefficacité des traitements Refus du patient de poursuivre l’essai Ces patients doivent Faire l’objet d’une description Etre pris en compte dans l’analyse statistique Seule attitude qui permet de maintenir la comparabilité initiale et de minimiser les biais

Ecarts au protocole : trois grandes catégories Sujets inclus à tort Sujets ayant arrêté temporairement ou définitivement leur traitement Sujets perdus de vue

Sujets inclus à tort (1) Sujets qui ne répondent pas aux critères d’inclusion et de non-inclusion prévus par le protocole Reflet direct de la qualité de l’essai Solution pour réduire ces inclusions à tort TAS centralisé après vérification des critères

Sujets inclus à tort (2) Inclus à tort à la limite de l’inclusion Ex: sujet de 39 ans et six mois pour une borne minimale d’inclusion de 40 ans Ce type d’inclusion à tort devra, sauf raison médicale particulière, être traité et suivi normalement jusqu’à la fin de l’essai Inclusion à tort vraie Ex: inclusion d’un sujet avec une glycémie normale pour l’évaluation d’un ADO Interruption du traitement pour des raisons éthiques

Inclus à tort et analyse Si le nombre d’inclus à tort est faible On peut les exclure de l’analyse Décision prise par un comité indépendant dans l’ignorance du traitement reçu et des résultats Le nombre de sujets inclus à tort doit être Clairement donné par groupe de traitement Ainsi que les motifs

Sujets ayant arrêté temporairement ou définitivement leur traitement (1) Dans la plupart des essais tout peut se voir Ceux qui n’ont jamais pris leur traitement Ceux qui ont augmenté ou diminué les doses Ceux qui ont pris un traitement interdit Ceux qui ont pris le traitement de l’autre groupe… Leur exclusion peut aboutir à des résultats biaisés Tous ces sujets doivent être Suivis normalement jusqu’à la fin de l’essai Etre analysés dans le groupe de traitement attribué par le tirage au sort

Sujets ayant arrêté temporairement ou définitivement leur traitement (2) Lors d’arrêts prématurés pour inefficacité, on peut réaliser Une analyse en intention de traiter Une analyse en « end point » qui prendra en compte la dernière valeur du patient encore sous traitement

Sujets perdus de vue Sujets pour lesquels Absence des critères de jugement au moment prévu de l’évaluation Exclusion de l’analyse faute de résultats Les motifs qui président à la non-évaluation rarement indépendants du traitement Analyse excluant les perdus de vue fortement baisée Hypothèse du biais maximum peu réaliste

Analyse Description de la population randomisée Description des écarts au protocole Analyse et discussion des résultats

Analyse des résultats Règles générales Analyses trop souvent compliquées et confuses pour le lecteur Toutes les analyses, tableaux et figures présentés s’accompagnent de commentaires identifiant la population dont ils proviennent Analyse Critère de jugement principal Critères secondaires définis par le protocole Non sur des paramètres a posteriori

Analyse des résultats Comparaisons multiples Lors de mesures répétées dans le temps pour une variable donnée Soit résumer l’information par la moyenne ou par une aire sous la courbe Soit privilégier a priori un seul temps en réalisant un seul test

Analyse des résultats Analyses intermédiaires Analyse réalisée avant la fin de l’essai Soit parce que tous les sujets n’ont pas été inclus Soit parce qu’ils n’ont pas tous été suivis pendant la durée prévue par le protocole But Avoir des résultats plus précoces Prendre plus rapidement des décisions

Analyse des résultats Analyses intermédiaires Analyses planifiées par le protocole Concernent Des essais de longue durée Des pathologies graves Des médicaments potentiellement toxiques Le nombre d’analyses doit Etre réduit Etre indiqué dans des publications

Analyse des résultats Analyses par sous-groupes (1) Recherche de l’effet du traitement dans une sous-population des patients d’un essai Un essai Evaluation moyenne d’un traitement sur l’ensemble d’une population Population logiquement hétérogène Qui sont les sujets répondeurs ? Sur l’ensemble de la population Différence significative Etude des sous-groupes pas déraisonnable Probabilité d’observer une différence à tort élevée Différence non significative L’effet du hasard trop important Ces résultats ne peuvent servir qu’à formuler des hypothèses

Analyse des résultats Analyses par sous-groupes (2) Essais stratifiés Réponse fiable à une question de type analyse en sous-groupe Consiste à séparer dans l’essai différents types de patients à l’aide de strates Randomisation indépendante réalisée dans chaque strate Equilibre des effectifs entre deux groupes de chaque strate Stratification utilisée pour : Ajuster un facteur pronostic Tester deux hypothèses simultanément

Résultats et discussion Première situation : pas de différence significative L’absence de différence ne permet pas de conclure à l’équivalence Calcul a posteriori de la puissance En fonction de la puissance calculée Soit le traitement n’est vraisemblablement pas efficace Soit réalisation d’un autre essai avec des patients mieux sélectionnés et surtout plus nombreux

Résultats et discussion Deuxième situation : différence significative S’assurer que les résultats sont en accord avec les hypothèses définies a priori par le calcul du NSN Valeur du « p » Mesure le risque de conclure à tort Aucune indication quantitative sur l’importance de la différence Intérêt de l’intervalle de confiance de la différence Quantification du bénéfice du traitement Quantification de la précision de ce bénéfice

Intervalle de confiance (1) L'intervalle de confiance (IC) à 95% Intervalle de valeurs qui a 95% de chances de contenir la véritable valeur du paramètre estimé «Fourchette de valeurs à l'intérieur de laquelle nous sommes certains à 95% de trouver la vraie valeur recherchée» L'intervalle de confiance permet de visualiser la précision avec laquelle l'effet du traitement est connu

Intervalle de confiance (2)

Relation entre intervalle de confiance et test statistique (1) Bien que basés sur des philosophies différentes, relation entre Test statistique Intervalle de confiance Lorsque l’intervalle de confiance contient la valeur caractéristique de l’effet nul Impossible d’exclure le fait que la vraie valeur soit cet effet nul Ainsi la différence observée ne peut pas être considérée comme statistiquement significative Lorsque l’intervalle de confiance à 95% ne contiennent pas la valeur de l’effet nul Un test significatif au seuil de 5% conduit à dire qu’il y a 95% de chances que la vraie valeur de l’effet soit différente de l’effet nul

Relation entre intervalle de confiance et test statistique (2)

La Méta-Analyse Synthèse de plusieurs résultats d’essais thérapeutiques qui répondent à une question définie commune Nécessité d’une méthodologie dont le but est d’assurer son objectivité sa reproductibilité

Problématique : multiplicité de l'information Essai 1 Essai 5 Essai 3 Essai 2 Essai 4 Conclusion pour la pratique Synthèse

Recherche systématique et quantifiée Recherche exhaustive de tous les essais publiés et non publiés Dans les limites de temps et de langues Quantifiée Repose sur des calculs statistiques Estimation de l’intensité de l’effet du traitement

Buts et intérêts de la méta-analyse (1) Augmenter la puissance statistique de l’analyse d’un effet thérapeutique Démontrer l’effet statistique d’un traitement là où, individuellement, les essais antérieurs ne permettaient pas de conclure Homogénéiser et réconcilier des résultats apparemment discordants Préciser l’estimation de l’intensité de l’effet Synthétiser une somme importante d’informations

Buts et intérêts de la méta-analyse (2) Permettre d’extrapoler un résultat à un large éventail de patients La méta-analyse offre une plus grande diversité des sujets soumis à la comparaison Meilleure approche du patient « moyen » Expliquer la variabilité des résultats entre essais, notamment par l’effet des biais Objectiver l’insuffisance des données fiables dans un domaine particulier Montrer l’intérêt de mettre en place un essai spécifique

Méta-Analyse Particulièrement utiles Essais individuels de taille trop réduite Réalisation impossible d’un essai de grande taille Résultats des essais déjà réalisés Discordants Non concluants

Technique de calcul A partir des effectifs et des nombres d’événements de chaque essai Pour chaque essai Indice d’efficacité : risque relatif et son intervalle de confiance à 95 % Combinaison des indices d’efficacité de chaque essai Indice synthétique qui résume l’ensemble des essais et son intervalle de confiance à 95 %

Hypothèse fondamentale L’effet du traitement est une constante dont chaque essai offre une estimation soumise à des fluctuations aléatoires Modélisation de la série d’essais Série de mesures d’un même effet soumis à des fluctuations d’échantillonnage Fluctuations uniformément distribuées autour d’une valeur moyenne

Les étapes de réalisation Définir l’objectif de la méta-analyse en précisant La maladie Le type de traitement Les critères de jugement envisagés Le type de patients Etablir a priori la liste des critères d’inclusion des essais Rechercher tous les essais publiés ou non pouvant répondre à l’objectif Eliminer les études de qualité méthodologique discutable ne garantissant pas l’absence de biais Relever et synthétiser les caractéristiques des essais Estimer l’effet du traitement sur les critères de jugement

Les sources de données Un exigence importante : l’exhaustivité Toutes les bases bibliographiques informatisées Références des comptes rendus d’essais Registres d’essais randomisés Abstract d’essais aux résultats communiqués oralement Registres d’essais thérapeutiques (cancer, thrombose…) Service documentation des laboratoires pharmaceutiques Littérature grise (thèses, rapports internes…) Registres prospectifs www.trialscentral.org www.controlled-trials.com

Performances des recherches informatiques Source Thème Sensibilité Dickersin et al. 1985 Hyperbilirunémie néonatale 28/88 (32%) Dickersin et al. 1985 Hémorragie intracérébrale 19/29 (88%) Poynard & Conn, 1985 Maladies hépato- biliaires 107/208 (51%) Bernstein, 1988 Maladies hépato- biliaires 155/195 (80%)

Différence significative Différence non-significative Biais de publication Les essais positifs sont plus facilement publiés que les négatifs Différence significative Différence non-significative Publication

Biais et erreurs potentiels Une source des biais de la méta-analyse Biais des essais eux-mêmes Seule une sélection appropriée des essais garantit la qualité méthodologique « Dilution » de biais introduits par un ou quelques essais au niveau d’une méta-analyse qui compte majoritairement des essais de méthodologie correcte

Evaluation de la qualité méthodologique (1) But Déterminer si l’absence de biais est suffisamment probable pour que le résultat soit une bonne approche de l’estimation correcte de l’effet réel du traitement Problème comment évaluer la qualité méthodologique d’un essai ?

Evaluation de la qualité méthodologique (2) Nombreuses échelles On peut écarter la possibilité de biais avec suffisamment de certitude La répartition aléatoire des patients soumis à comparaison Surveillance et mesure du résultat en situation de double insu Absence ou taux faible de patients randomisés mais non inclus dans l’analyse finale

Recherche des autres biais Insuffisance de la recherche de biais Exclusion arbitraire de biais Publications multiples d’une même étude Erreurs des données des essais Absence de vérification du recueil des données Erreurs typographiques des publications

Représentation graphique Pour chaque essai L’estimation de l’effet thérapeutique est encadrée par un intervalle de confiance La valeur 1 est matérialisée par un axe vertical qui exprime l’absence de liaison statistique Si l’intervalle de confiance englobe cet axe, le résultat au niveau de l’essai est tenu pour non significatif

Apports de la méta-analyse par rapport à un seul essai Synthèse de l'information Réduction de la quantité d'information Clarification des situations contradictoires Peser les arguments en faveur ou en défaveur de l'effet du traitement Meilleure précision dans l'estimation de la taille de l'effet Gain en puissance Représentativité accrue

Conclusion Danger = regrouper des informations différentes patients différents traitements différents des critères différents des essais de qualité différente Comparer ce qui n’est pas comparable ! La synthèse de l’information a-t-elle un sens ? Solution : question précise