Analyses en sous groupes Patricia Samb 19/05/2009 P Samb

Introduction Fréquemment réalisées en complément de l’analyse principale Intérêt dans la recherche de facteurs modifiant l’effet du traitement Nombreuses mises en garde Multiplication des analyses statistiques Augmentation du risque de trouver un résultat faussement positif 19/05/2009 P Samb

Multiplicité des tests - problématique proba d’obtenir 1 test significatif uniquement par hasard risque alpha – risque de 1ère espèce conclure à tort à l’efficacité du traitement (avec 5 critères indépendants, proba de touver au – 1 diff significative à tort est de 23%) 19/05/2009 P Samb

Multiplicité des tests - problématique Contrôle de l’inflation du risque alpha Méthode de Bonferoni: 0.05/k où k est le nb de comparaisons effectuées Méthode de Dunn-Sidak: α’=1-(1- α)1/k 19/05/2009 P Samb

Définition et but Recherche de l’effet du traitement dans une sous-population des patients d’1 essai En fonction de différentes variables : âge, sexe, stade de la maladie … objectif différent suivant le résultat de l’essai résultat concluant (basé sur une diff stat significative) résultat non concluant (absence de diff stat significative) 19/05/2009 P Samb

Analyses dans essai non concluant Recherche du(des) sous-groupe(s) dans lesquels existerait 1 effet du traitement stat significatif Effet du traitement seulement sur 1 certain type de patients? Se heurtent à plusieurs difficultés méthodologiques (répétition des tests stat, inflation du risque alpha et perte de puissance) => pas de conclusions sûres Tableau 1 – Dans cet essai non concluant les analyses en sous-groupes semblent suggérer que bien qu’il ne soit pas possible de mettre en évidence un effet tout patient confondu, le traitement serait efficace chez les sujets diabétiques. En fait cette observation ne peut pas être considérée comme une preuve mais seulement comme une nouvelle hypothèse à tester dans un nouvel essai. 19/05/2009 P Samb

Analyses dans essai concluant Recherche des groupes dans lesquels le traitement serait plus efficace et surtout ceux pour lesquels il serait inefficace Difficultés méthodologiques Puissance de la comparaison pas assurée => absence de diff significative ne signifie pas absence d’effet Risque d’erreur de 2ème espèce, erreur béta Ex : 19/05/2009 P Samb

Méthodes utilisées pour analyses Tests spécifiques par sous groupes Répétition des tests faits sur ensemble des patients Tests d’interaction ou d’hétérogénéité effet du traitement comparable dans différents sous-groupes ? la variable de sous-groupe intégrée dans le test réalisé Modèle multivarié : => intégration 3 paramètres: effet traitement, effet pronostique de la variable de sous-groupe, et l’interaction des 2. modèle de Cox (survie), le modèle logistique (réponse au traitement) ou l’analyse de variance (critère quantitatif tel qu’un score de qualité de vie). 19/05/2009 P Samb

Risques d’erreurs liés à ces méthodes Simulation sous R des données de 10 000 essais thérapeutiques de 200 patients (100 dans chaque groupe) avec 1 effet thérapeutiques « delta » fixé à l’avance Ces résultats doivent inciter à la plus grande prudence Erreurs d’interprétation Tests d’interaction semblent plus stables mais attention à la multiplication des tests 19/05/2009 P Samb

Essai non significatif globalement Aucun effet significatif dans 8 analyses en sous groupes 3ème et 4ème analyse en sous groupe -> effet non significatif en sens inverse dans 1 sous-groupe et significatif dans l’autre! Essai globalement significatif (p=0.01) Effet significatif dans 1 sous groupe et pas dans l’autre pour 8 analyses en sous groupes Pour les 2 autres, effet non significatif pour les 2 sous groupes Qu’aurions-nous conclu s’il s’agissait d’essais réels? 19/05/2009 P Samb

les femmes: p=0.064 (intervention vs contrôle). Conclusion de l’article ! L’intervention a des conséquences sur la mortalité chez les femmes: p=0.064 (intervention vs contrôle). test d’interaction => perspective plus modérée. 22 vs 12 chez femmes (OR=2) hommes : 11 vs 11 (OR=1) test d’interaction comparant ces OR est p=0.21. ne suggère pas qu’il y ait un effet de l’intervention sur la mortalité cardiaque lorsqu’il est associé au sexe. 19/05/2009 P Samb

Recommandations Nombreuses recommandations dans la littérature L’EMEA (European Agency for the Evaluation of Medicinal Products) -> conditions pour conclusions fiables CONSORT statement (recommandations d’experts pour la qualité des articles rapportant des essais thérapeutiques) Choix de la méthode stat + nombreux critères identifiés par de plusieurs auteurs 19/05/2009 P Samb

19/05/2009 P Samb

Analyses en sous groupe dans littérature Pocock et all 50 essais dans 4 journaux : - BMJ (N=5) - JAMA (N=6) - NEJM (N=24) - Lancet (N=15) De juillet à sept 2007 19/05/2009 P Samb

Conclusion Pour la recherche … Considérer les IC plutôt que p-values Approches appliquées dans 1 autre contexte : études observationnelles et Méta-analyse Autres méthodes stat : Incorporer effets cluster Autres approches : boostrap, meth bayésiennes 19/05/2009 P Samb

Biblio Subgroup analysis, covariate adjustement and baseline comarisons in clinical trial reporting : current practice and problems Pocock SJ, Assmann SE and all Statistics in medicine (2002), 21:2917-2930 Interaction effects and subgroup analyses in clinical trials : more than meets the eye? Sevdalis N SJ, Jacklin R Journal of Evaluation in Clinical Pratice (2008), ISSN 1356-1294 Subgroup analyses in randomised controlled trials: quantifying the risks of false-positives and false-negatives. Brookes ST, Whitley E, Peters TJ, et al. (2001) Health Technol Assess 5: 1-56 Interprétation des essais cliniques pour la pratique médicale Michel Cucherat 19/05/2009 P Samb