Répétitions des tests statistiques

Répétition des tests Plusieurs tests réalisés pour répondre à une même question –par exemple plusieurs critère de jugement Conclusion à un effet à partir du moment où il existe au moins un test significatif Le risque de la conclusion est bien supérieure à 5% Inflation du risque alpha Rappel, avec un ttt. sans effet, –sur 100 tests, il y en aura 5 significatifs (en moyenne)

Conclusion 1 test Contrôle parfait du risque alpha (5%) Conclusion Test 1 Test 2 Test 3 Test 4 Le risque de conclure à tort est > à 5% (seuil de 5%) A partir du moment où au moins 1 test est significatif

Test 1 Risque de conclure à tort à une différence = 5% Test 2 Risque de conclure à tort à une différence = 5% Test 4 Risque de conclure à tort à une différence = 5% Test 3 Risque de conclure à tort à une différence = 5% Globalement, le risque de conclure à tort à une différence lors de ces 4 comparaisons est bien plus important que 5%. Aux dés, la probabilité d obtenir un six est plus forte avec 3 dés qu avec un seul Comparaisons multiples

Avec un traitement sans efficacité en faisant 10 tests statistiques (p.e. 10 essais) nous avons 40% de risque de faire au moins une conclusion (à tort)

Critères de jugement Aspirine pour la prévention des événements cardiovasculaires Critères de jugement –mortalité totale –Événements cardiovasculaires mortels ou non mortels –DC cardiovasculaires –Mort subite –Infarctus –Accident vasculaire cérébraux –Interventions de revascularisation Risque alpha de conclure à tort à l'efficacité ?

Critère principal Décès de toute cause Critères secondaires Décès cardiovasculaire Mort subite Infarctus Accident vasculaire cérébraux Chirurgie Décès de toute cause Décès cardiovasculaire Mort subite Infarctus Accident vasculaire cérébraux Chirurgie Pas de définition de critère principal Risque de conclure à tort à l efficacité du traitement = 30% 7 tests statistiques Risque de conclure à tort à l efficacité du traitement = 5% Définition a priori d un critère principal Un seul test statistique Critère de jugement principal

Critère principal Conclusion que si le critère principal est significatif Critères secondaires : explicatifs

Multiplicité des critères de jugement - Exemple In women, however (Table 2), a positive effect on BMD was observed at several sites (mostly trabecular bone zones), namely the femoral neck and the Wards triangle in the 60–69 y group, and upper and total radius in the 70–79 y group.

Autres situations de répétition des tests mesures répétées au cours du temps

Essai 0.92NS 1Age<750.92NS 2Age>750.95NS 3Hommes0.92NS 4Femmes0.99NS 5Antécédents d'infarctus0.87NS 6Pas d'antécédents d'infarctus1.03NS 7Prise d'aspirine0.78p<0.05 8Pas d'aspirine1.09NS Analyse en sous-groupes - Essai non concluant

1Age<75test 1risque erreur 5% 2Age>75test 2risque erreur 5% 3Hommestest 3 risque erreur 5% 4Femmestest 4 risque erreur 5% 5Antécédents d'infarctustest 5 risque erreur 5% 6Pas d'ATCD d'infarctustest 6 risque erreur 5% 7Prise d'aspirinetest 7 risque erreur 5% 8Pas d'aspirinetest 8 risque erreur 5% Limites- Multiplicité des tests

Essai 0.78p<0.05 1Age<750.65p<0.01 2Age>750.90NS 3Hommes0.76p<0.05 4Femmes0.78p<0.05 5Antécédent d'infarctus0.97NS 6Pas d'antécédent d'infarctus0.70p<0.01 7Diabétique0.50p< Non diabétique0.91p<0.05 Analyses en sous groupes - Essai concluant

Analyses intermédiaires en cours dessai, avant que tous les patients prévus aient été recrutés et/ou avant la fin de la période de suivi initialement prévue But arrêter prématurément –pour efficacité –pour toxicité –pour futilité

Ajustement du seuil de signification Méthode de Bonferroni –Pour k comparaisons, le seuil ajusté est : –Pour k=3, s aj = 5% / 3 = 1.67% –Quand est petit, –Donc pour conserver un risque alpha global de 5% : –Inconvénient : fait lhypothèse dune stricte indépendance des variables testées méthode conservatrice

Ajustement du seuil de signification - 2 Méthode de Tukey –Pour k=3, s aj = 5% / 1.73 = 2.89%

Cas 1 3 analyses intermédiaires + 1 analyse finale = 4 comparaisons Arrêt prématuré de lessai

Cas 2 Pas darrêt prématuré mais conclusion à lefficacité

Cas 3 Pas darrêt prématuré et résultat non significatif (p=4%>s aj )

Cas 4 Résultat non significatif

Conclusion essai 1 –pas de démonstration de l'efficacité Conclusion essai 2 –démonstration de l'efficacité de manière statistiquement significative (p<0.05) –sur les 3 premiers critères de jugement

Catalogue des tests statistiques

Taille de léchantillon Avec les échantillons de grandes tailles –les distributions des moyennes proportions différence de moyenne différence de proportions sont des distributions normales --> calcul simple de p et des IC Avec les échantillons de petites tailles (n<30) –ces distributions ne sont pas normales (en général) (en général inconnues) –techniques spéciales dites "non paramétriques"

Variable continue –Données : distribution normale moyenne : distribution normale qq soit n –Données : distribution quelconque symétrique moyenne : distribution normale qq n>30 –Données : distribution quelconque moyenne : distribution normale qq n>100 Variable binaire –proportion : distribution normale qd n>30

Séries statistiques appariées 2 séries statistiques provenant de l'observation des mêmes sujets (unités statistiques) 2 méthodes de dosage de la glycémie A et B les 2 méthodes sont appliquées aux mêmes sujets –pour chaque patient : 2 valeurs, une avec chaque méthode –= 2 séries appariées 2 groupes de patients différents –méthode A utilisée avec le 1er grp –méthode B utilisée avec le 2e grp –= 2 séries non appariées

Catalogue des tests statistiques Le test utilisé doit être précisé avec le résultat Un test pour chaque situation définie par : –type de la variable (continue, binaire) –petit ou grand effectif –séries appariées ou non

Var. continues (comparaison des moyennes) –Séries non appariées grand effectif –test t (test de Student), Test z test non paramétrique –Test de Wilcoxon (Mann-Whitney) –Séries appariées grand effectif –test t pour séries appariées (Student pour séries appariées) test non paramétrique –Test de Wilcoxon pour séries appariées

Var. binaires (comparaison des proportions) –Séries non appariées grand effectif –Chi 2 ( ) test non paramétrique –Test exact de Fisher –Séries appariées –test de McNemar Var. qualitative à plusieurs modalités –idem var. binaires