Quelques commentaires sur les tests statistiques

Présentation au sujet: "Quelques commentaires sur les tests statistiques"— Transcription de la présentation:

1 Quelques commentaires sur les tests statistiques
Les composantes d’un test statistique Les hypothèses nulles en statistique Le sens de p Inférence: Comment traduire p en une conclusion? Types d’erreur dans les tests statistiques Tests unilatéraux et bilatéraux La puissance Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

2 Les composantes d’un test statistique
Hypothèse nulle (H0) Observations (données) Une statistique Conditions d’application Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

3 L’hypothèse nulle en statistique
Le résultat “par défaut” auquel les données sont comparées Souvent l’hypothèse nulle représente la situation où aucun patron n’est observé. Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

4 Questions biologiques VS Hypothèses nulles
La taille varie-t-elle entre les deux sexes? Les tailles moyennes des mâles et des femelles sont égales La structure en âge varie-t-elle entre deux populations de poissons? La distribution en âge (fréquence) est indépendante de la population Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

5 Les questions biologiques (Q), les prédictions (P) et les hypothèses nulles (H0)
Q: Est-ce que le traitement contre le cancer A est plus efficace que le traitement B? P: La survie des patients traités avec A est plus grande que celle des patients traités avec B. H0: Il n’y a pas de différence entre la survie des patients traités avec A et ceux traités avec B. Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

6 Test d’hypothèses Formulation de la question biologique
Générer l’hypothèse biologique Générer la prédiction biologique Question biologique Induction Hypothèse biologique Déduction Survie A B Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

7 Test d’hypothèses (suite)
Variables expérimentales (y, x) Identifier les variables expérimentales Définir les hypothèses statistiques Définir l’hypothèse nulle H0 Tester H0, La rejeter ou l’accepter. H0 de survivants (y) Proportion Temps (x) de survivants Proportion Temps Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

8 Observations Assumer que les données sont récoltées correctement
Toutes les observations sont soumises à l’erreur de mesure! Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

9 Le sens de p Informel: la probabilité que l’hypothèse nulle soit vraie
Vraie définition: la probabilité d’observer des données qui diffèrent autant de la valeur prédite par l’hypothèse nulle lorsque: les données sont récoltées correctement Toutes les conditions d’application du test sont rencontrées Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

10 Rejeter ou ne pas rejeter?
La décision de rejeter ou d’accepter l’hypothèse nulle est basée sur p. Le seuil de décision est arbitraire. On doit toujours garder en tête la valeur de p obtenue. Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

11 La statistique p est estimé en se basant sur la distribution de la statistique choisie Si la distribution est connue, on peut calculer la probabilité d’obtenir une valeur pour cette statistique aussi grande (ou petite) ou égale à la valeur calculée si H0 était vraie, c’est-à-dire: p Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

12 Un exemple Deux échantillons (1, 2) dont les moyennes diffèrent par la quantité d Quelle est la probabilité d’observer cette différence si H0 stipule que les deux moyennes sont égales? Éch. 1 Éch. 2 Fréquence Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

13 Un exemple (suite) Éch. 1 Si H0 est vraie, alors la distribution attendue de la statistique t est: Fréquence Éch. 2 Probabilité (p) t -3 -2 -1 1 2 3 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

14 Un exemple (suite) Éch. 1 On observe t=2.01 alors que la valeur attendue (selon H0) est t=0.0 Quelle est la probabilité d’obtenir une valeur au moins aussi grande si H0 (les deux moyennes sont égales) est vraie? Comme p est petit, il est improbable que H0. soit vraie. Alors, on rejette H0. Fréquence Éch. 2 -3 -2 -1 1 2 3 Probabilité t = 2.01 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

15 Inférence: Comment traduire p en une conclusion?
Si p < 0.05, rejeter l’hypothèse nulle mais…toujours garder la valeur de p à l’esprit Accompagner les résultats significatifs (ou non) de la valeur de p correspondante Ne pas oublier, la “convention” p < 0.05 est arbitraire! Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

16 Signification statistique et processus décisionnel: un exemple
Si les deux chevaux ont les mêmes cotes, sur lequel miseriez-vous? Si vous étiez un ”bookie”, offririez-vous les mêmes cotes aux deux chevaux? Si vous l’aviez fait, seriez-vous toujours en affaires? Jolly Jumper Prince noir Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

17 Types d’erreur dans les tests statistiques
Deux types: Une hypothèse nulle qui est vraie peut être rejetée ou une hypothèse nulle qui est fausse peut être acceptée. Erreur de type I (a): La probabilité de rejeter une hypothèse nulle qui serait vraie. Erreur de type II (b) : La probabilité d’accepter une hypothèse nulle qui serait fausse. Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

18 Réalité Conclusion   Erreurs d’inférence H0 est vraie H0 est fausse
Accepter H0 pas d’erreur  Rejeter H0  pas d’erreur Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

19 Erreurs d’inférence: un exemple
Realité Conclusion HIV HIV Séronégatif Séropositif 99% 95% 5% 1%   Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

20 Les hypothèses nulles des tests unilatéraux et bilatéraux
-3 -2 -1 1 2 3 Probabilité a/2 1- a a/2 Bilatéral: deux zones de rejet de H0 de taille a/2. Unilatéral: une zone de rejet de H0 de taille a. -3 -2 -1 1 2 3 -3 -2 -1 1 2 3 Probabilité 1- a a a 1- a t Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

21 Exemple: test bilatéral
Éch. 1 Pas de différences entre les populations H0: m1 - m2 = 0 Comme H0 est bilatérale, H0 sera rejetée si m1 - m2 > 0 ou si m1 - m2 < 0. Fréquence Éch. 2 -3 -2 -1 1 2 3 Probabilité Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

22 Exemple: unilatéral Éch. 1 Éch. 2 La taille moyenne de la population 1 est supérieure à celle de la population 2 H0: m1 - m2  0 Comme H0 est unilatérale, H0 sera rejetée seulement si m1 - m2 > 0 . Fréquence Probabilité -3 -2 -1 1 2 3 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

23 Tests unilatéral vs bilatéral
Éch. 1 Fréquence Éch. 2 Bilatéral: l’hypothèse nulle est rejetée si la valeur observée supérieure ou inférieure à la valeur théorique Unilatéral: l’hypothèse nulle est rejetée si la valeur observée est supérieure (ou inférieure) à la valeur théorique. H0: m1 = m2 (bilatéral, rejeter H0 ) H0: m1  m2 (unilatéral, accepter H0) Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

24 Important! Pour certaines situations, un test unilatéral sera plus puissant qu’un test bilatéral Pour cette raison, il faut toujours spécifier H0 avant l’analyse! Probabilité -3 -2 -1 1 2 3 a a/2 Probabilité 2 3 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

25 Paramètres en inférence statistique
Taux d ’erreur de type ! (a) Puissance (1- taux d’erreur de type II =1-b) Effectif (N) Taille de l ’effet (d) Chacun de ces paramètres est une fonction des trois autres, si on en connaît trois on peut calculer le quatrième Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

26 La Puissance La puissance est la probabilité de rejeter une hypothèse nulle quand celle-ci est fausse et qu’une hypothèse alternative est vraie, c’est-à-dire 1-b. La puissance ne peut être calculée que si l’hypothèse alternative est spécifiée. Donc, la puissance dépend de l’hypothèse alternative. Des tests puissants peuvent détecter de petites différences, des tests peu puissants ne peuvent détecter que des grandes différences. Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

27 Le calcul de la puissance: un exemple
La distribution attendue des moyennes de la longueur des ailes d’un échantillon de 5 mouches provenant de populations normales est définie par m et sY = La courbe du centre représente l’hypothèse nulle, H0: m = 45.5, les courbes de chaque côté représentent les hypothèses alternatives, m = 37 or m = 54. Les lignes verticales délimitent la zone de rejet (5%) de l’hypothèse nulle. H1 : m = 37 H0 : m = 45.5 H1 : m = 54 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

28 Puissance (suite) H0: m = m0 H1: m = m1 m1=54 m1=53 m1=50 m1=48.5 b=0.0096 b=0.0018 m0=45.5 b=0.2676 b=0.5948 Une augmentation de l’erreur de type II, b, quand l’hypothèse alternative H1, s’approche de l’hypothèse nulle, H0 -- c’est m1 qui s’approche de m . Les zones ombrées représentent b. Les lignes verticales délimitent la région du 5% critique (2.5% à chaque extrémité) pour l’hypothèse nulle. Afin de simplifier cette figure, la distribution de l’hypothèse alternative est représentée sur un côté. Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

29 Taille de l’effet H0 présume de la valeur d’un paramètre
Si H0 est que 2 moyennes sont égales, cela implique que la différence entre les deux moyennes (d) est 0 Éch. 1 Éch. 2 Fréquence Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

30 Taille de l ’effet (suite)
Éch. 1 Fréquence Éch. 2 Comme H0 présume de l’absence d’un phénomène, d quantifie le degré d’existence de ce phénomène Si H0 est fausse, elle est fausse à un certain degré, quantifié par d, la taille de l’effet Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

31 Analyse de puissance: 1 - Puissance vs a, d et N
Souvent faite après un test, lorsque N et la taille de l’effet (d) sont connus et que H0 a été acceptée On peut calculer 1-b (la puissance du test) pour une valeur d’a Si 1-b est faible, le taux d’erreur de type II est grand et il est fort possible qu’on ait accepté une H0 fausse Éch. 1 Éch. 2 Fréquence Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

32 Analyse de puissance: 2- N vs a, d et la puissance
Une certaine taille d’effet (d) est attendue (expérience préliminaire) et on fixe a et 1-b À partir de d, a et b on peut calculer l’effectif minimum (Nmin) requis Exercice très utile dans la planification des expériences Pré-Éch. 1 Pré-Éch. 2 Fréquence Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

33 Analyse de puissance 3 - d vs a, N et puissance
Compte-tenu de a, 1-b et N, quelle est la taille minimale de l ’effet détectable (dmin)? Si dmin est grande, seules de très grosses déviations de H0 seront détectées Il faut être TRÈS prudent de ne PAS conclure qu’il n’y a pas de différence même si on accepte H0 Ech 2 Fréquence Ech 1 X Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

34 Puissance: effet de la taille de l’échantillon
1.0 La courbe de puissance pour tester H0: m = 45.5. H1: m  45.5 pour n = 5 et n = 35. Pour une longueur d’aile donnée, la probabilité de rejeter une hypothèse nulle qui serait fausse diminue quand N augmente. Puissance (1-b) 0.5 n = 5 n = 35 a m Longueur de l’aile (x 0.1 mm) Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

35 Pourquoi se soucier de la puissance?
Fréquence Deux échantillons avec la même moyenne et la même variance mais dont N diffère. pour le premier cas, la puissance est grande, p < 0.05, alors on rejette H0 pour le deuxième cas, la puissance est petite, p > 0.05, alors on accepte H0. m1 m2 Taille N = 30 Fréquence m1 m2 Taille Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

36 Conclusions sur la puissance
Si la taille de l’échantillon est petite, la puissance des tests est faible. À moins de connaître la puissance d’une analyse, la décision d’accepter l’hypothèse nulle est difficilement interprétable! Si la puissance est élevée, le rejet de l’hypothèse nulle est probable même si les écarts entre les valeurs observées et attendues à partir de l’hypothèse nulle sont petits (et peut-être sans signification biologique)! Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

37 Inférence statistique: problèmes et limites
Problème 1: de très nombreuses hypothèse nulles sont peu vraisemblables a priori… …leur rejet n,est donc pas très informatif... Traitement 1 Traitement 2 Témoin Rendement Traitement Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

38 Inférence statistique: problèmes et limites
Problème 2: Le seuil de décision a (0.05) est arbitraire et peut être beaucoup trop conservateur ou libéral quant à la signification biologique… Seuil raisonnable pour la décision Probabilté -3 -2 -1 1 2 3 t Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

39 Inférence statistique: problèmes et limites
Problème 3: p est la probabilité d’observer une statistique au moins aussi extrème si H0 est vraie… … mais souvent la distribution réelle de la statistique ne suit pas exactement la distribution présumée lorsque l’hypothèse nulle est vraie. présumée Probabilté réelle -3 -2 -1 1 2 3 t Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

40 Inférence statistique: problèmes et limites
Problème 4: pour une taille donnée d’effet, p varie avec (n)… …on peut donc presque toujours rejeter H0 si l’échantillon est très grand, même si l’effet est trivial. Gros effet Erreur de type I Petit effet 0.05 Effectif (n) Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27

41 Inférence statistique: solutions
Évitez d’éprouver des hypothèse nulles triviales Faites une distinction entre la signification statistique et la signification biologique (ou autre) Rapportez toujours la taille de l’effet, peu importe la signification statistique. Considérez l’emploi de permutations ou de reéchantillonnage pour générer la distribution de votre statistique. Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :27