Quelques commentaires sur les tests statistiques Les composantes d’un test statistique Les hypothèses nulles en statistique Le sens de p Inférence: Comment traduire p en une conclusion? Types d’erreur dans les tests statistiques Tests unilatéraux et bilatéraux La puissance Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Les composantes d’un test statistique Hypothèse nulle (H0) Observations (données) Une statistique Conditions d’application Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

L’hypothèse nulle en statistique Le résultat “par défaut” auquel les données sont comparées Souvent l’hypothèse nulle représente la situation où aucun patron n’est observé. Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Questions biologiques VS Hypothèses nulles La taille varie-t-elle entre les deux sexes? Les tailles moyennes des mâles et des femelles sont égales La structure en âge varie-t-elle entre deux populations de poissons? La distribution en âge (fréquence) est indépendante de la population Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Les questions biologiques (Q), les prédictions (P) et les hypothèses nulles (H0) Q: Est-ce que le traitement contre le cancer A est plus efficace que le traitement B? P: La survie des patients traités avec A est plus grande que celle des patients traités avec B. H0: Il n’y a pas de différence entre la survie des patients traités avec A et ceux traités avec B. Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Test d’hypothèses Formulation de la question biologique Générer l’hypothèse biologique Générer la prédiction biologique Question biologique Induction Hypothèse biologique Déduction Survie A B Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Test d’hypothèses (suite) Variables expérimentales (y, x) Identifier les variables expérimentales Définir les hypothèses statistiques Définir l’hypothèse nulle H0 Tester H0, La rejeter ou l’accepter. H0 de survivants (y) Proportion Temps (x) de survivants Proportion Temps Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Observations Assumer que les données sont récoltées correctement Toutes les observations sont soumises à l’erreur de mesure! Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Le sens de p Informel: la probabilité que l’hypothèse nulle soit vraie Vraie définition: la probabilité d’observer des données qui diffèrent autant de la valeur prédite par l’hypothèse nulle lorsque: les données sont récoltées correctement Toutes les conditions d’application du test sont rencontrées Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Rejeter ou ne pas rejeter? La décision de rejeter ou d’accepter l’hypothèse nulle est basée sur p. Le seuil de décision est arbitraire. On doit toujours garder en tête la valeur de p obtenue. Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

La statistique p est estimé en se basant sur la distribution de la statistique choisie Si la distribution est connue, on peut calculer la probabilité d’obtenir une valeur pour cette statistique aussi grande (ou petite) ou égale à la valeur calculée si H0 était vraie, c’est-à-dire: p Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Un exemple Deux échantillons (1, 2) dont les moyennes diffèrent par la quantité d Quelle est la probabilité d’observer cette différence si H0 stipule que les deux moyennes sont égales? Éch. 1 Éch. 2 Fréquence Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Un exemple (suite) Éch. 1 Si H0 est vraie, alors la distribution attendue de la statistique t est: Fréquence Éch. 2 Probabilité (p) t -3 -2 -1 1 2 3 Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Un exemple (suite) Éch. 1 On observe t=2.01 alors que la valeur attendue (selon H0) est t=0.0 Quelle est la probabilité d’obtenir une valeur au moins aussi grande si H0 (les deux moyennes sont égales) est vraie? Comme p est petit, il est improbable que H0. soit vraie. Alors, on rejette H0. Fréquence Éch. 2 -3 -2 -1 1 2 3 Probabilité t = 2.01 Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Inférence: Comment traduire p en une conclusion? Si p < 0.05, rejeter l’hypothèse nulle mais…toujours garder la valeur de p à l’esprit Accompagner les résultats significatifs (ou non) de la valeur de p correspondante Ne pas oublier, la “convention” p < 0.05 est arbitraire! Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Signification statistique et processus décisionnel: un exemple Si les deux chevaux ont les mêmes cotes, sur lequel miseriez-vous? Si vous étiez un ”bookie”, offririez-vous les mêmes cotes aux deux chevaux? Si vous l’aviez fait, seriez-vous toujours en affaires? Jolly Jumper Prince noir Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Types d’erreur dans les tests statistiques Deux types: Une hypothèse nulle qui est vraie peut être rejetée ou une hypothèse nulle qui est fausse peut être acceptée. Erreur de type I (a): La probabilité de rejeter une hypothèse nulle qui serait vraie. Erreur de type II (b) : La probabilité d’accepter une hypothèse nulle qui serait fausse. Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Réalité Conclusion   Erreurs d’inférence H0 est vraie H0 est fausse Accepter H0 pas d’erreur  Rejeter H0  pas d’erreur Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Erreurs d’inférence: un exemple Realité Conclusion HIV HIV Séronégatif Séropositif 99% 95% 5% 1%   Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Les hypothèses nulles des tests unilatéraux et bilatéraux -3 -2 -1 1 2 3 Probabilité a/2 1- a a/2 Bilatéral: deux zones de rejet de H0 de taille a/2. Unilatéral: une zone de rejet de H0 de taille a. -3 -2 -1 1 2 3 -3 -2 -1 1 2 3 Probabilité 1- a a a 1- a t Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Exemple: test bilatéral Éch. 1 Pas de différences entre les populations H0: m1 - m2 = 0 Comme H0 est bilatérale, H0 sera rejetée si m1 - m2 > 0 ou si m1 - m2 < 0. Fréquence Éch. 2 -3 -2 -1 1 2 3 Probabilité Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Exemple: unilatéral Éch. 1 Éch. 2 La taille moyenne de la population 1 est supérieure à celle de la population 2 H0: m1 - m2  0 Comme H0 est unilatérale, H0 sera rejetée seulement si m1 - m2 > 0 . Fréquence Probabilité -3 -2 -1 1 2 3 Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Tests unilatéral vs bilatéral Éch. 1 Fréquence Éch. 2 Bilatéral: l’hypothèse nulle est rejetée si la valeur observée supérieure ou inférieure à la valeur théorique Unilatéral: l’hypothèse nulle est rejetée si la valeur observée est supérieure (ou inférieure) à la valeur théorique. H0: m1 = m2 (bilatéral, rejeter H0 ) H0: m1  m2 (unilatéral, accepter H0) Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Important! Pour certaines situations, un test unilatéral sera plus puissant qu’un test bilatéral Pour cette raison, il faut toujours spécifier H0 avant l’analyse! Probabilité -3 -2 -1 1 2 3 a a/2 Probabilité 2 3 Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Paramètres en inférence statistique Taux d ’erreur de type ! (a) Puissance (1- taux d’erreur de type II =1-b) Effectif (N) Taille de l ’effet (d) Chacun de ces paramètres est une fonction des trois autres, si on en connaît trois on peut calculer le quatrième Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

La Puissance La puissance est la probabilité de rejeter une hypothèse nulle quand celle-ci est fausse et qu’une hypothèse alternative est vraie, c’est-à-dire 1-b. La puissance ne peut être calculée que si l’hypothèse alternative est spécifiée. Donc, la puissance dépend de l’hypothèse alternative. Des tests puissants peuvent détecter de petites différences, des tests peu puissants ne peuvent détecter que des grandes différences. Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Le calcul de la puissance: un exemple La distribution attendue des moyennes de la longueur des ailes d’un échantillon de 5 mouches provenant de populations normales est définie par m et sY = 1.74. La courbe du centre représente l’hypothèse nulle, H0: m = 45.5, les courbes de chaque côté représentent les hypothèses alternatives, m = 37 or m = 54. Les lignes verticales délimitent la zone de rejet (5%) de l’hypothèse nulle. H1 : m = 37 H0 : m = 45.5 H1 : m = 54 35 40 45 50 55 Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Puissance (suite) 40 45 50 55 60 H0: m = m0 H1: m = m1 m1=54 m1=53 m1=50 m1=48.5 b=0.0096 b=0.0018 m0=45.5 b=0.2676 b=0.5948 Une augmentation de l’erreur de type II, b, quand l’hypothèse alternative H1, s’approche de l’hypothèse nulle, H0 -- c’est m1 qui s’approche de m . Les zones ombrées représentent b. Les lignes verticales délimitent la région du 5% critique (2.5% à chaque extrémité) pour l’hypothèse nulle. Afin de simplifier cette figure, la distribution de l’hypothèse alternative est représentée sur un côté. Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Taille de l’effet H0 présume de la valeur d’un paramètre Si H0 est que 2 moyennes sont égales, cela implique que la différence entre les deux moyennes (d) est 0 Éch. 1 Éch. 2 Fréquence Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Taille de l ’effet (suite) Éch. 1 Fréquence Éch. 2 Comme H0 présume de l’absence d’un phénomène, d quantifie le degré d’existence de ce phénomène Si H0 est fausse, elle est fausse à un certain degré, quantifié par d, la taille de l’effet Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Analyse de puissance: 1 - Puissance vs a, d et N Souvent faite après un test, lorsque N et la taille de l’effet (d) sont connus et que H0 a été acceptée On peut calculer 1-b (la puissance du test) pour une valeur d’a Si 1-b est faible, le taux d’erreur de type II est grand et il est fort possible qu’on ait accepté une H0 fausse Éch. 1 Éch. 2 Fréquence Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Analyse de puissance: 2- N vs a, d et la puissance Une certaine taille d’effet (d) est attendue (expérience préliminaire) et on fixe a et 1-b À partir de d, a et b on peut calculer l’effectif minimum (Nmin) requis Exercice très utile dans la planification des expériences Pré-Éch. 1 Pré-Éch. 2 Fréquence Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Analyse de puissance 3 - d vs a, N et puissance Compte-tenu de a, 1-b et N, quelle est la taille minimale de l ’effet détectable (dmin)? Si dmin est grande, seules de très grosses déviations de H0 seront détectées Il faut être TRÈS prudent de ne PAS conclure qu’il n’y a pas de différence même si on accepte H0 Ech 2 Fréquence Ech 1 X Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Puissance: effet de la taille de l’échantillon 1.0 La courbe de puissance pour tester H0: m = 45.5. H1: m  45.5 pour n = 5 et n = 35. Pour une longueur d’aile donnée, la probabilité de rejeter une hypothèse nulle qui serait fausse diminue quand N augmente. Puissance (1-b) 0.5 n = 5 n = 35 a 35 40 45 50 55 m Longueur de l’aile (x 0.1 mm) Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Pourquoi se soucier de la puissance? Fréquence Deux échantillons avec la même moyenne et la même variance mais dont N diffère. pour le premier cas, la puissance est grande, p < 0.05, alors on rejette H0 pour le deuxième cas, la puissance est petite, p > 0.05, alors on accepte H0. m1 m2 Taille N = 30 Fréquence m1 m2 Taille Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Conclusions sur la puissance Si la taille de l’échantillon est petite, la puissance des tests est faible. À moins de connaître la puissance d’une analyse, la décision d’accepter l’hypothèse nulle est difficilement interprétable! Si la puissance est élevée, le rejet de l’hypothèse nulle est probable même si les écarts entre les valeurs observées et attendues à partir de l’hypothèse nulle sont petits (et peut-être sans signification biologique)! Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Inférence statistique: problèmes et limites Problème 1: de très nombreuses hypothèse nulles sont peu vraisemblables a priori… …leur rejet n,est donc pas très informatif... Traitement 1 Traitement 2 Témoin Rendement Traitement Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Inférence statistique: problèmes et limites Problème 2: Le seuil de décision a (0.05) est arbitraire et peut être beaucoup trop conservateur ou libéral quant à la signification biologique… Seuil raisonnable pour la décision Probabilté -3 -2 -1 1 2 3 t Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Inférence statistique: problèmes et limites Problème 3: p est la probabilité d’observer une statistique au moins aussi extrème si H0 est vraie… … mais souvent la distribution réelle de la statistique ne suit pas exactement la distribution présumée lorsque l’hypothèse nulle est vraie. présumée Probabilté réelle -3 -2 -1 1 2 3 t Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Inférence statistique: problèmes et limites Problème 4: pour une taille donnée d’effet, p varie avec (n)… …on peut donc presque toujours rejeter H0 si l’échantillon est très grand, même si l’effet est trivial. Gros effet Erreur de type I Petit effet 0.05 Effectif (n) Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27

Inférence statistique: solutions Évitez d’éprouver des hypothèse nulles triviales Faites une distinction entre la signification statistique et la signification biologique (ou autre) Rapportez toujours la taille de l’effet, peu importe la signification statistique. Considérez l’emploi de permutations ou de reéchantillonnage pour générer la distribution de votre statistique. Université d’Ottawa - Bio 4518 - Biostatistiques appliquées © Antoine Morin et Scott Findlay 2017-04-18 06:27