Chapitre 4 Concepts fondamentaux Les composantes d’un test statistique Les hypothèses nulles en statistiques Le sens de p Inférence: comment traduire p.

Présentation au sujet: "Chapitre 4 Concepts fondamentaux Les composantes d’un test statistique Les hypothèses nulles en statistiques Le sens de p Inférence: comment traduire p."— Transcription de la présentation:

1 Chapitre 4 Concepts fondamentaux Les composantes d’un test statistique Les hypothèses nulles en statistiques Le sens de p Inférence: comment traduire p en une conclusion? Types d’erreurs dans les tests statistiques Tests unilatéraux et bilatéraux La puissance

2 Concepts map

3 Question biologique VS hypothèse nulle (statistique) Apprendre à traduire une question biologique en hypothèse statistique (H 0 ) La taille des hommes et des femmes diffère t-elle? La taille moyenne des hommes et des femmes est la même. La structure d’âge d’une population d’esturgeons change-t-elle après la construction d’un barrage? La distribution en âge (fréquences) est indépendante de la période.

4 Le sens de p Informel: la probabilité que l’hypothèse nulle soit vraie Vraie définition: la probabilité d’observer des données qui diffèrent autant de la valeur prédite par l’hypothèse nulle lorsque: les données sont récoltées correctement toutes les conditions d’application du test sont rencontrées

5 Rejeter ou ne pas rejeter? La décision de rejeter ou d’accepter l’hypothèse nulle est basée sur p. Le seuil de décision est arbitraire. On doit toujours garder en tête la valeur de p obtenue.

6 La statistique p est estimé en se basant sur la distribution de la statistique choisie Si la distribution est connue, on peut calculer la probabilité d’obtenir une valeur pour cette statistique aussi grande (ou petite) ou égale à la valeur calculée si H 0 était vraie, c’est-à- dire: p

7 Un exemple (1) Deux échantillons (1, 2) dont les moyennes diffèrent par la quantité  Quelle est la probabilité d’observer cette différence si H 0 stipule que les deux moyennes sont égales? Fréquence Éch. 2 Éch. 1

8 Un exemple (2) Si H 0 est vraie, alors la distribution attendue de la statistique t est: Fréquence Éch. 2 Éch. 1 -3-2 012 3 Probabilité (p) t

9 Un exemple (3) On observe t=2.1 alors que la valeur attendue (selon H 0 ) est t=0.0 Quelle est la probabilité d’obtenir une valeur au moins aussi grande si H 0 (les deux moyennes sont égales) est vraie? Comme p est petit, il est improbable que H 0 soit vraie. Alors, on rejette H 0. -3-2 0123 Probabilité (p) t=2.1 Fréquence Éch. 2 Éch. 1

10 Inférence: comment traduire p en une conclusion? Si p < 0.05, rejeter l’hypothèse nulle Mais… toujours garder la valeur de p à l’esprit Accompagner les résultats significatifs (ou non) de la valeur de p correspondante Ne pas oublier, la “convention” p < 0.05 est arbitraire!

11 Types d’erreur dans les tests statistiques 2 types: – une hypothèse nulle qui est vraie peut être rejetée – une hypothèse nulle qui est fausse peut être acceptée Erreur de type I (  ): la probabilité de rejeter une hypothèse nulle qui serait vraie Erreur de type II (  ) : la probabilité d’accepter une hypothèse nulle qui serait fausse.

12 Erreurs d’inférence Réalité Conclusion H 0 vraieH 0 fausse Accepter H 0 Rejeter H 0 pas d’erreur   Seuil de significativité (généralement fixé à 5%)

13 Les hypothèses nulles des tests bilatéraux et unilatéraux Bilatéral: deux zones de rejet de H 0 de taille  /2 Unilatéral: une zone de rejet de H 0 de taille  -3-2 0123 Probabilité -3-2 012 3 Probabilité -3-2 012 3 t 1-    t

14 Test bilatéral: exemple Pas de différence entre les populations H 0 :  1 -  2 = 0 Comme H 0 est bilatérale, H 0 sera rejetée si  1 -  2 > 0 ou si  1 -  2 < 0. -3-2 0123 Probabilité Fréquence Éch. 2 Éch. 1

15 Test unilatéral: exemple La taille moyenne de la population 1 est inférieure à celle de la population 2 H 0 :  1 -  2  0 Comme H 0 est unilatérale, H 0 sera rejetée seulement si  1 -  2 > 0 -3-2 0123 Probabilité Fréquence Éch. 2 Éch. 1

16 Test unilatéral vs bilatéral Dans certaines situations, un test unilatéral sera plus puissant qu’un test bilatéral Pour cette raison, il faut toujours spécifier H 0 avant l’analyse! -3-2 0123 Probabilité 2 3   Probabilité

17 Paramètres en inférence statistique Réalité Conclusion H 0 vraieH 0 fausse Accepter H 0 Rejeter H 0 pas d’erreur   Taux d’erreur de type ! (  Puissance (1 - taux d’erreur de type II = 1-  ) Effectif (N) Taille de l ’effet (  ) Chacun de ces paramètres est une fonction des trois autres, si on en connaît trois on peut calculer le quatrième

18 La puissance La puissance est la probabilité de rejeter une hypothèse nulle quand celle-ci est fausse, c’est-à-dire 1-  La puissance ne peut être calculée que si l’hypothèse alternative est spécifiée. Donc, la puissance dépend de l’hypothèse alternative. Des tests puissants peuvent détecter de petites différences, des tests peu puissants ne peuvent détecter que des grandes différences

19 La puissance: exemple (1) La distribution attendue des moyennes de la longueur des ailes d’un échantillon de 5 mouches provenant de populations normales est définie par  et  =1,74. La courbe du centre représente l’hypothèse nulle, H 0 :  =45,5. Les courbes de chaque côté représentent les hypothèses alternatives,  =37 ou  =54. Les lignes verticales délimitent la zone de rejet (5%) de l’hypothèse nulle. 35 40 45 50 55 H 1 :  =37H 0 :  =45,5H 1 :  =54

20 La puissance: exemple (2) 40 45 50 55 60 H 0 :  =  0 H 1 :  =  1  1 =54  1 =53  1 =50  1 =48,5  =0,0096  =0,0018  0 =45,5  =0,2676  =0,5948 Augmentation de l’erreur de type II (β) quand l’hypothèse alternative H 1 s’approche de l’hypothèse nulle H 0

21 Taille de l’effet (1) H 0 présume de la valeur d’un paramètre Si H 0 est que 2 moyennes sont égales, cela implique que la différence entre les deux moyennes (  ) est 0 Fréquence Éch. 2 Éch. 1

22 Taille de l’effet (2) Comme H 0 présume de l’absence d’un phénomène,  quantifie le degré d’existence de ce phénomène Si H 0 est fausse, elle est fausse à un certain degré, quantifié par , la taille de l’effet Fréquence Éch. 2 Éch. 1

23 Analyse de puissance 1- Puissance vs α/δ/N Souvent faite après un test, lorsque N et la taille de l’effet (  ) sont connus et que H 0 a été acceptée On peut calculer 1-  (la puissance du test) pour une valeur d’  Si 1-  est faible, le taux d’erreur de type II est grand et il est fort possible qu’on ait accepté une H 0 fausse Fréquence Éch. 2 Éch. 1

24 Analyse de puissance 2- N vs α/δ/Puissance Une certaine taille d’effet (  ) est attendue (expérience préliminaire) et on fixe  et 1-  À partir de  et  on peut calculer l’effectif minimum (N min ) requis Exercice très utile dans la planification des expériences Fréquence Pré-Éch. 2 Pré-Éch. 1

25 Analyse de puissance 3- δ vs α/N/Puissance Compte-tenu de  -  et N, quelle est la taille minimale de l ’effet détectable (  min )? Si  min est grande, seules de très grosses déviations de H 0 seront détectées Il faut être TRÈS prudent de ne PAS conclure qu’il n’y a pas de différence même si on accepte H 0 X Fréquence Ech 2 Ech 1

26 Puissance: effet de la taille de l’échantillon La courbe de puissance pour tester H 0 :  = 45,5 H 1 :  45,5 pour N = 5 et N = 35 Pour une longueur d’aile donnée, la probabilité de rejeter une hypothèse nulle qui serait fausse (puissance) augmente quand N augmente.  35 40 45 50 55 1 0,5  0 Longueur de l’aile ( x 0,1 mm) Puissance (1-  ) N = 5 N = 35

27 Pourquoi se soucier de la puissance? Deux échantillons avec la même moyenne et la même variance mais dont N diffère pour le premier cas, la puissance est grande: p<0.05, alors on rejette H 0 pour le deuxième cas, la puissance est petite: p>0.05, alors on accepte H 0 Taille Fréquence   Taille Fréquence   N = 200 N = 30

28 Conclusions sur la puissance Si la taille de l’échantillon est petite, la puissance des tests est faible. À moins de connaître la puissance d’une analyse, la décision d’accepter l’hypothèse nulle est difficilement interprétable! Si la puissance est élevée, le rejet de l’hypothèse nulle est probable même si les écarts entre les valeurs observées et attendues à partir de l’hypothèse nulle sont petits (et peut-être sans signification biologique)!

29 Inférence statistique: problèmes et limites Problème 1: de très nombreuses hypothèse nulles sont peu vraisemblables a priori… … leur rejet n’est donc pas très informatif! Traitement Rendement Traitement 1 Traitement 2 Témoin

30 Inférence statistique: problèmes et limites Problème 2: le seuil de décision α (0.05) est arbitraire et peut être beaucoup trop conservateur ou libéral quant à la signification biologique… t Probabilté Seuil raisonnable pour la décision? -3-20132

31 Inférence statistique: problèmes et limites Problème 3: pour une taille donnée d’effet, p varie avec (n)… … on peut donc presque toujours rejeter H 0 si l’échantillon est très grand, même si l’effet est trivial. Effectif (n) Erreur de type I 0.05 Gros effet Petit effet

32 Inférence statistique: problèmes et limites Problème 4: p est la probabilité d’observer une statistique (t) au moins aussi extrême si H 0 est vraie… … mais souvent la distribution réelle de la statistique t ne suit pas exactement la distribution présumée lorsque l’hypothèse nulle est vraie. t Probabilté présumée -3-20132 réelle

33 Rappel sur les conditions d’application p est calculé en assumant que t suit la distribution bien connue du t de Student (t s ) Ceci est vrai seulement si les données sont distribuées normalement

34 Distribution réelle de t vs distribution du t de Student (t s ) Le calcul de p assume que p(t) = p(t s ) Mais, à mesure que les données s’éloignent de la normalité, la différence entre les deux augmente Alors, les valeur de p estimées sont incorrectes t, données loin de la normalité t  données plus près de la normalité tsts -3-2 0123 Probabilité (p)

35 Que faire si les données ne sont pas distribuées normalement? Traduction de t en p est incorrecte Mais le biais est petit spécialement quand l’effectif est grand (théorème de la limite centrale) Alors, utilisez votre bon sens… inquiétez vous seulement quand p est près du niveau α désiré

36 Que faire si les données ne sont pas distribuées normalement et si p est près de α? Augmenter la taille de l’échantillon Transformer les données Utiliser un test non paramétrique qui ne requiert pas que les données soient distribuées normalement

37 Transformation des données Habituellement, on utilise des fonctions mathématiques simples: log(X), racine carrée(X), arcsin(X) Le choix est basé sur le principe essai-erreur Il existe des algorithmes qui permettent de simplifier la tâche, par exemple les transformations de Box et Cox Problème 1: trouver la transformation adéquate est parfois très difficile Problème 2: certaines données ne peuvent pas être normalisées

38 Conclusions sur l’inférence statistique Évitez d’éprouver des hypothèse nulles triviales Faites une distinction entre la signification statistique et la signification biologique (ou autre) Rapportez toujours la taille de l’effet, peu importe la signification statistique Considérez l’emploi de permutations ou de reéchantillonnage pour générer la distribution de votre statistique