Régression linéaire simple

Présentation au sujet: "Régression linéaire simple"— Transcription de la présentation:

1 Régression linéaire simple
Ce que ça fait et comment Modèle d’une régression linéaire simple Tests d’hypothèses Analyse des résidus Prédiction inverse, régression avec réplication et régression pondérée Problèmes potentiels Puissance de la régression linéaire simple Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

2 Ce qu’elle fait Ajuste une ligne droite à travers un nuage de points
Teste et quantifie l’effet d’une variable indépendante X sur la variable dépendante Y l’intensité de l’effet est donnée par la pente (b) de la régression l’importance de l’effet est donné par le coefficient de détermination (r2) DY Y b = DY/DX X DX Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

3 Coefficients de corrélation et de régression
La pente est obtenue par: Le coefficient de corrélation r: Alors b = r si X et Y ont la même variance… si b = 0, r = 0 et vice versa Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

4 Comment Par la méthode des moindres carrés qui consiste à minimiser la somme des écarts au carré entre les observations et la droite de régression, c’est-à-dire, minimiser les résidus L’écart au carré d’une observation est donnée par: Y ei X Résidu: Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

5 Régression ou corrélation?
Corrélation: degré d’association entre deux variables X et Y, pas de relation causale impliquée. Régression: permet de prédire la valeur de la variable dépendante pour une valeur donnée de la variable indépendante. Implique une relation causale. Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

6 Quand utiliser la régression?
X1 X2 Ne pas l’utiliser pour déterminer le degré d’association entre deux variables L’utiliser si on veut faire des prédictions Corrélation Y Régression X Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

7 Modèle d’une régression linéaire simple
Le modèle de la régression: alors, toutes les régressions linéaires simples sont décrites par deux paramètres, l’ordonnée à l’origine (a) et la pente (b) ei Yi DY a (intercept) X DX Xi b = DY/DX (pente) Observées Attendues Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

8 Hypothèses implicites
Les résidus sont indépendants et normalement distribués La variance des résidus est égale pour tous les X (homoscédasticité) La relation entre Y et X est linéaire Il n’y a pas d’erreur de mesure sur X (régression de type I) Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

9 Erreur de mesure Cette condition peut être vérifiée avant l’analyse
on s’en préoccupe si l’erreur est grande par rapport à X ( > 10%) si cette condition n’est pas respectée, utiliser la régression de type II Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

10 Analyse des résidus I: indépendance
Valeurs prédites Résidus Regarder s’il y a des tendances sur le graphique des résidus par rapport aux valeurs prédites Faire un graphique ACF Autocorrelation Plot 1.0 0.5 Correlation 0.0 -0.5 -1.0 10 20 30 40 50 60 Lag Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

11 Analyse des résidus II: Normalité
Regarder s’il y a des tendances sur le graphique des résidus par rapport aux valeurs prédites Faire un graphique des probabilités normales Vérifier avec le test de Lilliefors Résidus Normal Pas normal Valeurs prédites Résidus Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

12 Analyse des résidus III: Homoscédasticité
Regarder s’il y a des tendances sur le graphique des résidus par rapport aux valeurs prédites Vérifier avec le test de Levene en groupant les valeurs de Y par classe Résidus Groupe 1 Groupe 2 Groupe 3 Résidus Valeurs prédites Valeurs prédites Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

13 Analyse des résidus IV: Linéarité
Regarder s’il y a des tendances sur le graphique des résidus par rapport aux valeurs prédites Résidus Y Valeurs prédites X Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

14 Robustesse de la régression aux violations des conditions d’application
Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

15 Que faire si les conditions d’applications ne sont pas respectées
Essayer de transformer les données en se rappelant que 1) quoiqu’on fasse, certaines données ne peuvent être analysées par régression 2) que la bonne transformation est parfois difficile à trouver. Utiliser une régression non-linéaire. Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

16 Les transformations en régression
8.0 7.2 6.0 1.0 4.8 Poids (kg) 0.1 3.6 Poids (kg; log) 2.4 0.01 1.2 0.001 Longueur (mm) Longueur (mm; log) Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

17 Les transformations en régression
150 160 120 100 Cris/min 80 Cris/min (log) La fréquence des cris en fonction de la température chez le criquet mâle Oecanthus fultoni. 50 40 oC oC Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

18 Les transformations en régression
7 7 6 6 5 5 4 4 Millivolts Résistance électrique en fonction de la luminosité dans l’oeil d’un céphalopode Millivolts 3 3 2 2 1 1 10 20 30 40 50 60 70 1 2 5 10 20 50 70 Luminosité relative Luminosité relative Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

19 Test d’hypothèse I: répartition de la somme des carrés
+ = SC Totale SC Type I (Expliquée) SC inexpliquée (erreur) Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

20 Test d’hypothèse I: répartition de la somme des carrés
SCrégression = s2Y et SCerreur = 0 si observées = prédites. Calculer F = SCR/SCe et comparer avec la distribution de F avec 1 et N - 2 dl. H0: F = 0. Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

21 Erreur-type de la pente
L’erreur-type de la pente sb et l’IC de la pente 100(1- a): Alors pour un N fixe, on peut diminuer sb en augmentant l’étendue des valeurs de X échantillonées Y sb plus grand Y sb plus petit X Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

22 L’erreur-type de l’ordonnée à l’origine
L’erreur-type sa de l’ordonnée à l’origine a: Alors pour un N fixe, on peut diminuer sa en augmentant l’étendue des valeurs de X échantillonnées. Y a sa plus grand Y a sa plus petit X Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

23 Test d’hypothèses II: test des paramètres du modèle
Tester chaque hypothèse par un test de t À noter: C’est un test bilatéral! a H01: a = 0 Y = 0 Y Y a a H02: b = 0 Observées Attendues X X Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

24 Test d’hypothèses III: Hypothèse unilatérale
Une théorie biologique prédit que Y devrait augmenter quand X augmente Alors,H0: b  0 (unilatéral) Calculater Rejeter si tb > 0 et p (unilatéral) < a. H0 acceptée Y Y H0 rejetée X Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

25 Intervalles de confiance d’une régression
L’IC 100 (1-a) pour les valeurs prédites L’IC 100 (1-a) pour les observations Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

26 Intervalles de confiance d’une régression
Y L’IC pour les observations est plus grand que l’IC des valeurs prédites Les IC pour les observations et les valeurs prédites augmentent quand la distance entre les valeurs de X et la moyenne de l’échantillon augmente. Valeurs prédites Y Observations X Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

27 Valeurs extrêmes points qui semblent très éloignés de la droite de régression Question 1: est-ce que ces valeurs extrêmes sont de “vraies” valeurs extrêmes? Question 2: est-ce que ces valeurs extrêmes influencent significativement les conclusions statistiques? Extrême? Y Extrême? X Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

28 Analyse des valeurs extrêmes I: Résidus normalisés
Faire un graphique des résidus normalisés en fonction des valeurs prédites Attention aux résidus normalisés > 3.0 Ces résidus contribuent fortement au carré moyen des résidus de la régression. 4 3 2 1 STUDENT -1 -2 -3 -4 0.5 1.0 1.5 2.0 LAGE Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

29 Analyse des résidus II: Leverage
Le leverage mesure l’influence potentielle d’un point sur la droite. Déterminé par les valeurs de X seulement, les points très éloignés de la moyenne ont un plus grand leverage. Attention au valeurs de leverage plus grande que 4/N. Y X 0.10 0.09 0.08 0.07 LEVERAGE 0.06 0.05 Petit leverage Grand leverage 0.04 0.03 0.02 0.01 0.5 1.0 1.5 2.0 LAGE Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

30 Analyse des résidus III: distance de Cook
La distance de Cook mesure le leverage et la contribution au carré moyen des résidus, c’est-à-dire l’influence réelle d’un point Attention aux valeurs de Cook plus grandes que 1 X 0.5 0.4 0.3 COOK 0.2 Petites distances de Cook 0.1 Grandes distances de Cook 0.0 1.4 1.5 1.6 1.7 1.8 ESTIMATE Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

31 Solutions aux valeurs extrêmes
Ont-elles un effet significatif sur les résultats de la régression? Afin de le savoir, les enlever et recalculer la régression. Comparer les résultats. Y-a-t-il des différences significatives entre les pentes, et les ordonnées à l’origine. C’est-à-dire, la nouvelle droite reste-t-elle dans l’IC à 95%? Y Pas d’effet significatif Y Effet significatif Avec extrêmes Sans extrêmes X Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

32 Les effets de l’élimination des valeurs extrêmes
N plus petit N plus grand 1 Diminue l’effectif de l’échantillon (N), et donc la puissance Diminue la SCe, alors sb diminue et la puissance augmente Si N est petit et qu’on élimine les valeurs extrêmes, on donne trop de poids aux autres… à moins que ces valeurs extrêmes soient vraiment aberrantes. sb fixe Puissance (1 - b) sb plus petit N fixe sb plus grand b Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

33 Prédiction inversée Lectures On veut prédire X pour un Y donné.
La régression de X en fonction de Y est impossible à cause de l’erreur sur Y ex: courbes de calibration. On veut prédire la concentration à partir de lectures. On se base sur la régression des lectures observées pour des solutions dont on connaissait la concentration. Lectures Concentration Concentration Erreur sur “X” Lectures Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

34 Prédiction inversée Donne la régression de Y sur X.
Génère une valeur prédite de X pour un Y donné. Calculer l’IC à 95% pour la valeur prédite de “X” en se basant sur l’IC à 95% sur le “Y” de la régression standard Y Limite supérieure 95% Limite inférieure 95% “X” prédit Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

35 Régression avec réplication
Quand on mesure plusieurs Y pour chaque X. Dans ce cas, on peut tester directement en calculant le rapport entre CM causé par les déviations à la linéarité et CM intra-groupe. SC régression SC intra-groupe SC non-linéarité SC groupe SC erreur Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

36 Régression pondérée Utilisée quand la précision sur la mesure de X varie pour un désign avec réplication, la variance de Y pour un X donné peut varier parmi les X comme la taille de l’échantillon (N) Alors, on doit pondérer par N ou l’inverse de la variance de l’échantillon. Y X Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

37 Problèmes potentiels: causalité
Z X Y Problèmes potentiels: causalité Y X Une régression statistiquement significative de Y sur X n’implique pas de relation causale entre les deux variables Une régression non significative ne veut pas dire qu’il n’existe pas de relation causale entre les deux, celle-ci peut être non-linéaire Accepter H0 linéaire Y X Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

38 Problèmes potentiels II: petits échantillons
Y Une régression significative peut être obtenue par chance, c’est-à-dire, même si aucune relation causale (linéaire) n’existe. Alors, il faut contrôler ae quand on fait plusieurs régression simples. X Vraie régression (H0 acceptée) Régression de l’échantillon (H0 rejetée) Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

39 Problèmes potentiels III: grands échantillons
Y Si N est grand, de petits coefficients de régression suffisent à rejeter H0 (la puissance est grande). Alors quand R2 est petit, éviter de “surinterpréter” la relation observée. X Vraie régression (H0 rejetée mais petit R2) Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

40 Porblèmes potentiels IV: extrapolation et interpolation
Y Relation estimée Vraie relation X Soyez vigilants quand 1) les prédictions se retrouvent à l’extérieur de l’étendue de l'échantillon; (2) quand les prédictions sont pour des données très éparpillées. Y Valeur prédite Vraie valeur Observations X Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

41 The final word on extrapolation
In the space of one hundred and seventy-six years the Lower Mississippi has shortened itself two hundred and forty-six miles. That is an average of a trifle over one mile and a third per year. Therefore, any calm person, who is not blind or idiotic, can see that in the Old Oölitic Silurian period, just a million years ago next November, the Lower Mississippi River was upwards of one million three hundred thousand miles long, and stuck over the Gulf of Mexico like a fishing rod. And by the same token, any person can see that seven hundred and forty-two years from now, the lower Mississippi will be only a mile and three-quarters long, and Cairo and New Orleans will have joined their streets together, and be plodding comfortably along under a single mayor and a mutual board of aldermen. Mark Twain, Life on the Mississippi Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

42 La puissance et la taille de l’échantillon pour la régression linéaire simple.
Comme le coefficient de corrélation r et le coefficient de régression b sont très reliés, c’est-à-dire: …on peut transformer b en r et évaluer la puissance en utilisant r. Y X Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

43 La puissance et la taille de l’échantillon pour la régression
Y Si on teste H0: b = 0 pour un échantillon de taille n, on peut déterminer 1 - b en calculant les valeurs z-transformées pour la valeur critique de r correspondante (au niveau a désiré) (za) et le coefficient de régression de l’échantillon b (zr), et la probabilité unilatérale normale: X Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

44 La puissance et la taille de l’échantillon pour la régression
Y Une fois que Zb(1) est déterminé, on peut calculer la probabilité d’obtenir une valeur de Z plus grande ou égale, c’est-à-dire b. La puissance est égale à 1-b. X p b Zb(1) Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

45 La puissance et la taille de l’échantillon pour la régression: un exemple
Effet de l’âge sur la longueur des ailes de 13 oiseaux: Alors, 1 - b = 1.00 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

46 Taille de l’échantillon minimum
Y Pour une puissance donnée 1 - b, quelle est la taille de l’échantillon requis afin de rejeter H0: b = 0 si elle est fausse et que le coefficient de la vraie régression est au moins b0? Dabord, on doit calculer le coefficient de régression r0 qui correspond à b0. Rejeter H0? Y Rejeter H0? X1 Observée Attendue si H0: b = 0 Vraie régression (b0) Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

47 Effectif minimum …ensuite, calculer: Y Rejeter H0? Y Rejeter H0? X1 X1
Observée Attendue si H0: b = 0 Vraie régression (b0) Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

48 Effectif minimum: un exemple
On veut rejeter H0: b = 0 99% des fois quand b0 > 0.2 et a(2) = .05. Alors b(1) = .01 et pour b = .20, on a... Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33

49 Effectif minimum Alors… …et
Alors on doit utiliser un échantillon de taille égale à au moins 8 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :33