Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 1 Régression linéaire simple et corrélation Ce que ça fait et comment Modèle d’une régression linéaire simple Tests d’hypothèses Analyse des résidus Prédiction inverse, régression avec réplication et régression pondérée Problèmes potentiels Puissance de la régression linéaire simple Corrélation

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 2 Ce qu’elle fait Ajuste une ligne droite à travers un nuage de points Teste et quantifie l’effet d’une variable indépendante X sur la variable dépendante Y l’intensité de l’effet est donnée par la pente (b) de la régression l’importance de l’effet est donné par le coefficient de détermination (r 2 ) X Y XX YY b =  Y  X

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 3 Coefficients de corrélation et de régression La pente est obtenue par:Le coefficient de corrélation r: Alors b = r si X et Y ont la même variance… si b = 0, r = 0 et vice versa

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 4 Comment Par la méthode des moindres carrés qui consiste à minimiser la somme des écarts au carré entre les observations et la droite de régression, c’est-à- dire, minimiser les résidus L’écart au carré d’une observation est donnée par: X Y ii Résidu:

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 5 Régression ou corrélation? Corrélation: degré d’association entre deux variables X et Y, pas de relation causale impliquée. Régression: permet de prédire la valeur de la variable dépendante pour une valeur donnée de la variable indépendante. Implique une relation causale.

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 6 Quand utiliser la régression? Ne pas l’utiliser pour déterminer le degré d’association entre deux variables L’utiliser si on veut faire des prédictions X1X1 X2X2 Corrélation X Y Régression

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 7 Modèle d’une régression linéaire simple Le modèle de la régression: alors, toutes les régressions linéaires simples sont décrites par deux paramètres, l’ordonnée à l’origine (  ) et la pente (b) X XX YY b =  Y  X (pente)  (intercept) ii XiXi YiYi Observées Attendues

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 8 Hypothèses implicites Les résidus sont indépendants et normalement distribués La variance des résidus est égale pour tous les X (homoscédasticité) La relation entre Y et X est linéaire Il n’y a pas d’erreur de mesure sur X (régression de type I)

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 9 Erreur de mesure Cette condition peut être vérifiée avant l’analyse on s’en préoccupe si l’erreur est grande par rapport à X ( > 10%) si cette condition n’est pas respectée, utiliser la régression de type II

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 10 Analyse des résidus I: indépendance Regarder s’il y a des tendances sur le graphique des résidus par rapport aux valeurs prédites Valeurs prédites Résidus

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 11 Analyse des résidus II: Normalité Regarder s’il y a des tendances sur le graphique des résidus par rapport aux valeurs prédites Faire un graphique des probabilités normales Vérifier avec le test de Kolmogorov-Smirnov Résidus Normal Pas normal Résidus Valeurs prédites

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 12 Analyse des résidus III: Homoscédasticité Regarder s’il y a des tendances sur le graphique des résidus par rapport aux valeurs prédites Vérifier avec le test de Levene en groupant les valeurs de Y par classe Valeurs prédites Résidus Groupe 1 Groupe 2 Groupe 3 Résidus Valeurs prédites

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 13 Analyse des résidus IV: Linéarité Regarder s’il y a des tendances sur le graphique des résidus par rapport aux valeurs prédites Résidus Valeurs prédites X Y

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 14 Robustesse de la régression aux violations des conditions d’application

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 15 Que faire si les conditions d’applications ne sont pas respectées Essayer de transformer les données en se rappelant que 1) quoiqu’on fasse, certaines données ne peuvent être analysées par régression 2) que la bonne transformation est parfois difficile à trouver. Utiliser une régression non-linéaire.

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay : Longueur (mm) Poids (kg) Les transformations en régression Longueur (mm; log) Poids (kg; log)

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 17 oCoC Cris/min Les transformations en régression oCoC Cris/min (log) La fréquence des cris en fonction de la température chez le criquet mâle Oecanthus fultoni.

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 18 Les transformations en régression Luminosité relative Millivolts Luminosité relative Millivolts Résistance électrique en fonction de la luminosité dans l’oeil d’un céphalopode

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 19 Test d’hypothèse I: répartition de la somme des carrés SC TotaleSC Type I (Expliquée)SC inexpliquée (erreur) Y = +

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 20 Test d’hypothèse I: répartition de la somme des carrés SC régression = s 2 Y et SC erreur = 0 si observées = prédites. Calculer F = SC R /SC e et comparer avec la distribution de F avec 1 et N - 2 dl. H 0 : F = 0.

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 21 Erreur-type de la pente L’erreur-type de la pente s b et l’IC de la pente 100(1-  ): Alors pour un N fixe, on peut diminuer s b en augmentant l’étendue des valeurs de X échantillonées Y X Y s b plus grand s b plus petit

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 22 L’erreur-type de l’ordonnée à l’origine L’erreur-type s  de l’ordonnée à l’origine  : Alors pour un N fixe, on peut diminuer s  en augmentant l’étendue des valeurs de X échantillonnées. Y X s  plus grand s  plus petit  Y 

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 23 Test d’hypothèses II: test des paramètres du modèle Tester chaque hypothèse par un test de t À noter: C’est un test bilatéral! Y X  Y  H 02 : b = 0 Y X H 01 :  = 0 Y  Y = 0 Observées Attendues

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 24 Test d’hypothèses III: Hypothèse unilatérale Une théorie biologique prédit que Y devrait augmenter quand X augmente Alors,H 0 : b   0 (unilatéral) Calculater Rejeter si t b > 0 et p (unilatéral) <  YY H 0 rejetée Y X Y H 0 acceptée

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 25 Intervalles de confiance d’une régression L’IC 100 (1-  ) pour les valeurs prédites L’IC 100 (1-  ) pour les observations

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 26 Intervalles de confiance d’une régression L’IC pour les observations est plus grand que l’IC des valeurs prédites Les IC pour les observations et les valeurs prédites augmentent quand la distance entre les valeurs de X et la moyenne de l’échantillon augmente. Y X Y Valeurs prédites Observations

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 27 Valeurs extrêmes points qui semblent très éloignés de la droite de régression Question 1: est-ce que ces valeurs extrêmes sont de “vraies” valeurs extrêmes? Question 2: est-ce que ces valeurs extrêmes influencent significativement les conclusions statistiques? X Y Extrême?

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 28 Analyse des valeurs extrêmes I: Résidus normalisés Faire un graphique des résidus normalisés en fonction des valeurs prédites Attention aux résidus normalisés > 3.0 Ces résidus contribuent fortement au carré moyen des résidus de la régression LAGE STUDENT

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 29

Call: lm(formula = LFKL ~ LAGE, data = Reg1dat, na.action = na.exclude) Residuals: Min 1Q Median 3Q Max Coefficients: Value Std. Error t value Pr(>|t|) (Intercept) LAGE Residual standard error: on 73 degrees of freedom Multiple R-Squared: F-statistic: on 1 and 73 degrees of freedom, the p-value is 0 5 observations deleted due to missing values Analysis of Variance Table Response: LFKL Terms added sequentially (first to last) Df Sum of Sq Mean Sq F Value Pr(F) LAGE Residuals

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 31 Analyse des résidus II: Leverage Le leverage mesure l’influence potentielle d’un point sur la droite. Déterminé par les valeurs de X seulement, les points très éloignés de la moyenne ont un plus grand leverage. Attention au valeurs de leverage plus grande que 4/N LAGE LEVERAGE X Y Petit leverage Grand leverage

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 32 Analyse des résidus III: distance de Cook La distance de Cook mesure le leverage et la contribution au carré moyen des résidus, c’est-à-dire l’influence réelle d’un point Attention aux valeurs de Cook plus grandes que 1 Petites distances de Cook Grandes distances de Cook ESTIMATE COOK X Y

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 33

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 34 Solutions aux valeurs extrêmes Ont-elles un effet significatif sur les résultats de la régression? Afin de le savoir, les enlever et recalculer la régression. Comparer les résultats. Y-a-t-il des différences significatives entre les pentes, et les ordonnées à l’origine. C’est-à-dire, la nouvelle droite reste-t-elle dans l’IC à 95%? Y X Pas d’effet significatif Y Effet significatif Avec extrêmes Sans extrêmes

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 35 Les effets de l’élimination des valeurs extrêmes Diminue l’effectif de l’échantillon (N), et donc la puissance Diminue la SC e, alors s b diminue et la puissance augmente Si N est petit et qu’on élimine les valeurs extrêmes, on donne trop de poids aux autres… à moins que ces valeurs extrêmes soient vraiment aberrantes. Puissance (1 -  )  N plus petit N plus grand s b plus grand s b plus petit s b fixe N fixe 0 0 1

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 36 Prédiction inversée On veut prédire X pour un Y donné. La régression de X en fonction de Y est impossible à cause de l’erreur sur Y ex: courbes de calibration. On veut prédire la concentration à partir de lectures. On se base sur la régression des lectures observées pour des solutions dont on connaissait la concentration. Lectures Concentration Lectures Concentration Erreur sur “X”

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 37 Prédiction inversée Donne la régression de Y sur X. Génère une valeur prédite de X pour un Y donné. Calculer l’IC à 95% pour la valeur prédite de “X” en se basant sur l’IC à 95% sur le “Y” de la régression standard Y “X” prédit Limite inférieure 95% Limite supérieure 95%

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 38 Régression avec réplication Quand on mesure plusieurs Y pour chaque X. Dans ce cas, on peut tester directement en calculant le rapport entre CM causé par les déviations à la linéarité et CM intra-groupe. SC régression SC intra-groupe SC non-linéarité SC groupe SC erreur

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 39 Régression pondérée Utilisée quand la précision sur la mesure de X varie pour un désign avec réplication, la variance de Y pour un X donné peut varier parmi les X comme la taille de l’échantillon (N) Alors, on doit pondérer par N ou l’inverse de la variance de l’échantillon. X Y

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 40 Problèmes potentiels: causalité Une régression statistiquement significative de Y sur X n’implique pas de relation causale entre les deux variables Une régression non significative ne veut pas dire qu’il n’existe pas de relation causale entre les deux, celle-ci peut être non-linéaire Z X Y X Y X Y Accepter H 0 linéaire

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 41 Problèmes potentiels II: petits échantillons Une régression significative peut être obtenue par chance, c’est-à-dire, même si aucune relation causale (linéaire) n’existe. Alors, il faut contrôler  e quand on fait plusieurs régression simples. X Y Vraie régression (H 0 acceptée) Régression de l’échantillon (H 0 rejetée)

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 42 Problèmes potentiels III: grands échantillons Si N est grand, de petits coefficients de régression suffisent à rejeter H 0 (la puissance est grande). Alors quand R 2 est petit, éviter de “surinterpréter” la relation observée. X Y Vraie régression (H 0 rejetée mais petit R 2 )

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 43 Porblèmes potentiels IV: extrapolation et interpolation Soyez vigilants quand 1) les prédictions se retrouvent à l’extérieur de l’étendue de l'échantillon; (2) quand les prédictions sont pour des données très éparpillées. X Y X Y Valeur prédite Vraie valeur Observations Relation estimée Vraie relation

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 44 The final word on extrapolation In the space of one hundred and seventy-six years the Lower Mississippi has shortened itself two hundred and forty-six miles. That is an average of a trifle over one mile and a third per year. Therefore, any calm person, who is not blind or idiotic, can see that in the Old Oölitic Silurian period, just a million years ago next November, the Lower Mississippi River was upwards of one million three hundred thousand miles long, and stuck over the Gulf of Mexico like a fishing rod. And by the same token, any person can see that seven hundred and forty-two years from now, the lower Mississippi will be only a mile and three-quarters long, and Cairo and New Orleans will have joined their streets together, and be plodding comfortably along under a single mayor and a mutual board of aldermen. Mark Twain, Life on the Mississippi

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 45 Principe fondamental d’une analyse de corrélation La corrélation mesure l’association linéaire entre deux variables continues Ce n’est pas une relation causale, il n’y a donc pas de distinction entre la variable dépendante et indépendante X1X1 X2X2

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 46 Utilisation de la corrélation Utiliser pour estimer le degré d’association entre deux variables Ne pas utiliser si on veut prédire la valeur de X pour un Y donné et vice versa. X1X1 X2X2 X Y Régression Corrélation

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 47 Corrélation linéaire simple versus régression linéaire simple les calculs sont les mêmes. dans l’analyse de corrélation, X et Y doivent être échantillonnés au hasard la corrélation mesure l’association (importance) la régression vise à quantifier l’effet d’une variable sur une autre (intensité)

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 48 Exemple: longueur et poids chez l’esturgeon Les deux variables ne sont pas reliées (cause- effet), alors utiliser la corrélation afin de mesurer le degré d’association entre les deux variables.

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 49 Régression: longueur et âge chez l’esturgeon Relation causale entre les deux. La relation entre les deux donne une estimation du taux de croissance... …et on peut se servir de cette relation afin de prédire la taille d’un esturgeon d’un âge donné.

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 50 Mesure de la corrélation Le coefficient de corrélation, r, entre deux variables avec n paires d’observations est calculé comme: X1X1 X2X2

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 51 Mesure de la corrélation r se situe toujours entre -1 et 1. r 2 est le coefficient de détermination qui mesure la proportion de la variabilité d’une variable qui peut être “expliquée” par l’autre. X1X1 X2X2 X2X2 X2X2 r = 0.9 r = 0.5 r = 0 r = -0.5 r = -0.9

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 52 Hypothèses implicites I: distribution binormale Pour chaque valeur de X 1, les valeurs de X 2 sont normalement disribuées et vice versa. r = 0.8 r = 0

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 53 Hypothèses implicites II: Homoscédasticité La variance de X 1 est indépendante de celle de X 2 et vice versa. Mais les variances de X 1 et X 2 ne sont pas nécessairement égales. X2X2 X1X1 X2X2 Homoscédastique Hétéroscédastique

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 54 Hypothèses implicites III: Linéarité La relation entre X 1 et X 2 est linéaire. X2X2 Linéaire X1X1 X2X2 Non-linéaire

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 55 Violation des conditions d’application: longueur et âge chez l’esturgeon La relation entre la longueur et l’âge semble non-linéaire. La variance de la longueur semble augmenter avec l’âge.

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 56 Si les conditions d’application ne sont pas respectées... Transformer les données (ex: log). Essayer une analyse de corrélation non- paramétrique.

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 57 Intervalles de confiance pour les coefficients de corrélation L’intervalle de confiance de la corrélation transformée (z) est calculée par: Convertir en unités standards par: X2X2 X2X2 X1X1 X2X2 Petit IC Grand IC

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 58 Tests d’hypothèses I H 0 :  = 0 l’erreur-type du coefficient de corrélation : calculer … et comparer à la distribution du t de Student avec N - 2 dl X2X2 Rejeter H 0 X2X2 Accepter H 0 X1X1 X2X2 Observées Attendues

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 59 Tests d’hypothèses II H 0 : r =  transformer r et  : calculer … et comparer à la distribution Z avec N - 3 dl. X2X2 Rejeter H 0 X2X2 X1X1 X2X2 Accepter H 0 Observées Attendues

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 60 Comparaison de deux corrélations H 0 : r 1 = r  transformer r 1 et r  : calculer … et comparer à la distribution Z. X2X2 Rejeter H 0 X2X2 X1X1 X2X2 Accepter H 0 r1r1 r2r2

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 61 Comparaisons de plusieurs corrélations H 0 : r i = r j = r k = … avec n i, n j, n k …observations transformer tous les r i en z i et calculer … et comparer à la distribution de  2 avec dl = k -1. X2X2 Rejeter H 0 X2X2 X1X1 X2X2 Accepter H 0 r1r1 r2r2 r3r3

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 62 Calcul d’une corrélation commune Si H 0 : r i = r j = r k = … est acceptée, alors, chaque r i estime le même coefficient  (population). Pour calculer , on doit dabord calculer le score Z pondéré z w : Ensuite, retransformer afin d’obtenir  X2X2 X1X1 X2X2 Accepter H 0 r1r1 r2r2 r3r3

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 63 Corrélations non- paramétrques Utiliser si une ou plusieurs des conditions d’application ne sont pas respectées. C’est une corrélation de rang. La méthode la plus commune: corrélation de rang de Spearman. X2X2 X1X1 Rang X 1 Rang X 2

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 64 Puissance avec G*Power

Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :37 65 Métrique de la taille de l’effet pour G*Power Régression: –Other t-tests Corrélation: –T-tests (correlations) –r (le coefficient de corrélation)