Les modèles linéaires (Generalized Linear Models, GLM)

Présentation au sujet: "Les modèles linéaires (Generalized Linear Models, GLM)"— Transcription de la présentation:

1 Les modèles linéaires (Generalized Linear Models, GLM)
Ce qu’ils sont Quand les utiliser? Modèle complet Le modèle d’ANCOVA Le modèle de la régression commune Le principe de la somme des carrés additionnelles Hypothèses implicites Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

2 Définition des GLM Les GLM sont des modèles de la forme suivante:
Y est un vecteur des variables dépendantes, b est un vecteur des estimés des coefficients, X est un vecteur des variables indépendantes et e représente les termes d’erreur. Modèles multivariés Régression linéaire simple Régression multiple Analyse de variance (ANOVA) Analyse de covariance (ANCOVA) Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

3 Quelques procédures GLM
*peuvent être discontinues ou traitées comme discontinues Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

4 Utilisation de l’ANCOVA
Afin de comparer une relation entre une variable dépendante (Y) et une variable indépendante (X1) pour différents niveaux d’une variable discontinue (X2) ex: la relation entre le poids (Y) et la taille (X1) pour différents groupes taxonomiques (oiseaux et mammifères, X2) Taille Masse Taille Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

5 Utilisation de l’ANCOVA
Y Lorsque l’on fait ces comparaison, on assume que les modèles sont qualitativement similaires pour tous les niveaux de la variable discontinue... …autrement ce serait comme comparer des pommes et des oranges! Modèles qualitativement similaires Y Modèles qualitativement différents Niveau 1 de X2 Niveau 2 de X2 X1 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

6 Utilisation de l’ANCOVA
Y ANCOVA est utilisée afin de comparer des modèles linéaires. …certains modèles non-linéaires peuvent être comparés avec des ANCOVA modifiées Modèles linéaires X1 Y Modèles non-linéaires Niveau 1 de X2 Niveau 2 de X2 X1 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

7 Le modèle de la régression simple
alors, toutes les régressions simples sont décrites par 2 paramètres: l’ordonnée à l’origine (a) et la pente (b) ei Yi DY a (ordonnée à l’origine) X DX Xi b = DY/DX (pente) Observées Prédites Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

8 GLM simples Deux modèles linéaires peuvent varier de plusieurs façons:
Les ordonnées à l’origine (a) et les pentes (b) sont différentes Les ordonnées à l’origine sont différents mais les pentes sont les mêmes (modèle d’ANCOVA) Y a & b diffèrent X1 Y a diffèrent même b X1 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

9 GLM simples Deux modèles linéaires peuvent aussi être différents:
mêmes ordonnée à l’origine (a) mais les pentes (b) sont différentes mêmes pentes et mêmes ordonnées à l’origine (modéle de la régression commune) Y Mêmes a, différents b X1 Y Mêmes a, mêmes b X1 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

10 Ajustement des GLM L’analyse se fait par étape en commençant avec le modéle le plus complexe Déterminer la signification de chaque terme en ajustant deux modèles: un contenant le terme et l’autre qui l’exclut Tester les changements dans l’ajustement (D G ou F) associés à l’exclusion du terme en question. Modèle A (terme inclus) D G ou F (ex: D RMS) Modèle B (terme enlevé) Inclure le terme (grand D) Enlever le terme (petit D) Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

11 Ajustement au modèle: détermination de la signification des termes du modèle
Commencer par un modèle d’ordre supérieur (mos) en incluant le plus de termes possible. Noter SCrésidus et CMrésidus Ajuster un modèle réduit (mr) et noter SCrésidus Tester la signification du terme exclus en calculant: Modèle d’ordre supérieur F Modèle réduit Terme inclus (p < .05) Terme exclus (p > .05) Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

12 Modèle complet avec 2 variables indépendantes
Le modèle complet bi est la pente de la régression de Y sur X1 estimée pour le niveau i de la variable catégorique X2 ai est la différence entre les moyennes de la variable catégorique X2 pour chaque niveau i et la moyenne générale. m Niveau 1 de la variable X2 Niveau 2 de la variable X2 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

13 Le modèle complet: hypothèses nulles
Pour le modèle complet contenant 2 variables indépendantes, on note 3 hypothèses nulles: m Niveau 1 de la variable X2 Niveau 2 de la variable X2 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

14 Y Y Y Université d’Ottawa - Bio 4518 - Biostatistiques appliquées
© Antoine Morin et Scott Findlay :00

15 Conditions d’application
Les résidus sont indépendants et distribués normalement La variance des résidus est égale pour toutes les valeurs de X et indépendantes des valeurs de la variable discontinue (homoscedasticité) pas d’erreur sur les variables indépendantes linéarité Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

16 Procédure Y Ajuster le modèle complet, tester pour la différence entre les pentes Si H02 est rejetée, faire des régressions séparées pour chaque niveau de la variable catégorique Si H02 est acceptée, ajuster le modèle d’ ANCOVA. X1 H02 acceptée H02 rejetéee ANCOVA Régressions séparées Niveau 1 de la variable X2 Niveau 2 de la variable X2 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

17 Le modèle d’ANCOVA avec 2 variables indépendantes
Le modèle complet: b est la pente de la régression de Y sur X1 regroupée pour tous les niveaux de la variable catégorique X2. ai est la différence entre la moyenne pour chaque niveau i et la moyenne générale m Niveau 1 de la variable X2 Niveau 2 de la variable X2 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

18 Le modèle d’ANCOVA: hypothèses nulles
Pour une ANCOVA avec 2 variables indépendantes, on note deux hypothèses nulles: Niveau 1 de la variable X2 Niveau 2 de la variable X2 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

19 Y Y Y Université d’Ottawa - Bio 4518 - Biostatistiques appliquées
© Antoine Morin et Scott Findlay :00

20 Conditions d’application du modèle d’ANCOVA
les résidus sont indépendants et distribués normalement la variance des résidus est égale pour toutes les valeurs de X et indépendantes des valeurs de la variable catégorique (homoscedasticité) pas d’erreur sur les variables indépendantes linéarité les pentes des régressions de Y sur X sont les mêmes pour tous les niveaux de la variable catégorique (ce n’est pas une condition d’application du modèle complet!!) Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

21 Procédure Y Ajuster le modèle d’ANCOVA, tester pour les différences entre les pentes. Si H01 est rejetée, séparer les régressions pour chaque niveau de la variable discontinue Si H01 est acceptée, ajuster une régression commune. X1 H01 acceptée H01 rejetée Régression commune Régressions séparées Niveau 1 de la variable X2 Niveau 2 de la variable X2 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

22 Le modèle de la régression commune avec 2 variables indépendantes
b est la pente de la régression de Y sur X1 , regroupée pour tous les niveaux de la variable catégorique X2. est la moyenne regroupée de X1. a Niveau 1 de la variable X2 Niveau 2 de la variable X2 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

23 La régression commune: hypothèses nulles
On a deux hypothèses nulles pour la régression commune: a Niveau 1 de la variable X2 Niveau 2 de la variable X2 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

24 Conditions d’application de la régression commune
Les résidus sont indépendants et distribués normalement la variance des résidus est égale pour toutes les valeurs de X et indépendantes des valeurs de la variable catégorique (homoscedasticité) pas d’erreur sur les variables indépendantes linéarité Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

25 Effets du sexe et de l’âge sur les esturgeons de The Pas
Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

26 Analyse Log(forklength)(LFKL) est la variable dépendante, log(age) (LAGE) est la variable indépendante continue, et sex (SEX) est la variable discontinue (2 niveaux) Q1: la pente de la régression de LFKL sur LAGE est la même pour les deux sexes? Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

27 Effets du sexe et de l’âge sur les esturgeons de The Pas
Type III Sum of Squares Df Sum of Sq Mean Sq F Value Pr(F) SEX LAGE SEX:LAGE Residuals Conclusion 1: la pente est la même pour les deux sexes (accepter H03 ) p(SEX:LAGE) > .05 Q2: l’ordonnée à l’origine est-elle la même? Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

28 Effets du sexe et de l’âge sur les esturgeons de The Pas (modèle d’ANCOVA)
Type III Sum of Squares Df Sum of Sq Mean Sq F Value Pr(F) LAGE SEX Residuals Conclusion 2: Ordonnée à l’origine est la même pour les deux sexes. H02 est acceptée. p(SEX > .05), le meilleur modèle est la régression commune. Notez que CM (Résidus) a diminué ( à ). Le terme LAGE:SEX n’est donc pas utile. Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

29 Effets du sexe et de l’âge sur les esturgeons de The Pas (régression commune)
Coefficients: Value Std. Error t value Pr(>|t|) (Intercept) LAGE Residual standard error: on 90 degrees of freedom Multiple R-Squared: F-statistic: on 1 and 90 degrees of freedom, the p-value is 0 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

30 Effets du site et de l’âge sur la taille des esturgeons
Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

31 Analyse Log(forklength)(LFKL) est la variable dépendante, log(age) (LAGE) est la variable indépendante continue, et le site la variable indépendante discontinue (2 sites) Q1: la pente de la relation de LFKL sur LAGE varie-t-elle entre les sites? Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

32 Effets du site et de l’âge sur la taille des esturgeons
Type III Sum of Squares Df Sum of Sq Mean Sq F Value Pr(F) LAGE LOCATE LAGE:LOCATE Conclusion 1: la pente varie entre les sites (rejeter H03 ) p(LAGE:LOCATE) < .05 On devrait ajuster des régressions séparées pour chaque site. Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

33 Que faire si? La variable discontinue a plus de deux niveaux?
Suivre les mêmes étapes. Si on rejette l’hypothèse d’égalité des pentes (H03 ) on compare les pentes deux à deux. Si on accepte H03 mais rejette H02 (égalité des intercepts), comparer les intercepts deux à deux. Ajuster niveau a.... Y X Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

34 Que faire si? L ’hypothèse biologique est unilatérale?
Suivre les mêmes étapes. Si on rejette l’hypothèse d’égalité des pentes (H03 ) on compare les pentes deux à deux (test unilatéral). Si on accepte H03 mais rejette H02 (égalité des intercepts), comparer les intercepts deux à deux (test unilatéral). Y X Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

35 Analyse de puissance Pour les modèles linéaires, les épreuves d’hypothèses utilisent un test de F. Attention: SCerreur et dlerreur dépendent du type d ’analyse et de l ’hypothèse éprouvée. Si on connait F, on peut calculer R2, la proportion de la variance totale de la variable dépendante expliquée par le facteur (variable) considéré. Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

36 Proportion de la variance
R2 total et partiel Proportion de la variance expliquée par A et B (R2Y•A,B) Le R2 total (R2Y•B) est la proportion de la variance de Y expliquée par toutes les variables indépendantes formant l ’ensemble B Le R2 partiel (R2Y•A,B- R2Y•A ) est la proportion de la variance expliquée par l ’ensemble B lorsque l’effet des autres facteurs est enlevé. Proportion de la variance expliquée par A (R2Y•A)(R2 total) Proportion de la variance expliquée par B mais pas par A (R2Y•A,B- R2Y•A ) (R2 partiel) Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

37 R2 total et partiel Proportion de la variance expliquée par B (R2Y•B)(R2 total) Proportion de la variance inexpliquée par A (R2Y•A,B- R2Y•A ) (R2 partiel) Le R2 total (R2Y•B) pour l’ensemble B est égal au R2 partiel (R2Y•A,B- R2Y•A ) si (1) le R2 total pour l’ensemble A (R2Y•A) est 0 ou (2) si A et B sont indépendants (et alors R2Y•A,B= R2Y•A + R2Y•B) Égal si Y A A B Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

38 R2 total et partiel Y En régression simple et ANOVA à un critère de classification, il n’y a qu’une variable indépendante X (continue ou discontinue) X 0.20 0.16 Growth rate l (cm/day) 0.12 0.08 0.04 0.00 16 20 24 28 Water temperature (C) Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

39 R2 total et partiel Y En ANCOVA, il y a plusieurs variables indépendantes Le R2 partiel peut différer du R2 total X1 0.20 0.16 0.12 Taux de croissance l (cm/jour) 0.08 0.04 pH = 6.5 pH = 4.5 0.00 16 20 24 28 Temperature (C) Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

40 Définition de la taille de l’effet en GLM
La taille de l’effet, f2 est calculée par le rapport du R2facteur sur 1 moins R2erreur. Note: R2facteur et R2erreur dépendent de l’hypothèse nulle Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

41 Effet du sexe et de l’âge sur la taille des esturgeons à The Pas (régression commune)
Coefficients: Value Std. Error t value Pr(>|t|) (Intercept) LAGE Residual standard error: on 90 degrees of freedom Multiple R-Squared: F-statistic: on 1 and 90 degrees of freedom, the p-value is 0 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

42 Définition de la taille de l’effet en GLM: Exemple 1
Un ensemble B est relié à Y, et le R2 total (R2Y•B) est estimé Le R2erreur est alors: 1- R2Y•B H0: R2Y•B = 0 Exemple: effet de l’âge B ={LAGE} Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

43 Effet du sexe et de l’âge sur la taille des esturgeons de The Pas
Type III Sum of Squares Df Sum of Sq Mean Sq F Value Pr(F) SEX LAGE SEX:LAGE Residuals Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

44 Effet du sexe et de l’âge sur la taille des esturgeons de The Pas (modèle ANCOVA)
Type III Sum of Squares Df Sum of Sq Mean Sq F Value Pr(F) LAGE SEX Residuals Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

45 Définition de la taille de l’effet en GLM: Exemple 2
Cas 2: la proportion de la variance de Y dûe à B mais pas à A est déterminée (R2Y•A,B- R2Y•A ) Le R2erreur est alors 1- R2Y•A,B H0: R2Y•A,B- R2Y•A = 0 Exemple: effet de SEX$*LAGE B ={SEX$*LAGE}, A,B = {SEX$, LAGE, SEX$*LAGE} Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

46 Exemple: effet du pH et des éléments nutritifs sur le taux de croissance de l’achigan
Échantillon de 35 lacs 3 niveauxde pH : acide, neutre, basique Taux de croissance estimé pour chaque lac Quelle est la probabilité de détecter un effet partiel du pH de la taille de celui mesuré pour a = .05? Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

47 Exemple: effet du pH et des éléments nutritifs sur le taux de croissance de l’achigan
Taille de l ’effet f2 pour pH = .14 n1 = 2 n2 = = 29 Puissance=0.453 Université d’Ottawa - Bio Biostatistiques appliquées © Antoine Morin et Scott Findlay :00

48 Université d’Ottawa - Bio 4518 - Biostatistiques appliquées
© Antoine Morin et Scott Findlay :00