Régression linéaire (STT-2400)

Présentation au sujet: "Régression linéaire (STT-2400)"— Transcription de la présentation:

1 Régression linéaire (STT-2400)
Section 3 Analyse séquentielle et tables d’analyse de variance (ANOVA) Version: 19 janvier 2007

2 Analyse de variance séquentielle
Dans l’exemple des données sur l’essence, on a considéré la fonction moyenne suivante: La table d’ANOVA globale est: STT-2400; Régression linéaire

3 Comment expliquer l’effet de la variable « Tax »
Si on s’attarde à la variable « Tax », on peut penser que la somme des carrés de l’ANOVA globale SSreg peut se diviser en deux: Un effet relié à un ajustement incluant les variables Dlic, Revenu et logMiles. Un effet relié à l’ajout de la variable « Tax »; autrement formulé, un effet relié à l’ajustement incluant la variable « Tax » après avoir déjà inclus dans le modèle les variables Dlic, Revenu et logMiles. STT-2400; Régression linéaire

4 Décomposition de SSreg dans l’ANOVA globale
On écrira la somme des carrés SSreg dans l’ANOVA globale: SSreg(Dlic, Revenu, logMiles, Tax | b0) = SSreg(Dlic, Revenu, logMiles | b0) + SSreg(Tax |Dlic, Revenu, logMiles, b0) Cette logique peut être répétée pour le terme SSreg(Dlic, Revenu, logMiles | b0). STT-2400; Régression linéaire

5 Table d’ANOVA dans une régression linéaire simple
Avec ce système de notation, nous aurons que la table d’ANOVA dans une régression linéaire simple prend la forme: En effet, SSreg correspond à l’augmentation dans la somme des carrés due à la régression lors de l’ajout du préviseur X. STT-2400; Régression linéaire

6 Autre forme de l’ANOVA dans la régression linéaire simple
Une forme moins populaire (car moins fréquente dans les sorties informatiques) est: On a que: et STT-2400; Régression linéaire

7 ANOVA et régression linéaire simple
Inclure que le terme constant donne l’ANOVA: Dans cette logique inclure les deux termes donne la table d’ANOVA STT-2400; Régression linéaire

8 ANOVA et régression linéaire simple
Conséquemment on trouve que: SSreg(b1 | b0) = SSreg(b1,b0) – SSreg(b0) Ceci suggère la table d’ANOVA: STT-2400; Régression linéaire

9 ANOVA et régression linéaire multiple
En général, on trouve les tables d’ANOVA suivantes: Ainsi que: STT-2400; Régression linéaire

10 En résumé, ce qu’il faut retenir…
En fait il faut retenir les deux formes suivantes, qui sont équivalentes: Et la forme plus répandue (à cause des logiciels): STT-2400; Régression linéaire

11 STT-2400; Régression linéaire
ANOVA séquentielle Considérons la fonction moyenne suivante: Posons: SSreg1 = SSreg(b1 | b0); SSreg2 = SSreg(b2 |b1, b0); SSreg3 = SSreg(b3 |b2, b1, b0); SSreg4 = SSreg(b4 |b3, b2, b1, b0). STT-2400; Régression linéaire

12 ANOVA séquentielle (suite)
On aura l’ANOVA suivante dite séquentielle: STT-2400; Régression linéaire

13 ANOVA séquentielle (suite)
Afin de calculer SSreg1, on doit ajuster une régression avec b0 et b1: ceci nous donne: SSreg(b1 | b0). Afin de calculer SSreg2, on ajuste une régression avec b0, b1 et b2, et une seconde avec seulement b0 et b1. On calcule alors: SSreg(b2 | b1, b0 ) = SSreg(b1, b2 | b0 ) – SSreg(b1 | b0) STT-2400; Régression linéaire

14 ANOVA séquentielle (suite)
On remarque que l’on a la relation: SSreg1 + SSreg2 + SSreg3 + SSreg4 = SSreg En effet: SSreg(b1 | b0) + { SSreg(b1,b2 | b0) - SSreg(b1 | b0) } + {SSreg(b1,b2,b3 | b0) - SSreg(b1,b2 | b0) } + {SSreg(b1,b2,b3,b4 | b0) - SSreg(b1,b2,b3 | b0) } = SSreg(b1,b2,b3,b4 | b0) = SSreg STT-2400; Régression linéaire

15 STT-2400; Régression linéaire
L’ordre compte… Il est important de noter que l’ordre dans lequel entre les variables importe. Exemple: Inclure successivement Dlic, Tax, Revenu et logMiles donnera une ANOVA séquentielle différente de celle consistant à entrer successivement logMiles, Income, Dlic et Tax. Si les préviseurs sont approximativement non corrélés, les différences devraient être petites. STT-2400; Régression linéaire

16 ANOVA séquentielle et SAS
Pour SAS, cette décomposition s’intitule le calcul des sommes de carrés de type I. Il suffit d’ajouter l’option SS1 dans l’énoncé « model ». Par exemple: data essence; set alr3.fuel2001; Dlic=Drivers*1000/Pop; Fuel=FuelC*1000/Pop; logMiles=log2(Miles); Revenu=Income/1000; proc reg data=essence; model Fuel = Dlic Tax Revenu logMiles / SS1; run; STT-2400; Régression linéaire