Régression linéaire (STT-2400)

Présentation au sujet: "Régression linéaire (STT-2400)"— Transcription de la présentation:

1 Régression linéaire (STT-2400)
Section 7 Diagnostiques de régression: les résidus Version: 28 décembre 2007

2 STT-2400; Régression linéaire
Introduction Les graphiques peuvent être utiles au tout début d’une analyse afin de nous orienter dans l’ajustement d’un modèle de régression. Les diagnostiques de régression sont des outils qui sont utilisés après un ajustement, afin de cerner s’il semble vraisemblable que la fonction moyenne et les hypothèses de Gauss-Markov sont compatibles avec les données. Les outils de base sont les résidus, que l’on a déjà définis. Il existe d’autres types de résidus (ex: les résidus standardisés, les résidus studentizés). STT-2400; Régression linéaire

3 Observations influentes
Une question d’importance concerne l’influence d’une observation particulière sur l’ajustement (ex: estimateurs des coefficients, tests d’hypothèses). Si une observation particulière peut changer significativement les conclusions d’une analyse, on dira que cette observation est influente. Nous introduirons des mesures de distances et des mesures de levier afin de quantifier l’influence d’une observation. Une question reliée est la recherche de valeurs aberrantes. STT-2400; Régression linéaire

4 STT-2400; Régression linéaire
Matrice « chapeau » On considère le modèle (avec b0): L’estimateur OLS est: On peut écrire: La matrice « chapeau »: STT-2400; Régression linéaire

5 Matrice « chapeau » (suite)
La matrice « chapeau » transforme le vecteur correspondant à la variable réponse en le vecteur des valeurs prédites: On a déjà vu: STT-2400; Régression linéaire

6 Quelques propriétés de la matrice « chapeau »
La matrice « chapeau » est symétrique, idempotente et satisfait les propriétés suivantes: On rappelle que la matrice « chapeau » est une matrice de projection dans l’espace colonne de la matrice de design. STT-2400; Régression linéaire

7 Autres propriétés de la matrice « chapeau »
Rappel: La matrice de design: Ainsi: Prenant la trace de H: STT-2400; Régression linéaire

8 Matrice « chapeau » et leviers
On rappelle les deux relations suivantes: On déduit que les hii satisfont les relations: Remarque: Ce ne sont pas les meilleures bornes. Il peut être montré que: Le nombre r dans la relation précédente est le nombre de lignes de la matrice de design identiques à xi. STT-2400; Régression linéaire

9 Interprétation des hii
Si un hii est grand et proche de un, il en ressort que la variance du ième résidu sera proche de zéro. Si il ressort que le ième résidu est une v.a. dégénérée, essentiellement une constante. Or Ainsi si hii approche un, le ième résidu sera proche de zéro, quelque soit la valeur de la variable réponse pour l’observation i. On dit que hii est un levier de l’observation i. STT-2400; Régression linéaire

10 Les leviers comme des mesures de distance
Il faut retenir qu’habituellement, si une observation possède un grand hii, alors le préviseur xi sera inhabituel. Dans un modèle avec ordonnée à l’origine, il peut être montré que: La matrice Z est celle du modèle centré, et Le second terme du membre de droite de la relation précédente est l’équation d’un ellipsoïde centré à STT-2400; Régression linéaire

11 Seuils recommandés pour les leviers
On rappelle la relation: Compte tenu du résultat précédent, Belsey, Kuh et Welsch (1980, p.17), suggèrent que chaque observation ayant un levier supérieur à 2(p+1)/n devrait être déclarée influente et examinée attentivement. STT-2400; Régression linéaire

12 Comportement des résidus lorsque le modèle est correct
Graphique des résidus versus les valeurs prédites: on devrait retrouver un « graphique nul » (moyenne constante de zéro, variance constante, pas de points isolés). Graphique des résidus versus les préviseurs (ou des combinaisons linéaires des préviseurs): on devrait retrouver des « graphiques nuls ». Remarques: Puisque même lorsque le modèle est correct, la fonction variance basée sur les résidus n’est jamais parfaitement constante. De plus, les résidus sont corrélés, mais cette corrélation est habituellement non importante et non visible dans les graphiques de résidus. STT-2400; Régression linéaire

13 Comportement des résidus lorsque le modèle n’est pas correct
De manière générale, si le modèle ajusté repose sur des hypothèses qui ne sont pas justes, on s’attend à retrouver des graphiques qui ne seront pas des « graphiques nuls ». En régression linéaire simple, il est facile de distinguer les situations où la variance n’est pas constante des situations où la fonction moyenne est mal spécifiée. Il faut rester prudent en régression linéaire multiple, car un motif dans le graphique des résidus ne correspond pas nécessairement à un problème particulier dans les hypothèses. Un « graphique non nul » indique qu’il y a un problème, mais ne dit pas nécessairement la source du problème. STT-2400; Régression linéaire

14 Graphique des résidus en régression linéaire simple et multiple
Les graphiques des résidus dans un contexte de régression linéaire multiple peuvent s’interpréter comme en régression linéaire simple si deux conditions sont satisfaites: Les préviseurs doivent être reliés de manière linéaire, au moins approximativement; Pour une certaine fonction g, la fonction moyenne doit être de la forme: STT-2400; Régression linéaire

15 Diagnostics de régression avec SAS
Avec la procédure PROC REG, la ligne de commande: MODEL Y = X1 X2 … Xp / R P INFLUENCE; L’option « / R » demande une analyse des résidus. L’option « / P » demande le calcul des valeurs prédites. L’option « / INFLUENCE » calcule (entre autres) les leviers. STT-2400; Régression linéaire