Corrélation et régression linéaire

Présentation au sujet: "Corrélation et régression linéaire"— Transcription de la présentation:

1 - 11 - Corrélation et régression linéaire
Version 1.2

2 Sujets abordés Corrélation de Pearson et de Spearman
Régression linéaire simple Régression linéaire multiple Hétéroscédasticité Autocorrélation Multicolinéarité

3 Lien de dépendance Un nuage de points L’analyse de corrélation
L’analyse de la dépendance entre deux variables se fait généralement via : Un nuage de points L’analyse de corrélation Coefficient de Pearson (linéaire) Corrélation de Spearman (basée sur les rangs)

4 Lien de dépendance 4 Nuage de point 4

5 Lien de dépendance Analyse de corrélation - formules
Si les séries de données sont normales ou quasi-normales : Coefficient de corrélation de Pearson Si les séries de données s’écartent de la normalité : Coefficient de corrélation de Spearman (rang) 5

6 Lien de dépendance Analyse de corrélation - limites
Présence d’un lien de dépendance non-linéaire Présence de données aberrantes (extrêmes) Biais de corrélation illusoire (« Spurious correlation ») La dépendance est le fruit du hasard d’échantillonage Les deux variables dépendent elles-mêmes d’une 3ième variable commune 6

7 Analyse de régression L’analyse de régression permet :
D’utiliser une (ou plusieurs) variable pour prévoir l’évolution d’une autre variable De tester des hypothèses concernant la relation entre deux variables De quantifier la force de la relation entre 2 variables 7

8 Analyse de régression Deux types de données sont souvent utilisés:
Données en coupe instantanée Exemple : Les rendements de 500 titres boursiers Séries chronologiques Exemple : Les rendements d’une action de 2000 à 2008 8

9 Analyse de régression Une régression linéaire assume qu’il existe une relation linéaire entre une variable dépendante (Y) et une variable indépendante (X) Cette relation est décrite par l’équation suivante : où est un terme d’erreur qui représente la portion de la variable dépendante qui ne peut pas être expliquée par la variable indépendante 9

10 Analyse de régression L’hypothèse à la base d’un modèle de régression est qu’une variable X permette d’expliquer une variable Y  À partir de la droite , on peut évaluer la qualité de ce lien entre X et Y en observant le terme d’erreur. Plus sera petit, plus X expliquera bien Y Concrètement, nous désirons donc estimer les paramètres b0 et b1 de façon à minimiser le terme d’erreur 10

11 Analyse de régression Réorganisation de la droite :
Il existe plusieurs techniques pour minimiser Celle que nous utiliserons (la plus connue) est la méthode des moindres carrés ordinaires (MCO) : où et sont les estimateurs des paramètres b0 et b1 de la population (obtenus à partir des observations de l’échantillon) 11

12 Analyse de régression Graphiquement, il s’agira de tracer une droite linéaire qui minimisera l’écart (mis au carré) entre chaque couple (X,Y) et son point correspondant sur la droite de régression. 12

13 Analyse de régression L’estimation des paramètres b0 et b1 se fait souvent à l’aide d’un ordinateur Sur Excel, nous avons un module complémentaire dédié aux analyses de régression. Nous pouvons également estimer les paramètres par minimisation à l’aide du solveur. Nous pouvons également calculer les estimateurs de b0 et b1 manuellement à partir des équations suivantes : et 13

14 Analyse de régression Hypothèses sous-jacentes :
La relation qui unit la variable dépendante Y à la variable X est linéaire (les variables X et Y n’ont pas besoin d’être linéaires) Le terme d’erreur est une variable aléatoire distribuée normalement avec une moyenne de 0 et une variance σ2 constante Cov(X, ε) = 0 Cov(εi, εj) = 0 14

15 Analyse de régression Validité d’un modèle:
Après avoir élaboré un modèle de régression, il importe de tester la précision de ce modèle Est-ce que le modèle de régression décrit bien la relation entre deux variables ? Pour se faire, on se base souvent sur l’erreur-type de ε : Où SEE est l’acronyme de « standard error of estimate » 15

16 Variations non expliquées
Analyse de régression Validité d’un modèle: L’erreur type de l’estimation donne quelques informations sur la confiance que l’on peut avoir en une prévision Toutefois, le SEE n’indique pas précisément à quel point la variable X permet de bien expliquer la variable Y Pour obtenir cette information, nous devrons calculer le coefficient de détermination (R2) Variations non expliquées Variations totales 16

17 Analyse de régression Calcul du « Bêta » d’un actif financier:
Modèle d’évaluation des actifs (CAPM) : Modèle d’évaluation très utilisé en finance où RM = Rendement du marché Rf = Rendement sans risque β = Sensibilité du prix d’un actif financier par rapport au marché Le paramétrage du modèle à partir de données historiques peut se faire via une régression linéaire 17

18 Analyse de régression Régression multiple:
Les modèles de régression ne se limitent pas à une seule variable explicative En finance, nous faisons souvent l’hypothèse qu’un ensemble de facteurs expliquent l’évolution d’une variable Nous pouvons estimer les liens à l’aide d’un modèle de régression linéaire multiple 18

19 Analyse de régression Hypothèses d’un modèle de régression multiple:
La relation qui unit la variable dépendante Y aux variables X est linéaire (les variables X et Y n’ont pas besoin d’être linéaires) Le terme d’erreur est une variable aléatoire distribuée normalement avec une moyenne de 0 et une variance σ2 constante Cov(X, ε) = 0 Cov(εi, εj) = 0 Cov(Xj, Xk) = 0 19

20 Analyse de régression Analyse de variance (ANOVA) :
ANOVA est un test souvent utilisé pour vérifier l'hypothèse selon laquelle la dispersion de plusieurs distributions Normales est effectivement identique En finance, nous utilisons davantage l’analyse de variance pour vérifier si tous les coefficients d’un modèle de régression sont nuls H0 : b1 = b2 = … = bk = 0 Ha : Au moins un coefficient est différent de 0 ANOVA est habituellement basé sur un F-test 20

21 Analyse de régression Analyse de variance (ANOVA) :
Plusieurs informations sont nécessaires afin de pouvoir appliquer un test d’analyse de variance : Le nombre total d’observations (n) Le nombre de paramètres de pente « b1, b2, … , bk  » (k) La somme des résidus au carrés : La variation de Y expliquée par la régression : 21

22 Analyse de régression Analyse de variance (ANOVA) :
Pour réaliser un test d’analyse de variance, nous calculerons donc la statistique F : Où F aura un nombre de degrés de liberté égal au nombre de paramètres de pentes « k » (numérateur) et à « n – (k + 1) » (dénominateur). 22

23 Analyse de régression Analyse de variance (ANOVA) :
ANOVA est habituellement utilisé pour tester des modèles de régression multiple. S’il n’y a qu’une seule variable à tester, il sera plus simple d’utiliser un t-test Plus la valeur de F sera élevée, plus les pentes des paramètres permettront d’expliquer la variable Y 23

24 Analyse de régression Coefficient de détermination ajusté:
Le coefficient de détermination illustre la précision avec laquelle un modèle de régression permet d’expliquer les variations de la variable dépendante Cependant, l’addition de variables explicatives dans un modèle de régression multiple augmente le R2 même si ces variables X n’expliquent que faiblement la variation de Y Plusieurs spécialistes ajustent donc le calcul du R2 pour que la valeur de ce dernier n’augmente pas des suites du simple ajout de variables explicatives. 24

25 Analyse de régression Limites:
La valeur des paramètres estimés d’un modèle de régression peuvent évoluer dans le temps Les prédictions basées sur un modèle de régression ne seront pas valides si les hypothèses du modèle ne tiennent pas La variance des termes d’erreur n’est pas toujours stable, ce qui entraîne un problème d’hétéroscédasticité Si les termes d’erreur sont corrélés entres-eux, alors il y a un problème d’autocorrélation Si les variables indépendantes sont corrélées entres-elles, alors il y a un problème de multicollinéarité 25

26 Problèmes associés à l’analyse de régression

27 Hypothèses La relation qui unit la variable dépendante Y aux variables X est linéaire (les variables X et Y n’ont pas besoin d’être linéaires) Le terme d’erreur est une variable aléatoire distribuée normalement avec une moyenne de 0 et une variance σ2 constante. Variance pas constante  Hétéroscédasticité Cov(X, ε) = 0 Termes d’erreurs corrélés avec les variables explicatives  Endogénéïté Cov(εi, εj) = 0 Termes d’erreurs corrélés entre eux  Autocorrélation Cov(Xj, Xk) = 0 Variables indépendantes corrélées  Multicollinéarité

28 La dispersion des résidus n’est pas constante
Hétéroscédasticité En quelques mots : La variance des termes d’erreur diffère entre les observations Les paramètres estimés demeurent valides Les tests de signification du modèle (F-test et t-test) ne sont pas fiables La dispersion des résidus n’est pas constante 28

29 Hétéroscédasticité En présence d’hétéroscédasticité, la valeur du statistique t et du statistique F seront surestimés Nous aurons donc tendance à rejeter plus souvent qu’il ne le faudrait l’hypothèse nulle Test pour détecter l’hétéroscédasticité conditionnelle : Test Breusch-Pagan Cette méthode examine si la variance estimée des résidus d’une régression dépend de la valeur des variables explicatives. 29

30 Hétéroscédasticité Test Breusch-Pagan Supposons un modèle de régression linéaire pour lequel nous avons les résidus Le test de Breusch-Pagan consiste à régresser les résidus du modèle de régression initial par les variables explicatives de ce modèle Modèle de régression initial : Régression selon Breusch-Pagan : 30

31 Hétéroscédasticité Test Breusch-Pagan H0 : Homoscédasticité (absence d’hétéroscédasticité) Ha : Présence d’hétéroscédasticité Nous calculerons « n*R2 » où n = nombre d’observations R2 = Coefficient de détermination de la régression : « n*R2 » suivra une distribution du Khi carré (test unilatéral) avec un nombre de degrés de liberté égal au nombre de variables indépendantes de la régression Nous rejetterons l’hypothèse nulle lorsque la valeur de « n*R2 » sera supérieure à la valeur critique 31

32 Hétéroscédasticité Méthode de correction Les méthode de correction pour l’hétéroscédasticité les plus populaires sont : Régression robustes (méthode de White) Les moindres-carrés pondérés Les moindres-carrés quasi-généralisés 32

33 Autocorrélation En quelques mots : Les résidus sont corrélés entre eux. C’est un problème fréquent des séries chronologiques Les paramètres estimés demeurent valides (sauf si une variable X est un« lag » de la variable Y) Les tests de signification du modèle (F-test et t-test) ne sont pas fiables 33

34 Autocorrélation Autocorrélation positive : un résidu positif pour une observation accroît les probabilités d’obtenir un résidu positif pour l’observation suivante. C’est le type d’autocorrélation le plus fréquent. Autocorrélation négative : un résidu positif pour une observation accroît les probabilités d’obtenir un résidu négatif pour l’observation suivante En présence d’autocorrélation positive, la valeur du statistique t et du statistique F seront surestimés Nous aurons donc tendance à rejeter plus souvent qu’il ne le faudrait l’hypothèse nulle 34

35 Autocorrélation Tester pour détecter l’autocorrélation Test Durbin-Watson Cette méthode examine si les résidus d’une régression sont corrélés à travers le temps 35

36 Autocorrélation Test de Durbin-Watson Pour des échantillons de grande taille (n > 50), le test DW tendra vers : Où r est la corrélation entre et Si les termes d’erreur sont non corrélés, alors le terme de corrélation sera égal à 0. Dans ce cas, la valeur de DW sera de 2 0 ≤ DW < 2  Autocorrélation positive DW = 2  Absence d’autocorrélation 2 < DW ≤ 4  Autocorrélation négative 36

37 Autocorrélation Test de Durbin-Watson À partir d’un échantillon, il est nécessaire de poser un test d’hypothèse pour déterminer s’il y a présence d’auto-corrélation à partir d’un test DW H0 : Absence d’autocorrélation positive Les valeurs dL et du s’obtiennent à partir d’une table DW dL du Zone d’incertitude On ne rejette pas l’hypothèse nulle On rejette l’hypothèse nulle 37

38 Autocorrélation Test de Durbin-Watson Plusieurs facteurs doivent être réunis pour qu’il soit possible d’appliquer un test de Durbin-Watson : Le modèle doit posséder une constante (b0 ≠ 0) Le nombre d’observations doit être supérieur ou égal à 15 Le modèle estimé ne doit pas contenir la variable dépendante retardée (« laggée ») dans les variables explicatives Le test DW permet uniquement de tester l’autocorrélation d’ordre 1 38

39 Autocorrélation Méthode de correction Les méthode de correction pour l’autocorrélation les plus populaires sont : Modèles autorégressifs Les moindres-carrés généralisés La procédure Cochrane-Orcutt 39

40 Multicollinéarité En quelques mots : Deux ou plusieurs variables indépendantes sont corrélées entre-elles Bien qu’il soit possible d’estimer les paramètres de régression, la multicollinéarité complique l’interprétation que l’on peut faire des résultats Il devient pratiquement impossible de distinguer l’impact individuel d’une variable indépendante On rejette plus rarement l’hypothèse nulle de signification des paramètres des variables indépendantes 40

41 Multicollinéarité Il n’existe pas de test statistique formel pour détecter la présence de multicollinéarité En pratique, ce n’est pas tant la présence/absence multicollinéarité qui nous intéresse que la force de cette relation Le coefficient de corrélation entre deux variables n’est pas un bon indicateur de la multicollinéarité Un faible coefficient de corrélation n’exclut pas la présence d’un problème de multicollinéarité r est un bon indicateur si seulement 2 variables explicatives Obtenir un R2 élevé, un F-test significatif et des t-test non significatifs = symptôme commun de la multicollinéarité 41

42 Multicollinéarité Lorsqu’on soupçonne un problème de multicollinéarité, la solution la plus simple consiste à exclure une ou plusieurs variables indépendantes d’un modèle Supprimer une variable d’un modèle n’est cependant pas une solution miracle : exclure une variable explicative peut être une cause de mauvaise spécification d’un modèle et entraîner divers problèmes tels que l’hétéroscédasticité 42

43 Spécification d’un modèle
Quelques principes de base peuvent aider à guider le choix d’un modèle de régression : Le modèle doit être cohérent avec l’intuition économique La forme des variables dans la régression doit être conséquente avec la nature de ces variables Le modèle doit permettre d’obtenir des résultats fiables avec le plus petit nombre possible de variables. Ceci signifie que chaque variable doit jouer un rôle essentiel. Il est important de vérifier si les hypothèses propres aux modèles de régression tiennent avant d’accepter un modèle Tout modèle doit être testé au-delà des données de l’échantillon initial avant d’être accepté 43