Lectures Volume du cours: Sections 12.1 à 12.6 inclusivement

Présentation au sujet: "Lectures Volume du cours: Sections 12.1 à 12.6 inclusivement"— Transcription de la présentation:

1

2 Lectures Volume du cours: Sections 12.1 à 12.6 inclusivement
Volume recommandé: Statistique en Gestion et en économie: sections 8.1 et 8.2

3 Mise en contexte En statistiques, plusieurs problèmes consistent à définir la relation qui existe entre deux variables statistiques : Le nombre d’années d’expérience et le nombre d’erreurs commises ; L’âge du conducteur et le nombre d’accidents d’auto ; Le volume des ventes et les dépenses en publicité ; Le nombre d’heures d’études et les résultats aux examens ; …

4 Mise en contexte Dans ce genre de problèmes, les principales questions auxquelles nous voudrons répondre sont les suivantes : Existe-il une relation ou une dépendance entre les variables statistiques? Cette relation, si elle existe, est-elle linéaire ou non ? Si une dépendance linéaire existe, de quelle façon peut-on la traduire par une équation mathématique ? La relation, si elle existe, est-elle grande ou faible ? Si l’équation mathématique de la relation entre les variables existe, comment prévoir les valeurs d’une certaine variable à partir de la connaissance de valeurs de l’autre variable ou des autres variables ?

5 Mise en contexte Pour répondre à toutes ces questions, nous ferons appel à une théorie statistique que nous appelons : L’analyse de la régression

6 L’analyse de la régression
L’analyse de la régression est une méthode statistique qui permet d’étudier le type de relation pouvant exister entre une certaine variable (dépendante) dont on veut expliquer les valeurs et une ou plusieurs autres variables qui servent à cette explication (variables indépendantes) Régression linéaire simple: une variable indépendante En d’autres termes, l’analyse de la régression permet d’étudier les variations de la variable dépendante en fonction des variations connues des variables indépendantes.

7 L’analyse de la régression
Le coût du loyer en fonction du nombre de pièces, du niveau d’étage dans l’immeuble, des services offerts ... Coût du loyer Nombre de pièces Services offerts (piscine, stationnement intérieur, etc.) … L’étage dans l’immeuble

8 L’analyse de la régression
Une analyse de régression est : dite simple si elle permet de prédire les valeurs d’une variable dite dépendante (expliquée (Y)) à partir des valeurs prises par une autre variable dite indépendante (explicative (X)). dite multiple si elle permet de prédire les valeurs d’une variable dite dépendante (expliquée (Y)) à partir des valeurs prises par plusieurs autres variables dites indépendantes (explicatives (Xi)).

9 L’analyse de la régression linéaire simple
Définition : Nuage de points ou diagramme de dispersion C’est la représentation graphique dans le plan cartésien de l’ensemble des paires de données (xi,yi). Ces données proviennent d’une série statistique de deux variables obtenues à partir d’une étude menée sur un échantillon ou sur une population.

10 L’analyse de la régression linéaire simple
Exemple : Nuage de points ou diagramme de dispersion Supposons que le nombre d’heures d’études nécessaires pour préparer l’examen final en statistiques et le nombre de bonnes réponses obtenues par chaque étudiant sont donnés dans le tableau suivant : Tracer le nuage de points ou le diagramme de dispersion des données présentées ci-dessus.

11 L’analyse de la régression linéaire simple
Exemple : Nuage de points ou diagramme de dispersion …

12 L’analyse de la régression linéaire simple
Objectif d’une analyse de régression simple Une fois la représentation graphique effectuée, il est facile de soupçonner l’existence d’une certaine relation entre les deux variables (caractères étudiés). Il faut maintenant chercher à exprimer cette relation à l’aide d’une équation mathématique. On essaie de trouver la forme mathématique de la fonction f

13 L’analyse de la régression linéaire simple
Objectif d’une analyse de régression simple

14 L’analyse de la régression linéaire simple
Définition : Nous appelons régression linéaire l’ajustement d’une droite au nuage statistique d’une série de couples de données. Ainsi, une régression linéaire simple va permettre de résumer, d’interpréter et de prévoir les variations d’un caractère dit dépendant (Y) en fonction d’un autre dit indépendant (X) et ce en utilisant une droite.

15 Modèle de régression linéaire simple
y = 0 + 1x +  Équation de la régression linéaire simple (comment l'espérance de y est liée à x) E(y) = 0 + 1x Équation estimée de la régression linéaire simple (droite de la régression estimée, modèle empirique) y = Variable dépendante ou expliquée = valeur estimée de y pour une valeur x x = Variable indépendante ou explicative = Coefficients théoriques de régression (à estimer à l’aide d’un échantillon) par b0 et b1 = Erreur théorique aléatoire (d’autres facteurs influencent Y)

16 Modèle de régression linéaire simple
L'équation estimée de la régression linéaire simple (droite de la régression estimée, modèle empirique) peut être utilisée pour une estimation ponctuelle de la valeur moyenne de y pour une valeur particulière de x ou pour prévoir la valeur ponctuelle de y associée à une valeur particulière de x y = Variable dépendante ou expliquée = valeur de prévision de y pour une valeur x, ou moyenne de y estimée pour une valeur de x x = Variable indépendante ou explicative

17 L’analyse de la régression linéaire simple
Les différentes étapes d’une étude de régression

18 L’analyse de la régression linéaire simple
Il existe plusieurs méthodes permettant d’estimer le modèle théorique par le modèle empirique Méthode des moindres carrés Méthode de la vraisemblance …

19 La méthode des moindres carrés
Critère des moindres carrés où: yi = valeur observée de la variable dépendante pour pour la ième observation = valeur estimée de la variable dépendante pour la ième observation

20 L’analyse de la régression linéaire simple
La méthode des moindres carrés Idée de base : cette méthode essaie de construire une droite de régression empirique qui minimise la somme des carrés des distances verticales entre cette droite et chacun des points observés.

21 L’analyse de la régression linéaire simple
La méthode des moindres carrés … Illustration graphique

22 L’analyse de la régression linéaire simple
La méthode des moindres carrés … Définition : On appelle résidu ou erreur empirique ou écart de prévision, la valeur , soit la différence (l’écart vertical) entre la valeur observée yi de Y et la valeur estimée obtenue à partir de la droite de régression, lorsque x= xi. L’objectif de la méthode des moindres carrés est de déterminer la droite de régression qui minimise

23 L’analyse de la régression linéaire simple
La méthode des moindres carrés … Cette mesure donne l’ordre de grandeur de la dispersion des observations Yi autour de la droite de régression Il s’agit de trouver bo et b1 de sorte que la somme des carrés des résidus SCres soit la plus petite possible (minimale).

24 L’analyse de la régression linéaire simple
Principes de la méthode des moindres carrés … Comment calculer les coefficients b0 et b1? Les estimations ponctuelles des paramètres de la droite de régression obtenues par la méthode des moindres carrés sont : Taille de l’échantillon Autre formule pour b1

25 L’analyse de la régression linéaire simple
À partir des données ci-dessous, déterminez les estimations ponctuelles des paramètres de la droite de régression selon la méthode des moindres carrés :

26 L’analyse de la régression linéaire simple

27 L’analyse de la régression linéaire simple
Remarque Importante La droite de régression déterminée à l’aide de la méthode des moindres carrés donne la plus faible somme de carrés résiduels parmi toutes les autres droites que l’on pourrait ajuster à cet ensemble d’observations.

28 L’analyse de la régression linéaire simple
Une entreprise veut mener une étude sur la relation entre les dépenses hebdomadaires en publicité et le volume de ventes qu’elle réalise. On a recueilli au cours des dix dernières semaines les données suivantes : À partir des données ci-dessus, déterminez les estimations ponctuelles des paramètres de la droite de régression selon la méthode des moindres carrés.

29 L’analyse de la régression linéaire simple
À partir de ces données, il est possible de tracer le diagramme de dispersion suivant :

30 L’analyse de la régression linéaire simple
Les résultats intermédiaires suivants servent à calculer les estimations ponctuelles des paramètres de la droite de régression :

31 L’analyse de la régression linéaire simple
En appliquant les formules ci-dessous, nous obtenons les valeurs numériques de b0 et b1

32 L’analyse de la régression linéaire simple
Ordonnée à l’origine (volume de vente moyen sans dépenser un sous en publicité) Dépenses en publicité C’est l’augmentation du volume des ventes (Y) pour une augmentation unitaire du coût en publicité (X) La droite de régression qui permet de déterminer le volume moyen des ventes pour un coût publicitaire donné x.

33 L’analyse de la régression linéaire simple
Interprétation des résultats et remarques… Rq1 : le point de cordonnées se trouve sur la droite de régression. Rq2 : cette relation linéaire entre X et Y est valide pour l’intervalle des valeurs de X considérée dans l’énoncé, c’est-à-dire de 1 à 5,5. La droite de régression s’applique à l’intérieur de l’étendue des valeurs expérimentales qui ont été observées pour la variable explicative (X). On devra donc éviter toute extrapolation en dehors de ce domaine à moins d’être certain que le phénomène se comporte de façon identique.

34 L’analyse de la régression linéaire simple
Rq3 : Pour la valeur x = 3,5 (située entre 1 et 5,5), on peut utiliser la droite de régression pour calculer la valeur moyenne correspondante de Y Exemple : Estimation du volume des ventes moyen pour un coût de 3,5 millions de dollars en publicité hebdomadaire. = 33,31 + 3,95 (3,5) = 47,14 millions de dollars

35 La méthode des moindres carrés - Résumé
La pente de l’équation de la régression empirique (estimée) ou L’ordonnée à l’origine de l’équation de la régression empirique (estimée): où: xi = valeur de la variable indépendante pour la ième observation yi = valeur de la variable dépendante pour la ième observation = valeur moyenne de la variable dépendante = valeur moyenne de la variable indépendante observée n = nombre total d’observations

36 Exemple: Vente chez Autos Plus
Autos Plus a régulièrement des soldes les fins de semaines. Dans le cadre d’une campagne de publicité, Auto Plus achète au moins une annonce publicitaire la fin de semaine précédant la promotion. Les données d’un échantillon de 5 soldes sont présentées ci-dessous. Nombre de publicités Nombre d’autos vendues 1 14 3 24 2 18 1 17 3 27

37 Exemple: Vente chez Autos Plus
Pente de l’équation de régression estimée b1 = (10)(100)/5 = 5 24 - (10)2/5 Ordonnée à l’origine de l’équation de régression estimée b0 = (2) = 10 L’équation de régression estimée = x

38 Relation entre X et Y Il existe trois mesures possibles pour quantifier l’intensité de la relation entre X et Y: Le coefficient de détermination de Y en fonction de X Le coefficient de corrélation entre X et Y La covariance entre X et Y

39 Le coefficient de détermination
Coefficient de détermination de Y en fonction de X Le coefficient de détermination théorique de Y en fonction de X, noté mesure la proportion de la variation de Y qui est expliquée par la régression ou qui est expliquée par la variable X au niveau de toute la population. Le coefficient de détermination indique si le modèle linéaire défini colle aux données

40 Le coefficient de détermination
Coefficient de détermination de Y en fonction de X En pratique est inconnu, car on ne possède pas d’information sur toute la population mais seulement sur un échantillon de taille n, alors on estimera à partir de l’échantillon : fournit une indication de la force de la liaison possible pouvant exister entre Y et X au niveau de la population. De plus, c’est un indice de la qualité de l’ajustement de la droite aux points expérimentaux. Rappel:

41 Le coefficient de détermination
Dans quelle mesure l’équation estimée de la régression s’ajuste-t-elle aux données? Le coefficient de détermination permet de mesurer le degré d’adéquation Formule pour le coefficient de détermination r2 = SCreg/SCT où: SCT = SCreg + SCres= SCT = Somme des carrés totale (variation totale) SCreg = Somme des carrés de la régression (variation expliquée) SCres = Somme des carrés des résidus

42 Le coefficient de détermination

43 Le coefficient de détermination
Calculez pour l’exemple d’application des coûts publicitaires et des ventes: Puisque est proche de 1, on peut dire que la droite de régression s’ajuste très bien au nuage de points.

44 Exemple: Ventes Auto plus
Coefficient de détermination r2 = SCreg/SCT = 100/114 = 0,88 La relation de régression est très forte puisque 88% de la variation dans le nombre d’autos vendues peut être expliqué par la relation linéaire qui existe entre le nombre de publicités à la télévision et le nombre d’autos vendues.

45 Relation entre X et Y: régression et corrélation
Différence entre régression et corrélation ? La régression linéaire simple se préoccupe essentiellement de la forme de la relation linéaire qui existe entre X et Y alors que La corrélation essaye de mesurer l’intensité ou la force de la relation linéaire qui existe entre X et Y.

46 Le coefficient de corrélation de l’échantillon
où: b1 = la pente de l’équation de régression estimée (empirique) Le coefficient de corrélation théorique (au niveau de la population) est dénoté ryx ou simplement r

47 Le coefficient de corrélation de l’échantillon
Le coefficient de corrélation peut être déterminé de la manière suivante (ou encore en prenant la racine carrée du coefficient de détermination): On a toujours: Si alors il existe une relation linéaire exacte entre X et Y Si alors soit que X et Y sont indépendantes, soit qu’il y a une dépendance non linéaire entre les deux variables Si ou alors il existe une relation linéaire plus ou moins forte entre X et Y Le coefficient de corrélation permet de voir s'il est facile d'approcher les données par une droite.

48 Tester l'hypothèse d'une corrélation linéaire significative entre X et Y
Si n-2 < 30, alors on calcule la statistique t suivante: On compare avec la statistique de Student Règle de décision: on rejette H0 si t < -ta/2(n-2) ou si t > ta/2(n-2) au niveau a à n-2 degrés de liberté

49 Le coefficient de corrélation de l’échantillon
Toujours en utilisant l’exemple numérique de la publicité et les ventes d'autos, mesurez le degré de dépendance linéaire entre X et Y. Réponse Les dépenses en publicité et les ventes varient dans le même sens Il existe une relation linéaire très forte entre les dépenses en publicité et les ventes

50 Coefficient de corrélation et nuage de points

51 Autre formule pour le coefficient de corrélation
On peut aussi calculer le coefficient de corrélation à partir de la covariance empirique (estimée) entre X et Y, et les écarts-types empiriques (estimés) pour X et Y

52 La covariance de X et Y Cette quantité mesure l'intensité de la relation linéaire entre X et Y. Si X et Y sont indépendantes, alors la covariance est nulle. Mais l’inverse n’est pas vrai, car on pourrait avoir une relation non linéaire. La covariance empirique est estimée à partir de l’échantillon de la manière suivante: Alors X et Y varient dans le même sens Alors X et Y varient dans le même opposé Le sens de variation de X ne permet pas de prévoir le sens de variation de Y (soit que X et Y sont indépendantes, soit qu’il y a une relation non linéaire entre X et Y)

53 L’analyse de la régression linéaire simple
Validation de la droite de régression empirique… Test d’hypothèse sur Pour vérifier si l’influence de la variable indépendante X est significative, on procède à un test d’hypothèses sur Si β1 = 0 alors peu importe les valeurs de X, elles n’auront pas d’impact sur Y

54 L’analyse de la régression linéaire simple
Étapes contribuant à la validation de la droite de régression empirique Estimer la variance des erreurs théoriques Estimer et par intervalle de confiance Test d’hypothèses sur

55 L’analyse de la régression linéaire simple
Validation de la droite de régression empirique… Estimation de la variance des erreurs théoriques La précision des estimateurs b0 et b1 dépend de la valeur de la variance des erreurs théoriques : plus sera petite, plus ces estimateurs sont précis. Puisque, en pratique, la variance est inconnue, on l’estime par le terme suivant :

56 L’analyse de la régression linéaire simple
Validation de la droite de régression empirique… Estimation de et En pratique, les variances et sont inconnues, alors on les estime par les deux termes suivants :

57 L’analyse de la régression linéaire simple
Exemple d’application … Compléter le tableau suivant : 33,31 + 3,95 x 2 = 41,21 0.49 49.11 0.39 0.1521 7.6176 1.69 41.21 - 0.21 0.0441 Calculer pour l’ensemble des données ci-dessus.

58 L’analyse de la régression linéaire simple
Validation de la droite de régression empirique… Estimation de b1 par intervalle de confiance L’intervalle de confiance pour estimer b1, la pente du modèle de régression théorique, au niveau de confiance (1 - a) est donné par: Si n-2 < 30 Si n-2 ≥ 30 Si la valeur b1=0 appartient à l’intervalle de confiance, on ne rejette pas l’hypothèse nulle: b1=0 au niveau de signification a et on conclut qu’il n’existe pas de relation linéaire significative entre Y et X

59 L’analyse de la régression linéaire simple
D’après les données de l’exemple numérique de la publicité et le volume de ventes d'autos, construisez un intervalle de confiance pour au niveau 95% : Puisque n-2 = = 8 < 30, alors Table de Student

60 L’analyse de la régression linéaire simple
Validation de la droite de régression empirique… Estimation de par intervalle de confiance Si la valeur X = 0 est dans l’intervalle des valeurs observées pour X, alors il est intéressant d’estimer par intervalle de confiance. L’intervalle de confiance pour estimer , l’ordonnée à l’origine du modèle de régression théorique, au niveau de confiance (1 - ) est donnée par : Si n-2 < 30 Si n-2 ≥ 30

61 Tester la signification d’une régression
Pour tester la signification d’une régression, on peut effectuer un test d’hypothèses afin de déterminer si la valeur de b1 est zéro. Deux tests sont couramment utilisés Test t ou z (selon la taille de l'échantillon) Test F Les deux tests nécessitent une estimation de se 2, la variance des erreurs e du modèle de régression

62 Tester la signification d’une régression
Une estimation de se 2 Rappel: la moyenne des carrés des résidus (MCres) fournit une estimation de se 2 s2 = MCres = SCres/(n-2) où: s est l’erreur type de l’estimation

63 L’analyse de la régression linéaire simple
Les étapes d’un test z ou t d’hypothèses sur Énoncer les hypothèses H0 et Ha. Préciser les conditions du test La population des erreurs est normale La variance résiduelle est inconnue Le niveau de signification a Si la taille de l’échantillon n – 2 ≥ 30, on utilise z (Normale) Si la taille de l’échantillon n – 2 < 30, on utilise t (Student) Calculer la statistique de test. Trouver la région critique au niveau de signification a

64 L’analyse de la régression linéaire simple
D’après les données de l’exemple d’application sur la publicité et le volume de ventes d'autos, vérifiez au niveau de signification a = 0,05 si X explique Y, à partir de la droite de régression linéaire obtenue Étape 1 Étape 2 n – 2 = 8 < 30, population normale, inconnue Étape 3 Étape 4 Cela implique que X explique les valeurs prises par Y au niveau a = 0,05

65 Tester la signification d’une régression: Test F
Hypothèses H0: 1 = 0 Ha: 1  0 Statistique de test F = MCreg/MCres Règle de rejet Rejeter H0 si F > F où F est basée sur distribution F à 1 d.l. dans le numérateur and n - 2 d.l. dans le dénominateur MCreg= Ce test peut aussi s’appliquer aux régressions multiples

66 L’analyse de la régression linéaire simple
D’après les données de l’exemple d’application sur la publicité et le volume de ventes d'autos, vérifiez au niveau de signification a = 0,05, à partir de la droite de régression linéaire obtenue, si X explique Y ? Utiliser le test F. F = MCreg/MCres=298,008/1,18=251,54 Cela implique que X explique les valeurs prises par Y au niveau a = 0,05

67 L’analyse de la régression linéaire simple
Application du modèle de régression linéaire simple Une fois que le modèle de régression est validé, il est possible d’effectuer deux types d’applications : Construire un intervalle de confiance autour de la droite de régression (estimation par intervalle de la valeur moyenne, E(Yp)) Construire un intervalle de prévision pour la valeur individuelle de Y associé à une observation xp , Contrairement à l'estimation ponctuelle, ces intervalles de confiances seront différents pour une valeur moyenne et pour une prévision

68 L’analyse de la régression linéaire simple
Construire un intervalle de confiance autour de la droite de régression (autour de la valeur moyenne de Y) Si on veut estimer à l’aide d’un intervalle de confiance à un niveau (1 - a ) la valeur moyenne de Y pour une valeur xp particulière de X, , E(Yp) alors : Si est inconnue et n - 2 < 30 Si est inconnue et n - 2 ≥ 30, ou si est connue, on remplace par , et s par

69 L’analyse de la régression linéaire simple
Construire un intervalle de confiance autour de la droite de régression Estimez par intervalle de confiance au niveau a= 0,05 le volume moyen des ventes d'autos si on investit 4 millions de dollars en publicité Dans ce cas, on a est inconnue et n – 2 = 8 < 30

70 L’analyse de la régression linéaire simple
Construire un intervalle de prévision pour une nouvelle observation de X En plus des n observations dans l’échantillon, on a la possibilité d’effectuer une prévision pour une nouvelle observation xp de X. Dans ce cas, on veut estimer , la valeur individuelle de Y correspondant à xp de X. L’intervalle de confiance au niveau (1 - a ) sera : Si est inconnue et n - 2 < 30 Si est inconnue et n - 2 ≥ 30, ou si est connue, on remplace par , et s par

71 L’analyse de la régression linéaire simple
Construire un intervalle de prévision pour une nouvelle observation de X Prévoir par intervalle de confiance au niveau a= 0,05 le volume des ventes si, à partir d’un nouvel échantillonnage, on désire investir 2,8 millions de dollars en publicité Dans ce cas, on a est inconnue et n – 2 = 8 < 30

72 Exemple: Autos plus Estimation ponctuelle
Si 3 annonces publicitaires sont présentées avant une fin de semaine de soldes, on s’attend à ce que le nombre moyen d’autos vendues soit: = (3) = 25 autos

73 Exemple: Autos plus Estimation ponctuelle
Si 3 annonces publicitaires sont présentées avant une fin de semaine de soldes, on s’attend à ce que le nombre moyen d’autos vendues soit: = (3) = 25 autos Intervalle de confiance pour E(yp) (yp moyen pour un xp particulier) L’intervalle de confiance à 95% du nombre moyen estimé d’autos qui seront vendues si on présente 3 annonces publicitaires est: 25 + 4,61 = 20,39 à 29,61 autos Intervalle de prévision pour yp L’intervalle de confiance à 95% du nombre prévu d’autos qui seront vendues une semaine donnée (valeur individuelle et non moyenne) si on présente 3 annonces publicitaires est : ,28 = 16,72 à 33,28

74 Hypothèses du modèle Hypothèses concernant le terme d’erreurs 
L’erreur  est une variable aléatoire d’espérance 0 La variance de  , dénotée e 2 ou  2 , est la même pour toutes les valeurs de X Les valeurs de  sont indépendantes. L’erreur  est distribuée selon une loi normale

75 Analyse des résidus L’analyse des résidus est le principal outil pour déterminer si le modèle de régression utilisé est approprié Analyse graphique des résidus en fonctions des valeurs indépendantes devrait avoir une forme horizontale Le résidu de l’observation i:

76 Exemple: Autos plus Test F Hypothèses H0: 1 = 0 Ha: 1  0
Règle de rejet Pour  = 0,05 et d.l. = 1, 3: F0,05 = 10,13 Rejeter H0 si F > 10,13. Statistique de test F = MCreg/MCres = 100/4,667 = 21,43 Conclusion On peut rejeter H0.

77 Exemple: Autos plus Test t Hypothèses H0: 1 = 0 Ha: 1  0
Règle de rejet Pour  = 0,05 et d.l. = 3, t0,025 = 3,182 Rejeter H0 si t > 3,182 Statistique de test t = 5/1,08 = 4,63 Conclusions Rejeter H0: 1 = 0

78 Utilisation d'Excel

79 Utilisation d'Excel

80 Utilisation d'Excel s MCReg MCRes

81 Utilisation d'Excel s ou se