1 Analyse multidimensionnelle des données F.-G. Carpentier 2013/2014.

Présentation au sujet: "1 Analyse multidimensionnelle des données F.-G. Carpentier 2013/2014."— Transcription de la présentation:

1 1 Analyse multidimensionnelle des données F.-G. Carpentier 2013/2014

2 2 Interprétation R empirique S géométrique Méthodes d’analyse Analyse multidimensionnelle des données : de quoi s’agit-il ?

3 3 PAOPAAVIOVIAPOTLECRAIPLP AGRI16711632341866 SAAG1622141124012415 PRIN119669563951341 CSUP8711631112731839 CMOY103568773241130 EMPL111472663461028 OUVR13037652437716 INAC1387117745381220 Consommations annuelles de 8 types de denrées alimentaires pour 8 catégories socio-professionnelles Source : Saporta, 1990 Exemples de données relevant de l’analyse multidimensionnelle

4 4 Variables : PAOPain ordinaire PAAAutre pain VIOVin ordinaire VIAAutre vin POTPommes de terre LECLégumes secs RAIRaisin de table PLPPlats préparés Observations : AGRIExploitants agricoles SAAGSalariés agricoles PRINProfessions indépendantes CSUPCadres supérieurs CMOYCadres moyens EMPLEmployés OUVROuvriers INACInactifs

5 5 DroitSciencesMédecineIUT Exp. agri.80996558 Patron16813720862 Cadre sup.47040087679 Employé14513313554 Ouvrier166193127129 Tableau de contingence : répartition d’étudiants en 1975-1976 Cité par Saporta (1990) Exemples de données relevant de l’analyse multidimensionnelle

6 6 Questions à réponses fermées : sexe (2 modalités), niveau de revenu (2 modalités), préférence (3 modalités)

7 7 -Tableau individus x variables comportant des variables numériques et une variable dichotomique AgeEtat- Civil FeministeFrequenceAgressiviteHarceleme nt 1131102240 2452101360 3192102271 4422102121 527177110 619198061 737196160 Exemples de données relevant de l’analyse multidimensionnelle

8 8 Méthodes d’analyse de données Fondées sur un modèle linéaire Exploratoires, descriptives, non supervisées Statistiques élémentaires Analyse en composantes principales Méthodes de classification Prédictives, supervisées Variable dépendante quantitative Variable dépendante qualitative Régression linéaire multiple Régression en composantes principales Partial Least Squares Régression Logistique Analyse discriminante Non linéairesNon supervisées Réseau neuromimétique de Kohonen Prédictives Supervisées Variable dépendante quantitative ou qualitative Réseau neuromimétique multicouche

9 9 Méthodes abordées dans ce cours : ACP, analyse factorielle exploratoire, analyse factorielle confirmatoire AFC et ACM Classification par moyennes mobiles (k-means) et CAH Régression linéaire, régression linéaire pas à pas, analyse de médiation Régression logistique Analyse discriminante décisionnelle, analyse factorielle discriminante Aperçus sur régression PLS et analyse de segmentation

10 10 [Doise] : trois notions fondamentales dans l’approche multivariée des différences individuelles : niveau, dispersion, corrélation Niveau : moyenne Dispersion : variance, écart type, somme des carrés Corrélation : coefficient de corrélation

11 11 Ind.V1V2V3 1204060 2406080 3204060 4406080 Moy305070 s10 CORRÉLATIONS V1V2V3 V11 V211 V3111 Cas 1

12 12 Ind.V1V2V3 1604060 24060 3406040 46040 Moy50 s10 CORRÉLATIONS V1V2V3 V11 V21 V3001 Cas 2

13 13 Ind.V1V2V3 1403530 2606570 3403530 4606570 Moy50 s101520 CORRÉLATIONS V1V2V3 V11 V211 V3111 Cas 3

14 14 Ind.V1V2V3 1603510 2806550 3603510 4806550 Moy705030 s101520 CORRÉLATIONS V1V2V3 V11 V211 V3111 Cas 4

15 15 Tableau de données numériques à n lignes et p colonnes : matrice de dimensions (n, p). Une ligne du tableau peut être représentée comme un point dans un espace géométrique à p dimensions, une colonne comme un point dans un espace géométrique à n dimensions Distance entre deux individus : souvent la distance euclidienne : Inertie d’un nuage de points par rapport à un point O : somme des carrés des distances à O. Inertie par rapport au point moyen du nuage: somme des carrés ou variation totale. Lien entre deux variables : coefficient de corrélation. Interprétation géométrique : c’est le cosinus de l’angle entre les vecteurs représentant ces variables.

16 16 Analyse en Composantes Principales

17 17 Analyse en composantes principales Données : Elément de cette matrice : x ij n p Variables Individu ou observation

18 18 Principaux résultats d’une ACP Coordonnées factorielles ou scores n p Variables n p k Valeurs propres k Vecteurs propres (transposés) k Individus

19 19 Principe de la méthode Calcul des distances entre individus Recherche des directions de plus grande dispersion du nuage de points : axes factoriels Plus grande dispersion : moindre déformation Meilleur respect des distances entre individus Maximisation de l’inertie du nuage projeté On procède axe par axe, mais les propriétés restent vraies pour le premier plan factoriel, le premier espace factoriel de dimension 3, etc

20 20

21 21

22 22 M P O c1 c2 Cosinus carrés Qualité : vecteur de l’observation : vecteur de la projection sur le plan factoriel : projection sur l’axe 1 : projection sur l’axe 2

23 23 QLTCoord. 1Cos2CtrCoord. 2Cos2Ctr AGRI 0,8891,350,88422,89-0,260,0050,86 SAAG 0,9131,410,89824,97-0,480,0142,84 PRIN 0,576-0,590,5754,360,060,0010,05 CSUP 0,943-1,750,94238,260,190,0020,44 CMOY 0,940-0,690,7535,94-0,910,18710,43 EMPL 0,858-0,320,4281,31-0,860,4309,29 OUVR 0,3760,360,3611,63-0,200,0150,48 INAC 0,9870,230,0560,642,460,93275,61 100 Contributions des individus

24 24 Analyse factorielle exploratoire Cf. polycopié p. 27

25 25 Analyse factorielle (factor analysis ou FA). Origine : travaux de Pearson (1901). Développée au départ par des psychologues. Vers 1940 : fondements théoriques, au niveau statistique, - nombreuses variantes : parfois désignée par le terme "analyse en facteurs communs et spécifiques", selon les variantes : "analyse factorielle exploratoire" (exploratory factor analysis ou EFA) "analyse factorielle confirmatoire" (confirmatory factor analysis ou CFA). L'analyse en facteurs principaux (principal factor analysis ou PFA) est l'une des variantes de l'analyse factorielle.

26 26 Mechanics(C)Vectors(C)Algebra(O)Analysis(O)Statistics(O) 1778267 81 26378807081 37573716681 45572637068 563 657063 6………….. Exemple : 88 sujets – 5 matières On cherche un modèle à deux facteurs, en utilisant la méthode du maximum de vraisemblance.

27 27 Val. Propres (Open/Closed Book Data) Extraction : Facteurs du max. de vrais. Val Propre% TotalCumul varianceVal propre% 12,82417056,483412,82417056,48341 20,3194916,389833,14366262,87323 Communautés (Open/Closed Book) Rotation : Sans rot. Pour 1Pour 2R-deux FacteurFacteursMultiple Mechanics(C)0,3948780,5341030,376414 Vectors(C)0,4835480,5809440,445122 Algebra(O)0,8089350,8114310,671358 Analysis(O)0,6077790,6482070,540864 Statistics(O)0,5290290,5689770,479319

28 28 Qualité d'ajust.,2 (Open/Closed Book Data) (Test de la nullité des éléments en dehors de la diagonale dans la matrice de corr.) % expl.Chi²dlp Résultat62,873230,07471010,784601 Corrélations des Résidus (Open/Closed Book Data) (Résidus marqués sont >,100000) Mechanics(C)Vectors(C)Algebra(O)Analysis(O)Statistics(O) Mechanics(C)0,47-0,000,00-0,010,01 Vectors(C)-0,000,42-0,000,01-0,01 Algebra(O)0,00-0,000,19-0,000,00 Analysis(O)-0,010,01-0,000,35-0,00 Statistics(O)0,01-0,010,00-0,000,43

29 29 Poids Factoriels(Sans rot.) (Open/Closed Book Data) (Poids marqués >,700000) Facteur 1Facteur 2 Mechanics(C)-0,6283930,373128 Vectors(C)-0,6953760,312083 Algebra(O)-0,899408-0,049958 Analysis(O)-0,779602-0,201066 Statistics(O)-0,727344-0,199869 Var. Expl.2,8241700,319491 Prp.Tot0,5648340,063898

30 30

31 31 - On a observé un ensemble X 1, X 2,..., X p de variables sur un échantillon - On fait l'hypothèse que ces variables dépendent (linéairement) en partie de k variables non observables, ou variables latentes ou facteurs F 1, F 2,..., F k. On cherche donc à décomposer les variables observées X i (supposées centrées) de la façon suivante : avec les conditions suivantes : - Le nombre k de facteurs est fixé à l'avance. - Les facteurs F r sont centrés réduits, non corrélés entre eux - Les termes d'erreur E i sont non corrélés avec les facteurs - Les termes d'erreur E i sont non corrélés entre eux.

32 32 Méthodes d’extraction des facteurs Plusieurs méthodes (cf. Statistica). Par exemple : PCA (principal component analysis) : la méthode revient à faire une ACP, mais avec la possibilité d’effectuer une rotation des facteurs PFA (principal factor analysis) : on cherche à maximiser les communautés AF avec extraction par la méthode du maximum de vraisemblance (Maximum Likelihood extraction : MLE) : mais qu’est-ce que la vraisemblance ?

33 33 Notion de vraisemblance d'une valeur d'un paramètre : Questions du type : "Etant donné des résultats observés sur un échantillon, est-il vraisemblable qu'un paramètre donné de la population ait telle valeur ?". Exemple 1 : (variable discrète) Lors d'un référendum, on interroge trois personnes. Deux déclarent voter "oui", la troisième déclare voter "non". Au vu de ces observations, laquelle de ces deux hypothèses est la plus vraisemblable : - Le résultat du référendum sera 40% de "oui" - Le résultat du référendum sera 60% de "oui". Solution. Si le résultat du référendum est de 40% de "oui", la probabilité d'observer trois personnes votant respectivement "oui", "oui" et "non" est : P1 = 0,4x0,4x0,6 = 0,096. Si le résultat du référendum est de 60% de oui, la même probabilité est : P2 = 0,6x0,6x0,4 = 0,144. La seconde hypothèse est donc plus vraisemblable que la première.

34 34 Lors d'un test effectué sur un échantillon de 5 sujets, on a observé les scores suivants : 90, 98, 103, 107, 112. Deux modèles sont proposés pour représenter la distribution des scores dans la population parente : - La loi normale de moyenne 100 et d'écart type 15 - La loi normale de moyenne 102 et d'écart type 10. Quel est le modèle le plus vraisemblable ? Notion de vraisemblance d'une valeur d'un paramètre Exemple 2 :

35 35 On utilise la valeur de la distribution de la loi théorique au lieu de la probabilité de la valeur observée. La vraisemblance associée à chaque hypothèse, calculée à l'aide d'Excel, est donc : ObsModèle 1Modèle 2 900,021300,01942 980,026360,03683 1030,026070,03970 1070,023850,03521 1120,019310,02420 Vraisemblance6,74E-092,42E-08 Le modèle 2, dont la vraisemblance est de 2,42 10 -8 est plus vraisemblable que le modèle 1.

36 36 Estimation du maximum de vraisemblance L'estimation du maximum de vraisemblance (EMV, maximum likelihood estimation ou MLE dans les ouvrages anglo-saxons) est la valeur du paramètre pour laquelle la vraisemblance est maximum -> valeur annulant une dérivée. Les calculs de vraisemblance sont souvent multiplicatifs et conduisent à des nombres très proches de 0. On utilise généralement la fonction L, opposée du logarithme de la vraisemblance. Dans le cas précédent du referendum on aurait ainsi : L = - ln P = - 2 ln p - ln(1 - p). La recherche de l'estimation du maximum de vraisemblance revient alors à chercher le minimum de cette fonction.

37 37 Méthode du maximum de vraisemblance : test statistique d'adéquation du modèle. On fixe a priori un nombre k de facteurs à extraire. Les poids factoriels des variables sur les différents facteurs sont alors déterminés de manière à optimiser une fonction de vraisemblance.. Test statistique permet évaluant la validité du résultat. H 0 : Il y a exactement k facteurs communs. H 1 : Plus de k facteurs sont nécessaires. La statistique utilisée suit approximativement une loi du khi-2 avec degrés de liberté (p : nombre de variables, k : nombre de facteurs extraits). Si le khi-2 trouvé excède la valeur critique correspondant au niveau de significativité choisi, H0 est rejetée, et il faut considérer au moins k+1 facteurs dans le modèle.

38 38 Rotation des facteurs : rotations orthogonales, rotations obliques Les facteurs extraits ne sont pas déterminés de manière unique Toute rotation sur les facteurs produit une autre solution Rechercher une solution qui "fasse sens", c'est-à-dire qui produise des facteurs plus simples à interpréter. Rotation varimax souvent utilisée. La transformation par rotation n'affecte pas l'adéquation du modèle aux données. Les communautés, notamment, restent les mêmes. Les solutions avant ou après rotation peuvent être interprétés de façon notablement différente.

39 39 Poids Factoriels (sans rotation) Poids Factoriels (après rotation varimax normalisé) Facteur 1Facteur 2Facteur 1Facteur 2 Mechanics(C)-0,6283930,373128 0,2700280,679108 Vectors(C)-0,6953760,312083 0,3603460,671636 Algebra(O)-0,899408-0,049958 0,7429390,509384 Analysis(O)-0,779602-0,201066 0,7402670,316563 Statistics(O)-0,727344-0,199869 0,6981410,285615 Var. Expl.2,8241700,319491 1,7901191,353543 Prp.Tot0,5648340,063898 0,3580240,270709

40 40 Aperçu sur l’analyse factorielle confirmatoire

41 41 Calsyn et Kenny (1971) ont étudié la relation entre les aptitudes perçues et les aspirations scolaires de 556 élèves du 8è grade. Les variables observées étaient les suivantes : Self : auto-évaluation des aptitudes Parent : évaluation par les parents Teacher : évaluation par l'enseignant Friend : évaluation par les amis Educ Asp : aspirations scolaires Col Plan : projets d'études supérieures Exemple d’analyse factorielle confirmatoire

42 42 Corrélations entre les variables observées

43 43 Le modèle à tester fait les hypothèses suivantes : - Les 4 premières variables mesurent la variable latente "aptitudes" - Les deux dernières mesurent la variable latente "aspirations". Ce modèle est-il valide ? Et, s'il en est bien ainsi, les deux variables latentes sont-elles corrélées ?

44 44 Modèle Estimé (Ability and Aspiration dans AFC.stw) AptitudesAspiratio ns Communa uté Spécific ité Self0,8630,7450,255 Parent0,8490,7210,279 Teacher0,8050,6480,352 Friend0,6950,4830,517 Educ Asp0,7750,6010,399 Col Plan0,9290,8630,137 Statistiques de Synthèse (Ability and Aspiration dans AFC.stw) Valeur Chi-Deux MV9,256 Degrés de Liberté8,000 Niveau p0,321 P=0,32 : bonne adéquation du modèle aux données

45 45 Analyse factorielle des correspondances Cf. polycopié p. 50

46 46 DroitSciencesMédecineIUT Exp. agri.80996558 Patron16813720862 Cadre sup.47040087679 Employé14513313554 Ouvrier166193127129 Tableau de contingence : répartition d’étudiants en 1975-1976 Cité par Saporta (1990)

47 47 Effectifs observés O DroitSciencesMédecineIUT Exp. agri.80996558 Patron16813720862 Cadre sup.47040087679 Employé14513313554 Ouvrier166193127129 Test du khi-2 sur un tableau de contingence Modalités lignes : variable X Modalités colonnes : variable Y Hypothèses du test : H 0 : Les variables X et Y sont indépendantes H 1 : Les variables X et Y sont dépendantes

48 48 Effectifs observés O ij DroitScienc es MédecineIUTTotal Exp. agri.80996558302 Patron16813720862575 Cadre sup.470400876791825 Employé14513313554467 Ouvrier166193127129615 Total102996214113823784 Construction de la statistique de test Effectifs théoriques T ij DroitSciencesMédecineIUT Exp. agri.82,1276,78112,6130,49 Patron156,36146,18214,4158,05 Cadre sup.496,28463,97680,52184,24 Employé126,99118,72174,1447,14 Ouvrier167,24156,35229,3262,09

49 49 Contributions au khi-2 DroitSciencesMédecineIUT Exp. agri.0,056,4320,1324,83 Patron0,870,580,190,27 Cadre sup.1,398,8256,1560,11 Employé2,551,728,801,00 Ouvrier0,018,5945,6672,12 Contributions au khi-2 : (O - T) 2 /T Calcul du khi-2 Nombre de degrés de liberté :

50 50 Loi du khi-2 H 0 retenue H 0 rejetée ; H 1 retenue 5% 95%

51 51 : on conclut donc sur H 1 Les deux variables étudiées dépendent l’une de l’autre

52 52 Effectifs et fréquences marginaux DroitScienc es Médeci ne IUTEffect ifs margi naux lignes Fréquen ce Exp. agri.809965583020,0798 Patron168137208625750,1520 Cadre sup.4704008767918250,4823 Employé145133135544670,1234 Ouvrier1661931271296150,1625 Effectifs marginaux colonnes 102996214113823784 Fréquence0,27190,25420,37290,1010

53 53 Fréquences théoriques dans l'hypothèse d'indépendance X0,27190,25420,37290,1010 0,07980,02170,02030,02980,0081 0,15200,04130,03860,05670,0153 0,4823=0,13120,12260,17980,0487 0,12340,03360,03140,04600,0125 0,16250,04420,04130,06060,0164

54 54 Effectifs théoriques dans le cas d'indépendance 0,02170,02030,02980,008182,1276,78112,6130,49 0,04130,03860,05670,0153156,36146,18214,4158,05 0,13120,12260,17980,0487496,28463,97680,52184,24 0,03360,03140,04600,0125126,99118,72174,1447,14 0,04420,04130,06060,0164 x 3784 =167,24156,35229,3262,09

55 55 Effectifs observés O DroitSciencesMédecineIUT Exp. agri.80996558 Patron16813720862 Cadre sup.47040087679 Employé14513313554 Ouvrier166193127129 Effectifs théoriques T DroitSciencesMédecineIUT Exp. agri.82,1276,78112,6130,49 Patron156,36146,18214,4158,05 Cadre sup.496,28463,97680,52184,24 Employé126,99118,72174,1447,14 Ouvrier167,24156,35229,3262,09 Ecarts à l'indépendance : E = O - T DroitSciencesMédecineIUT Exp. agri.-2,1222,22-47,6127,51 Patron11,64-9,18-6,413,95 Cadre sup.-26,28-63,97195,48-105,24 Employé18,0114,28-39,146,86 Ouvrier-1,2436,65-102,3266,91

56 56 Effectifs théoriques T DroitSciencesMédecineIUT Exp. agri.82,1276,78112,6130,49 Patron156,36146,18214,4158,05 Cadre sup.496,28463,97680,52184,24 Employé126,99118,72174,1447,14 Ouvrier167,24156,35229,3262,09 Ecarts à l'indépendance : E = O - T DroitSciencesMédecineIUT Exp. agri.-2,1222,22-47,6127,51 Patron11,64-9,18-6,413,95 Cadre sup.-26,28-63,97195,48-105,24 Employé18,0114,28-39,146,86 Ouvrier-1,2436,65-102,3266,91 Taux de liaison : (O - T)/T : valeurs dans l’intervalle [-1, +  [ -0,42 : l’effectif observé est inférieur de 42% à l’effectif théorique 1,08 : l’effectif observé est supérieur de 108% à l’effectif théorique DroitSciencesMédecineIUT Exp. agri.-0,030,29-0,420,90 Patron0,07-0,06-0,030,07 Cadre sup. -0,05-0,140,29-0,57 Employé0,140,12-0,220,15 Ouvrier-0,010,23-0,451,08

57 57 Les questions auxquelles on cherche à répondre : - Quelles sont les modalités lignes qui sont « proches » du profil ligne moyen ? Quelles sont celles qui s’en écartent le plus ? - Quelles sont les modalités colonnes qui sont « proches » du profil colonne moyen ? Quelles sont celles qui s’en écartent le plus ? - Quelles sont les modalités lignes et les modalités colonnes qui « s’attirent » ? Quelles sont celles qui « se repoussent » ? Analyse des correspondances

58 58 Notations : Soit un tableau de contingence comportant p lignes et q colonnes. - L'élément du tableau situé à l'intersection de la ligne i et de la colonne j est noté n ij. - La somme des éléments d'une ligne est notée - La somme des éléments d'une colonne est notée

59 59 Distance (du Phi-2) entre deux profils lignes : Exemple : DroitSciencesMédecineIUTEffectifs marginaux lignes Exp. agri.80996558302 Patron16813720862575 Cadre sup.470400876791825 Employé14513313554467 Ouvrier166193127129615 Effectifs marginaux colonnes 102996214113823784

60 60 Distance (du Phi-2) entre deux profils colonnes : Exemple : distance entre les colonnes 1 et 2 DroitSciencesMédecineIUTEffectifs marginaux lignes Exp. agri.80996558302 Patron16813720862575 Cadre sup.470400876791825 Employé14513313554467 Ouvrier166193127129615 Effectifs marginaux colonnes 102996214113823784

61 61 - Si on regroupe deux modalités lignes, les distances entre les profils-colonnes, ou entre les autres profils-lignes restent inchangées. - Si on regroupe deux modalités colonnes, les distances entre les profils-lignes, ou entre les autres profils-colonnes restent inchangées. Propriété d'équivalence distributionnelle :

62 62 Principaux résultats d’une AFC Coordonnées factorielles des lignes p q Modalités (individus) colonnes p q k Valeurs propres k Coordonnées factorielles des colonnes k Modalités (individus) lignes

63 63 Valeurs propres ValProp.%age inertie %age cumulé Chi² 10,08297,35 311,78 20,0022,0199,366,45 30,0010,64100,002,04 Inertie totale du nuage de points :

64 64 Résultats relatifs aux lignes Coord. Dim.1 Coord. Dim.2 MasseQualitéInertie Relative Inertie Dim.1 Cosinus² Dim.1 Inertie Dim.2 Cosinus² Dim.2 Exp. Agri.0,4100,0260,0800,9910,1610,1630,9870,0320,004 Patrons0,020-0,0270,1520,3360,0060,0010,1230,0630,213 Cadres Sup.-0,2630,0160,4820,9990,3950,4040,9960,0690,004 Employés0,142-0,0970,1230,9850,0440,0300,6700,6860,315 Ouvriers0,4510,0400,1631,0000,3950,4020,9920,1500,008

65 65 Résultats relatifs aux colonnes Coord. Dim.1 Coord. Dim.2 MasseQualitéInertie Relative Inertie Dim.1 Cosinus² Dim.1 Inertie Dim.2 Cosinus² Dim.2 Droit0,028-0,0610,2720,9420,0150,0030,1650,5880,777 Sciences0,160-0,0030,2540,9480,0820,0790,9480,0010,000 Médecine-0,3030,0300,3731,0000,4090,4160,9900,1930,009 IUT0,6400,0610,1010,9980,4940,5020,9890,2190,009

66 66

67 67 Analyse des correspondances multiples Cf. polycopié p. 78

68 68 SexeRevenuPreference s1FMA s2FMA s3FEB s4FEC s5FEC s6HEC s7HEB s8HMB s9HMB s10HMA Tableau protocole : 3 questions, 7 modalités

69 69 Sexe: F Sexe: H Rev: M Rev:EPref:APref:BPref:C s11010100 s21010100 s31001010 s41001001 s51001001 s60101001 s70101010 s80110010 s90110010 s100110100 Tableau disjonctif complet

70 70 La disjonction complète

71 71 SexeRevenuPreferenceEffectif FMA2 FEB1 FEC2 HEC1 HEB1 HMB2 HMA1 Tableau d’effectifs ou tableau des patrons de réponses

72 72 Sexe: F Sexe: H Rev: M Rev:EPref:APref:BPref:C FMA2020200 FEB1001010 FEC2002002 HEC0101001 HEB0101010 HMB0220020 HMA0110100 Tableau disjonctif des patrons de réponses

73 73 FHMEABC Sexe:F5023212 Sexe:H0532131 Revenu:M2350320 Revenu:E3205023 Preference:A2130300 Preference:B1322040 Preference:C2103003 Tableau de Burt

74 74 MATRICE DE BURT t X X t XX Tous les tris simples Tous les tris croisés Si X est une matrice disjonctive complète La Matrice de BURT est t XX Le tableau de BURT

75 75 Analyse des correspondances multiples Effectuer l'analyse des correspondances multiples, c'est effectuer l'analyse factorielle des correspondances du tableau disjonctif complet, muni des relations K (modalités emboîtées dans les questions) et I > (individus emboîtés dans les modalités de chaque question). [Rouanet et Le Roux] Propriété de l’analyse des correspondances (simple) Lorsqu’il y a deux variables qualitatives réunies dans un tableau disjonctif X = [X 1 |X 2 ], l’analyse factorielle des correspondances du tableau disjonctif est équivalente à l’analyse des correspondances du tableau de contingence N = T X 1 X 2

76 76 SexeRevenuPreference s1FMA s2FMA s3FEB s4FEC s5FEC s6HEC s7HEB s8HMB s9HMB s10HMA Résultats produits par l’ACM sur le tableau suivant :

77 77 Valeurs Propres et Inertie de toutes les Dimensions (Protocole dans Mini- ACM.stw) Table d'Entrée (Lignes x Colonnes) : 7 x 7 (Table de Burt) Inertie Totale = 1,3333 ValSing.ValProp.%age Chi² 10,7764260,60283745,2127545,212825,37943 20,6809610,46370834,7781079,990919,52211 30,4505090,20295915,2219095,21288,54456 40,2526460,0638304,78725100,00002,68724 Valeurs propres Valeurs propres : décroissance lente -> taux d’inertie modifiés de Benzécri

78 78 ValProp. 1/Q(VP-1/Q)^2%age 10,6028 0,33330,072681,04% 20,4637 0,33330,017018,96% 30,2030 40,0638 Somme 1,3333 0,089630 Calcul des taux modifiés :

79 79 Coordonnées, inertie et cosinus carrés

80 80

81 81

82 82 Valeur du Phi-2 : Sur notre exemple : Propriétés algébriques et géométriques de l’ACM

83 83 Contributions absolues et relatives des modalités colonnes à l’inertie : Sur notre exemple : Contribution d’autant plus forte que la modalité est plus rare

84 84 Inerties absolue et relative d’une question : K q : nombre de modalités de la question q

85 85 Inerties absolue et relative d’une question : Sur l’exemple : L’inertie d’une question est d’autant plus forte que la question comporte un plus grand nombre de modalités.

86 86 Distances entre profils lignes : Somme étendue à toutes les modalités faisant partie de l'un des deux patrons, sans faire partie des deux patrons Exemple : Deux patrons sont d’autant plus éloignés qu’ils diffèrent sur un plus grand nombre de modalités et que celles-ci sont plus rares.

87 87 Distance d’une ligne au profil moyen Somme étendue à toutes les modalités faisant partie du patron i Exemple : Un patron est d’autant plus loin de l’origine qu’il comporte des modalités rares

88 88 Distances entre profils colonnes : Exemple : Deux modalités sont d’autant plus éloignées qu’elles sont de fréquences faibles et rarement rencontrées simultanément

89 89 Distance d’une colonne au profil moyen : Exemple : Une modalité est d’autant plus loin de O que sa fréquence est faible

90 90 1) Indépendance des modalités M k et M k' : Autrement dit, dans l'espace multidimensionnel, le triangle OM k M k' est alors un triangle rectangle en O. 2) Si les modalités M k et M k' s'attirent, l'angle est un angle aigu. 3) Si les modalités M k et M k' se repoussent, l'angle est un angle obtus.

91 91 4) Si l'effectif conjoint n kk' des modalités M k et M k' est nul (en particulier si M k et M k' sont deux modalités d'une même question) :

92 92 Deux questions à deux modalités chacune. Cas 1 : les effectifs des modalités sont donnés par : A1A2Total B150 100 B250 100 Total100 200 Prévoir la forme de la représentation par rapport au premier plan factoriel.

93 93 Réponse :

94 94 Cas 2 : les effectifs des modalités sont donnés par : A1A2Total B18020100 B28020100 Total16040200

95 95

96 96 Cas 3 : les effectifs des modalités sont donnés par : A1A2Total B17248120 B2483280 Total12080200

97 97

98 98 Cas 4 : les effectifs des modalités sont donnés par : A1A2Total B18050130 B2502070 Total13070200

99 99

100 100 Cas 5 : les effectifs des modalités sont donnés par : A1A2Total B17356129 B2403272 Total11388201

101 101

102 102 Méthodes de classification Cf. polycopié p. 98

103 103 Création aléatoire de centres de gravité. Au départ Etape 1 Chaque observation est classée en fonction de sa proximité aux centres de gravités. Méthodes de type « centres mobiles »

104 104 Chaque centre de gravité est déplacé de manière à être au centre du groupe correspondant On répète l’étape 1 avec les nouveaux centres de gravité. Etape 2 Etape 1’

105 105 Etape 2’ De nouveau, chaque centre de gravité est recalculé. On continue jusqu’à ce que les centres de gravité ne bougent plus.

106 106 Exemple : typicalité des odeurs dans 3 cultures : FR, US, VN Extrait des données

107 107 Exemple : typicalité des odeurs dans 3 cultures : FR, US, VN Classe 1

108 108 Exemple : typicalité des odeurs dans 3 cultures : FR, US, VN Classe 2

109 109 Exemple : typicalité des odeurs dans 3 cultures : FR, US, VN Classe 3

110 110 Exemple : typicalité des odeurs dans 3 cultures : FR, US, VN Classe 4

111 111 Exemple : typicalité des odeurs dans 3 cultures : FR, US, VN Classe 5

112 112 Les quatre étapes de la méthode : - Choix des variables représentant les individus - Choix d'un indice de dissimilarité - Choix d'un indice d'agrégation - Algorithme de classification et résultat produit Classification Ascendante Hiérarchique

113 113 - Distance Euclidienne. - Distance Euclidienne au carré. - Distance du City-block (Manhattan) : - Distance de Tchebychev : - Distance à la puissance. - Percent disagreement. - 1- r de Pearson : Quelques distances ou indices de dissimilarité

114 114 - Diamètre ou « complete linkage » : - Moyenne non pondérée des groupes associés:- Moyenne pondérée des groupes associés : - Méthode de Ward (méthode du moment d'ordre 2). Si une classe M est obtenue en regroupant les classes K et L, sa distance à la classe J est donnée par : - Centroïde pondéré des groupes associés (médiane). - Centroïde non pondéré des groupes associés. Quelques indices d’agrégation - Saut minimum ou « single linkage » :

115 115 Distance Euclidienne au carré et méthode de Ward Inertie totale = Inertie « intra » + Inertie « inter » A chaque étape, on réunit les deux classes de façon à augmenter le moins possible l’inertie « intra »

116 116 L'algorithme de classification Étape 1 : n éléments à classer ; Étape 2 : Construction de la matrice de distances entre les n éléments et recherche les deux plus proches, que l’on agrège en un nouvel élément. On obtient une première partition à n-1 classes; Étape 3 : Construction d’une nouvelle matrice des distances qui résultent de l’agrégation, en calculant les distances entre le nouvel élément et les éléments restants (les autres distances sont inchangées). Recherche des deux éléments les plus proches, que l’on agrège. On obtient une deuxième partition avec n-2 classes et qui englobe la première; … Étape m : on calcule les nouvelles distances, et l’on réitère le processus jusqu’à n’avoir plus qu’un seul élément regroupant tous les objets et qui constitue la dernière partition.

117 117 Résultat obtenu : Une hiérarchie de classes telles que : - toute classe est non vide - tout individu appartient à une (et même plusieurs) classes - deux classes distinctes sont disjointes, ou vérifient une relation d'inclusion (l'une d'elles est incluse dans l'autre) - toute classe est la réunion des classes qui sont incluses dans elle. Ce résultat est fréquemment représenté à l’aide d’un dendrogramme

118 118 Exemples de dendrogrammes

119 119

120 120 Régression linéaire Multiple Cf. polycopié p. 117

121 121 Echantillon de n individus statistiques : - p variables numériques X1, X2,..., Xp (variables indépendantes ou explicatives) - une variable numérique Y (variable dépendante, ou "à expliquer"). Exemple (30 comtés américains) : VARI_POP : Variation de la Population (1960-1970) N_AGRIC : Nb. de personnes travaillant dans le secteur primaire TX_IMPOS : Taux d'imposition des propriétés PT_PHONE : Pourcentage d'installations téléphoniques PT_RURAL : Pourcentage de la population vivant en milieu rural AGE : Age médian PT_PAUVR : Pourcentage de familles en dessous du seuil de pauvreté

122 122 VARI_POPN_AGRICPT_PAUVRTX_IMPO S PT_PHONEPT_RURALAGE VARI_POP1,000,04-0,650,130,38-0,02-0,15 N_AGRIC0,041,00-0,170,100,36-0,66-0,36 PT_PAUVR-0,65-0,171,000,01-0,730,510,02 TX_IMPOS0,130,100,011,00-0,040,02-0,05 PT_PHONE0,380,36-0,73-0,041,00-0,75-0,08 PT_RURAL-0,02-0,660,510,02-0,751,000,31 AGE-0,15-0,360,02-0,05-0,080,311,00 Matrice des corrélations

123 123 Le modèle linéaire : On cherche à exprimer Y sous la forme : où E (erreur commise en remplaçant Y par la valeur estimée) est nulle en moyenne, et de variance minimale. Remarque : le « poids » d’un prédicteur est inchangé par changement d’unité ou d’échelle linéaire.

124 124 Les coefficients b i (1≤i≤p) sont les solutions du système d’équations : Solution au problème : et

125 125 Sur l’exemple proposé : PT_PAUVR = 31,2660 - 0,3923 VARI_POP + 0,0008 N_AGRIC+ 1,2301 TX_IMPOS - 0,0832 PT_PHONE + 0,1655 PT_RURAL - 0,4193 AGE Coefficients standardisés : VARI_POPN_AGRICTX_IMPOSPT_PHONEPT_RURALAGE -0,6307880,2383140,038799-0,1296270,618746-0,188205

126 126 En général, on ne s’intéresse pas à l’équation de régression elle-même, mais on compare les coefficients, ou mieux les coefficients standardisés entre eux. On mesure ainsi la variation de Y estimé lorsque l’un des prédicteurs varie de 1 unité (ou de 1 écart type) « toutes choses égales par ailleurs ». Mais, comme les prédicteurs sont en général corrélés entre eux, « toutes choses égales par ailleurs » est un mythe… Alternative proposée : régression sur les composantes principales. Une autre approche courante : essayer plusieurs modèles, par exemple en faisant varier les prédicteurs, et retenir « le meilleur ».

127 127 PT_PAUV R -95,00%+95,00% (param.)Err-TypetpLim.Conf Ord.Orig.31,266013,26512,35700,02733,825158,7070 VARI_POP-0,39230,0805-4,87420,0001-0,5589-0,2258 N_AGRIC0,00080,00041,69030,1045-0,00020,0017 TX_IMPOS1,23013,18990,38560,7033-5,36867,8288 PT_PHONE-0,08320,1306-0,63760,5300-0,35330,1868 PT_RURAL0,16550,06182,67660,01350,03760,2935 AGE-0,41930,2554-1,64150,1143-0,94760,1091 Test des coefficients de la régression

128 128 X1X1 X2X2 Y  Expliquer la variabilité de Y à partir de celle des X j : Combinaison linéaire des X j qui reproduit « au mieux » la variabilité des individus selon Y : combinaison linéaire la plus corrélée avec Y. Solution : combinaison linéaire des X j qui fait avec Y un angle minimum. Approche factorielle de la régression

129 129 SommesdlMoyennesFniveau p Carrés Régress.932,0656155,344113,449090,000002 Résidus265,6622311,5505 Total1197,727 Test de la régression : Variance de Y = Variance expliquée + Variance résiduelle Analyse de variance Coefficient de détermination :

130 130

131 131 1) Régression de la VD sur la VI : VD = b0 + b1 VI Coefficient de régression standardisé :  1 2) Régression de la médiation sur la VI : M=b’0 + b’1 VI Coefficient de régression standardisé :  ’1 3) Régression multiple de la VD sur VI et M : VD = b’’0 + b’’1 VI + b’’2 M Coefficients de régression standardisés :  ’’1,  ’’2 VI VD 11 VI VD M  ’’1  ’1  ’’2 Analyse de médiation

132 132 Interprétation : Si  ’’1 est nettement plus proche de 0 que  1, en particulier si  ’’1 n’est pas significativement différent de 0 alors que  1 l’était, il y a médiation (partielle ou totale)

133 133 1) Régression de la VD sur la VI : Conduite = b0 + b1 Age Coefficient de régression standardisé :  1 2) Régression de la médiation sur la VI : Expérience=b’0 + b’1 Age Coefficient de régression standardisé :  ’1 3) Régression multiple de la VD sur VI et M : Conduite = b’’0 + b’’1 Age + b’’2 Expérience Coefficients de régression standardisés :  ’’1,  ’’2 Age Conduite 1*1* IDENT SDNA DEROG  ’’1 (NS)  ’1*  ’’2*

134 134 1) Régression de la VD sur la VI : SDNA = b0 + b1 IDENT Coefficient de régression standardisé :  1 2) Régression de la médiation sur la VI : DEROG=b’0 + b’1 IDENT Coefficient de régression standardisé :  ’1 3) Régression multiple de la VD sur VI et M : SDNA = b’’0 + b’’1 IDENT + b’’2 DEROG Coefficients de régression standardisés :  ’’1,  ’’2 IDENT SDNA  1 =0,24* IDENT SDNA DEROG  ’’1=0,14 (NS)  ’1=0,33**  ’’2=0,29*

135 135 1) Régression de la VD sur la VI : SDNA = b0 + b1 IDENT Coefficient de régression standardisé :  1 2) Régression de la médiation sur la VI : DEROG=b’0 + b’1 IDENT Coefficient de régression standardisé :  ’1 3) Régression multiple de la VD sur VI et M : SDNA = b’’0 + b’’1 IDENT + b’’2 DEROG Coefficients de régression standardisés :  ’’1,  ’’2 IDENT SDNA  1 =0,24* IDENT SDNA FAVO  ’’1=0,23 *  ’1=0,42**  ’’2=0,07 (NS) Pas d’effet de médiation

136 136 Aperçu sur l’analyse de modération VI VD Modérateur Une variable modératrice est une variable qui module le sens et/ou la force de l’effet de X (variable indépendante) sur Y (variable dépendante)

137 137 Aperçu sur l’analyse de modération Beliefs Attitudes Valeurs Mise en évidence de l’effet de modération : régression linéaire de Attitudes sur Beliefs, Valeurs et le produit des variables centrées Beliefs-centré et Valeurs-centré

138 138 Résultats de la régression linéaire

139 139

140 140 Régression Logistique Cf. polycopié p. 135

141 141 Sur un échantillon de n individus statistiques, on a observé : - p variables numériques ou dichotomiques X1, X2,..., Xp (variables indépendantes ou explicatives) - une variable dichotomique Y (variable dépendante, ou "à expliquer"). Exemple : Echantillon de 30 sujets pour lesquels on a relevé : - d'une part le niveau des revenus (variable numérique) - d'autre part la possession ou non d'un nouvel équipement électro- ménager.

142 142 Revenu10851304133114341541161217291759 Possède00000000 Revenu17981997223423462436275328133204 Possède11111111 Revenu1863212123952681339042371241 Possède0000001 Revenu3564359237623799403741684484 Possède1111111 Exemple

143 143 Nuage de points

144 144 Rapport de chances et transformation logit Rapport de chances ou cote : Transformation logit

145 145

146 146 Aides à l’interprétation : test du modèle, odds-ratio ou rapport de cotes On utilise aussi fréquemment l’odds-ratio ou rapport de cotes : La contribution de la variable X à la variation de Y est calculée par : L'odds-ratio correspondant au coefficient 0,001151 est : e 0,001151 =1,0012. Autrement dit, une augmentation du revenu de 1 unité se traduit par une multiplication de la probabilité par 1,0012. Intervalle de confiance pour OR : [1,000173, 1,002139] : significatif puisque l’intervalle ne contient pas la valeur 1. Une statistique qui suit une loi du khi-2 permet de tester la qualité du modèle. Sur notre exemple : Khi-2 = 7,63, dl=1, p=0,006

147 147 L'odds-ratio est défini comme le rapport de deux rapports de chances. Ainsi, l'odds-ratio relatif à l'étendue des valeurs observées est défini de la manière suivante : - On calcule le rapport de chances relatif à la plus grande valeur observée du revenu : Pour X = 4484, P1=0,919325 et - On calcule le rapport de chances relatif à la plus petite valeur observée du revenu : Pour X = 1085, P2=0,185658 et - L'odds-ratio est obtenu comme quotient des deux rapports précédents :

148 148 Analyse discriminante Cf. polycopié p. 143

149 149 On dispose de n observations sur lesquelles on a relevé : -les valeurs d'une variable catégorielle Y comportant quelques modalités (2, 3,...) : c'est le groupe ou diagnostic. - les valeurs de p variables numériques : X1, X2,..., Xp : ce sont les prédicteurs. Position du problème On se pose des questions telles que : - la valeur de Y est-elle liée aux valeurs de X1, X2,..., Xp ? - Etant donné d'autres observations, pour lesquelles X1, X2,..., Xp sont connues, mais Y ne l'est pas, est-il possible de prévoir Y (le groupe), et avec quel degré de certitude ?

150 150 Mini-exemple : Deux variables VD1 et VD2 sur deux échantillons d’effectif 10 :

151 151 Les deux groupes diffèrent-ils significativement du point de vue de la variable VD1 ou de la variable VD2 ? Le test de Student, ou l’ANOVA menée sur chacune des deux variables montrent que ce n’est pas le cas.

152 152 Les deux groupes diffèrent-ils significativement du point de vue du couple de variables (VD1,VD2)? On peut répondre à cette question à l’aide d’une MANOVA (multivariate analysis of variance – analyse de variance multivariée). L’analyse discriminante permet d’obtenir des résultats complémentaires.

153 153 Matrice de classification ou Matrice de confusion. Tableau croisant la classification observée avec la classification calculée par la méthode.

154 154

155 155

156 156 Les dispersions des valeurs peuvent être différentes selon les groupes. Pour en tenir compte : distance d’un point à un centre de groupe : distance de Mahalanobis.

157 157 Analyse Canonique Considérer une variable abstraite, combinaison linéaire de X1 et X2 définie de façon que : - la variance (dispersion) intra-groupes soit la plus petite possible - la variance inter-groupes (variance calculée à partir des points moyens pondérés des groupes) soit la plus grande possible.

158 158 Pour chaque observation, on calcule : -0,215016 x VD1 – 0,255245 x VD2 + 4,386949

159 159 Exemple (Doise et al., Représentations sociales et analyses de données, ch. 10). 200 sujets, garçons et filles de 14 et 15 ans Trois filières de scolarisation : Pratiques, Modernes, Classiques Variables indépendantes : sujets de conversation, sur des échelles en 5 points (jamais à très souvent). Ex. vie communautaire, motos, hygiène, argent, habillement, alcool, choix des amis, vie dans la nature, communisme, etc. Matrice de confusion : NPrédit ObsPMC P6744 (66%)914 M491821 (43%)10 C8412864 (76%) « La force de l’opposition entre les catégories extrêmes empêche ou tout au moins atténue l’apparition et par conséquent l’identification adéquate du profil de réponse des Modernes »

160 160 Les Iris de Fisher

161 161 Analyse de segmentation Cf. polycopié p. 159

162 162 - Echantillon de n individus statistiques - une variable dépendante numérique ou qualitative Y - plusieurs variables numériques ou catégorielles X1, X2,..., Xp. Expliquer la variable Y à l’aide d’une ou plusieurs variables quantitatives ou qualitatives. Créer des groupes d’individus ou d’observations homogènes. Résultat est fourni sous la forme d'un arbre de décision binaire du type suivant :

163 163 Exemple : Doise et al., Représentations sociales et analyses de données, chap 10 Thèmes de conversation pratiqués avec leurs parents par des élèves d’écoles secondaires genévoises. Seize thèmes : communisme, politique, art, vie dans la nature, vie communautaire, sorties, habillement, loisirs, argent, etc. Pour chaque thème : fréquence avec laquelle le thème est abordé à la maison. ACP sur les thèmes. Premier facteur sans intérêt (effet de taille). Le deuxième facteur sert de variable dépendante. Il oppose des thèmes plus éloignés des préoccupations quotidiennes à des thèmes plus concrets. Analyse de segmentation : 5 variables indépendantes : nationalité, sexe, niveau socio-économique, filière scolaire, collège fréquenté.

164 164 Première différentiation : filière générale v/s autres filières (banal selon Doise) Pour les élèves de la filière la moins prestigieuse : la variable socio- économique produit un effet différenciateur.

165 165 Rappel : théorème de Huygens L'inertie totale est la somme des inerties intra-groupes et de l'inertie des points moyens des groupes, pondérés par l'effectif des groupes.

166 166 Exemple : 4 observations suivantes, réparties en deux groupes A et B : GroupeABAB Y1234

167 167 1) Au départ : un seul segment contenant l'ensemble des individus. 2) Examen de toutes les variables explicatives et de toutes les divisions possibles (de la forme Xj A si Xj est numérique, regroupement des modalités en deux sous- ensembles si Xj est catégorielle). Pour chaque division, l'inertie inter-groupes est calculée. 3) La division choisie est celle qui maximise l'inertie inter- groupes. 4) On recommence la procédure dans chacun des deux groupes ainsi définis. Algorithme de segmentation

168 168 Critères d'arrêt : On peut utiliser comme critères d’arrêt de l’algorithme de segmentation : - La taille des groupes (classes) à découper - Le rapport entre l'inertie intra et la variance totale - Des tests statistiques (tests de Student de comparaison de moyennes, tests du Khi deux)

169 169 Variable names in order from left to right: EDUCATION: Number of years of education. SOUTH: Indicator variable for Southern Region (1=Person lives in South, 0=Person lives elsewhere). SEX: Indicator variable for sex (1=Female, 0=Male). EXPERIENCE: Number of years of work experience. UNION: Indicator variable for union membership (1=Union member, 0=Not union member). WAGE: Wage (dollars per hour). AGE: Age (years). RACE: Race (1=Other, 2=Hispanic, 3=White). OCCUPATION: Occupational category (1=Management, 2=Sales, 3=Clerical, 4=Service, 5=Professional, 6=Other). SECTOR: Sector (0=Other, 1=Manufacturing, 2=Construction). MARR: Marital Status (0=Unmarried, 1=Married) Determinants of Wages from the 1985 Current Population Survey

170 170

171 171

172 172 Analyse et régression PLS

173 173 PLS : partial least squares On a observé sur un échantillon de n individus statistiques : - d'une part, p variables indépendantes ou explicatives : X1, X2,..., Xp - d'autre part, q variables dépendantes, ou "à expliquer" : Y1, Y2,..., Yq. On souhaite établir entre les variables indépendantes et les variables explicatives q relations linéaires du type :

174 174 Un outil possible : la régression linéaire multiple, mais : -Méthode très sensible aux colinéarités entre variables prédictives - Inutilisable si le nombre d’observations est inférieur au nombre de prédicteurs Une possibilité : faire d’abord une ACP sur les prédicteurs, puis une régression linéaire des variables dépendantes sur les variables principales : résultat peu lisible Idée de la régression PLS : à partir des prédicteurs, on définit des composantes ou variables latentes, en tenant compte des variables à expliquer

175 175 Mini-exemple : 1 VD, 4 VI et 3 observations YX1X1 X2X2 X3X3 X4X4 s1128276 s21021257 s3515655 Variables centrées réduites : YcZ1Z1 Z2Z2 Z3Z3 Z4Z4 0,8321-0,0512-0,92721,15470,0000 0,2774-0,97341,0596-0,57741,0000 -1,10941,0246-0,1325-0,5774-1,0000

176 176 Première étape : Première variable latente P1 : r(Y, Xi)Poids Wi X1X1 -0,7247-0,582 X2X2 -0,1653-0,133 X3X3 0,72060,578 X4X4 0,69340,556 Somme carrés1,5531 Racine carrée1,246 P1 = - 0,582 * Z1 - 0,133 * Z2 + 0,578 * Z3+ 0,556 * Z4.

177 177 P1P1 s10,8206 s20,6481 s3-1,4687 Valeurs de P1 sur les 3 observations Régression linéaire de Y sur P1 Y = 2,7640 P1 +9 Y, Y estimé et résidus : YY estiméRésidus s1 1211,26820,7318 s21010,7915-0,7915 s354,94040,0596 Coefficient de détermination : R2(Y, Y estimé) = 0,955 Deuxième étape : on recommence à partir des résidus de Y; nouvelle variable latente P2, etc