La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Analyse multidimensionnelle des données F.-G. Carpentier 2011/2012.

Présentations similaires


Présentation au sujet: "1 Analyse multidimensionnelle des données F.-G. Carpentier 2011/2012."— Transcription de la présentation:

1 1 Analyse multidimensionnelle des données F.-G. Carpentier 2011/2012

2 2 Interprétation R empirique S géométrique Méthodes danalyse Analyse multidimensionnelle des données : de quoi sagit-il ?

3 3 PAOPAAVIOVIAPOTLECRAIPLP AGRI SAAG PRIN CSUP CMOY EMPL OUVR INAC Consommations annuelles de 8 types de denrées alimentaires pour 8 catégories socio-professionnelles Source : Saporta, 1990 Exemples de données relevant de lanalyse multidimensionnelle

4 4 Variables : PAOPain ordinaire PAAAutre pain VIOVin ordinaire VIAAutre vin POTPommes de terre LECLégumes secs RAIRaisin de table PLPPlats préparés Observations : AGRIExploitants agricoles SAAGSalariés agricoles PRINProfessions indépendantes CSUPCadres supérieurs CMOYCadres moyens EMPLEmployés OUVROuvriers INACInactifs

5 5 DroitSciencesMédecineIUT Exp. agri Patron Cadre sup Employé Ouvrier Tableau de contingence : répartition détudiants en Cité par Saporta (1990) Exemples de données relevant de lanalyse multidimensionnelle

6 6 Questions à réponses fermées : sexe (2 modalités), niveau de revenu (2 modalités), préférence (3 modalités)

7 7 Méthodes danalyse de données Fondées sur un modèle linéaire Exploratoires, descriptives, non supervisées Statistiques élémentaires Analyse en composantes principales Méthodes de classification Prédictives, supervisées Variable dépendante quantitative Variable dépendante qualitative Régression linéaire multiple Régression en composantes principales Partial Least Squares Régression Logistique Analyse discriminante Non linéairesNon supervisées Réseau neuromimétique de Kohonen Prédictives Supervisées Variable dépendante quantitative ou qualitative Réseau neuromimétique multicouche

8 8 Analyse en composantes principales Données : Elément de cette matrice : x ij n p Variables Individu ou observation

9 9 Principaux résultats dune ACP Coordonnées factorielles ou scores n p Variables n p k Valeurs propres k Vecteurs propres (transposés) k Individus

10 10 Principe de la méthode Calcul des distances entre individus Recherche des directions de plus grande dispersion du nuage de points : axes factoriels Plus grande dispersion : moindre déformation Meilleur respect des distances entre individus Maximisation de linertie du nuage projeté On procède axe par axe, mais les propriétés restent vraies pour le premier plan factoriel, le premier espace factoriel de dimension 3, etc

11 11

12 12

13 13 M P O c1 c2 Cosinus carrés Qualité : vecteur de lobservation : vecteur de la projection sur le plan factoriel : projection sur laxe 1 : projection sur laxe 2

14 14 QLTCoord. 1Cos2CtrCoord. 2Cos2Ctr AGRI 0,8891,350,88422,89-0,260,0050,86 SAAG 0,9131,410,89824,97-0,480,0142,84 PRIN 0,576-0,590,5754,360,060,0010,05 CSUP 0,943-1,750,94238,260,190,0020,44 CMOY 0,940-0,690,7535,94-0,910,18710,43 EMPL 0,858-0,320,4281,31-0,860,4309,29 OUVR 0,3760,360,3611,63-0,200,0150,48 INAC 0,9870,230,0560,642,460,93275, Contributions des individus

15 15 Analyse factorielle

16 16 Analyse factorielle (factor analysis ou FA). Origine : travaux de Pearson (1901). Développée au départ par des psychologues. Vers 1940 : fondements théoriques, au niveau statistique, - nombreuses variantes : parfois désignée par le terme "analyse en facteurs communs et spécifiques", selon les variantes : "analyse factorielle exploratoire" (exploratory factor analysis ou EFA) "analyse factorielle confirmatoire" (confirmatory factor analysis ou CFA). L'analyse en facteurs principaux (principal factor analysis ou PFA) est l'une des variantes de l'analyse factorielle.

17 17 Mechanics(C)Vectors(C)Algebra(O)Analysis(O)Statistics(O) ………….. Exemple : 88 sujets – 5 matières On cherche un modèle à deux facteurs, en utilisant la méthode du maximum de vraisemblance.

18 18 Val. Propres (Open/Closed Book Data) Extraction : Facteurs du max. de vrais. Val Propre% TotalCumul varianceVal propre% 12, ,483412, , , ,389833, ,87323 Communautés (Open/Closed Book) Rotation : Sans rot. Pour 1Pour 2R-deux FacteurFacteursMultiple Mechanics(C)0, , , Vectors(C)0, , , Algebra(O)0, , , Analysis(O)0, , , Statistics(O)0, , ,479319

19 19 Qualité d'ajust.,2 (Open/Closed Book Data) (Test de la nullité des éléments en dehors de la diagonale dans la matrice de corr.) % expl.Chi²dlp Résultat62,873230, , Corrélations des Résidus (Open/Closed Book Data) (Résidus marqués sont >,100000) Mechanics(C)Vectors(C)Algebra(O)Analysis(O)Statistics(O) Mechanics(C)0,47-0,000,00-0,010,01 Vectors(C)-0,000,42-0,000,01-0,01 Algebra(O)0,00-0,000,19-0,000,00 Analysis(O)-0,010,01-0,000,35-0,00 Statistics(O)0,01-0,010,00-0,000,43

20 20 Poids Factoriels(Sans rot.) (Open/Closed Book Data) (Poids marqués >,700000) Facteur 1Facteur 2 Mechanics(C)-0, , Vectors(C)-0, , Algebra(O)-0, , Analysis(O)-0, , Statistics(O)-0, , Var. Expl.2, , Prp.Tot0, ,063898

21 21

22 22 - On a observé un ensemble X 1, X 2,..., X p de variables sur un échantillon - On fait l'hypothèse que ces variables dépendent (linéairement) en partie de k variables non observables, ou variables latentes ou facteurs F 1, F 2,..., F k. On cherche donc à décomposer les variables observées X i (supposées centrées) de la façon suivante : avec les conditions suivantes : - Le nombre k de facteurs est fixé à l'avance. - Les facteurs F r sont centrés réduits, non corrélés entre eux - Les termes d'erreur E i sont non corrélés avec les facteurs - Les termes d'erreur E i sont non corrélés entre eux.

23 23 Méthodes dextraction des facteurs Plusieurs méthodes (cf. Statistica). Par exemple : PCA (principal component analysis) : la méthode revient à faire une ACP, mais avec la possibilité deffectuer une rotation des facteurs PFA (principal factor analysis) : on cherche à maximiser les communautés AF avec extraction par la méthode du maximum de vraisemblance (Maximum Likelihood extraction : MLE) : mais quest-ce que la vraisemblance ?

24 24 Notion de vraisemblance d'une valeur d'un paramètre : Questions du type : "Etant donné des résultats observés sur un échantillon, est-il vraisemblable qu'un paramètre donné de la population ait telle valeur ?". Exemple 1 : (variable discrète) Lors d'un référendum, on interroge trois personnes. Deux déclarent voter "oui", la troisième déclare voter "non". Au vu de ces observations, laquelle de ces deux hypothèses est la plus vraisemblable : - Le résultat du référendum sera 40% de "oui" - Le résultat du référendum sera 60% de "oui". Solution. Si le résultat du référendum est de 40% de "oui", la probabilité d'observer trois personnes votant respectivement "oui", "oui" et "non" est : P1 = 0,4x0,4x0,6 = 0,096. Si le résultat du référendum est de 60% de oui, la même probabilité est : P2 = 0,6x0,6x0,4 = 0,144. La seconde hypothèse est donc plus vraisemblable que la première.

25 25 Lors d'un test effectué sur un échantillon de 5 sujets, on a observé les scores suivants : 90, 98, 103, 107, 112. Deux modèles sont proposés pour représenter la distribution des scores dans la population parente : - La loi normale de moyenne 100 et d'écart type 15 - La loi normale de moyenne 102 et d'écart type 10. Quel est le modèle le plus vraisemblable ? Notion de vraisemblance d'une valeur d'un paramètre Exemple 2 :

26 26 On utilise la valeur de la distribution de la loi théorique au lieu de la probabilité de la valeur observée. La vraisemblance associée à chaque hypothèse, calculée à l'aide d'Excel, est donc : ObsModèle 1Modèle 2 900,021300, ,026360, ,026070, ,023850, ,019310,02420 Vraisemblance6,74E-092,42E-08 Le modèle 2, dont la vraisemblance est de 2, est plus vraisemblable que le modèle 1.

27 27 Estimation du maximum de vraisemblance L'estimation du maximum de vraisemblance (EMV, maximum likelihood estimation ou MLE dans les ouvrages anglo-saxons) est la valeur du paramètre pour laquelle la vraisemblance est maximum -> valeur annulant une dérivée. Les calculs de vraisemblance sont souvent multiplicatifs et conduisent à des nombres très proches de 0. On utilise généralement la fonction L, opposée du logarithme de la vraisemblance. Dans le cas précédent du referendum on aurait ainsi : L = - ln P = - 2 ln p - ln(1 - p). La recherche de l'estimation du maximum de vraisemblance revient alors à chercher le minimum de cette fonction.

28 28 Méthode du maximum de vraisemblance : test statistique d'adéquation du modèle. On fixe a priori un nombre k de facteurs à extraire. Les poids factoriels des variables sur les différents facteurs sont alors déterminés de manière à optimiser une fonction de vraisemblance.. Test statistique permet évaluant la validité du résultat. H 0 : Il y a exactement k facteurs communs. H 1 : Plus de k facteurs sont nécessaires. La statistique utilisée suit approximativement une loi du khi-2 avec degrés de liberté (p : nombre de variables, k : nombre de facteurs extraits). Si le khi-2 trouvé excède la valeur critique correspondant au niveau de significativité choisi, H0 est rejetée, et il faut considérer au moins k+1 facteurs dans le modèle.

29 29 Rotation des facteurs : rotations orthogonales, rotations obliques Les facteurs extraits ne sont pas déterminés de manière unique Toute rotation sur les facteurs produit une autre solution Rechercher une solution qui "fasse sens", c'est-à-dire qui produise des facteurs plus simples à interpréter. La transformation par rotation n'affecte pas l'adéquation du modèle aux données. Les communautés, notamment, restent les mêmes. Les solutions avant ou après rotation peuvent être interprétés de façon notablement différente.

30 30 Poids Factoriels (sans rotation) Poids Factoriels (après rotation varimax normalisé) Facteur 1Facteur 2Facteur 1Facteur 2 Mechanics(C)-0, , , , Vectors(C)-0, , , , Algebra(O)-0, , , , Analysis(O)-0, , , , Statistics(O)-0, , , , Var. Expl.2, , , , Prp.Tot0, , , ,270709

31 31 Calsyn et Kenny (1971) ont étudié la relation entre les aptitudes perçues et les aspirations scolaires de 556 élèves du 8è grade. Les variables observées étaient les suivantes : Self : auto-évaluation des aptitudes Parent : évaluation par les parents Teacher : évaluation par l'enseignant Friend : évaluation par les amis Educ Asp : aspirations scolaires Col Plan : projets d'études supérieures Exemple danalyse factorielle confirmatoire

32 32 Corrélations entre les variables observées

33 33 Le modèle à tester fait les hypothèses suivantes : - Les 4 premières variables mesurent la variable latente "aptitudes" - Les deux dernières mesurent la variable latente "aspirations". Ce modèle est-il valide ? Et, s'il en est bien ainsi, les deux variables latentes sont-elles corrélées ?

34 34 Modèle Estimé (Ability and Aspiration dans AFC.stw) AptitudesAspiratio ns Communa uté Spécific ité Self0,8630,7450,255 Parent0,8490,7210,279 Teacher0,8050,6480,352 Friend0,6950,4830,517 Educ Asp0,7750,6010,399 Col Plan0,9290,8630,137 Statistiques de Synthèse (Ability and Aspiration dans AFC.stw) Valeur Chi-Deux MV9,256 Degrés de Liberté8,000 Niveau p0,321 P=0,32 : bonne adéquation du modèle aux données

35 35 Analyse factorielle des correspondances

36 36 DroitSciencesMédecineIUT Exp. agri Patron Cadre sup Employé Ouvrier Tableau de contingence : répartition détudiants en Cité par Saporta (1990)

37 37 Effectifs observés O DroitSciencesMédecineIUT Exp. agri Patron Cadre sup Employé Ouvrier Test du khi-2 sur un tableau de contingence Modalités lignes : variable X Modalités colonnes : variable Y Hypothèses du test : H 0 : Les variables X et Y sont indépendantes H 1 : Les variables X et Y sont dépendantes

38 38 Effectifs observés O ij DroitScienc es MédecineIUTTotal Exp. agri Patron Cadre sup Employé Ouvrier Total Construction de la statistique de test Effectifs théoriques T ij DroitSciencesMédecineIUT Exp. agri.82,1276,78112,6130,49 Patron156,36146,18214,4158,05 Cadre sup.496,28463,97680,52184,24 Employé126,99118,72174,1447,14 Ouvrier167,24156,35229,3262,09

39 39 Contributions au khi-2 DroitSciencesMédecineIUT Exp. agri.0,056,4320,1324,83 Patron0,870,580,190,27 Cadre sup.1,398,8256,1560,11 Employé2,551,728,801,00 Ouvrier0,018,5945,6672,12 Contributions au khi-2 : (O - T) 2 /T Calcul du khi-2 Nombre de degrés de liberté :

40 40 Loi du khi-2 H 0 retenue H 0 rejetée ; H 1 retenue 5% 95%

41 41 : on conclut donc sur H 1 Les deux variables étudiées dépendent lune de lautre

42 42 Effectifs et fréquences marginaux DroitScienc es Médeci ne IUTEffect ifs margi naux lignes Fréquen ce Exp. agri ,0798 Patron ,1520 Cadre sup ,4823 Employé ,1234 Ouvrier ,1625 Effectifs marginaux colonnes Fréquence0,27190,25420,37290,1010

43 43 Fréquences théoriques dans l'hypothèse d'indépendance X0,27190,25420,37290,1010 0,07980,02170,02030,02980,0081 0,15200,04130,03860,05670,0153 0,4823=0,13120,12260,17980,0487 0,12340,03360,03140,04600,0125 0,16250,04420,04130,06060,0164

44 44 Fréquences théoriques dans l'hypothèse d'indépendance

45 45 Effectifs théoriques dans le cas d'indépendance 0,02170,02030,02980,008182,1276,78112,6130,49 0,04130,03860,05670, ,36146,18214,4158,05 0,13120,12260,17980, ,28463,97680,52184,24 0,03360,03140,04600, ,99118,72174,1447,14 0,04420,04130,06060,0164 x 3784 =167,24156,35229,3262,09

46 46 Effectifs observés O DroitSciencesMédecineIUT Exp. agri Patron Cadre sup Employé Ouvrier Effectifs théoriques T DroitSciencesMédecineIUT Exp. agri.82,1276,78112,6130,49 Patron156,36146,18214,4158,05 Cadre sup.496,28463,97680,52184,24 Employé126,99118,72174,1447,14 Ouvrier167,24156,35229,3262,09 Ecarts à l'indépendance : E = O - T DroitSciencesMédecineIUT Exp. agri.-2,1222,22-47,6127,51 Patron11,64-9,18-6,413,95 Cadre sup.-26,28-63,97195,48-105,24 Employé18,0114,28-39,146,86 Ouvrier-1,2436,65-102,3266,91

47 47 Effectifs théoriques T DroitSciencesMédecineIUT Exp. agri.82,1276,78112,6130,49 Patron156,36146,18214,4158,05 Cadre sup.496,28463,97680,52184,24 Employé126,99118,72174,1447,14 Ouvrier167,24156,35229,3262,09 Ecarts à l'indépendance : E = O - T DroitSciencesMédecineIUT Exp. agri.-2,1222,22-47,6127,51 Patron11,64-9,18-6,413,95 Cadre sup.-26,28-63,97195,48-105,24 Employé18,0114,28-39,146,86 Ouvrier-1,2436,65-102,3266,91 Taux de liaison : (O - T)/T : valeurs dans lintervalle [-1, + [ -0,42 : leffectif observé est inférieur de 42% à leffectif théorique 1,08 : leffectif observé est supérieur de 108% à leffectif théorique DroitSciencesMédecineIUT Exp. agri.-0,030,29-0,420,90 Patron0,07-0,06-0,030,07 Cadre sup. -0,05-0,140,29-0,57 Employé0,140,12-0,220,15 Ouvrier-0,010,23-0,451,08

48 48 Les questions auxquelles on cherche à répondre : - Quelles sont les modalités lignes qui sont « proches » du profil ligne moyen ? Quelles sont celles qui sen écartent le plus ? - Quelles sont les modalités colonnes qui sont « proches » du profil colonne moyen ? Quelles sont celles qui sen écartent le plus ? - Quelles sont les modalités lignes et les modalités colonnes qui « sattirent » ? Quelles sont celles qui « se repoussent » ? Analyse des correspondances

49 49 Notations : Soit un tableau de contingence comportant p lignes et q colonnes. - L'élément du tableau situé à l'intersection de la ligne i et de la colonne j est noté n ij. - La somme des éléments d'une ligne est notée - La somme des éléments d'une colonne est notée

50 50 Distance (du Phi-2) entre deux profils lignes : Exemple : DroitSciencesMédecineIUTEffectifs marginaux lignes Exp. agri Patron Cadre sup Employé Ouvrier Effectifs marginaux colonnes

51 51 Distance (du Phi-2) entre deux profils colonnes : Exemple : distance entre les colonnes 1 et 2 DroitSciencesMédecineIUTEffectifs marginaux lignes Exp. agri Patron Cadre sup Employé Ouvrier Effectifs marginaux colonnes

52 52 - Si on regroupe deux modalités lignes, les distances entre les profils-colonnes, ou entre les autres profils-lignes restent inchangées. - Si on regroupe deux modalités colonnes, les distances entre les profils-lignes, ou entre les autres profils-colonnes restent inchangées. Propriété d'équivalence distributionnelle :

53 53 Principaux résultats dune AFC Coordonnées factorielles des lignes p q Modalités (individus) colonnes p q k Valeurs propres k Coordonnées factorielles des colonnes k Modalités (individus) lignes

54 54 Valeurs propres ValProp.%age inertie %age cumulé Chi² 10,08297,35 311,78 20,0022,0199,366,45 30,0010,64100,002,04 Inertie totale du nuage de points :

55 55 Résultats relatifs aux lignes Coord. Dim.1 Coord. Dim.2 MasseQualitéInertie Relative Inertie Dim.1 Cosinus² Dim.1 Inertie Dim.2 Cosinus² Dim.2 Exp. Agri.0,4100,0260,0800,9910,1610,1630,9870,0320,004 Patrons0,020-0,0270,1520,3360,0060,0010,1230,0630,213 Cadres Sup.-0,2630,0160,4820,9990,3950,4040,9960,0690,004 Employés0,142-0,0970,1230,9850,0440,0300,6700,6860,315 Ouvriers0,4510,0400,1631,0000,3950,4020,9920,1500,008

56 56 Résultats relatifs aux colonnes Coord. Dim.1 Coord. Dim.2 MasseQualitéInertie Relative Inertie Dim.1 Cosinus² Dim.1 Inertie Dim.2 Cosinus² Dim.2 Droit0,028-0,0610,2720,9420,0150,0030,1650,5880,777 Sciences0,160-0,0030,2540,9480,0820,0790,9480,0010,000 Médecine-0,3030,0300,3731,0000,4090,4160,9900,1930,009 IUT0,6400,0610,1010,9980,4940,5020,9890,2190,009

57 57

58 58 Analyse des correspondances multiples

59 59 SexeRevenuPreference s1FMA s2FMA s3FEB s4FEC s5FEC s6HEC s7HEB s8HMB s9HMB s10HMA Tableau protocole : 3 questions, 7 modalités

60 60 Sexe: F Sexe: H Rev: M Rev:EPref:APref:BPref:C s s s s s s s s s s Tableau disjonctif complet

61 61 La disjonction complète

62 62 SexeRevenuPreferenceEffectif FMA2 FEB1 FEC2 HEC1 HEB1 HMB2 HMA1 Tableau deffectifs ou tableau des patrons de réponses

63 63 Sexe: F Sexe: H Rev: M Rev:EPref:APref:BPref:C FMA FEB FEC HEC HEB HMB HMA Tableau disjonctif des patrons de réponses

64 64 FHMEABC Sexe:F Sexe:H Revenu:M Revenu:E Preference:A Preference:B Preference:C Tableau de Burt

65 65 MATRICE DE BURT t X X t XX Tous les tris simples Tous les tris croisés Si X est une matrice disjonctive complète La Matrice de BURT est t XX Le tableau de BURT

66 66 Analyse des correspondances multiples Effectuer l'analyse des correspondances multiples, c'est effectuer l'analyse factorielle des correspondances du tableau disjonctif complet, muni des relations K (modalités emboîtées dans les questions) et I > (individus emboîtés dans les modalités de chaque question). Rouanet et Le Roux Propriété de lanalyse des correspondances (simple) Lorsquil y a deux variables qualitatives réunies dans un tableau disjonctif X = [X 1 |X 2 ], lanalyse factorielle des correspondances du tableau disjonctif est équivalente à lanalyse des correspondances du tableau de contingence N = T X 1 X 2

67 67 SexeRevenuPreference s1FMA s2FMA s3FEB s4FEC s5FEC s6HEC s7HEB s8HMB s9HMB s10HMA Résultats produits par lACM sur le tableau suivant :

68 68 Valeurs Propres et Inertie de toutes les Dimensions (Protocole dans Mini- ACM.stw) Table d'Entrée (Lignes x Colonnes) : 7 x 7 (Table de Burt) Inertie Totale = 1,3333 ValSing.ValProp.%age Chi² 10, , , ,212825, , , , ,990919, , , , ,21288, , , , ,00002,68724 Valeurs propres Valeurs propres : décroissance lente -> taux dinertie modifiés de Benzécri

69 69 ValProp. 1/Q(VP-1/Q)^2%age 10,6028 0,33330,072681,04% 20,4637 0,33330,017018,96% 30, ,0638 Somme 1,3333 0, Calcul des taux modifiés :

70 70 Coordonnées, inertie et cosinus carrés

71 71

72 72

73 73 Valeur du Phi-2 : Sur notre exemple : Propriétés algébriques et géométriques de lACM

74 74 Contributions absolues et relatives des modalités colonnes à linertie : Sur notre exemple : Contribution dautant plus forte que la modalité est plus rare

75 75 Inerties absolue et relative dune question : K q : nombre de modalités de la question q

76 76 Inerties absolue et relative dune question : Sur lexemple : Linertie dune question est dautant plus forte que la question comporte un plus grand nombre de modalités.

77 77 Distances entre profils lignes : Somme étendue à toutes les modalités faisant partie de l'un des deux patrons, sans faire partie des deux patrons Exemple : Deux patrons sont dautant plus éloignés quils diffèrent sur un plus grand nombre de modalités et que celles-ci sont plus rares.

78 78 Distance dune ligne au profil moyen Somme étendue à toutes les modalités faisant partie du patron i Exemple : Un patron est dautant plus loin de lorigine quil comporte des modalités rares

79 79 Distances entre profils colonnes : Exemple : Deux modalités sont dautant plus éloignées quelles sont de fréquences faibles et rarement rencontrées simultanément

80 80 Distance dune colonne au profil moyen : Exemple : Une modalité est dautant plus loin de O que sa fréquence est faible

81 81 1) Indépendance des modalités M k et M k' : Autrement dit, dans l'espace multidimensionnel, le triangle OM k M k' est alors un triangle rectangle en O. 2) Si les modalités M k et M k' s'attirent, l'angle est un angle aigu. 3) Si les modalités M k et M k' se repoussent, l'angle est un angle obtus.

82 82 4) Si l'effectif conjoint n kk' des modalités M k et M k' est nul (en particulier si M k et M k' sont deux modalités d'une même question) :

83 83 Deux questions à deux modalités chacune. Cas 1 : les effectifs des modalités sont donnés par : A1A2Total B B Total Prévoir la forme de la représentation par rapport au premier plan factoriel.

84 84 Réponse :

85 85 Cas 2 : les effectifs des modalités sont donnés par : A1A2Total B B Total

86 86

87 87 Cas 3 : les effectifs des modalités sont donnés par : A1A2Total B B Total

88 88

89 89 Cas 4 : les effectifs des modalités sont donnés par : A1A2Total B B Total

90 90

91 91 Cas 5 : les effectifs des modalités sont donnés par : A1A2Total B B Total

92 92

93 93 Méthodes de classification

94 94 Création aléatoire de centres de gravité. Au départ Etape 1 Chaque observation est classée en fonction de sa proximité aux centres de gravités. Méthodes de type « centres mobiles »

95 95 Chaque centre de gravité est déplacé de manière à être au centre du groupe correspondant On répète létape 1 avec les nouveaux centres de gravité. Etape 2 Etape 1

96 96 Etape 2 De nouveau, chaque centre de gravité est recalculé. On continue jusquà ce que les centres de gravité ne bougent plus.

97 97 Exemple : typicalité des odeurs dans 3 cultures : FR, US, VN Extrait des données

98 98 Exemple : typicalité des odeurs dans 3 cultures : FR, US, VN Classe 1

99 99 Exemple : typicalité des odeurs dans 3 cultures : FR, US, VN Classe 2

100 100 Exemple : typicalité des odeurs dans 3 cultures : FR, US, VN Classe 3

101 101 Exemple : typicalité des odeurs dans 3 cultures : FR, US, VN Classe 4

102 102 Exemple : typicalité des odeurs dans 3 cultures : FR, US, VN Classe 5

103 103 Les quatre étapes de la méthode : -Choix des variables représentant les individus - Choix d'un indice de dissimilarité -Choix d'un indice d'agrégation -Algorithme de classification et résultat produit Classification Ascendante Hiérarchique

104 104 - Distance Euclidienne. - Distance Euclidienne au carré. - Distance du City-block (Manhattan) : - Distance de Tchebychev : - Distance à la puissance. - Percent disagreement r de Pearson : Quelques distances ou indices de dissimilarité

105 105 - Diamètre ou « complete linkage » : - Moyenne non pondérée des groupes associés:- Moyenne pondérée des groupes associés : - Méthode de Ward (méthode du moment d'ordre 2). Si une classe M est obtenue en regroupant les classes K et L, sa distance à la classe J est donnée par : - Centroïde pondéré des groupes associés (médiane). - Centroïde non pondéré des groupes associés. Quelques indices dagrégation

106 106 L'algorithme de classification Étape 1 : n éléments à classer ; Étape 2 : Construction de la matrice de distances entre les n éléments et recherche les deux plus proches, que lon agrège en un nouvel élément. On obtient une première partition à n-1 classes; Étape 3 : Construction dune nouvelle matrice des distances qui résultent de lagrégation, en calculant les distances entre le nouvel élément et les éléments restants (les autres distances sont inchangées). Recherche des deux éléments les plus proches, que lon agrège. On obtient une deuxième partition avec n-2 classes et qui englobe la première; … Étape m : on calcule les nouvelles distances, et lon réitère le processus jusquà navoir plus quun seul élément regroupant tous les objets et qui constitue la dernière partition.

107 107 Distance Euclidienne au carré et méthode de Ward Inertie totale = Inertie « intra » + Inertie « inter » A chaque étape, on réunit les deux classes de façon à augmenter le moins possible linertie « intra »

108 108 Résultat obtenu : Une hiérarchie de classes telles que : - toute classe est non vide - tout individu appartient à une (et même plusieurs) classes - deux classes distinctes sont disjointes, ou vérifient une relation d'inclusion (l'une d'elles est incluse dans l'autre) - toute classe est la réunion des classes qui sont incluses dans elle. Ce résultat est fréquemment représenté à laide dun dendrogramme

109 109 Exemples de dendrogrammes

110 110

111 111 Régression linéaire Multiple

112 112 Echantillon de n individus statistiques : - p variables numériques X1, X2,..., Xp (variables indépendantes ou explicatives) - une variable numérique Y (variable dépendante, ou "à expliquer"). Exemple (30 comtés américains) : VARI_POP : Variation de la Population ( ) N_AGRIC : Nb. de personnes travaillant dans le secteur primaire TX_IMPOS : Taux d'imposition des propriétés PT_PHONE : Pourcentage d'installations téléphoniques PT_RURAL : Pourcentage de la population vivant en milieu rural AGE : Age médian PT_PAUVR : Pourcentage de familles en dessous du seuil de pauvreté

113 113 VARI_POPN_AGRICPT_PAUVRTX_IMPO S PT_PHONEPT_RURALAGE VARI_POP1,000,04-0,650,130,38-0,02-0,15 N_AGRIC0,041,00-0,170,100,36-0,66-0,36 PT_PAUVR-0,65-0,171,000,01-0,730,510,02 TX_IMPOS0,130,100,011,00-0,040,02-0,05 PT_PHONE0,380,36-0,73-0,041,00-0,75-0,08 PT_RURAL-0,02-0,660,510,02-0,751,000,31 AGE-0,15-0,360,02-0,05-0,080,311,00 Matrice des corrélations

114 114 Le modèle linéaire : On cherche à exprimer Y sous la forme : où E (erreur commise en remplaçant Y par la valeur estimée) est nulle en moyenne, et de variance minimale.

115 115 Les coefficients b i (1ip) sont les solutions du système déquations : Solution au problème : et

116 116 Sur lexemple proposé : PT_PAUVR = 31, ,3923 VARI_POP + 0,0008 N_AGRIC+ 1,2301 TX_IMPOS - 0,0832 PT_PHONE + 0,1655 PT_RURAL - 0,4193 AGE Coefficients standardisés : VARI_POPN_AGRICTX_IMPOSPT_PHONEPT_RURALAGE -0, , , , , ,188205

117 117 PT_PAUV R -95,00%+95,00% (param.)Err-TypetpLim.Conf Ord.Orig.31,266013,26512,35700,02733,825158,7070 VARI_POP-0,39230,0805-4,87420,0001-0,5589-0,2258 N_AGRIC0,00080,00041,69030,1045-0,00020,0017 TX_IMPOS1,23013,18990,38560,7033-5,36867,8288 PT_PHONE-0,08320,1306-0,63760,5300-0,35330,1868 PT_RURAL0,16550,06182,67660,01350,03760,2935 AGE-0,41930,2554-1,64150,1143-0,94760,1091 Test des coefficients de la régression

118 118 X1X1 X2X2 Y Expliquer la variabilité de Y à partir de celle des X j : Combinaison linéaire des X j qui reproduit « au mieux » la variabilité des individus selon Y : combinaison linéaire la plus corrélée avec Y. Solution : combinaison linéaire des X j qui fait avec Y un angle minimum. Approche factorielle de la régression

119 119 SommesdlMoyennesFniveau p Carrés Régress.932, ,344113,449090, Résidus265, ,5505 Total1197,727 Test de la régression : Variance de Y = Variance expliquée + Variance résiduelle Analyse de variance Coefficient de détermination :

120 120

121 121 1) Régression de la VD sur la VI : VD = b0 + b1 VI Coefficient de régression standardisé : 1 2) Régression de la médiation sur la VI : M=b0 + b1 VI Coefficient de régression standardisé : 1 3) Régression multiple de la VD sur VI et M : VD = b0 + b1 VI + b2 M Coefficients de régression standardisés : 1, 2 VI VD 1 VI VD M Analyse de médiation

122 122 Interprétation : Si b1 est nettement plus proche de 0 que b1, en particulier si b1 nest pas significativement différent de 0 alors que b1 létait, il y a médiation (partielle ou totale)

123 123 1) Régression de la VD sur la VI : SDNA = b0 + b1 IDENT Coefficient de régression standardisé : 1 2) Régression de la médiation sur la VI : DEROG=b0 + b1 IDENT Coefficient de régression standardisé : 1 3) Régression multiple de la VD sur VI et M : SDNA = b0 + b1 IDENT + b2 DEROG Coefficients de régression standardisés : 1, 2 IDENT SDNA 1 =0,24* IDENT SDNA DEROG 1=0,14 (NS) 1=0,33** 2=0,29*

124 124 1) Régression de la VD sur la VI : SDNA = b0 + b1 IDENT Coefficient de régression standardisé : 1 2) Régression de la médiation sur la VI : DEROG=b0 + b1 IDENT Coefficient de régression standardisé : 1 3) Régression multiple de la VD sur VI et M : SDNA = b0 + b1 IDENT + b2 DEROG Coefficients de régression standardisés : 1, 2 IDENT SDNA 1 =0,24* IDENT SDNA FAVO 1=0,23 * 1=0,42** 2=0,07 (NS) Pas deffet de médiation

125 125 Régression Logistique

126 126 Sur un échantillon de n individus statistiques, on a observé : - p variables numériques ou dichotomiques X1, X2,..., Xp (variables indépendantes ou explicatives) - une variable dichotomique Y (variable dépendante, ou "à expliquer"). Exemple : Echantillon de 30 sujets pour lesquels on a relevé : - d'une part le niveau des revenus (variable numérique) - d'autre part la possession ou non d'un nouvel équipement électro- ménager.

127 127 Revenu Possède Revenu Possède Revenu Possède Revenu Possède Exemple

128 128 Nuage de points

129 129 Rapport de chances et transformation logit Rapport de chances ou cote : Transformation logit

130 130

131 131 Aides à linterprétation : test du modèle, odds-ratio ou rapport de cotes On utilise aussi fréquemment lodds-ratio ou rapport de cotes : La contribution de la variable X à la variation de Y est calculée par : L'odds-ratio correspondant au coefficient 0, est : e 0, =1,0012. Autrement dit, une augmentation du revenu de 1 unité se traduit par une multiplication de la probabilité par 1,0012. Intervalle de confiance pour OR : [1,000173, 1,002139] : significatif puisque lintervalle ne contient pas la valeur 1. Une statistique qui suit une loi du khi-2 permet de tester la qualité du modèle. Sur notre exemple : Khi-2 = 7,63, dl=1, p=0,006

132 132 L'odds-ratio est défini comme le rapport de deux rapports de chances. Ainsi, l'odds-ratio relatif à l'étendue des valeurs observées est défini de la manière suivante : - On calcule le rapport de chances relatif à la plus grande valeur observée du revenu : Pour X = 4484, P1=0, et - On calcule le rapport de chances relatif à la plus petite valeur observée du revenu : Pour X = 1085, P2=0, et - L'odds-ratio est obtenu comme quotient des deux rapports précédents :

133 133 Analyse discriminante

134 134 On dispose de n observations sur lesquelles on a relevé : -les valeurs d'une variable catégorielle comportant quelques modalités (2, 3,...) : c'est le groupe ou diagnostic. - les valeurs de p variables numériques : X1, X2,..., Xp : ce sont les prédicteurs. Position du problème On se pose des questions telles que : - la valeur de Y est-elle liée aux valeurs de X1, X2,..., Xp ? - Etant donné d'autres observations, pour lesquelles X1, X2,..., Xp sont connues, mais Y ne l'est pas, est-il possible de prévoir Y (le groupe), et avec quel degré de certitude ?

135 135 Mini-exemple : deux variables sur 40 individus répartis en deux groupes

136 136 Une variable abstraite, combinaison linéaire de X1 et X2 permet de séparer les deux groupes : f(X1, X2)=X2+X1-19

137 137 Considérer une variable abstraite, combinaison linéaire de X1 et X2 définie de façon que : - la variance (dispersion) intra-groupes soit la plus petite possible - la variance inter-groupes (variance calculée à partir des points moyens pondérés des groupes) soit la plus grande possible.

138 138 Les dispersions des valeurs peuvent être différentes selon les groupes. Pour en tenir compte : distance dun point à un centre de groupe : distance de Mahalanobis.

139 139 Matrice de classification ou Matrice de confusion. Tableau croisant la classification observée avec la classification calculée par la méthode.

140 140 Les Iris de Fisher

141 141 Analyse et régression PLS

142 142 PLS : partial least squares On a observé sur un échantillon de n individus statistiques : - d'une part, p variables indépendantes ou explicatives : X1, X2,..., Xp - d'autre part, q variables dépendantes, ou "à expliquer" : Y1, Y2,..., Yq. On souhaite établir entre les variables indépendantes et les variables explicatives q relations linéaires du type :

143 143 Un outil possible : la régression linéaire multiple, mais : -Méthode très sensible aux colinéarités entre variables prédictives - Inutilisable si le nombre dobservations est inférieur au nombre de prédicteurs Une possibilité : faire dabord une ACP sur les prédicteurs, puis une régression linéaire des variables dépendantes sur les variables principales : résultat peu lisible Idée de la régression PLS : à partir des prédicteurs, on définit des composantes ou variables latentes, en tenant compte des variables à expliquer

144 144 Mini-exemple : 1 VD, 4 VI et 3 observations YX1X1 X2X2 X3X3 X4X4 s s s Variables centrées réduites : YcZ1Z1 Z2Z2 Z3Z3 Z4Z4 0,8321-0,0512-0,92721,15470,0000 0,2774-0,97341,0596-0,57741, ,10941,0246-0,1325-0,5774-1,0000

145 145 Première étape : Première variable latente P1 : r(Y, Xi)Poids Wi X1X1 -0,7247-0,582 X2X2 -0,1653-0,133 X3X3 0,72060,578 X4X4 0,69340,556 Somme carrés1,5531 Racine carrée1,246 P1 = - 0,582 * Z1 - 0,133 * Z2 + 0,578 * Z3+ 0,556 * Z4.

146 146 P1P1 s10,8206 s20,6481 s3-1,4687 Valeurs de P1 sur les 3 observations Régression linéaire de Y sur P1 Y = 2,7640 P1 +9 Y, Y estimé et résidus : YY estiméRésidus s1 1211,26820,7318 s21010,7915-0,7915 s354,94040,0596 Coefficient de détermination : R2(Y, Y estimé) = 0,955 Deuxième étape : on recommence à partir des résidus de Y; nouvelle variable latente P2, etc

147 147 Analyse de segmentation

148 148 - Echantillon de n individus statistiques - une variable dépendante numérique ou qualitative Y - plusieurs variables numériques ou catégorielles X1, X2,..., Xp. Expliquer la variable Y à laide dune ou plusieurs variables quantitatives ou qualitatives. Créer des groupes dindividus ou dobservations homogènes. Résultat est fourni sous la forme d'un arbre de décision binaire du type suivant :

149 149

150 150 Rappel : théorème de Huygens L'inertie totale est la somme des inerties intra-groupes et de l'inertie des points moyens des groupes, pondérés par l'effectif des groupes.

151 151 Exemple : 4 observations suivantes, réparties en deux groupes A et B : GroupeABAB Y1234

152 152 1) Au départ : un seul segment contenant l'ensemble des individus. 2) Examen de toutes les variables explicatives et de toutes les divisions possibles (de la forme Xj A si Xj est numérique, regroupement des modalités en deux sous- ensembles si Xj est catégorielle). Pour chaque division, l'inertie inter-groupes est calculée. 3) La division choisie est celle qui maximise l'inertie inter- groupes. 4) On recommence la procédure dans chacun des deux groupes ainsi définis. Algorithme de segmentation

153 153 Critères d'arrêt : On peut utiliser comme critères darrêt de lalgorithme de segmentation : - La taille des groupes (classes) à découper - Le rapport entre l'inertie intra et la variance totale - Des tests statistiques (tests de Student de comparaison de moyennes, tests du Khi deux)

154 154 Variable names in order from left to right: EDUCATION: Number of years of education. SOUTH: Indicator variable for Southern Region (1=Person lives in South, 0=Person lives elsewhere). SEX: Indicator variable for sex (1=Female, 0=Male). EXPERIENCE: Number of years of work experience. UNION: Indicator variable for union membership (1=Union member, 0=Not union member). WAGE: Wage (dollars per hour). AGE: Age (years). RACE: Race (1=Other, 2=Hispanic, 3=White). OCCUPATION: Occupational category (1=Management, 2=Sales, 3=Clerical, 4=Service, 5=Professional, 6=Other). SECTOR: Sector (0=Other, 1=Manufacturing, 2=Construction). MARR: Marital Status (0=Unmarried, 1=Married) Determinants of Wages from the 1985 Current Population Survey

155 155

156 156


Télécharger ppt "1 Analyse multidimensionnelle des données F.-G. Carpentier 2011/2012."

Présentations similaires


Annonces Google