La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Université Marc Bloch Master de démographie Strasbourg 3ème semestre (M3) Cours de traitement statistique « Analyses descriptives multidimensionnelles.

Présentations similaires


Présentation au sujet: "1 Université Marc Bloch Master de démographie Strasbourg 3ème semestre (M3) Cours de traitement statistique « Analyses descriptives multidimensionnelles."— Transcription de la présentation:

1 1 Université Marc Bloch Master de démographie Strasbourg 3ème semestre (M3) Cours de traitement statistique « Analyses descriptives multidimensionnelles » Hélène BIGOT Année universitaire

2 Page 2 Présentation •Si n individus et seulement 2 variables X et Y, il est facile de représenter l’ensemble des données sur un graphique plan : chaque individu i est un point de coordonnées X i et Y j  nuage •L’allure du nuage renseigne sur l’intensité et la nature de la relation entre X et Y. •Si plus de 3 variables, il faut trouver de « bonnes » approximations du nuage pour l’appréhender dans sa globalité.

3 Page 3 Analyses exploratoires de données Définition :statistiques descriptives multidimensionnelles (beaucoup de dimensions) Objectif : extraire l’information principale d’un tableau à double entrée, y compris quand il est très grand Méthode : consentir une perte … d’information pour gagner … en efficacité

4 Page 4 Deux grands types de méthodes Tableau de données à double entrée (n individus * p variables) Analyses factorielles (nuages et axes factoriels) Classifications (agrégations et classes)

5 Page 5 Analyse factorielle •Etude de la position d’un nuage de points dans l’espace et description de sa forme •Pour mieux voir : –se placer au milieu du nuage, c’est-à-dire déplacer l’origine au centre de gravité (= individu fictif « moyen ») –regarder dans les directions d’allongement principal, c’est-à-dire changer d’axes •Techniquement, changer de repère (  diagonaliser une matrice)

6 Page 6 Analyses factorielles •Un tronc commun : Analyse des proximités au sein d’un nuage de points « pesants » selon une distance à déterminer •Plusieurs analyses différentes selon la distance choisie : –Composantes principales (ACP) –Correspondances simples (AFC) –Correspondances multiples (ACM) –…–…

7 Page 7 Rappels sur les distances •En géométrie : Distance euclidienne classique D 2 (i,j) = (X i – X j ) 2 + (Y i – Y j ) 2 (distance du double décimètre) •En statistique : –p variables quantitatives –n individus, points d’un espace de dimension p –mesure des distances entre couples d’individus –la distance euclidienne classique ne convient pas  on pondère i × × j

8 Page 8 Forme générale d’une distance euclidienne D 2 (i,j)=   M ab (X ia – X ja ) (X ib – X jb ) avec X ia = valeur de la variable a pour l’individu i et M ab = coefficient de pondération de l’interaction des variables a et b On peut lui associer une métrique, càd une matrice carrée à p lignes et p colonnes contenant les coefficients M ab.

9 Page 9 Distances non euclidiennes •Exemples : –Écart moyenD(i,j) = (  | X ia – X ja | ) / p –City blockD(i,j) =  | X ia – X ja | –Saut maximumD(i,j) = max | X ia – X ja | –Saut minimumD(i,j) = min | X ia – X ja | •On ne peut pas leur associer de métriques (matrices carrées)

10 Page 10 Notion d’inertie •Mesure de la résistance d’un corps à un mouvement •Mesure du volume occupé par un corps •Inertie du point i de masse m i par rapport au point O : λ O (i(m i )) = m i D 2 (i,O)

11 Page 11 Inertie d’un nuage de points •Nuage E = un ensemble fini de points •Chaque point i est de masse m i •Inertie du nuage E par rapport au point O : λ O (E) =  λ O (i k (m i k )) =  m i k D 2 (i k,O) •Inertie=dispersion =allongement =variance

12 Page 12 Inertie et droites orthogonales •λ O (i(m i )) = λ O (i 1 (m i )) + λ O (i 2 (m i )) (formule de Pythagore) •λ O (i k (m i )) / λ O (i(m i )) : taux d’inertie de i conservé par sa projection en i k sur Δ k •Si ce taux est fort, alors i et i k sont proches, et l’on perd peu d’information en assimilant i à i k. i 2 x i(m i ) O i 1

13 Page 13 Principes d’une analyse factorielle •n individus sont décrits par p variables  tableau de données à double entrée •On a choisi une distance pour mesurer les distances entre les points du nuage. •On cherche la meilleure « image approchée » du nuage en projection sur une droite Δ. •C’est celle qui respecte au mieux les distances entre tous les couples de points

14 Page 14 Composantes principales (ACP) •n individus décrits par p variables quantitatives •Tableau X n x p = (x ij ) des données brutes •x ij = valeur de la variable j pour l’individu i •Distance euclidienne canonique •On cherche la meilleure « image approchée » du nuage en projection sur une droite Δ ; c’est celle qui respecte au mieux les distances entre tous les couples de points : le 1er axe factoriel F 1. •Puis on cherche orthogonalement la 2ème ….

15 Page 15 ACP : objectifs •Faire le bilan des ressemblances entre individus et des liaisons entre variables •Rechercher un nombre limité de « variables » fictives appelées « composantes principales », non corrélées entre elles et résumant le mieux possible l’information contenu dans le tableau des données brutes

16 Page 16 ACP : principes de la méthode •Information à appréhender : inertie du nuage de dimension p (= dispersion totale) •Moyen de résumer : se placer au centre du nuage, puis définir un sous-espace de petite dimension sur lequel le nuage centré est projeté (= approximation du nuage non projeté)  diagonalisation de la matrice des covariances •Critère de choix du sous-espace (Pearson, 1901) : maximiser l’inertie du nuage projeté

17 Page 17 ACP : données centrées •Pour se placer au centre G du nuage E, on retire à chaque variable sa moyenne. •On passe au tableau X c des données centrées : X c = (y ij ) avec y ij = x ij – x j •Chaque individu a un poids m i •La droite solution Δ est celle qui maximise l’inertie du nuage centré projeté sur elle : max {  m i D 2 Δ (i,G) }

18 Page 18 ACP : nuages des p variables •Un axe factoriel F k est une variable artificielle, combinaison linéaire des p variables initiales •Le nuage n’est pas centré sur l’origine. •Si la plupart des variables sont bien corrélées entre elles (ie presque toutes les corrélations sont proches de 1 ou de -1), alors il y a un facteur « taille », (souvent sur le premier axe factoriel).

19 Page 19 ACP : cercle des corrélations •Sur un plan factoriel, c’est le grand cercle de rayon 1 centré sur l’origine. •Les points-variables tombent tous à l’intérieur. •Les points-variables situés près du cercle des corrélations sont bien expliqués par le plan factoriel correspondant. •Deux variables indépendantes forment un angle droit avec l’origine.

20 Page 20 ACP : perte et taux d’inertie •Les axes factoriels sont ordonnés : du plus informatif au moins informatif. •Chacun représente une part λ k de l’inertie totale. •Si l’on ne retient que les premiers axes, on perd de l’inertie : celle des derniers axes. •On repère dans la décroissance des taux d’inertie (sur l’histogramme des valeurs propres), la plus grande rupture et on ne retient que les axes situés avant elle.

21 Page 21 ACP : variables expliquant un axe •Les corrélations entre un axe factoriel et les variables initiales renseignent sur la signification de l’axe. •Pour chaque axe, on retient les variables actives présentant les plus fortes corrélations en valeur absolue avec lui. Ce sont elles qui expliquent cet axe.

22 Page 22 ACP : nuage des individus •Il est centré sur le centre de gravité. •Pour chaque axe, on repère les individus ayant les contributions à l’inertie les plus fortes. Leurs coordonnées (positives ou négatives) sur cet axe permettent de les situer. •Même si sa contribution à l’inertie est faible, un individu dont le cosinus carré avec un axe est proche de 1, est bien représenté sur cet axe.

23 Page 23 ACP : qualité de la représentation •Globalement, elle dépend du taux d’inertie cumulé sur les premiers axes factoriels retenus. •Sur un axe donné, la corrélation de chaque variable indique si elle est bien liée à cet axe. •Sur un axe donné, le cosinus carré de chaque individu indique s’il est bien représenté sur cet axe.

24 Page 24 ACP normée •Pour que toutes les variables jouent le même rôle dans le calcul des distances entre individus •Pour que les distances entre individus soient indépendantes des unités de mesure des variables •On centre et on réduit des données : X r = (z ij ) avec z ij = (x ij – x j ) / s j •On mesure un écart à la moyenne ( x j ) de la variable j en nombre d’écart-type de cette variable (s j ). •Tous les variables centrées sont comparables ; elles ont la même dispersion (égale à 1).

25 Page 25 Correspondances simples (AFC) •Une méthode factorielle : –plus riche, plus informative que l’ACP, –si le tableau rectangulaire analysé a la particularité d’être un « tableau de contingence » ou tableau croisé. •On analyse les deux tableaux de profils. •La distance est celle du χ 2 (« chi-deux »).

26 Page 26 AFC : deux variables qualitatives •Deux variables qualitatives V1 et V2 mesurées sur n individus. •V1  J modalités : A 1, …, A j, …, A J elles forment les J lignes du tableau croisé •V2  K modalités : B 1, …, B k, …, B K elles forment les K colonnes du tableau croisé •n jk = nombre d’individus (parmi les n) prenant simultanément A j et B k •n =   n jk

27 Page 27 AFC : tableau de contingence •Tableau N à J lignes et K colonnes contenant les effectifs n jk •Ligne marginale = ligne supplémentaire contenant la somme des effectifs de chaque colonne : n.1 n.2 n.3 … n.K •Colonne marginale = colonne supplémentaire contenant la somme des effectifs de chaque ligne : n 1. n 2. n 3. … n J.

28 Page 28 Exemple de tableau de contingence •Enquête auprès de 200 étudiants var. 1 : baccalauréat (A à H) var. 2 : université (U1, U2 ou U3) •Construire un tel tableau N avec ses ligne et colonne marginales •Comment apprécier la dépendance entre ces deux variables qualitatives ?

29 Page 29 AFC : profils-lignes •Pour comparer plus facilement les lignes entre elles ou à la ligne marginale •Division de chaque ligne par sa somme (figurant en colonne marginale) •Tableau contenant les n jk / n j. (si exprimés en % : « pourcentages en ligne ») • n jk / n j. = f k|j = fréquence conditionnelle de B k sachant A j

30 Page 30 AFC : profils-colonnes •Pour comparer plus facilement les colonnes entre elles ou à la colonne marginale •Division de chaque colonne par sa somme (figurant en ligne marginale) •Tableau contenant les n jk / n.k (si exprimés en % : « pourcentages en colonne ») • n jk / n.k = f j|k = fréquence conditionnelle de A j sachant B k

31 Page 31 Indépendance de 2 variables qualitatives •Tous les profils-lignes sont égaux au profil-ligne marginal. •Tous les profils-colonnes sont égaux au profil-colonne marginal. •Effectifs théoriques du tableau théorique N* de la situation d’indépendance : n * jk = n j. x n.k / n

32 Page 32 Ecart à l’indépendance •Pour chaque case du tableau : –Écart simple : e jk = n jk – n* jk –Écart du « chi-deux » : e 2 jk / n* jk •Pour l’ensemble du tableau : χ 2 =   e 2 jk / n* jk •χ 2 = 0 si et seulement si tout n jk = n* jk •Plus χ 2 est grand, plus il y dépendance entre les variables 1 et 2.

33 Page 33 Distance entre profils •En utilisant la distance euclidienne classique, on tient compte d’un écart indépendamment de l’importance de la modalité concernée, donc au bénéfice des modalités nombreuses. •Pour éviter cela, on pondère chaque modalité par l’inverse de son importance sur l’ensemble des individus.

34 Page 34 Distance du « chi-deux » •Chaque profil-ligne j est pondéré par : n j. / n •Chaque profil-colonne k est pondéré par : n.k / n •Si on regroupe deux lignes ou deux colonnes ayant même profil, la distance du « chi-deux » n’est pas modifiée.

35 Page 35 AFC : procédure A partir d’un tableau de contingence : •On fait une ACP des profils-lignes pondérés chacun par n j. / n et avec la distance du « chi-deux ». •On fait une ACP des profils-colonnes pondérés chacun par n j. / n et avec la distance du « chi-deux ». •On étudie les liens entre les deux analyses.

36 Page 36 AFC : analyses des 2 nuages •Chacun des 2 nuages est centré sur le centre de gravité. •On peut superposer les graphiques des 2 nuages (compromis entre les 2 représentations possibles). •Les contributions permettent d’apprécier la proximité entre les points et les axes. •S’intéresser surtout aux points ayant une forte contribution relative.

37 Page 37 AFC : proximités entre modalités •Deux modalités de la même variable sont proches, si leurs profils sont similaires. •Deux modalités de variables différentes sont proches, si leurs individus respectifs ont des centres de gravité proches.

38 Page 38 Eléments supplémentaires •Supplémentaire = inactif = n’ayant pas participé à la détermination des axes factoriels du nuage •Replacé a posteriori dans l’espace •Permet d’éclairer certains aspects de l’analyse

39 Page 39 Correspondances multiples (ACM) •Généralisation de l’AFC à plus de deux variables qualitatives •Tableau de BURT = généralisation du tableau de contingence

40 Page 40 ACM : propriétés •A un coefficient près, une modalité est le centre de gravité des individus qui la prennent. •Les modalités d’une même variable forment un sous-nuage, dont le centre de gravité est l’origine. •Les taux d’inertie ne peuvent être que faibles. •La part d’inertie due à une modalité est d’autant plus grande que son effectif est faible ! •La part d’inertie due à une variable est d’autant plus grand que le nombre de modalités est grand !

41 Page 41 ACM : valeurs-test sur un axe •Pour repérer les positions significatives des modalités sur chaque axe

42 Page 42 Classifications : objectif •Un ensemble E de n individus décrits par p variables •Le tableau de données est supposé homogène en contenu et en texture  Repérer des groupes d’individus au sein de E, groupes aussi homogènes que possible du point de vue des valeurs des variables à l’intérieur de chacun des groupes

43 Page 43 Classifications : 2 types de méthode 1.Méthodes ascendantes au départ, il y a autant de groupes que d’individus : n ; puis on agglomère les 2 plus proches en un seul, et on recommence jusqu’à n’avoir plus qu’un seul très grand groupe 2.Méthodes descendantes on procède par séparations successives de l’ensemble E

44 Page 44 Classifications et mesures •Une fois le type de méthode défini (ascendante ou descendante), tout repose sur la mesure retenue pour apprécier la ressemblance entre 2 individus. •C’est en général une distance (définie positive, symétrique et inégalité triangulaire). •Cela peut être simplement une dissimilarité (inégalité triangulaire non respectée) •Si c’est une similarité, on peut se ramener au cas d’une dissimilarité.

45 Page 45 Quelques distances entre individus •Distance euclidienne canonique •Distance entre données centrées réduites •Distance du « city block » (somme des écarts en valeurs absolues) •…•…

46 Page 46 Distances entre 2 groupes •Saut minimal (ou lien simple) plus petite distance existant entre 2 individus dont un dans chacun des 2 groupes •Saut maximal (ou lien complet) plus grande distance existant entre 2 individus dont un dans chacun des 2 groupes •Distance moyenne moyenne des distances entre 2 individus dont un dans chacun des 2 groupes

47 Page 47 Algorithme de la CAH ( classification ascendante hiérarchique) •Étape 1  n éléments à classer agrégation des 2 les plus proches ; calcul des distances entre ce nouvel élément et les (n-2) autres •Étape 2  il reste (n-1) éléments à classer agrégation des 2 les plus proches ; calcul des distances entre ce nouvel élément et les (n-3) autres •…•… •Étape finale  il n’y a plus qu’un seul élément

48 Page 48 Dendrogramme d’une CAH •Du mot grec « dendros » = arbre •En abscisse, les éléments initiaux à regrouper •En ordonnée, les distances correspondant aux différents niveaux d’agrégation (ces distances s’appellent les indices de niveaux)

49 Page 49 Inerties interclasse et intraclasse •E 1, E 2 … E H partition de E en H groupes •E k : n k individus et G k centre de gravité •L’inertie (totale) I tot de E est la somme de : •l’inertie intraclasse I intra (somme des inerties de chacun des H groupes par rapport à son centre de gravité G k ) •et l’inertie interclasse I inter (inertie du nuage des centres de gravité G k ) I tot = I intra + I inter •Au départ d’une CAH, l’inertie intraclasse est nulle et l’inertie interclasse égale l’inertie totale.

50 Page 50 CAH selon la variance (Ward) •A chaque étape, on regroupe les 2 éléments qui permettent de minimiser la perte d’inertie interclasse (ou, ce qui revient au même, de maximiser le gain d’inertie intraclasse).

51 Page 51 Centres mobiles •C’est une méthode de classification descendante. •On fixe a priori le nombre H de classes. •On choisit H individus au hasard pour être des « centres provisoires de classes ». •On agrège chaque individu au centre provisoire le plus proche et on détermine les centres des classes ainsi formées : on les retient comme nouveaux « centres provisoires ». •On répète l’étape précédente jusqu’à stabilisation (quand les individus ne changent plus de classes).

52 Page 52 Comment faire avec des données ? 1.Partir des données initiales pour déterminer le « bon » tableau de données à analyser (recodages de variables, génération de nouvelles variables, variables actives et illustratives, individus illustratifs …)  scruter les données initiales et les traiter avec SAS notamment 2.Définir la méthode factorielle la plus adaptée (ACP, AFC, AFCM …) selon la nature des données et l’objectif à atteindre  plutôt avec SPAD 3.Poursuivre avec des classifications

53 Page 53 Pourquoi une analyse factorielle ? •Pour obtenir rapidement les informations majeures et de façon ordonnée •Pour ne conserver que l’essentiel de l’information et éliminer le « bruit statistique » •Pour disposer de toutes les aides à l’interprétation fournies par une telle méthode (axes principaux, liens entre les variables, proximités entre les individus, plans factoriels …)

54 Page 54 Pourquoi des classifications ? •Pour aller plus loin qu’une analyse factorielle

55 Page 55 Comment des classifications ? •Sur les 1ers axes factoriels pour éliminer le « bruit statistique » •Enchaîner une CAH, puis des centres mobiles pour compenser leurs « travers » respectifs •A partir des classes finales, remonter aux variables du tableau soumis à une analyse factorielle

56 Page 56 Pourquoi l’analyse des données ? •Pour appréhender l’essentiel de l’information à partir d’un enchaînement analyse factorielle – classifications •Pour disposer de « visuels de synthèse » des relations existantes (plans factoriels) •Pour faire émerger des classes homogènes et les décrire

57 Page 57 Comment l’analyse des données ? •Bien définir le « bon » tableau de données à analyser •Enchaîner analyses factorielles et classifications •Exploiter toutes les aides à l’interprétation •Utiliser les plans factoriels et les compositions des classes •Rédiger une analyse « littéraire » des données exploitées, sans terme statistique, dans un langage accessible à tous les publics, notamment les non initiés à cette technique !


Télécharger ppt "1 Université Marc Bloch Master de démographie Strasbourg 3ème semestre (M3) Cours de traitement statistique « Analyses descriptives multidimensionnelles."

Présentations similaires


Annonces Google