Analyse Factorielle Exploratoire

Présentation au sujet: "Analyse Factorielle Exploratoire"— Transcription de la présentation:

1 Analyse Factorielle Exploratoire
Michel Tenenhaus

2 1. Les données de Kendall

3

4 Tableau des corrélations
One of the questions of interest here is how the variables cluster, in the sense that some of the qualities may be correlated or confused in the judge’s mind. (There was no purpose in clustering the candidates - only one was to be chosen).

5 2. Classification Ascendante Hiérarchique des variables
* * * H I E R A R C H I C A L C L U S T E R A N A L Y S I S * * * Dendrogram using Complete Linkage (Méthode des voisins les plus éloignés) Rescaled Distance Cluster Combine C A S E Label Num X òûòòòòòòòø X ò÷ ùòø X òûòø ó ó X ò÷ ùòòòòò÷ ùòòòòòòòòòòòòòòòòòòòø X òòò÷ ó ó X òòòòòûòòòòò÷ ùòòòòòø X òòòòò÷ ó ó X òòòòòòòòòòòòòòòòòòòòòòòòòòòòòòò÷ ùòòòòòòòòòòòø X òòòòòòòòòòòûòòòòòòòòòòòòòø ó ó X òòòòòòòòòòò÷ ùòòòòòòòòòòò÷ ó X òòòòòòòòòòòòòòòòòòòòòòòòò÷ ó X òòòòòòòòòòòûòòòòòòòø ó X òòòòòòòòòòò÷ ùòòòòòòòòòòòòòòòòòòòòòòòòòòòø ó X òòòòòòòòòòòòòòòòòòò÷ ùò÷ X òòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòòò÷

6 Interprétation des blocs
Bloc 1 : Qualités humaines favorables au poste (Appearance), Self-confidence, Lucidity, Salesmanship, Drive, Ambition, Grasp, Potential Bloc 2 : Qualités de franchise et de communication Likeability, Honesty, Keenness to join Bloc 3 : Expérience Form of letter of application, Experience, Suitability Bloc 4 : Diplôme Academic ability

7 3. Uni-dimensionabilité d’un bloc de variables
Question : Un bloc de variables Xj est-il essentiellement unidimensionnel ? Réponse : 1) La première valeur propre 1 de l’analyse en composante principale du bloc est supérieure à 1, les autres sont inférieures à 1. Chaque variable est plus corrélée à la première composante principale qu’aux autres composantes principales. Chaque variable Xj a une corrélation supérieure à 0.5, en valeur absolue, avec la première composante.

8 Application : ACP de chaque bloc
Bloc 1 unidimensionnel

9 Application Bloc 2 Bloc 3

10 Fiabilité de l’instrument de mesure Mesure globale de l’homogénéité d’un bloc de variables positivement corrélées entre elles : L’Alpha de Cronbach Question : Comment mesurer globalement la fiabilité de l’instrument de mesure ? C’est à dire le niveau d’homogénéité d’un bloc de variables xi positivement corrélées entre elles ? Réponse : Utilisation du Alpha de Cronbach

11 Le modèle où : avec les ei et  indépendants.

12 Définition du  de Cronbach
Formule de calcul du  de Cronbach  1, et = 1 lorsque toutes les corrélations entre les xi sont égales à 1 et toutes les variances des xi sont égales.

13  de Cronbach pour items centrés-réduits
On a la décomposition suivante : Si les variables sont centrées-réduites on obtient : Un bloc de variables positivement corrélées entre elles est homogène si la corrélation moyenne est grande.

14  de Cronbach pour items centrées-réduites
Le rapport devient : Un bloc est considéré comme homogène si : -   0.6 pour des recherches exploratoires -   0.7 pour des recherches confirmatoires

15 Application :  de Cronbach de chaque bloc
Les corrélations sont toutes positives.

16 Bloc 1 R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A)
Item-total Statistics Scale Scale Corrected Mean Variance Item Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation Deleted X X X X X X X X Reliability Coefficients items Alpha = Standardized item alpha = Scale = Somme des variables

17 Bloc 2 Item-total Statistics Scale Scale Corrected
Mean Variance Item Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation Deleted X X X Reliability Coefficients items Alpha = Standardized item alpha =

18 Bloc 3 Item-total Statistics Scale Scale Corrected
Mean Variance Item Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation Deleted X X X Reliability Coefficients items Alpha = Standardized item alpha =

19 5. ACP des données de Kendall

20 ACP des données de Kendall
Les corrélations inférieures à 0.5 en valeur absolue ne sont pas montrées.

21 ACP + « Rotation Varimax »
Seules sont montrées les corrélations maximum en valeur absolue sur chaque ligne.

22 6. Analyse Factorielle orthogonale
6.1. Les données p variables aléatoires X1,…, Xp, en général centrées-réduites. 6.2. Le modèle X1 = 11Y1 + … + 1mYm + e1 . Xi = i1Y1 + … + imYm ei Xp = p1Y1 + … + pmYm + ep où : Yj = facteurs communs centrés-réduits ei = facteurs spécifiques centrés et de variance i Les facteurs Y1,…, Ym, e1,…, em sont tous non corrélés entre eux.

23 6.3. Analyse Factorielle (Option analyse en composantes principales)
Les données p variables X1,…, Xp centrées-réduites. Estimation des facteurs Y1, …, Ym Les m premières composantes principales réduites. Choix de m Nombre de valeurs propres supérieures à 1.

24 Application Kendall

25 Calcul des saturations (loadings) ij
Les loadings ij sont les coefficients de régression des Yj dans la régression de Xi sur les facteurs Y1,…, Ym. Les facteurs étant orthogonaux (= non corrélés) on a : ij = Cor(Xi, Yj) Calcul des communautés (communalities) hi2

26 Application Kendall Matrice des corrélations entre les variables et les facteurs

27 Calcul des spécificités i
hi2 = communauté Var(ei) = spécificité Qualité de la décomposition Variance expliquée par Y1 ( = 1) Variance expliquée par Ym ( = m) Variance totale Variance résiduelle

28 Application Kendall avec m = 4
Communauté Variance expliquée

29 6.4. Décomposition de R en AF orthogonale
Modèle : Xi = i1Y1 + … + imYm ei Formules de décomposition :

30 Formule générale R =  + 

31 6.5. Les objectifs de l’AF orthogonale
L’analyse factorielle orthogonale consiste à rechercher une décomposition de la matrice des corrélations R de la forme : R =  +  Les ij sont les saturations et les i les spécificités. Méthodes usuelles d’extraction des saturations : - Analyse en composantes principales - Méthodes des facteurs principaux - Méthodes des moindres carrés - Méthodes des moindres carrés pondérés - Maximum de vraisemblance

32 Application Kendall R =

33 m = 4

34

35 6.6. Les méthodes de rotation
Formule de décomposition (p = 3, m = 2) :

36 Les méthodes de rotation
Matrice de rotation d’un angle  : Y Y´ y´ * -sin cos A y * T X * cos sin x  Matrice de rotation T : T´T = T T´= I x´ x´ = Proj(A) sur l’axe X´ y´ = Proj(A) sur l’axe Y´   X´

37 Indétermination de la décomposition
Nouvelle matrice des saturations après rotation :

38 Les méthodes de rotation VARIMAX et QUARTIMAX
Objectifs : (1) Pour chaque colonne de  les |ij| sont proches de 0 ou 1 : ==> Facteurs bien typés. C’est l’objectif de VARIMAX. (2) Sur chaque ligne de  il y a un |ij| proche 1 et tous les autres proches de 0 : ==> Typologie des variables. C’est l’objectif de QUARTIMAX.

39 Exemple avec les blocs 2 et 3
R2(Xj;Y1,Y2)  = Seulement dans l’option ACP

40 Exemple avec les blocs 2 et 3

41 Utilisation de la rotation Varimax
* T ( TT = I ) =  = 

42 Utilisation de la rotation varimax

43 Exemple Kendall complet Application (ACP + Varimax)

44 Application (ACP + Varimax) Présentation améliorée
Corrélations inférieures à 0.4 en valeur absolue non montrées

45 6.7. Estimation des facteurs communs (AF orthogonale)
On recherche une variable (ou score) aussi proche que possible de Yj. La régression de Yj sur X1,…, Xp donne :

46 Application (ACP + Varimax)
Coefficients appliqués aux variables centrées-réduites

47 Estimation des facteurs

48 7. Test de sphéricité de Bartlett
Test : H0 : R = Identité (aucune corrélation entre les X) On rejette H0 au risque  de se tromper si

49 Application

50 8. Kaiser-Meyer-Olkin Measure of Sampling Adequacy
La corrélation partielle Xi = i0 + i1Y1 + … + imYm + i Xk = k0 + k1Y1 + … + kmYm + k ==> Cor(Xi, Xk / Y1, …, Ym) = Cor(i, k) Pour un modèle factoriel : Les facteurs spécifiques sont non corrélés entre eux. Xi =  i1Y1 + … +  imYm + ei ==> Cor(Xi, Xk / Y1, …, Ym) = Cor(ei, ek) = 0 « Anti-image correlation » -aik : Si le modèle factoriel est vrai les aik = cor(Xi, Xk/ Autres X) sont faibles en valeur absolue.

51 Application Kendall

52 Kaiser-Meyer-Olkin Measure of Sampling Adequacy
Comparaison entre les corrélations rik et les corrélations partielles aik :

53 CONCLUSION (!!!!) … we find ourselves in sympathy with the growing group of statisticians who doubt if FA is worth using except in a few particular types of application. For example Hills (1977) has said that FA is not « worth the time necessary to understand it and carry it out ». He goes on to say that he regards FA as an « elaborate way of doing something which can only be crude, namely picking out clusters of inter-related variables, and then finding some sort of average of the variables in a cluster in spite of the fact that the variables may be measured on different scales. » C. Chatfield & A.J. Collins, 1980

54 10. Autres méthodes d’extraction des saturations
- Méthodes des facteurs principaux - Méthodes des moindres carrés - Méthodes des moindres carrés pondérés - Maximum de vraisemblance

55 10.1 La matrice des saturations
Modèle : Xi = i1Y1 + … + imYm ei Les ij sont les saturations (ou loadings) Matrice des saturations dans SPSS - Yj = Composantes principales réduites : Component Matrix - Yj orthogonaux : Factor Matrix - Yj corrélés : Pattern Matrix Si les Yj sont orthogonaux : ij = Cor(Xi, Yj). Si les Yj sont corrélés, les Cor(Xi, Yj) sont données dans la « Structure Matrix ».

56 10.2 Communauté et spécificité en AF orthogonale
Modèle : Xi = i1Y1 + … + imYm ei Décomposition de la variance : hi2 = communauté Var(ei) = spécificité Communauté initiale et finale : (option autre que l’ACP)

57 10.3 Qualité de la décomposition en AF orthogonale
Modèle : Xi = i1Y1 + … + imYm ei Décomposition de la variance : De On déduit : Variance expliquée par Y1 Variance expliquée par Ym Variance résiduelle Variance totale

58 10.4 Méthodes des facteurs principaux
Modèle : Xi = i1Y1 + … + imYm ei Utilisation des formules de décomposition :

59 Méthode des facteurs principaux Exemple p=3 et m=2
Algorithme itératif : on part des communautés initiales, on estime les saturations, puis on recalcule les communautés à l’aide des saturations. On itère jusqu’à convergence des communautés.

60 Application Kendall

61 Application Kendall Facteurs principaux Facteur principaux
+ rotation varimax ACP

62 Application Kendall

63 10.5 Méthode des moindres carrées

64 Application Kendall

65 10.6 Méthodes des moindres carrés généralisée
Modèle : Xi = i1Y1 + … + imYm ei, Var(ei) = i où et

66 10.7 Méthode du maximum de vraisemblance
Modèle : Xi = i1Y1 + … + imYm ei , Var(ei) = i Hypothèse : Les variables Xj suivent une loi multinormale de moyenne  et de matrice de covariance . Notations : S = matrice de covariances observée sur un échantillon de taille n matrice de covariance reconstituée par le modèle Maximisation : On recherche les saturations et les spécificités estimées maximisant le logarithme de la vraisemblance des données :

67 10.8 Test de validité du modèle à m facteurs
On rejette le modèle à m facteurs au risque  de se tromper si : Remarque :

68 Application aux données de Kendall
m = 4 m = 5 m = 6 Ce test est connu pour rejeter trop facilement le modèle.

69 11. Analyse Factorielle oblique
Les données p variables aléatoires X1,…, Xp, en général centrées-réduites. Le modèle X1 = 11Y1 + … + 1mYm + e1 . Xi = i1Y1 + … + imYm ei Xp = p1Y1 + … + pmYm + ep où : - Les facteurs communs Yj peuvent être corrélés entre eux. - Les facteurs spécifiques ei ,…, em sont tous non corrélés entre eux et avec les facteurs communs.

70 Le modèle X1 = 11Y1 + … + 1mYm + e1 . Xi = i1Y1 + … + imYm ei Xp = p1Y1 + … + pmYm + ep s’écrit aussi

71 Le modèle de l’analyse factorielle oblique :

72 12.3. Les méthodes de rotation oblique
Formule de décomposition (p = 3, m = 2) : où  = (T’T)-1 est une matrice de corrélation

73 Options SPSS Direct Oblimin Method
A method for oblique (nonorthogonal) rotation. When delta equals 0 (the default), solutions are most oblique. As delta becomes more negative, the factors become less oblique. To override the default delta of 0, enter a number less than or equal to -0.8. Promax Rotation An oblique rotation, which allows factors to be correlated. This rotation can be calculated more quickly than a direct oblimin rotation, so it is useful for large datasets.

74 Application aux données de Kendall
Matrice des corrélations  entre les facteurs

75 Matrice des saturations ih
Difficile à interpréter car les facteurs sont corrélées entre eux.

76 Matrice des Cor(Xi, Yj) Cette matrice est plus naturelle à interpréter.

77 Matrice des Cor(Xi, Yj) améliorée
Cette matrice est encore plus facile à interpréter.