Analyse discriminante

Présentation au sujet: "Analyse discriminante"— Transcription de la présentation:

1 Analyse discriminante
Michel Tenenhaus

2 Les objectifs de l’analyse discriminante
Étude d’un tableau IndividusVariables : Les individus sont décrits par p variables X1,…, Xp. Les individus sont répartis en k classes selon les modalités d’une variable qualitative Y. Rechercher des variables discriminantes Zh, combinaisons linéaires des Xj, non corrélées entre elles, et séparant au mieux les k classes (analyse factorielle discriminante). Affecter une nouvelle observation à une des classes en fonction de ses valeurs de X observées (analyse discriminante bayesienne).

3 Exemple : Qualité des vins de Bordeaux
Variables observées sur 34 années ( ) TEMPERATURE : Somme des températures moyennes journalières SOLEIL : Durée d’insolation CHALEUR : Nombre de jours de grande chaleur PLUIE : Hauteur des pluies QUALITE DU VIN : Bon (1), Moyen (2), Médiocre (3)

4 Les données

5 Analyse univariée Température

6 Analyse univariée Soleil

7 Analyse univariée Chaleur

8 Analyse univariée Pluie

9 Analyse factorielle discriminante Recherche de la première variable discriminante
On recherche une première variable discriminante centrée séparant au mieux les k classes. On recherche des a1j conduisant à une variable Z1 ayant un F ou, de manière équivalente, un 2 maximum dans l’analyse de la variance de Z1 sur le facteur Y définissant les classes. On choisit comme normalisation une variance intra-classes de Z1 égale à 1.

10 Calcul des variables discriminantes sur les données d’origine
Z1 = .009*Température *Soleil *Chaleur - .006*Pluie

11 Normalisation Chaque X est centrée et normalisée par l’écart-type
commun aux classes (racine-carrée du carré moyen intra-classes) :

12 Calcul des variables discriminantes sur les données normalisées
Z1 = .750*X *X *X *X4

13 Analyse de la variance de Z1 sur la qualité

14 Analyse factorielle discriminante Recherche de la deuxième variable discriminante
On recherche une deuxième variable discriminante centrée et non corrélée à Z1 séparant au mieux les k classes. On recherche des a2j conduisant à une variable Z2 ayant un F ou, de manière équivalente, un 2 maximum dans l’analyse de la variance de Z2 sur le facteur Y définissant les classes. On choisit comme normalisation une variance intra-classes de Z2 égale à 1.

15 Analyse de la variance de Z2 sur la qualité

16 Les deux variables discriminantes

17 Le premier plan discriminant

18 Carte des qualités Territorial Map Les droites frontières
Canonical Discriminant Function 2 ôòòòòòòòòòôòòòòòòòòòôòòòòòòòòòôòòòòòòòòòôòòòòòòòòòôòòòòòòòòòô 6.0 ô ô ó ó 4.0 ô ô ô ô ô ô 2.0 ô ô ô ô ô ô ó ó ó ó ó ó ó * * ó .0 ô ô ô ô ô ô ô ó ó ó * ó ó ó ó ó -2.0 ô ô ô ô ô ô ó ó ó ó ó ó ó ó -4.0 ô ô ô ô ô ô ó ó ó ó ó ó ó ó ó ó -6.0 ô ô Canonical Discriminant Function 1 Carte des qualités Symbols used in territorial map Symbol Group Label Bon Moyen Médiocre * Indicates a group centroid Les droites frontières sont les médiatrices des segments joignant les centres de gravité des groupes

19 Premier plan discriminant et carte des qualités
Variable discriminante Z1 6 4 2 -2 -4 Variable discriminante Z2 3 1 -1 Qualité Group Centroids Médiocre Moyen Bon 34 33 32 31 30 29 28 27 26 25 24 23 22 21 20 19 18 17 16 15 14 13 12 11 10 9 8 7 5 Une nouvelle observation est classée dans le groupe pour lequel la distance entre l’observation et le centre du groupe est la plus faible.

20 Premier plan discriminant et territoire des qualités
Pluie g * Z1 Z2 *A *B * g2 * g3 g2 * * * * g3 * * * * * * * * * g1 * * * Chaleur * * g1 * * * * * * Température Le premier plan discriminant contient les centres de gravité des groupes Affecter une observation A à la classe la plus proche (gh) est équivalent à affecter la projection B à la classe la plus proche.

21 Distance carrée au centre de gravité dans le plan (Z1,Z2)

22 Prévision de la qualité pour une nouvelle année (obs. 35)
Pour le Bordeaux 1958 : - Température = 3 000 - Soleil = 1 100 - Chaleur = 20 - Pluie = 300 Prévoir sa qualité.

23 Prévision de la qualité pour une nouvelle année (obs. 35)

24 Prévision de la qualité pour une nouvelle année (obs. 35)

25 Résultats de l’analyse factorielle discriminante
Z1 = Score prédictif de la qualité du vin construit à partir des variables météo.

26 Résultats de l’analyse factorielle discriminante

27 Résultats de l’analyse factorielle discriminante
s = Nombre maximum de variables discriminantes = k-1 = Eta

28 Test en analyse factorielle discriminante (données multinormales)
Test 1 through s (ici s=2) Test : H0 : 1 = … = s = 0 (au niveau de la population) H1 : au moins 1 > 0 Statistique : Wilks’ Lambda = (1-12)... (1-s2) Décision : On rejette H0 au risque  si

29 Test m through s Test : H0 : m = … = s = 0 (au niveau de la population) H1 : au moins m > 0 Statistique : Wilks’ Lambda = (1-m2)... (1-s2) Décision : On rejette H0 au risque  si

30 Corrélation intra-classes entre les X et les Z

31 Visualisation d’une corrélation intra-classes
Z Z * * * * * * * * * * * * * Pluie Pluie Corrélation intra-classes négative Corrélation globale positive

32 Analyse discriminante bayesienne
Hypothèses de base : 1) Données multinormales 2) Dispersion des données identiques dans chaque classe La probabilité qu’une observation provienne de la classe « Y = h » sachant que « X = x = (x1,…, xp) » peut s’écrire : avec des fonctions de classification gh(x) de la forme : gh(x) = bh0 + bh1X1+ … + bhpXp où les X sont les variables d’origine.

33 Les fonctions de classification gh(x)
Elles sont calculées ici en supposant les 3 qualités a priori équiprobables :

34 Calcul des probabilités de chaque qualité pour chaque année

35 Qualité de la prévision

36 Validité de la qualité de la prévision évaluée par Jack-knife

37 Prévision de la qualité pour une nouvelle année
Pour le Bordeaux 1958 : - Température = 3 000 - Soleil = 1 100 - Chaleur = 20 - Pluie = 300 Prévoir sa qualité.

38 Analyse discriminante bayesienne sur les variables discriminantes Z1, Z2
1. La prédiction de la qualité du vin à l’aide des territoires de qualité construits sur le plan discriminant (Z1, Z2) est équivalente à la prédiction de la qualité obtenue par analyse discriminante bayesienne des variables discriminantes (Z1, Z2). 2. L’analyse discriminante bayesienne des variables d’origine (X1,…,Xp) et l’analyse discriminante bayesienne des variables discriminantes (Z1, Z2) conduisent aux mêmes probabilités calculées des modalités de Y.

39 Analyse discriminante bayesienne sur les variables discriminantes Z1, Z2

40 Utilisation de la méthode de segmentation CART Y ordinale : le critère Ordered Twoing
Segment t Effectif = nt Segment tdroit Effectif = ntdroit Segment tgauche Effectif = ntgauche X X = 0 X = 1

41 Règles d’arrêt : - Improvement min = 0.01 - Effectif segment parent < 25 - Effectif segment descendant < 1 Nb de groupes pour CV = 25

42 Crossvalidation (Documentation SPSS)
Crossvalidation divides the sample into a number of subsamples, or folds. Tree models are then generated, excluding the data from each subsample in turn. The first tree is based on all of the cases except those in the first sample fold, the second tree is based on all of the cases except those in the second sample fold, and so on. For each tree, misclassification risk is estimated by applying the tree to the subsample excluded in generating it. You can specify a maximum of 25 sample folds. The higher the value, the fewer the number of cases excluded for each tree model. Crossvalidation produces a single, final tree model. The crossvalidated risk estimate for the final tree is calculated as the average of the risks for all of the trees.

43 Deuxième exemple : les races canines

44 Le tableau disjonctif complet
xijl = si l’individu i possède la modalité l de la variable j = sinon

45 Analyse factorielle discriminante
Y = Fonction X = variables indicatrices des caractéristiques physiques et psychiques des chiens

46 Premier plan discriminant
3 grand bleu de gascogne pointer dobermann levrier fox-hound epagneul français 2 setter basset 1 bull-mastiff mastiff epagneul breton terre-neuve dogue allemand labrador (chasse) boxer saint-bernard dalmatien (compagnie) berger allemand -1 colley beauceron fonction chihuahua pékinois utilité -2 caniche cocker teckel bull-dog chasse Z2 fox-terrier -3 compagnie -6 -4 -2 2 4 Z1

47 Variables discriminantes

48 Prévision de la fonction par calcul de la distance carrée entre chaque chien et les centre de gravité des classes dans le plan discriminant (Z1, Z2)

49 Analyse discriminante bayesienne (sur les données d’origine transformées en indicatrices)
Problème : Appliquer une méthode supposant la normalité sur des données binaires !!!!

50 Prévision de la fonction d’un chien

51 Prévision de la fonction d’un chien