Analyse discriminante Michel Tenenhaus

Les objectifs de l’analyse discriminante Étude d’un tableau IndividusVariables : Les individus sont décrits par p variables X1,…, Xp. Les individus sont répartis en k classes selon les modalités d’une variable qualitative Y. Rechercher des variables discriminantes Zh, combinaisons linéaires des Xj, non corrélées entre elles, et séparant au mieux les k classes (analyse factorielle discriminante). Affecter une nouvelle observation à une des classes en fonction de ses valeurs de X observées (analyse discriminante bayesienne).

Exemple : Qualité des vins de Bordeaux Variables observées sur 34 années (1924 - 1957) TEMPERATURE : Somme des températures moyennes journalières SOLEIL : Durée d’insolation CHALEUR : Nombre de jours de grande chaleur PLUIE : Hauteur des pluies QUALITE DU VIN : Bon (1), Moyen (2), Médiocre (3)

Les données

Analyse univariée Température

Analyse univariée Soleil

Analyse univariée Chaleur

Analyse univariée Pluie

Analyse factorielle discriminante Recherche de la première variable discriminante On recherche une première variable discriminante centrée séparant au mieux les k classes. On recherche des a1j conduisant à une variable Z1 ayant un F ou, de manière équivalente, un 2 maximum dans l’analyse de la variance de Z1 sur le facteur Y définissant les classes. On choisit comme normalisation une variance intra-classes de Z1 égale à 1.

Calcul des variables discriminantes sur les données d’origine Z1 = .009*Température + .007*Soleil - .027*Chaleur - .006*Pluie - 32.876

Normalisation Chaque X est centrée et normalisée par l’écart-type commun aux classes (racine-carrée du carré moyen intra-classes) :

Calcul des variables discriminantes sur les données normalisées Z1 = .750*X1 + .547*X2 - .198*X3 - .445*X4

Analyse de la variance de Z1 sur la qualité

Analyse factorielle discriminante Recherche de la deuxième variable discriminante On recherche une deuxième variable discriminante centrée et non corrélée à Z1 séparant au mieux les k classes. On recherche des a2j conduisant à une variable Z2 ayant un F ou, de manière équivalente, un 2 maximum dans l’analyse de la variance de Z2 sur le facteur Y définissant les classes. On choisit comme normalisation une variance intra-classes de Z2 égale à 1.

Analyse de la variance de Z2 sur la qualité

Les deux variables discriminantes

Le premier plan discriminant

Carte des qualités Territorial Map Les droites frontières Canonical Discriminant Function 2 -6.0 -4.0 -2.0 .0 2.0 4.0 6.0 ôòòòòòòòòòôòòòòòòòòòôòòòòòòòòòôòòòòòòòòòôòòòòòòòòòôòòòòòòòòòô 6.0 ô 31 ô ó 31 ó 4.0 ô ô ô 31 ô ô ô 2.0 ô ô ô 3221 ô ô ô ó 32 21 ó ó 32 21 ó ó 32 21 ó ó * 32 21 * ó .0 ô ô ô 32 ô 21 ô ô ô ó 32 21 ó ó 32 * 21 ó ó 32 21 ó ó 32 21 ó -2.0 ô ô ô 32 ô 21 ô ô ó 32 21 ó ó 32 21 ó ó 32 21 ó ó 32 21 ó -4.0 ô ô 32 ô ô 21 ô ô ó 32 21 ó ó 32 21 ó ó 32 21 ó ó 32 21 ó ó 32 21 ó -6.0 ô 32 21 ô Canonical Discriminant Function 1 Carte des qualités Symbols used in territorial map Symbol Group Label ------ ----- -------------------- 1 1 Bon 2 2 Moyen 3 3 Médiocre * Indicates a group centroid Les droites frontières sont les médiatrices des segments joignant les centres de gravité des groupes

Premier plan discriminant et carte des qualités Variable discriminante Z1 6 4 2 -2 -4 Variable discriminante Z2 3 1 -1 Qualité Group Centroids Médiocre Moyen Bon 34 33 32 31 30 29 28 27 26 25 24 23 22 21 20 19 18 17 16 15 14 13 12 11 10 9 8 7 5 Une nouvelle observation est classée dans le groupe pour lequel la distance entre l’observation et le centre du groupe est la plus faible.

Premier plan discriminant et territoire des qualités Pluie g * Z1 Z2 *A *B * g2 * g3 g2 * * * * g3 * * * * * * * * * g1 * * * Chaleur * * g1 * * * * * * Température Le premier plan discriminant contient les centres de gravité des groupes Affecter une observation A à la classe la plus proche (gh) est équivalent à affecter la projection B à la classe la plus proche.

Distance carrée au centre de gravité dans le plan (Z1,Z2)

Prévision de la qualité pour une nouvelle année (obs. 35) Pour le Bordeaux 1958 : - Température = 3 000 - Soleil = 1 100 - Chaleur = 20 - Pluie = 300 Prévoir sa qualité.

Prévision de la qualité pour une nouvelle année (obs. 35)

Prévision de la qualité pour une nouvelle année (obs. 35)

Résultats de l’analyse factorielle discriminante Z1 = Score prédictif de la qualité du vin construit à partir des variables météo.

Résultats de l’analyse factorielle discriminante

Résultats de l’analyse factorielle discriminante s = Nombre maximum de variables discriminantes = k-1 = Eta

Test en analyse factorielle discriminante (données multinormales) Test 1 through s (ici s=2) Test : H0 : 1 = … = s = 0 (au niveau de la population) H1 : au moins 1 > 0 Statistique : Wilks’ Lambda = (1-12)... (1-s2) Décision : On rejette H0 au risque  si

Test m through s Test : H0 : m = … = s = 0 (au niveau de la population) H1 : au moins m > 0 Statistique : Wilks’ Lambda = (1-m2)... (1-s2) Décision : On rejette H0 au risque  si

Corrélation intra-classes entre les X et les Z

Visualisation d’une corrélation intra-classes Z Z * * * * * * * * * * * * * Pluie Pluie Corrélation intra-classes négative Corrélation globale positive

Analyse discriminante bayesienne Hypothèses de base : 1) Données multinormales 2) Dispersion des données identiques dans chaque classe La probabilité qu’une observation provienne de la classe « Y = h » sachant que « X = x = (x1,…, xp) » peut s’écrire : avec des fonctions de classification gh(x) de la forme : gh(x) = bh0 + bh1X1+ … + bhpXp où les X sont les variables d’origine.

Les fonctions de classification gh(x) Elles sont calculées ici en supposant les 3 qualités a priori équiprobables :

Calcul des probabilités de chaque qualité pour chaque année

Qualité de la prévision

Validité de la qualité de la prévision évaluée par Jack-knife

Prévision de la qualité pour une nouvelle année Pour le Bordeaux 1958 : - Température = 3 000 - Soleil = 1 100 - Chaleur = 20 - Pluie = 300 Prévoir sa qualité.

Analyse discriminante bayesienne sur les variables discriminantes Z1, Z2 1. La prédiction de la qualité du vin à l’aide des territoires de qualité construits sur le plan discriminant (Z1, Z2) est équivalente à la prédiction de la qualité obtenue par analyse discriminante bayesienne des variables discriminantes (Z1, Z2). 2. L’analyse discriminante bayesienne des variables d’origine (X1,…,Xp) et l’analyse discriminante bayesienne des variables discriminantes (Z1, Z2) conduisent aux mêmes probabilités calculées des modalités de Y.

Analyse discriminante bayesienne sur les variables discriminantes Z1, Z2

Utilisation de la méthode de segmentation CART Y ordinale : le critère Ordered Twoing Segment t Effectif = nt Segment tdroit Effectif = ntdroit Segment tgauche Effectif = ntgauche X X = 0 X = 1

Règles d’arrêt : - Improvement min = 0.01 - Effectif segment parent < 25 - Effectif segment descendant < 1 Nb de groupes pour CV = 25

Crossvalidation (Documentation SPSS) Crossvalidation divides the sample into a number of subsamples, or folds. Tree models are then generated, excluding the data from each subsample in turn. The first tree is based on all of the cases except those in the first sample fold, the second tree is based on all of the cases except those in the second sample fold, and so on. For each tree, misclassification risk is estimated by applying the tree to the subsample excluded in generating it. You can specify a maximum of 25 sample folds. The higher the value, the fewer the number of cases excluded for each tree model. Crossvalidation produces a single, final tree model. The crossvalidated risk estimate for the final tree is calculated as the average of the risks for all of the trees.

Deuxième exemple : les races canines

Le tableau disjonctif complet xijl = 1 si l’individu i possède la modalité l de la variable j = 0 sinon

Analyse factorielle discriminante Y = Fonction X = variables indicatrices des caractéristiques physiques et psychiques des chiens

Premier plan discriminant 3 grand bleu de gascogne pointer dobermann levrier fox-hound epagneul français 2 setter basset 1 bull-mastiff mastiff epagneul breton terre-neuve dogue allemand labrador (chasse) boxer saint-bernard dalmatien (compagnie) berger allemand -1 colley beauceron fonction chihuahua pékinois utilité -2 caniche cocker teckel bull-dog chasse Z2 fox-terrier -3 compagnie -6 -4 -2 2 4 Z1

Variables discriminantes

Prévision de la fonction par calcul de la distance carrée entre chaque chien et les centre de gravité des classes dans le plan discriminant (Z1, Z2)

Analyse discriminante bayesienne (sur les données d’origine transformées en indicatrices) Problème : Appliquer une méthode supposant la normalité sur des données binaires !!!!

Prévision de la fonction d’un chien

Prévision de la fonction d’un chien