Apprentissage et Fouille de Données

Présentation au sujet: "Apprentissage et Fouille de Données"— Transcription de la présentation:

1 Apprentissage et Fouille de Données
Locality Sensitive Discriminant Analysis Deng Cai, Xiaofei He, Kun Zhou, Jiawei Han, Hujun Bao Christophe Prin-Derre Apprentissage et Fouille de Données - 7/3/2007

2 Apprentissage et Fouille de Données - 7/3/2007
Présentation Réduction de la dimension Apprentissage supervisé Critère d’optimisation Discrimination interclasse (globale) Découverte géométrie locale Plus importante si peu d’exemple Projection maximisant la marge interclasse dans chaque zone locale. Apprentissage et Fouille de Données - 7/3/2007

3 Apprentissage et Fouille de Données - 7/3/2007
Plan de l’étude Contexte et travaux apparentés Démarche Fonction objectif Justification algorithmique Cas fortement non-linéaire Résultats expérimentaux Conclusion Avis personnel Apprentissage et Fouille de Données - 7/3/2007

4 Contexte et travaux apparentés
Réduction dimension : extraire un petit nombre de caractéristiques intéressantes PCA (non-supervisé) LDA (supervisé) argmaxa aTSba / aTSwa + grandes valeurs propres de Sba = λSwa Découverte de la structure locale d’une Variété non/semi/-/supervisé -> graphes Laplacien de graphes -> tranformation Importance relative interclasse/intraclasse Apprentissage et Fouille de Données - 7/3/2007

5 Démarche Fonction objectif
k plus proches voisins, Nw(xi), Nb(xi) Matrices de poids Wb et Ww W = Wb + Ww (x1…xm) -> (y1…ym) Min Σij(yi-yj)² Ww,ij Max Σij(yi-yj)² Wb,ij Apprentissage et Fouille de Données - 7/3/2007

6 Démarche Justification algorithmique
Lb = Db - Wb argmaxa aTX(αLb+(1-α)Ww)XTSwa aTXDwXTa = 1 Pb généralisé de valeurs propres Apprentissage et Fouille de Données - 7/3/2007

7 Démarche Cas fortement non-linéaire
LSDA = algorithme linéaire Pb si Variété formée fortement non-linéaire Passage dans un espace «reproducing kernel hilbert space», RKHS. Introduction de Fonction de noyau entre 2 points Matrice de noyau Apprentissage et Fouille de Données - 7/3/2007

8 Résultats expérimentaux
2 problèmes de reconnaissance des visages : bases Yale (15x11) et ORL (40x10) LSDA comparé aux algorithmes Eigenface (PCA) Fisherface (LDA) Marginal Fisher Analysis Conclusions tirées Intérêt de la réduction : tous sauf Eigenface LSDA = meilleur taux. Différence significative avec peu de données d’apprentissage Dimension optimale pour LSDA = nbclasses – 1 Temps gagné : pas de test exhaustif Apprentissage et Fouille de Données - 7/3/2007

9 Apprentissage et Fouille de Données - 7/3/2007
Conclusion Principal intérêt de LSDA = préservation dans les données de la discrimination entre classe de la structure géométrique locale Les 2 expériences menées tendent à prouver l’efficacité de cet algorithme Apprentissage et Fouille de Données - 7/3/2007

10 Apprentissage et Fouille de Données - 7/3/2007
Avis personnel analyse des faiblesses de LDA concepts tirés d’un large panel d’articles Les graphes des plus proches voisins ainsi que le critère à optimiser sont présentés de façon claire et compréhensible Généralisation aux espaces fortement non linéaires expériences discutables peu de données autres algorithmes ont apparemment de nombreuses applications Apprentissage et Fouille de Données - 7/3/2007