La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Apprentissage spectral Spectral learning S. D. Kamvar, D. Klein, C. D. Manning IJCAI-03, 2003.

Présentations similaires


Présentation au sujet: "Apprentissage spectral Spectral learning S. D. Kamvar, D. Klein, C. D. Manning IJCAI-03, 2003."— Transcription de la présentation:

1 Apprentissage spectral Spectral learning S. D. Kamvar, D. Klein, C. D. Manning IJCAI-03, 2003

2 Introduction Les algorithmes spectraux utilisent l'information contenue dans les vecteurs propres de la matrice d'affinité des données pour détecter des structures Applications : recherche d'information web, segmentation d'images, traitement de document, clustering, etc. Idée : développer des algorithmes spectraux pour l'apprentissage supervisé Adapter les méthodes "spectral clustering" à la classification (supervisée)

3 Algorithmes de spectral clustering Matrice d'affinité et Matrice de transition de Markov (probabilités) Pour 2 points x i et x j on associe la distance d(x i, x j ). On définit la matrice d'affinité A par : est un paramètre libre Les méthodes spectrales utilisent différentes normalisations : AlgorithmeNormalisationFormule MNCUTAsymétrieN = D -1 A NJWSymétrieN = D -1/2 AD -1/2 LSA*RienN = A SLNormaliséeN = (A + d max I – D)/d max D = diag{D ii } avec : d max = max(D ii ) *Latent Semantic Analysis

4 Sélection du paramètre libre sigma L'importance de la sélection du paramètre sigma est souvent négligée (L'auteur renvoie à NJW On spectral clustering: Analysis and an algorithm, NIPS 14, 2002) : K plus proches voisins distance moyenne plage de stabilité des résultats, etc.

5 Algorithme d'apprentissage spectral Représentation spectrale Former la matrice d'affinité Définir la matrice degré D Normaliser N = (A + d max I – D)/d max Chercher les k plus grands vecteurs propres : x 1,..., x k pour former la matrice X R Nxk Normaliser X pour avoir les lignes de module 1 Clustering Traiter chaque colonne comme un point dans R k. Classer dans l'espace spectral en k classes par k-means ou autre algorithme Affecter les points d'origine i à la classe j SSI la i ème colonne de X a été affectée à la classe j Classification Représenter chaque point i par sa colonne X i de X Classer les colonnes comme points dans R k par un classifieur supervisé avec labels Affecter chaque point i à la classe c à laquelle X i a été affectée.

6 Classification spectrale Comment intégrer les labels dans le graphe ? Les points non labellisés ont leurs poids % à leurs similarités donc leurs affinités comme en spectral clustering Pour chaque paire de points (i, j) qui sont issus de la même classe mettre : A ij = A ji = 1 Pour chaque paire de points (i, j) qui sont de classes différentes mettre : A ij = A ji = 0 Normaliser A : N = (A + d max I – D)/d max Lien avec Constrained Spectral Clustering : Les points sans labels ont leurs poids % à leurs similarités donc leurs affinités sont comme avant Must-links : 2 points de même classe (sans connaître le label) : A ij = A ji = 1 Cannot-links : 2 points de classes différentes : A ij = A ji = 0 Normaliser A : N = (A + d max I –D)/d max

7 Résultats


Télécharger ppt "Apprentissage spectral Spectral learning S. D. Kamvar, D. Klein, C. D. Manning IJCAI-03, 2003."

Présentations similaires


Annonces Google