Groupe Langues, Information et Représentations

Présentation au sujet: "Groupe Langues, Information et Représentations"— Transcription de la présentation:

1 Groupe Langues, Information et Représentations
Fouille de données dans les corpus de textes Classification supervisée : SVM Michèle Jardino Groupe Langues, Information et Représentations

2 SVM, Séparateurs à Vastes Marges,
Mes sources SVM, Support Vector Machines, Marti Hearst, Berkeley, "Using Very Large Corpora / Spelling Correction / Clustering" (une partie du cours 10) SVM, Séparateurs à Vastes Marges, Antoine Cornuéjols, Orsay

3 Plan Classification binaire généralités Perceptron
exemples et définition linéaire/non-linéaire séparable/non séparable Perceptron Séparateurs (classifieurs) à Vastes Marges Fonctions noyau

4 Généralités

5 Classification Binaire : exemples
Courrier électronique : filtrage des spams ( spam / non spam) Classification message (urgent / non urgent ) Recherche d'informations (correct / incorrect ) Classification émotions ( positive / négative ) Transformation de classifications multiples en classification binaire : 1 classe contre toutes les autres

6 Classification Binaire
Données : quelques éléments (textes) qui appartiennent à deux classes différentes classe 1 (+1 ) et classe 2 ( ) ou classe positive (+1 ) et classe negative ( ) Tâche : entrainer un classifieur sur ces données (dites d'apprentissage) puis prédire la classe d'un nouvel élément (nouveau texte) Géometriquement : trouver une séparation entre les deux classes

7 Séparation Linéaire / Non Linéaire
Données séparables linéairement : si tous les points associés aux données peuvent être séparés correctement par une frontière linéaire (hyperplan)

8 Données séparables linéairement
Frontière de décision linéaire Classe 1 Classe 2

9 Données non séparables linéairement
Classe 1 Classe 2

10 Données non séparables linéairement
Classe 1 Classe 2 Classifieur Non Linéaire

11 Algorithmes Séparation Linéaire / Non Linéaire
Données séparables Linéairement ou Non Linéairement ? réponse empirique Algorithmes Linéaires (algorithmes qui trouvent une frontière linéaire) Quand on pense que les données sont linéairement séparables Avantages Simples, peu de paramètres à régler Désavantages Données dans espace de grande dimension sont souvent non linéairement séparables Exemples d'algorithmes : Perceptron, SVM Note : on peut utiliser des algorithmes linéaires pour des problèmes non linéaires (voir fonctions noyau)

12 Algorithmes Séparation Linéaire / Non Linéaire
Non Linéaires Quand les données sont non linéairement séparables Avantages Plus précis Désavantages Plus compliqués, plus de paramètres à régler Exemple: méthodes à base de fonctions noyau Note: la distinction entre linéaire et non linéaire est valable pour la classification multi-classes

13 Algorithmes Linéaires Simples
Algorithme du Perceptron Linéaire Classification Binaire En ligne (apprentissage séquentiel, une donnée à la fois ) Apprentissage sur les erreurs Réseau de neurones à une couche

14 Algorithmes Linéaires Simples
Données : {(xi,yi)}i=1...n x dans Rd (x est un vecteur dans un espace de dimension d)  vecteur de traits y dans {-1,+1}  étiquette de la classe Question: Trouver une frontière linéaire : wx + b (equation de l'hyperplan) telle que la règle de classification associée donne une probabilité d'erreur minimale règle de classification (décision): y = signe (w x + b) qui signifie : si wx + b > 0 alors y = +1 si wx + b < 0 alors y = -1 From Gert Lanckriet, Statistical Learning Theory Tutorial

15 Classification Binaire Linéaire
Trouver un hyperplan (w,b) dans Rd+1 qui classe aussi bien que possible les données (points) Progressivement : un point à la fois, en modifiant les poids si nécessaire wx + b = 0 Règle de Classification : y = signe(wx + b) From Gert Lanckriet, Statistical Learning Theory Tutorial

16 Perceptron

17 Algorithme du Perceptron
Initialisation : w1 = 0 Mise à jour des poids Pour chaque point x Si classe(x) != decision(x,w) alors wk+1  wk + yixi k  k + 1 sinon wk+1  wk Fonction de decision(x, w) Si wx + b > 0 retourne +1 Sinon retourne -1 wk+1 Wk+1 x + b = 0 wk +1 -1 wk x + b = 0 From Gert Lanckriet, Statistical Learning Theory Tutorial

18 Algorithme du Perceptron
Progressif : s'adapte toujours aux nouvelles données Avantages Simple et efficace Garantie d'apprendre un problème linéairement séparable (convergence, optimum global) Limitations Seulement séparations linéaires Converge seulement pour données séparables Pas très efficace dès qu'il y a trop de traits From Gert Lanckriet, Statistical Learning Theory Tutorial

19 Séparateur (classifieur) à vaste marge

20 Classifieur à Vaste Marge
Une autre famille d'algorithmes linéaires Intuition (Vapnik, 1965) Si les classes sont linéairement séparables : Séparer les données Mettre un hyper-plan “loin” des données : marge large résultats statistiques garantis bonne généralisation MAUVAIS From Gert Lanckriet, Statistical Learning Theory Tutorial

21 Classifieur à Vaste Marge
Une autre famille d'algorithmes linéaires Intuition (Vapnik, 1965) Si les classes sont linéairement séparables : Séparer les données Mettre un hyper-plan “loin” des données : marge large résultats statistiques garantis bonne généralisation BON  Classifieur à Marge Maximale From Gert Lanckriet, Statistical Learning Theory Tutorial

22 Classifieur à Vaste Marge
Si non séparable linéairement Permettre quelques erreurs Essayer encore de placer un hyperplan “loin” de chaque classe From Gert Lanckriet, Statistical Learning Theory Tutorial

23 Classifieurs à Vaste Marge
Avantages Meilleur théoriquement (barres d'erreurs mieux connues) Limitations Calculs plus coûteux, programmation quadratique

24 Vecteurs Support M Classifieur Vaste Marge Cas Linéairement séparable
wTxa + b = 1 wTxb + b = -1 Vecteurs Support M Classifieur Vaste Marge Cas Linéairement séparable But : trouver l' hyperplan qui maximise la marge wT x + b = 0 From Gert Lanckriet, Statistical Learning Theory Tutorial

25 Hyperplan de plus vaste marge

26 Optimisation de la marge

27 Optimisation de la marge
La distance d’un point à l’hyperplan est : L’hyperplan optimal est celui pour lequel la distance aux points les plus proches est maximale. La marge entre les deux classes vaut Maximiser la marge revient donc à minimiser ||w|| sous contraintes: (w.x1) + b = +1 (w.x2) + b = -1 Donc : (w.(x1 - x2)) = 2 D’où : (w/||w|| . (x1 - x2)) = 2/||w||

28 SVMs : un problème d’optimisation quadratique
EXPRESSION PRIMAIRE Il faut donc déterminer w et b minimisant : (afin de maximiser le pouvoir de généralisation) sous les contraintes (hyperplan séparateur) :

29 Résolution de la forme primaire du problème
d : dimension de l’espace d’entrée Il faut régler d + 1 paramètres Possible quand d est assez petit avec des méthodes d'optimisation quadratique Impossible quand d est grand (> qqs 103)

30 Transformation du problème d’optimisation
Méthode des multiplicateurs de Lagrange Problème dual EXPRESSION DUALE

31 Propriétés de la forme duale
La conversion est possible car les fonctions de coût et les contraintes sont strictement convexes (Th. de Kuhn-Tucker) La complexité du problème d'optimisation est µ n (taille de l'échantillon d'apprentissage) et non µ d ( taille de l'espace d'entrée X ) Possible d'obtenir des solutions pour des problèmes impliquant ≈ 105 exemples

32 Solution du problème d’optimisation
* : estimé (xS,yS) étant n'importe quel point de support Propriété1 : seuls les i correspondant aux points les plus proches sont non-nuls. On parle de points de support (exemples critiques). Propriété 2 : seuls interviennent les produits scalaires entre les observations x dans le problème d’optimisation. Dans les problèmes réels traités, généralement seul un petit pourcentage des exemples d’apprentissage deviennent des vecteurs de support, et donc le problème d’optimisation peut être traité avec des méthodes standard d’optimisation quadratique.

33 Problème Non Linéaire

34 Problèmes non linéairement séparables dans X
La majorité des problèmes !!! Idée : Si on projette dans un espace de redescription de très grande dimension ?? Presque toujours le problème devient linéairement séparable Mais : Fléau de la dimensionalité dVC explose !!?

35 Problème Non Linéaire

36 Problème Non Linéaire

37 Problème Non Linéaire Fonctions noyau
Une famille d'algorithms non linéaires Transforme un problème non linéaire en un problème linéaire (dans un espace de traits différents) Utilise algorithmes linéaires pour résoudre un problème linéaire dans le nouvel espace From Gert Lanckriet, Statistical Learning Theory Tutorial

38 Intuition principale des fonctions noyau
66 pièces de Corneille et Molière dans espace des 25 étiquettes grammaticales => mieux séparées dans espace des similarités entre pièces (dimension 66)

39 Principe de méthodes à base de fonctions noyau
 : Rd  RD (D >> d) f(x) = signe(w1x2+w2z2+w3xz +b) wT(x)+b=0 (X)=[x2 z2 xz] X=[x z] From Gert Lanckriet, Statistical Learning Theory Tutorial

40 Principe de base méthodes noyaux
On peut utiliser les algorithmes linéaires vus auparavant (Perceptron, SVM) pour la classification dans un espace de plus grande dimension

41 Le nouveau problème d’optimisation
Soit  : X -> (X), on peut remplacer partout x par (x) Si  est bien choisie, K(x, x’) = (x).(x’) peut être facile à calculer et le problème devient :

42 Solution du nouveau problème d’optimisation
La fonction de décision devient : Soit dans la forme duale : n : nb de fcts de base (peut être très grand) mS : nb de points de support

43 Schéma de fonctionnement des SVMs

44 Les conditions de Mercer
Si on prend une fonction K symétrique, il existe une fonction  : ssi, pour toute fonction f telle que : l’on a : Si cette condition est vérifiée, on peut appliquer les SVMs MAIS cela ne dit pas comment construire  Toute fonction symétrique K satisfaisant la condition de Mercer correspond à un produit scalaire dans un certain espace. (D’après la théorie de Hilbert-Schmidt sur les produits internes dans les espaces de Hilbert) Donc, si je trouve une telle fonction K, je peux implicitement réaliser un produit scalaire dans un espace que je ne connais pas (que je n’ai pas besoin de connaître) et qui peut être de très grande dimension voire de dimension infinie. J’ai donc alors une chance de trouver une séparatrice linéaire dans cet espace.

45 Fonctions noyau usuelles (1/2)
Polynomiale : Les polynomes de degré q ont pour fonction noyau associée : RBF : Les fcts à base radiale : ont pour fct noyau associée : Sigmoïde : Les réseaux de neurones à fcts d'activation : Rq : les fonctions tanh ne vérifient pas les conditions de Mercer (cf. Thèse d’André Elisseeff, p.23) mais sont largement utilisés car ils permettent de retrouver la structure des réseaux de neurones.

46 Les fonctions noyau … encodent :
Une mesure de similarité sur les données La forme fonctionnelle des fonctions de décision Le type de régularisation réalisée (ex : les fcts gaussiennes favorisent les solutions régulières) Le type de covariance dans l’espace des entrées (ex : fcts noyau invariantes par rotation) Sorte de distribution de probabilité a priori sur l’espace des hypothèses

47 Cas du problème non séparable : marges douces
On introduit des variables “ressort” qui pénalisent l’erreur commise : Le problème dual a la même forme à l’exception d’une constante C • La résolution du problème d’optimisation, de même que sa solution, ne dépendent que de produits scalaires dans l’espace d’entrée

48 Réalisations

49 La mise en pratique Il faut choisir : Le type de fonction noyau K
Sa forme Ses paramètres La valeur de la constante C La sélection rigoureuse de ces paramètres exige une estimation de la dimension de Vapnik-Chervonenkis et l’application de la borne de généralisation  Dans le cas séparable, il est possible de déterminer ces paramètres Dans le cas non séparable, il faut tester avec des méthodes empiriques pour faire le meilleur choix Voir [Cherkassky,98, p.108] pour ces expressions dans le cas de la classification

50 Exemple : données d'apprentissage

51 Effet des paramètres de contrôle
Apprentissage de deux classes exemples tirés uniformément sur l'échiquier SVM à fonctions noyau gaussienne Ici deux valeurs de s En haut : petite valeur En bas : grande valeur Les gros points sont des exemples critiques Plus en haut qu'en bas Dans les deux cas : Remp = 0 D'après [Cristianini & Shawe-Taylor, 2000] p.102 D'après ["Advances in kernel methods", p ] : avec 1000 points répartis uniformément sur l'échiquier. Souvent un bon choix pour sigma est la distance minimale entre points de classes différentes [Cristianini & Shawe-Taylor, book, p.149]

52 Paramètres de contrôle : les fonctions noyau
47 exemples (22 +, 25 -) Exemples critiques : 4 + et 3 - Ici fonction polynomiale de degré 5 et C = 10000

53 Paramètres de contrôle : les fonctions noyau
(5-, 4+) (3-, 4+) (5-, 4+) 47 exemples (22 +, 25 -) Exemples critiques : 4 + et 3 - Ici fonction polynomiale de degré 2, 5, 8 et C = 10000 (10-, 11+) (8-, 6+) (4-, 5+) Ici fonction Gaussienne de s = 2, 5, 10, 20 et C = 10000

54 Ajout de quelques points ...
exemples (30 +, 25 -) Exemples critiques : 5 + et 8 - Ici fonction polynomiale de degré 5 et C = 10000

55 Exemples à voir sur : Démo : http://svm.research.bell-labs.com/

56 Domaines d’application des SVMs
Traitement d’images Reconnaissance de caractères manuscrits Reconnaissance de scènes naturelles Reconnaissance de visages Entrées : image bidimensionnelle en couleur ou en niveaux de gris Sortie : classe (chiffre / personne)

57 Domaines d’application des SVMs
Catégorisation de textes Classification d’ s Classification de pages web Entrées : document (texte ou html) Approche « sac de mots » Document = vecteur de mots (lemmatisés pondérés par tf-idf) Sortie : catégorie (thème, spam/non-spam) Noyau : Produit scalaire des vecteurs C = ¥ (marge dure)

58 Domaines d’application des SVMs
Diagnostic médical Évaluation du risque de cancer Détection d’arythmie cardiaque Évaluation du risque d’accidents cardio-vasculaires à moins de 6 ans Entrées : état du patient (sexe, age, bilan sanguin, …) Sortie : Classe : à risque ou non Probabilité d’accident à échéance donnée

59 Domaines d’application des SVMs
Étude de séquences en bio-informatique Biologie structurale prédictive (prédiction de structure secondaire du génome) Identification de régions codantes de l’ADN génomique Phylogénie … Entrées : chaînes d’acides aminées Sortie : Structure secondaire Intron / exon Ancêtre Noyau relationnel : Modèle génératif (chaînes de Markov : insertion, délétion, remplacement, …)

60 Implémentation des SVMs
Minimisation de fonctions différentiables convexes à plusieurs variables Pas d’optima locaux Mais : Problèmes de stockage de la matrice noyau (si milliers d’exemples) Long dans ce cas D’où mise au point de méthodes spécifiques Gradient sophistiqué Méthodes itératives, optimisation par morceaux Plusieurs packages publics disponibles mySVM SVMTorch SVMLight SMO …

61 Pourquoi ça marche ? La marge est liée à la capacité en généralisation
Normalement, la classe des hyperplans de Rd est de dH = d + 1 Mais la classe des hyperplans de marge est bornée par : dH ≤ Min (R2 c, d) + 1 où R est le rayon de la plus petite sphère englobant l'échantillon d'apprentissage S Peut être beaucoup plus petit que la dimension d de l'espace d'entrée X [Scholkopf et al., "Advances in kernel methods", p.32] [Vapnik,95,p.128]

62 Bilan SVMs très utilisés
Méthode générale Facile d’emploi Résultats en général équivalents et souvent meilleurs Stimulent tout un ensemble de travaux sur des méthodes à base de noyaux (kernel-based methods) Limites Problèmes i.i.d. (données indépendantes et identiquement distribuées)

63 Sources documentaires
Ouvrages / articles Cornuéjols & Miclet (02) : Apprentisage artificiel. Concepts et algorithmes. Eyrolles, 2002. Cristianini & Shawe-Taylor (00) : Support Vector Machines and other kernel-based learning methods. Cambridge University Press, 2000. Herbrich (02) : Learning kernel classifiers. MIT Press, 2002. Schölkopf, Burges & Smola (eds) (98) : Advances in Kernel Methods : Support Vector Learning. MIT Press, 1998. Schölkopf & Smola (02) : Learning with kernels. MIT Press, 2002. Smola, Bartlett, Schölkopf & Schuurmans (00) : Advances in large margin classifiers. MIT Press, 2000. Vapnik (95) : The nature of statistical learning. Springer-Verlag, 1995. Sites web (point d’entrée) (point d’entrée)