1 Réunion biblio 13/12/00 Support Vectors Présentation générale SSS Maintaining Algorithm

Réunion biblio 13/12/00

Problème quadratique sous contraintes On considère léchantillon : Le problème est de trouver (w, b) minimisant w.w, sous contraintes : La fonction de classification :

Réunion biblio 13/12/00 Transformation lagrangienne Le problème devient :Minimiser : Sous contraintes :

Réunion biblio 13/12/00 Espaces déployés Exemple :

Réunion biblio 13/12/00

Ensembles non linéairement séparables Introduction de variables permettant denfreindre les contraintes : Minimiser : Sous contraintes : Equivalent à :

Réunion biblio 13/12/00

Théorie de la généralisation Lorsquon arrive à séparer un ensemble de points (provenant dune distribution à support fini K) par une séparation linéaire avec une marge, alors, on peut borner la probabilité que lerreur en généralisation soit supérieure à, indépendamment de la dimension de lespace.

Réunion biblio 13/12/00 Remarques Pas dalgorithme qui calcule directement la support vector machine (approximations successives de type gradient) La minimisation est faite dans un espace de dimension souvent très grande (la taille de léchantillon), avec un grand nombre de contraintes

Réunion biblio 13/12/00 Interprétation géométrique recherche du point dun polyèdre convexe, le plus proche de laxe des b. Contraintes Espace (w, b) axe b

Réunion biblio 13/12/00 Mmcs(V) On considère lintersection de sous-ensembles de contraintes (facette du polyèdre), et on calcule directement le point le plus proche de laxe b. Pour cela, nécessaire de faire une projection orthogonale de laxe b sur la facette. Pour ce faire, on utilise une base orthogonale définie à partir des normales aux contraintes. On appelle mmcs(V) (max. marg. Classifier supported by V) la fonction de classification obtenue

Réunion biblio 13/12/00 Self Supporting Set Equivalence entre : pas de contrainte inutile, et « self supporting set » (SSS)

Réunion biblio 13/12/00 Caractérisation dun SSS Si on enlève lun des points, alors le mmcs associé au nouvel ensemble donne une marge inférieure à 1 pour le point enlevé Nécessité de maintenir autant de bases orthogonales quil y a de contraintes dans lensemble.

Réunion biblio 13/12/00

Extension à un espace déployé Il faut exprimer les vecteurs de base à partir des vecteurs initiaux (et non de la base déployée) Cela permet de traiter le cas non séparable avec une norme 2 pour les variables de dépassement.

Réunion biblio 13/12/00 Conclusion Très efficace lorsque le nombre de support vectors est petit. Dès quon atteint une centaine, beaucoup de temps de calcul et de place mémoire (en degré 4) du nombre de sv. Pistes possibles pour éviter de maintenir lensemble des bases (élimination systématique de la moitié des vecteurs considérés).