Estimation fonctionnelle à l’aide de S.V.M. Stéphane Canu et Jean Pierre Yvon I.N.S.A. - P.S.I. I.N.S.A. - Rennes je ne savais pas, en ce mois de mars 88 lorsque je suis allé à toulouse que ce voyage alait m’enmener des reseaux de neurones à la regression flexible http://lmrserv.insa-rouen.fr/~scanu/
SVM radiales
Plan discrimination linéaire : cas séparable discrimination linéaire : cas non séparable discrimination quadratique SVM radiales le principe les 3 hyper-paramètres de régularisation résultats sur les données du verre et les voyelles les cas de la régression
Séparateur linéaire et vecteurs support
Classification linéaire - le cas séparable tout le monde est bien classé
Classification linéaire - le cas séparable si (w,b) vérifie les contraintes, (w,b) les vérifie aussi... solution : = w = b = 0 !
Classification linéaire - le cas séparable
Classification linéaire le cas séparable
Classification linéaire le cas séparable Solution sans contraintes : = H c = H c
Intégration des contraintes d’égalité = H c y
intégration des contraintes d’inégalité QP tantque () ne vérifient pas les conditions d’optimalité = M-1 b -- et = - H + c + y si <0, on bloque une contrainte : (i=0) (on élimine une variable active) sinon si < 0, on relâche une contrainte
intégration des contraintes d’inégalité méthode de projection K old inter p = new d = inter - old pas = maxt(old + t d) new = old + pas d Elimination de la variable correspondante
QP cout c n nsup | 261005058814895070574856.00 | .0000 | 26 | 0 | | 194939116871534780612608.00 | 1.0000 | 25 | 0 | | 110019596154171838955520.00 | 0.4356 | 24 | 0 | | 88358862460729828573184.00 | 0.1969 | 23 | 0 | | 71151016412325076795392.00 | 0.1947 | 22 | 0 | | 56003513679909656461312.00 | 0.2129 | 21 | 0 | | 55819981005512968765440.00 | 0.0033 | 20 | 0 | | 44583105067502866006016.00 | 0.2013 | 19 | 0 | | 31615241636448881868800.00 | 0.2909 | 18 | 0 | | 21218279020274743508992.00 | 0.3289 | 17 | 0 | | 19084950794938764754944.00 | 0.1005 | 16 | 0 | | 14380614266958737571840.00 | 0.2465 | 15 | 0 | | 7848051989518469824512.00 | 0.4543 | 14 | 0 | | 6852649635269213945856.00 | 0.1268 | 13 | 0 | | 4673181567527996620800.00 | 0.3180 | 12 | 0 | | 2141655770477192806400.00 | 0.5417 | 11 | 0 | | 1631805205937215766528.00 | 0.2381 | 10 | 0 | | 1084347323770412072960.00 | 0.3355 | 9 | 0 | | 719861526521765953536.00 | 0.3361 | 8 | 0 | | 274946486191722430464.00 | 0.6181 | 7 | 0 | | 154416549699376906240.00 | 0.4384 | 6 | 0 | | 103163619191421173760.00 | 0.3319 | 5 | 0 | | 74124424279131422720.00 | 0.2815 | 4 | 0 | | 24047909701493104640.00 | 0.6756 | 3 | 0 | nombre de vecteurs support 3
Lent Rapide QP cout c n nsup | 261005058814895070574856.00 | .0000 | 26 | 0 | | 194939116871534780612608.00 | 1.0000 | 25 | 0 | | 110019596154171838955520.00 | 0.4356 | 24 | 0 | | 88358862460729828573184.00 | 0.1969 | 23 | 0 | | 71151016412325076795392.00 | 0.1947 | 22 | 0 | | 56003513679909656461312.00 | 0.2129 | 21 | 0 | | 55819981005512968765440.00 | 0.0033 | 20 | 0 | | 44583105067502866006016.00 | 0.2013 | 19 | 0 | | 31615241636448881868800.00 | 0.2909 | 18 | 0 | | 21218279020274743508992.00 | 0.3289 | 17 | 0 | | 19084950794938764754944.00 | 0.1005 | 16 | 0 | | 14380614266958737571840.00 | 0.2465 | 15 | 0 | | 7848051989518469824512.00 | 0.4543 | 14 | 0 | | 6852649635269213945856.00 | 0.1268 | 13 | 0 | | 4673181567527996620800.00 | 0.3180 | 12 | 0 | | 2141655770477192806400.00 | 0.5417 | 11 | 0 | | 1631805205937215766528.00 | 0.2381 | 10 | 0 | | 1084347323770412072960.00 | 0.3355 | 9 | 0 | | 719861526521765953536.00 | 0.3361 | 8 | 0 | | 274946486191722430464.00 | 0.6181 | 7 | 0 | | 154416549699376906240.00 | 0.4384 | 6 | 0 | | 103163619191421173760.00 | 0.3319 | 5 | 0 | | 74124424279131422720.00 | 0.2815 | 4 | 0 | | 24047909701493104640.00 | 0.6756 | 3 | 0 | nombre de vecteurs support 3 Lent Rapide
Cas non séparable Il doit y avoir des mals classés
Classification linéaire : le cas non séparable
QP cout c n nsup | 1799314782487763.50 | 0.0000 | 1 | 9 | | 1799314782487763.50 | 0.0000 | 2 | 8 | | 955570976821413.88 | 0.4689 | 1 | 8 | | 955570976821413.88 | 0.0000 | 2 | 7 | | 955570976821413.88 | 0.0000 | 1 | 7 | | 955570976821413.88 | 0.0000 | 2 | 6 | | 662201075815180.62 | 0.3070 | 3 | 5 | | 595024867448137.50 | 0.1014 | 2 | 5 | | 427312913079287.88 | 0.2819 | 3 | 4 | | 154982439691514.72 | 0.6373 | 2 | 4 | | 136453784479557.33 | 0.1196 | 1 | 4 | | 136453784479557.33 | 0.0000 | 2 | 3 | | 136453784479557.33 | 0.0000 | 1 | 3 | | 136453784479557.33 | 0.0000 | 2 | 2 | | 20141987735488.68 | 0.8524 | 1 | 2 | | 20141987735488.68 | 0.0000 | 2 | 2 | | 20141987735488.68 | 0.0000 | 1 | 2 | | 20141987735488.68 | 0.0000 | 2 | 1 | | 17049438840978.49 | 0.1535 | 3 | 1 | | 11791336545737.45 | 0.3084 | 2 | 1 | | 10197470131039.68 | 0.1352 | 3 | 0 | nombre de vecteur support 3
QP - non séparable cout c n nsup nombre de vecteurs support 3 + 4 | 12919.96 | 1.0000 | 26 | 0 | | 12890.55 | 0.0023 | 25 | 1 | | 12882.04 | 0.0007 | 24 | 2 | ----------------------------------------------- | 12863.03 | 0.0000 | 4 | 16 | | 12863.02 | 0.0000 | 3 | 17 | | 10961.74 | 0.1478 | 2 | 17 | | 10954.37 | 0.0007 | 3 | 16 | | 10403.38 | 0.0503 | 2 | 16 | | 6924.32 | 0.3344 | 1 | 16 | | 6924.32 | 0.0000 | 2 | 15 | | 6924.32 | 0.0000 | 1 | 15 | | 6924.32 | 0.0000 | 2 | 14 | ---------------------------------------------- | 165.41 | 0.4117 | 2 | 6 | | 139.94 | 0.1540 | 3 | 5 | | -36.27 | 1.2592 | 2 | 6 | | -39.21 | 0.0813 | 1 | 6 | | -39.21 | 0.0000 | 2 | 5 | | -39.21 | 0.0000 | 1 | 5 | | -39.21 | 0.0000 | 2 | 4 | | -41.53 | 0.0590 | 3 | 3 | | -44.55 | 0.0727 | 2 | 4 | | -45.27 | 0.0163 | 3 | 4 | nombre de vecteurs support 3 + 4
SVM quadratique
Classification polynômiale 1 n 1 5 Rang(H) = 5 : il faut régulariser
Le cas des outliers
Le clown
SVM gaussiènne
SVM gaussiènne matrice (n x n)
SVM gaussiènne
SVM gaussiènne
SVM gaussiènne
Les trois paramètres de régularisation C : la borne sup 0 < < C : la largueur du noyau : K(x,y) régularisation du système linéaire H=b => (H+I)=b
Les trois paramètres de régularisation C : la borne sup 0ŠŠC : la largueur du noyau : K(x,y) régularisation du système linéaire H=b => (H+I)=b
L’effet de la borne sup
Noyau étroit et C grand
Noyau large - C grand
Noyau large et C petit
Les données de Ripley Glass 200 points (89+96) dimension 9 4 classes Kppv : 74% Denœux : 72 % SVM : 72 % (petite triche) 45 53 37 22 nombre d'erreurs total avec rejet nombre d'accepte et de rejetes 27.0000 27.0000 96.0000 0 0.2812 Nato ASI - Neural networks and statistics - Ripley pp
Ripley
SVM 58 % MARS Denœux 63 % Voyel Prononciation des voyelles 500 + 500 +------------------------------------+--------+---------+---------+ | | no. of | no. | perce | | Classifier | hidde |correc| corre | | units | | | | Single-layer perceptron | - | 154 | 33 | | Multi-layer perceptron | 88 | 234 | 51 | | Multi-layer perceptron | 22 | 206 | 45 | | Multi-layer perceptron | 11 | 203 | 44 | | Modified Kanerva Model | 528 | 231 | 50 | | Modified Kanerva Model | 88 | 197 | 43 | | Radial Basis Function | 528 | 247 | 53 | | Radial Basis Function | 88 | 220 | 48 | | Gaussian node network | 528 | 252 | 55 | | Gaussian node network | 88 | 247 | 53 | | Gaussian node network | 22 | 250 | 54 | | Gaussian node network | 11 | 211 | 47 | | Square node network | 88 | 253 | 55 | | Square node network | 22 | 236 | 51 | | Square node network | 11 | 217 | 50 | | Nearest neighbour | - | 260 | 56 | SVM 58 % MARS Denœux 63 % Prononciation des voyelles 500 + 500 dimension 10 11 classes
SVM pour la régression ...
SVM pour la régression ...
SVM pour la régression ...
SVM pour la régression
Une solution ... pas géniale
Exemple...
petit et aussi
une autre manière de voir les choses
Conclusion SVM : sélection des points “importants” NIPS workshop - svm.cs.rhbnc.ac.uk Matlab code disponible - scanu@insa-rouen.fr Problèmes : - problèmes multi classes - petite erreur