La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Estimation fonctionnelle à l’aide de S.V.M. Stéphane Canu et Jean Pierre Yvon I.N.S.A. - P.S.I. I.N.S.A. - Rennes

Présentations similaires


Présentation au sujet: "Estimation fonctionnelle à l’aide de S.V.M. Stéphane Canu et Jean Pierre Yvon I.N.S.A. - P.S.I. I.N.S.A. - Rennes"— Transcription de la présentation:

1 Estimation fonctionnelle à l’aide de S.V.M. Stéphane Canu et Jean Pierre Yvon I.N.S.A. - P.S.I. I.N.S.A. - Rennes http://lmrserv.insa-rouen.fr/~scanu/

2 2 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM radiales

3 3 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Plan discrimination linéaire : cas séparable discrimination linéaire : cas non séparable discrimination quadratique SVM radiales –le principe –les 3 hyper-paramètres de régularisation –résultats sur les données du verre et les voyelles les cas de la régression

4 4 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Séparateur linéaire et vecteurs support

5 5 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Classification linéaire - le cas séparable tout le monde est bien classé

6 6 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Classification linéaire - le cas séparable si (w,b) vérifie les contraintes, (  w,  b) les vérifie aussi... solution :  = w = b = 0 !

7 7 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Classification linéaire - le cas séparable

8 8 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Classification linéaire le cas séparable

9 9 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Classification linéaire le cas séparable = H c Solution sans contraintes : = H c 

10 10 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Intégration des contraintes d’égalité 0 0 = H c y y 

11 11 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 intégration des contraintes d’inégalité tantque (  ) ne vérifient pas les conditions d’optimalité = M -1 b -- et  = - H + c +  y si <0, on bloque une contrainte : ( i =0) (on élimine une variable active) sinon si  < 0, on relâche une contrainte QP

12 12 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 intégration des contraintes d’inégalité méthode de projection d = inter - old pas = max t ( old + t d) new = old + pas d Elimination de la variable correspondante K old inter p = new

13 13 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 QP cout  c n n sup | 261005058814895070574856.00 |.0000 | 26 | 0 | | 194939116871534780612608.00 | 1.0000 | 25 | 0 | | 110019596154171838955520.00 | 0.4356 | 24 | 0 | | 88358862460729828573184.00 | 0.1969 | 23 | 0 | | 71151016412325076795392.00 | 0.1947 | 22 | 0 | | 56003513679909656461312.00 | 0.2129 | 21 | 0 | | 55819981005512968765440.00 | 0.0033 | 20 | 0 | | 44583105067502866006016.00 | 0.2013 | 19 | 0 | | 31615241636448881868800.00 | 0.2909 | 18 | 0 | | 21218279020274743508992.00 | 0.3289 | 17 | 0 | | 19084950794938764754944.00 | 0.1005 | 16 | 0 | | 14380614266958737571840.00 | 0.2465 | 15 | 0 | | 7848051989518469824512.00 | 0.4543 | 14 | 0 | | 6852649635269213945856.00 | 0.1268 | 13 | 0 | | 4673181567527996620800.00 | 0.3180 | 12 | 0 | | 2141655770477192806400.00 | 0.5417 | 11 | 0 | | 1631805205937215766528.00 | 0.2381 | 10 | 0 | | 1084347323770412072960.00 | 0.3355 | 9 | 0 | | 719861526521765953536.00 | 0.3361 | 8 | 0 | | 274946486191722430464.00 | 0.6181 | 7 | 0 | | 154416549699376906240.00 | 0.4384 | 6 | 0 | | 103163619191421173760.00 | 0.3319 | 5 | 0 | | 74124424279131422720.00 | 0.2815 | 4 | 0 | | 24047909701493104640.00 | 0.6756 | 3 | 0 | nombre de vecteurs support 3

14 14 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 QP cout  c n n sup | 261005058814895070574856.00 |.0000 | 26 | 0 | | 194939116871534780612608.00 | 1.0000 | 25 | 0 | | 110019596154171838955520.00 | 0.4356 | 24 | 0 | | 88358862460729828573184.00 | 0.1969 | 23 | 0 | | 71151016412325076795392.00 | 0.1947 | 22 | 0 | | 56003513679909656461312.00 | 0.2129 | 21 | 0 | | 55819981005512968765440.00 | 0.0033 | 20 | 0 | | 44583105067502866006016.00 | 0.2013 | 19 | 0 | | 31615241636448881868800.00 | 0.2909 | 18 | 0 | | 21218279020274743508992.00 | 0.3289 | 17 | 0 | | 19084950794938764754944.00 | 0.1005 | 16 | 0 | | 14380614266958737571840.00 | 0.2465 | 15 | 0 | | 7848051989518469824512.00 | 0.4543 | 14 | 0 | | 6852649635269213945856.00 | 0.1268 | 13 | 0 | | 4673181567527996620800.00 | 0.3180 | 12 | 0 | | 2141655770477192806400.00 | 0.5417 | 11 | 0 | | 1631805205937215766528.00 | 0.2381 | 10 | 0 | | 1084347323770412072960.00 | 0.3355 | 9 | 0 | | 719861526521765953536.00 | 0.3361 | 8 | 0 | | 274946486191722430464.00 | 0.6181 | 7 | 0 | | 154416549699376906240.00 | 0.4384 | 6 | 0 | | 103163619191421173760.00 | 0.3319 | 5 | 0 | | 74124424279131422720.00 | 0.2815 | 4 | 0 | | 24047909701493104640.00 | 0.6756 | 3 | 0 | nombre de vecteurs support 3 Lent Rapide

15 15 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Cas non séparable Il doit y avoir des mals classés

16 16 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Classification linéaire : le cas non séparable

17 17 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 QP | 1799314782487763.50 | 0.0000 | 1 | 9 | | 1799314782487763.50 | 0.0000 | 2 | 8 | | 955570976821413.88 | 0.4689 | 1 | 8 | | 955570976821413.88 | 0.0000 | 2 | 7 | | 955570976821413.88 | 0.0000 | 1 | 7 | | 955570976821413.88 | 0.0000 | 2 | 6 | | 662201075815180.62 | 0.3070 | 3 | 5 | | 595024867448137.50 | 0.1014 | 2 | 5 | | 427312913079287.88 | 0.2819 | 3 | 4 | | 154982439691514.72 | 0.6373 | 2 | 4 | | 136453784479557.33 | 0.1196 | 1 | 4 | | 136453784479557.33 | 0.0000 | 2 | 3 | | 136453784479557.33 | 0.0000 | 1 | 3 | | 136453784479557.33 | 0.0000 | 2 | 2 | | 20141987735488.68 | 0.8524 | 1 | 2 | | 20141987735488.68 | 0.0000 | 2 | 2 | | 20141987735488.68 | 0.0000 | 1 | 2 | | 20141987735488.68 | 0.0000 | 2 | 1 | | 17049438840978.49 | 0.1535 | 3 | 1 | | 11791336545737.45 | 0.3084 | 2 | 1 | | 10197470131039.68 | 0.1352 | 3 | 0 | nombre de vecteur support 3 cout  c n n sup

18 18 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 QP - non séparable | 12919.96 | 1.0000 | 26 | 0 | | 12890.55 | 0.0023 | 25 | 1 | | 12882.04 | 0.0007 | 24 | 2 | ----------------------------------------------- | 12863.03 | 0.0000 | 4 | 16 | | 12863.02 | 0.0000 | 3 | 17 | | 10961.74 | 0.1478 | 2 | 17 | | 10954.37 | 0.0007 | 3 | 16 | | 10403.38 | 0.0503 | 2 | 16 | | 6924.32 | 0.3344 | 1 | 16 | | 6924.32 | 0.0000 | 2 | 15 | | 6924.32 | 0.0000 | 1 | 15 | | 6924.32 | 0.0000 | 2 | 14 | ---------------------------------------------- | 165.41 | 0.4117 | 2 | 6 | | 139.94 | 0.1540 | 3 | 5 | | -36.27 | 1.2592 | 2 | 6 | | -39.21 | 0.0813 | 1 | 6 | | -39.21 | 0.0000 | 2 | 5 | | -39.21 | 0.0000 | 1 | 5 | | -39.21 | 0.0000 | 2 | 4 | | -41.53 | 0.0590 | 3 | 3 | | -44.55 | 0.0727 | 2 | 4 | | -45.27 | 0.0163 | 3 | 4 | nombre de vecteurs support 3 + 4 cout  c n n sup

19 19 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM quadratique

20 20 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Classification polynômiale 1n1n 1 5 Rang(H) = 5 : il faut régulariser

21 21 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Le cas des outliers

22 22 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Le clown

23 23 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM gaussiènne

24 24 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM gaussiènne matrice (n x n)

25 25 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM gaussiènne

26 26 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM gaussiènne

27 27 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM gaussiènne

28 28 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Les trois paramètres de régularisation C : la borne sup 0 <  < C  : la largueur du noyau : K  (x,y)  régularisation du système linéaire H =b => (H+  I) =b

29 29 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Les trois paramètres de régularisation C : la borne sup 0Š ŠC  : la largueur du noyau : K  (x,y)  régularisation du système linéaire H =b => (H+  I) =b

30 30 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 L’effet de la borne sup

31 31 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Noyau étroit et C grand

32 32 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Noyau large - C grand

33 33 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Noyau large et C petit

34 34 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Les données de Ripley Glass Kppv : 74% Denœux : 72 % SVM : 72 % (petite triche) 200 points (89+96) dimension 9 4 classes Nato ASI - Neural networks and statistics - Ripley pp 45 53 37 22 nombre d'erreurs total avec rejet nombre d'accepte et de rejetes 27.0000 27.0000 96.0000 0 0.2812

35 35 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Ripley

36 36 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Voyel +------------------------------------+--------+---------+---------+ | | no. of | no. | perce | | Classifier | hidde |correc| corre | | units | | | +------------------------------------+--------+---------+---------+ | Single-layer perceptron | - | 154 | 33 | | Multi-layer perceptron | 88 | 234 | 51 | | Multi-layer perceptron | 22 | 206 | 45 | | Multi-layer perceptron | 11 | 203 | 44 | | Modified Kanerva Model | 528 | 231 | 50 | | Modified Kanerva Model | 88 | 197 | 43 | | Radial Basis Function | 528 | 247 | 53 | | Radial Basis Function | 88 | 220 | 48 | | Gaussian node network | 528 | 252 | 55 | | Gaussian node network | 88 | 247 | 53 | | Gaussian node network | 22 | 250 | 54 | | Gaussian node network | 11 | 211 | 47 | | Square node network | 88 | 253 | 55 | | Square node network | 22 | 236 | 51 | | Square node network | 11 | 217 | 50 | | Nearest neighbour | - | 260 | 56 | +------------------------------------+--------+---------+---------+ SVM 58 % MARS 58 % Denœux 63 % Prononciation des voyelles 500 + 500 dimension 10 11 classes

37 37 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM pour la régression...

38 38 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM pour la régression...

39 39 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM pour la régression...

40 40 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM pour la régression

41 41 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Une solution... pas géniale

42 42 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Exemple...

43 43 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998  petit et  aussi

44 44 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 une autre manière de voir les choses

45 45 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Conclusion SVM : sélection des points “importants” NIPS workshop - svm.cs.rhbnc.ac.uk Matlab code disponible - scanu@insa-rouen.fr Problèmes : - problèmes multi classes - petite erreur


Télécharger ppt "Estimation fonctionnelle à l’aide de S.V.M. Stéphane Canu et Jean Pierre Yvon I.N.S.A. - P.S.I. I.N.S.A. - Rennes"

Présentations similaires


Annonces Google