La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Estimation fonctionnelle à l’aide de S.V.M. Stéphane Canu et Jean Pierre Yvon I.N.S.A. - P.S.I. I.N.S.A. - Rennes

Présentations similaires


Présentation au sujet: "Estimation fonctionnelle à l’aide de S.V.M. Stéphane Canu et Jean Pierre Yvon I.N.S.A. - P.S.I. I.N.S.A. - Rennes"— Transcription de la présentation:

1 Estimation fonctionnelle à l’aide de S.V.M. Stéphane Canu et Jean Pierre Yvon I.N.S.A. - P.S.I. I.N.S.A. - Rennes

2 2 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM radiales

3 3 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Plan discrimination linéaire : cas séparable discrimination linéaire : cas non séparable discrimination quadratique SVM radiales –le principe –les 3 hyper-paramètres de régularisation –résultats sur les données du verre et les voyelles les cas de la régression

4 4 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Séparateur linéaire et vecteurs support

5 5 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Classification linéaire - le cas séparable tout le monde est bien classé

6 6 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Classification linéaire - le cas séparable si (w,b) vérifie les contraintes, (  w,  b) les vérifie aussi... solution :  = w = b = 0 !

7 7 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Classification linéaire - le cas séparable

8 8 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Classification linéaire le cas séparable

9 9 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Classification linéaire le cas séparable = H c Solution sans contraintes : = H c 

10 10 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Intégration des contraintes d’égalité 0 0 = H c y y 

11 11 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 intégration des contraintes d’inégalité tantque (  ) ne vérifient pas les conditions d’optimalité = M -1 b -- et  = - H + c +  y si <0, on bloque une contrainte : ( i =0) (on élimine une variable active) sinon si  < 0, on relâche une contrainte QP

12 12 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 intégration des contraintes d’inégalité méthode de projection d = inter - old pas = max t ( old + t d) new = old + pas d Elimination de la variable correspondante K old inter p = new

13 13 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 QP cout  c n n sup | |.0000 | 26 | 0 | | | | 25 | 0 | | | | 24 | 0 | | | | 23 | 0 | | | | 22 | 0 | | | | 21 | 0 | | | | 20 | 0 | | | | 19 | 0 | | | | 18 | 0 | | | | 17 | 0 | | | | 16 | 0 | | | | 15 | 0 | | | | 14 | 0 | | | | 13 | 0 | | | | 12 | 0 | | | | 11 | 0 | | | | 10 | 0 | | | | 9 | 0 | | | | 8 | 0 | | | | 7 | 0 | | | | 6 | 0 | | | | 5 | 0 | | | | 4 | 0 | | | | 3 | 0 | nombre de vecteurs support 3

14 14 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 QP cout  c n n sup | |.0000 | 26 | 0 | | | | 25 | 0 | | | | 24 | 0 | | | | 23 | 0 | | | | 22 | 0 | | | | 21 | 0 | | | | 20 | 0 | | | | 19 | 0 | | | | 18 | 0 | | | | 17 | 0 | | | | 16 | 0 | | | | 15 | 0 | | | | 14 | 0 | | | | 13 | 0 | | | | 12 | 0 | | | | 11 | 0 | | | | 10 | 0 | | | | 9 | 0 | | | | 8 | 0 | | | | 7 | 0 | | | | 6 | 0 | | | | 5 | 0 | | | | 4 | 0 | | | | 3 | 0 | nombre de vecteurs support 3 Lent Rapide

15 15 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Cas non séparable Il doit y avoir des mals classés

16 16 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Classification linéaire : le cas non séparable

17 17 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 QP | | | 1 | 9 | | | | 2 | 8 | | | | 1 | 8 | | | | 2 | 7 | | | | 1 | 7 | | | | 2 | 6 | | | | 3 | 5 | | | | 2 | 5 | | | | 3 | 4 | | | | 2 | 4 | | | | 1 | 4 | | | | 2 | 3 | | | | 1 | 3 | | | | 2 | 2 | | | | 1 | 2 | | | | 2 | 2 | | | | 1 | 2 | | | | 2 | 1 | | | | 3 | 1 | | | | 2 | 1 | | | | 3 | 0 | nombre de vecteur support 3 cout  c n n sup

18 18 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 QP - non séparable | | | 26 | 0 | | | | 25 | 1 | | | | 24 | 2 | | | | 4 | 16 | | | | 3 | 17 | | | | 2 | 17 | | | | 3 | 16 | | | | 2 | 16 | | | | 1 | 16 | | | | 2 | 15 | | | | 1 | 15 | | | | 2 | 14 | | | | 2 | 6 | | | | 3 | 5 | | | | 2 | 6 | | | | 1 | 6 | | | | 2 | 5 | | | | 1 | 5 | | | | 2 | 4 | | | | 3 | 3 | | | | 2 | 4 | | | | 3 | 4 | nombre de vecteurs support cout  c n n sup

19 19 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM quadratique

20 20 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Classification polynômiale 1n1n 1 5 Rang(H) = 5 : il faut régulariser

21 21 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Le cas des outliers

22 22 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Le clown

23 23 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM gaussiènne

24 24 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM gaussiènne matrice (n x n)

25 25 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM gaussiènne

26 26 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM gaussiènne

27 27 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM gaussiènne

28 28 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Les trois paramètres de régularisation C : la borne sup 0 <  < C  : la largueur du noyau : K  (x,y)  régularisation du système linéaire H =b => (H+  I) =b

29 29 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Les trois paramètres de régularisation C : la borne sup 0Š ŠC  : la largueur du noyau : K  (x,y)  régularisation du système linéaire H =b => (H+  I) =b

30 30 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 L’effet de la borne sup

31 31 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Noyau étroit et C grand

32 32 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Noyau large - C grand

33 33 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Noyau large et C petit

34 34 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Les données de Ripley Glass Kppv : 74% Denœux : 72 % SVM : 72 % (petite triche) 200 points (89+96) dimension 9 4 classes Nato ASI - Neural networks and statistics - Ripley pp nombre d'erreurs total avec rejet nombre d'accepte et de rejetes

35 35 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Ripley

36 36 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Voyel | | no. of | no. | perce | | Classifier | hidde |correc| corre | | units | | | | Single-layer perceptron | - | 154 | 33 | | Multi-layer perceptron | 88 | 234 | 51 | | Multi-layer perceptron | 22 | 206 | 45 | | Multi-layer perceptron | 11 | 203 | 44 | | Modified Kanerva Model | 528 | 231 | 50 | | Modified Kanerva Model | 88 | 197 | 43 | | Radial Basis Function | 528 | 247 | 53 | | Radial Basis Function | 88 | 220 | 48 | | Gaussian node network | 528 | 252 | 55 | | Gaussian node network | 88 | 247 | 53 | | Gaussian node network | 22 | 250 | 54 | | Gaussian node network | 11 | 211 | 47 | | Square node network | 88 | 253 | 55 | | Square node network | 22 | 236 | 51 | | Square node network | 11 | 217 | 50 | | Nearest neighbour | - | 260 | 56 | SVM 58 % MARS 58 % Denœux 63 % Prononciation des voyelles dimension classes

37 37 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM pour la régression...

38 38 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM pour la régression...

39 39 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM pour la régression...

40 40 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 SVM pour la régression

41 41 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Une solution... pas géniale

42 42 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Exemple...

43 43 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998  petit et  aussi

44 44 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 une autre manière de voir les choses

45 45 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de modèles 30 Janvier 1998 Conclusion SVM : sélection des points “importants” NIPS workshop - svm.cs.rhbnc.ac.uk Matlab code disponible - Problèmes : - problèmes multi classes - petite erreur


Télécharger ppt "Estimation fonctionnelle à l’aide de S.V.M. Stéphane Canu et Jean Pierre Yvon I.N.S.A. - P.S.I. I.N.S.A. - Rennes"

Présentations similaires


Annonces Google