Estimation fonctionnelle à l’aide de S.V.M.

Présentation au sujet: "Estimation fonctionnelle à l’aide de S.V.M."— Transcription de la présentation:

1 Estimation fonctionnelle à l’aide de S.V.M.
Stéphane Canu et Jean Pierre Yvon I.N.S.A. - P.S.I I.N.S.A. - Rennes je ne savais pas, en ce mois de mars 88 lorsque je suis allé à toulouse que ce voyage alait m’enmener des reseaux de neurones à la regression flexible

2 SVM radiales

3 Plan discrimination linéaire : cas séparable
discrimination linéaire : cas non séparable discrimination quadratique SVM radiales le principe les 3 hyper-paramètres de régularisation résultats sur les données du verre et les voyelles les cas de la régression

4 Séparateur linéaire et vecteurs support

5 Classification linéaire - le cas séparable
tout le monde est bien classé

6 Classification linéaire - le cas séparable
si (w,b) vérifie les contraintes, (w,b) les vérifie aussi... solution : = w = b = 0 !

7 Classification linéaire - le cas séparable

8 Classification linéaire le cas séparable

9 Classification linéaire le cas séparable
Solution sans contraintes :  = H c  = H c 

10 Intégration des contraintes d’égalité
= H c y  

11 intégration des contraintes d’inégalité
QP tantque () ne vérifient pas les conditions d’optimalité  = M-1 b et  = - H  + c + y si <0, on bloque une contrainte : (i=0) (on élimine une variable active) sinon si  < 0, on relâche une contrainte

12 intégration des contraintes d’inégalité méthode de projection
K old inter p = new d = inter - old pas = maxt(old + t d) new = old + pas d Elimination de la variable correspondante

13 QP cout c n nsup | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | nombre de vecteurs support

14 Lent Rapide QP cout c n nsup
| | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | nombre de vecteurs support Lent Rapide

15 Cas non séparable Il doit y avoir des mals classés

16 Classification linéaire : le cas non séparable

17 QP cout c n nsup | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | nombre de vecteur support

18 QP - non séparable cout c n nsup nombre de vecteurs support 3 + 4
| | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | nombre de vecteurs support

19 SVM quadratique

20 Classification polynômiale
1 n Rang(H) = 5 : il faut régulariser

21 Le cas des outliers

22 Le clown

23 SVM gaussiènne

24 SVM gaussiènne matrice (n x n)

25 SVM gaussiènne

26 SVM gaussiènne

27 SVM gaussiènne

28 Les trois paramètres de régularisation
C : la borne sup <  < C  : la largueur du noyau : K(x,y) régularisation du système linéaire H=b => (H+I)=b

29 Les trois paramètres de régularisation
C : la borne sup ŠŠC  : la largueur du noyau : K(x,y) régularisation du système linéaire H=b => (H+I)=b

30 L’effet de la borne sup

31 Noyau étroit et C grand

32 Noyau large - C grand

33 Noyau large et C petit

34 Les données de Ripley Glass
200 points (89+96) dimension 9 4 classes Kppv : 74% Denœux : 72 % SVM : 72 % (petite triche) nombre d'erreurs total avec rejet nombre d'accepte et de rejetes Nato ASI - Neural networks and statistics - Ripley pp

35 Ripley

36 SVM 58 % MARS Denœux 63 % Voyel Prononciation des voyelles 500 + 500
| | no. of | no. | perce | | Classifier | hidde |correc| corre | | units | | | | Single-layer perceptron | | | | | Multi-layer perceptron | | | | | Multi-layer perceptron | | | | | Multi-layer perceptron | | | | | Modified Kanerva Model | | | | | Modified Kanerva Model | | | | | Radial Basis Function | | | | | Radial Basis Function | | | | | Gaussian node network | | | | | Gaussian node network | | | | | Gaussian node network | | | | | Gaussian node network | | | | | Square node network | | | | | Square node network | | | | | Square node network | | | | | Nearest neighbour | | | | SVM 58 % MARS Denœux 63 % Prononciation des voyelles dimension 10 11 classes

37 SVM pour la régression ...

38 SVM pour la régression ...

39 SVM pour la régression ...

40 SVM pour la régression

41 Une solution ... pas géniale

42 Exemple...

43  petit et  aussi

44 une autre manière de voir les choses

45 Conclusion SVM : sélection des points “importants” NIPS workshop
- svm.cs.rhbnc.ac.uk Matlab code disponible - Problèmes : - problèmes multi classes - petite erreur