Estimation fonctionnelle à l’aide de S.V.M.

Slides:



Advertisements
Présentations similaires
Contexte et justification
Advertisements

Mais vous comprenez qu’il s’agit d’une « tromperie ».
Le Nom L’adjectif Le verbe Objectif: Orthogram
ORTHOGRAM PM 3 ou 4 Ecrire: « a » ou « à » Référentiel page 6
LES NOMBRES PREMIERS ET COMPOSÉS
Ma surprise du Zoo.
Licence pro MPCQ : Cours
Additions soustractions
Distance inter-locuteur
1 Plus loin dans lutilisation de Windows Vista ©Yves Roger Cornil - 2 août
ACTIVITES NUMERIQUES Ranger les nombres Trouver le nombre manquant
Réseau ATB du CClin Paris-Nord – résultats 2011 LL, 22/11/ Réseau antibiotiques du CClin Paris-Nord : Résultats 2011 Coordination: Dr François LHÉRITEAU.
EVALUATION GS fin d'année
Les numéros 70 –
Les numéros
Les identités remarquables
Le, la, les words Possessive Adjectives MINE!!. 2 My in french is mon, ma,mes... Le word/ begins with a vowel: Mon La word: Ma Les word: Mes.
Pensez à un nombre entier entre 1 et 63. Est-il dans cette liste ?
LES TRIANGLES 1. Définitions 2. Constructions 3. Propriétés.
Enquête sur le Rapport de la Commission Bouchard-Taylor Jack Jedwab Directeur général Association détudes canadiennes 11 juin 2008.
La législation formation, les aides des pouvoirs publics
1 7 Langues niveaux débutant à avancé. 2 Allemand.
Le Concours de Conaissance II Francais I decembre 2012.
Mr: Lamloum Med LES NOMBRES PREMIERS ET COMPOSÉS Mr: Lamloum Med.
SERABEC Simulation sauvetage aérien avec un Hercule C130. Départ de St-Honoré le 4 octobre Durée de vol 3 heures. Premier vol en Hercule pour les.
1 5 octobre 2011 / paw Présentation du 7 octobre 2011.
La méthodologie………………………………………………………….. p3 Les résultats
Le Concours de Conaissance III Francais I fevrier 2013.
Écrit, animé et illustré par Sheila CartwrightTraduit par
Jack Jedwab Association détudes canadiennes Le 27 septembre 2008 Sondage post-Olympique.
Le soccer & les turbans Sondage mené par lAssociation détudes canadiennes 14 juin 2013.
1 Choisir une catégorie. Vous recevrez la réponse, vous devez donner la question. Cliquez pour commencer.
Présentation générale
Pourquoi les réseaux de neurones de type « perceptron multicouche » conviennent-ils à l’apprentissage Stéphane Canu, INSA de Rouen , PSI André Elisseeff,
GRAM 1 CE2 Je sais transformer une phrase affirmative en phrase négative.
Le drapeau canadien comme symbole de fierté nationale : une question de valeurs partagées Jack Jedwab Association détudes canadiennes 28 novembre 2012.
PM18 MONTAGE DU BLINDAGE AUTOUR DE LA QRL F. DELSAUX - 25 JAN 2005
Session 7 1 IST/VIH/SIDA.
Le Concours de Conaissance Francais I novembre 2012.
Titre : Implémentation des éléments finis sous Matlab
Les nombres.
S’entrainer sur les Multiples et diviseurs
Projet poker 1/56. Introduction Présentation de léquipe Cadre du projet Enjeux Choix du sujet 2.
Avant après maintenant
LES NOMBRES PREMIERS ET COMPOSÉS
Les chiffres & les nombres
RACINES CARREES Définition Développer avec la distributivité Produit 1
Représentation des systèmes dynamiques dans l’espace d’état
DUMP GAUCHE INTERFERENCES AVEC BOITIERS IFS D.G. – Le – 1/56.
Année universitaire Réalisé par: Dr. Aymen Ayari Cours Réseaux étendus LATRI 3 1.
Titre : Implémentation des éléments finis en Matlab
Jean-Marc Léger Président Léger Marketing Léger Marketing Les élections présidentielles américaines.
MAGIE Réalisé par Mons. RITTER J-P Le 24 octobre 2004.
1 INETOP
Influenza: le modèle épidémiologique belge 29 Mai 2009
Les Nombres 0 – 100 en français.
Aire d’une figure par encadrement
Équipe 2626 Octobre 2011 Jean Lavoie ing. M.Sc.A.
Comment rendre une femme heureuse…
P.A. MARQUES S.A.S Z.I. de la Moussière F DROUE Tél.: + 33 (0) Fax + 33 (0)
Les fondements constitutionnels
MAGIE Réalisé par Mons. RITTER J-P Le 24 octobre 2004.
1/65 微距摄影 美丽的微距摄影 Encore une belle leçon de Macrophotographies venant du Soleil Levant Louis.
Formation des commissaires sportifs
Certains droits réservés pour plus d’infos, cliquer sur l’icône.
Nom:____________ Prénom: ___________
Discussion autour du référentiel
Annexe Résultats provinciaux comparés à la moyenne canadienne
Commission paritaire de suivi des opérations de reclassement repositionnement dans le cadre du droit d’option Statistiques novembre 2010.
Transcription de la présentation:

Estimation fonctionnelle à l’aide de S.V.M. Stéphane Canu et Jean Pierre Yvon I.N.S.A. - P.S.I. I.N.S.A. - Rennes je ne savais pas, en ce mois de mars 88 lorsque je suis allé à toulouse que ce voyage alait m’enmener des reseaux de neurones à la regression flexible http://lmrserv.insa-rouen.fr/~scanu/

SVM radiales

Plan discrimination linéaire : cas séparable discrimination linéaire : cas non séparable discrimination quadratique SVM radiales le principe les 3 hyper-paramètres de régularisation résultats sur les données du verre et les voyelles les cas de la régression

Séparateur linéaire et vecteurs support

Classification linéaire - le cas séparable tout le monde est bien classé

Classification linéaire - le cas séparable si (w,b) vérifie les contraintes, (w,b) les vérifie aussi... solution : = w = b = 0 !

Classification linéaire - le cas séparable

Classification linéaire le cas séparable

Classification linéaire le cas séparable Solution sans contraintes :  = H c  = H c 

Intégration des contraintes d’égalité = H c y  

intégration des contraintes d’inégalité QP tantque () ne vérifient pas les conditions d’optimalité  = M-1 b -- et  = - H  + c + y si <0, on bloque une contrainte : (i=0) (on élimine une variable active) sinon si  < 0, on relâche une contrainte

intégration des contraintes d’inégalité méthode de projection K old inter p = new d = inter - old pas = maxt(old + t d) new = old + pas d Elimination de la variable correspondante

QP cout c n nsup | 261005058814895070574856.00 | .0000 | 26 | 0 | | 194939116871534780612608.00 | 1.0000 | 25 | 0 | | 110019596154171838955520.00 | 0.4356 | 24 | 0 | | 88358862460729828573184.00 | 0.1969 | 23 | 0 | | 71151016412325076795392.00 | 0.1947 | 22 | 0 | | 56003513679909656461312.00 | 0.2129 | 21 | 0 | | 55819981005512968765440.00 | 0.0033 | 20 | 0 | | 44583105067502866006016.00 | 0.2013 | 19 | 0 | | 31615241636448881868800.00 | 0.2909 | 18 | 0 | | 21218279020274743508992.00 | 0.3289 | 17 | 0 | | 19084950794938764754944.00 | 0.1005 | 16 | 0 | | 14380614266958737571840.00 | 0.2465 | 15 | 0 | | 7848051989518469824512.00 | 0.4543 | 14 | 0 | | 6852649635269213945856.00 | 0.1268 | 13 | 0 | | 4673181567527996620800.00 | 0.3180 | 12 | 0 | | 2141655770477192806400.00 | 0.5417 | 11 | 0 | | 1631805205937215766528.00 | 0.2381 | 10 | 0 | | 1084347323770412072960.00 | 0.3355 | 9 | 0 | | 719861526521765953536.00 | 0.3361 | 8 | 0 | | 274946486191722430464.00 | 0.6181 | 7 | 0 | | 154416549699376906240.00 | 0.4384 | 6 | 0 | | 103163619191421173760.00 | 0.3319 | 5 | 0 | | 74124424279131422720.00 | 0.2815 | 4 | 0 | | 24047909701493104640.00 | 0.6756 | 3 | 0 | nombre de vecteurs support 3

Lent Rapide QP cout c n nsup | 261005058814895070574856.00 | .0000 | 26 | 0 | | 194939116871534780612608.00 | 1.0000 | 25 | 0 | | 110019596154171838955520.00 | 0.4356 | 24 | 0 | | 88358862460729828573184.00 | 0.1969 | 23 | 0 | | 71151016412325076795392.00 | 0.1947 | 22 | 0 | | 56003513679909656461312.00 | 0.2129 | 21 | 0 | | 55819981005512968765440.00 | 0.0033 | 20 | 0 | | 44583105067502866006016.00 | 0.2013 | 19 | 0 | | 31615241636448881868800.00 | 0.2909 | 18 | 0 | | 21218279020274743508992.00 | 0.3289 | 17 | 0 | | 19084950794938764754944.00 | 0.1005 | 16 | 0 | | 14380614266958737571840.00 | 0.2465 | 15 | 0 | | 7848051989518469824512.00 | 0.4543 | 14 | 0 | | 6852649635269213945856.00 | 0.1268 | 13 | 0 | | 4673181567527996620800.00 | 0.3180 | 12 | 0 | | 2141655770477192806400.00 | 0.5417 | 11 | 0 | | 1631805205937215766528.00 | 0.2381 | 10 | 0 | | 1084347323770412072960.00 | 0.3355 | 9 | 0 | | 719861526521765953536.00 | 0.3361 | 8 | 0 | | 274946486191722430464.00 | 0.6181 | 7 | 0 | | 154416549699376906240.00 | 0.4384 | 6 | 0 | | 103163619191421173760.00 | 0.3319 | 5 | 0 | | 74124424279131422720.00 | 0.2815 | 4 | 0 | | 24047909701493104640.00 | 0.6756 | 3 | 0 | nombre de vecteurs support 3 Lent Rapide

Cas non séparable Il doit y avoir des mals classés

Classification linéaire : le cas non séparable

QP cout c n nsup | 1799314782487763.50 | 0.0000 | 1 | 9 | | 1799314782487763.50 | 0.0000 | 2 | 8 | | 955570976821413.88 | 0.4689 | 1 | 8 | | 955570976821413.88 | 0.0000 | 2 | 7 | | 955570976821413.88 | 0.0000 | 1 | 7 | | 955570976821413.88 | 0.0000 | 2 | 6 | | 662201075815180.62 | 0.3070 | 3 | 5 | | 595024867448137.50 | 0.1014 | 2 | 5 | | 427312913079287.88 | 0.2819 | 3 | 4 | | 154982439691514.72 | 0.6373 | 2 | 4 | | 136453784479557.33 | 0.1196 | 1 | 4 | | 136453784479557.33 | 0.0000 | 2 | 3 | | 136453784479557.33 | 0.0000 | 1 | 3 | | 136453784479557.33 | 0.0000 | 2 | 2 | | 20141987735488.68 | 0.8524 | 1 | 2 | | 20141987735488.68 | 0.0000 | 2 | 2 | | 20141987735488.68 | 0.0000 | 1 | 2 | | 20141987735488.68 | 0.0000 | 2 | 1 | | 17049438840978.49 | 0.1535 | 3 | 1 | | 11791336545737.45 | 0.3084 | 2 | 1 | | 10197470131039.68 | 0.1352 | 3 | 0 | nombre de vecteur support 3

QP - non séparable cout c n nsup nombre de vecteurs support 3 + 4 | 12919.96 | 1.0000 | 26 | 0 | | 12890.55 | 0.0023 | 25 | 1 | | 12882.04 | 0.0007 | 24 | 2 | ----------------------------------------------- | 12863.03 | 0.0000 | 4 | 16 | | 12863.02 | 0.0000 | 3 | 17 | | 10961.74 | 0.1478 | 2 | 17 | | 10954.37 | 0.0007 | 3 | 16 | | 10403.38 | 0.0503 | 2 | 16 | | 6924.32 | 0.3344 | 1 | 16 | | 6924.32 | 0.0000 | 2 | 15 | | 6924.32 | 0.0000 | 1 | 15 | | 6924.32 | 0.0000 | 2 | 14 | ---------------------------------------------- | 165.41 | 0.4117 | 2 | 6 | | 139.94 | 0.1540 | 3 | 5 | | -36.27 | 1.2592 | 2 | 6 | | -39.21 | 0.0813 | 1 | 6 | | -39.21 | 0.0000 | 2 | 5 | | -39.21 | 0.0000 | 1 | 5 | | -39.21 | 0.0000 | 2 | 4 | | -41.53 | 0.0590 | 3 | 3 | | -44.55 | 0.0727 | 2 | 4 | | -45.27 | 0.0163 | 3 | 4 | nombre de vecteurs support 3 + 4

SVM quadratique

Classification polynômiale 1 n 1 5 Rang(H) = 5 : il faut régulariser

Le cas des outliers

Le clown

SVM gaussiènne

SVM gaussiènne matrice (n x n)

SVM gaussiènne

SVM gaussiènne

SVM gaussiènne

Les trois paramètres de régularisation C : la borne sup 0 <  < C  : la largueur du noyau : K(x,y) régularisation du système linéaire H=b => (H+I)=b

Les trois paramètres de régularisation C : la borne sup 0ŠŠC  : la largueur du noyau : K(x,y) régularisation du système linéaire H=b => (H+I)=b

L’effet de la borne sup

Noyau étroit et C grand

Noyau large - C grand

Noyau large et C petit

Les données de Ripley Glass 200 points (89+96) dimension 9 4 classes Kppv : 74% Denœux : 72 % SVM : 72 % (petite triche) 45 53 37 22 nombre d'erreurs total avec rejet nombre d'accepte et de rejetes 27.0000 27.0000 96.0000 0 0.2812 Nato ASI - Neural networks and statistics - Ripley pp

Ripley

SVM 58 % MARS Denœux 63 % Voyel Prononciation des voyelles 500 + 500 +------------------------------------+--------+---------+---------+ | | no. of | no. | perce | | Classifier | hidde |correc| corre | | units | | | | Single-layer perceptron | - | 154 | 33 | | Multi-layer perceptron | 88 | 234 | 51 | | Multi-layer perceptron | 22 | 206 | 45 | | Multi-layer perceptron | 11 | 203 | 44 | | Modified Kanerva Model | 528 | 231 | 50 | | Modified Kanerva Model | 88 | 197 | 43 | | Radial Basis Function | 528 | 247 | 53 | | Radial Basis Function | 88 | 220 | 48 | | Gaussian node network | 528 | 252 | 55 | | Gaussian node network | 88 | 247 | 53 | | Gaussian node network | 22 | 250 | 54 | | Gaussian node network | 11 | 211 | 47 | | Square node network | 88 | 253 | 55 | | Square node network | 22 | 236 | 51 | | Square node network | 11 | 217 | 50 | | Nearest neighbour | - | 260 | 56 | SVM 58 % MARS Denœux 63 % Prononciation des voyelles 500 + 500 dimension 10 11 classes

SVM pour la régression ...

SVM pour la régression ...

SVM pour la régression ...

SVM pour la régression

Une solution ... pas géniale

Exemple...

 petit et  aussi

une autre manière de voir les choses

Conclusion SVM : sélection des points “importants” NIPS workshop - svm.cs.rhbnc.ac.uk Matlab code disponible - scanu@insa-rouen.fr Problèmes : - problèmes multi classes - petite erreur