DEA Perception et Traitement de l’Information

Présentation au sujet: "DEA Perception et Traitement de l’Information"— Transcription de la présentation:

1 DEA Perception et Traitement de l’Information
Reconnaissance des formes discrimination linéaire S. Canu

2 des caractéristiques)
Buts de la RdF D : Algorithme de Reconnaissance des Formes Une forme x (vecteur forme des caractéristiques) C’est la forme « y=D(x) » Nous voulons un algorithme de RdF performant

3 RdF et apprentissage 2 1 Les problèmes
Ensemble d’apprentissage (échantillon) 3 A priori sur la nature de la solution 2 A : Algorithme d’apprentissage D : Algorithme de Reconnaissance des Formes Une forme x (vecteur forme des caractéristiques) C’est la forme « y=D(x) »

4 RdF et apprentissage 2 D(x) =signe(w’x+b) 1 Les problèmes
Ensemble d’apprentissage (échantillon) 3 A priori sur la nature de la solution 2 A : Algorithme d’apprentissage D(x) =signe(w’x+b) D : Algorithme de Reconnaissance des Formes Une forme x (vecteur forme des caractéristiques) C’est la forme « y=D(x) »

5 Discrimination linéaire
+ + + + + + + + +

6 Discrimination Linéaire
+ + + + + + + + + Codage {-1,1}, fonction de décision de type « heaviside »

7 Codage et géomètrie w’x : produit scalaire

8 Géométrie : illustration dans R2

9 Quand le discriminateur linéaire est il optimal ?
Quand on le sait à priori… quand les 2 classes sont gaussiènnes (même matrice de variance covariance, couts 0-1) quand on a peu d’exemples par rapport à d (rapport n/d) ...et que l’on n’a pas de modèle on peut l’utiliser pour « représenter » les données (cf ACP) Avantages : il est simple on connaît des bornes de l’erreur

10 MAP : cas gaussien

11 Cas gaussien 1d Règle de décision
X<1/2+s2log(P1/P2) on obsetrve la suite suivante n=10 s = round(rand(n,1)) x = s+randn(n,1) Exemple : communication binaire synchrone la source 1 émet des 0 et la source 2 des 1, le canal est bruité par un bruit blanc, on observe

12 Erreur de décision

13 Cas gaussien multidimensionnel
Le Discriminateur de Bayes est linéaire... x = -3:0.1:3; y = x; [Xt,Yt]=meshgrid(x,y); theta = pi/3; sig=[1 cos(theta);cos(theta) 2]; sig2=sig*sig; sigmoinsun=inv(sig2); n=length(x); d = []; for i =1:length(x) for j =1:length(y) d1(i,j) = ([y(j) ;x(i)])'*sigmoinsun*([y(j) ;x(i)]); d2(i,j) = ([y(j) ;x(i)]-[2 ;.5])'*sigmoinsun*([y(j) ;x(i)]-[2 ;.5]); end; f1 = exp(-d1); f2 = exp(-d2); figure(1) [c h]=contourf(x,y,f1-f2); clabel(c,h); title({'aa','ss'});

14 Cas Gaussien (même variance)
...

15 Mise en œuvre pratique

16 Estimation... et rêve

17 Discrimination Linéaire
wx+ b=0 + + + + + + + + +

18 Discrimination Linéaire
wx+ b=0 + + + + + + + + +

19 Discrimination Linéaire
wx+ b=0 + + + + + + + + +

20 Discrimination Linéaire
wx+ b=0 + + + + + + + + +

21 Discrimination Linéaire
Marge wx+ b=0 Marge +

22 Marge d’un classifieur
Définition frontière marge point influent : « proche » de la frontière, point influent pour une règle D : si l’étiquette change, la frontière change « significativement » (un des points point non influent