La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

DEA Perception et Traitement de l’Information Reconnaissance des formes Apprentissage linéaire S. Canu

Présentations similaires


Présentation au sujet: "DEA Perception et Traitement de l’Information Reconnaissance des formes Apprentissage linéaire S. Canu"— Transcription de la présentation:

1 DEA Perception et Traitement de l’Information Reconnaissance des formes Apprentissage linéaire S. Canu

2 RdF et apprentissage D : Algorithme de Reconnaissance des Formes Une forme x (vecteur forme des caractéristiques) C’est la forme « y=D(x) » A : Algorithme d’apprentissage Ensemble d’apprentissage (échantillon) A priori sur la nature de la solution Les problèmes D(x) =signe(w’x+b)

3 Discrimination Linéaire Codage {-1,1}, fonction de décision de type « heaviside »

4 Estimation... et rêve

5 Stratégies d’estimation –Minimiser les erreurs moindres carrées adaline perceptron le neurone formel –estimer les paramètres max de vraisemblance, puis règle de Bayes –minimiser un autre critère analyse discriminante de Fisher

6 Moindres carrés X = [x1 ; x2]; X = [X ones(length(X),1)]; yi = [ones(length(x1),1) ; -ones(length(x2),1)]; W = (X'*X)\(X'*yi); west = W(1:2); best = W(3);

7 Résistance aux « outliers »

8 Moindre carrés « stochastiques » ADALINE (Widrow Hoff 1960) Algorithme itératif de gradient = 

9 Le gradient est orthogonal aux lignes d ’iso coût : argument à la « Taylor » Algorithme de gradient : illustration dans le plan w 1,w 2 + Minimum du coût Lignes d ’iso-coût : J(W) = constante Direction du gradient J’(W) w1w1 w2w2

10 3 solutions LE NEURONE FORMEL

11 Algorithme itératif nbitemax = 50; k=0; while ((cout > 0) & (k

12 ADALINE, Ça marche...

13 ADALINE des fois ça ne marche pas… Solution au sens des moindres carrés

14 Le Perceptron, des fois ça ne marche pas......Quand les exemples ne sont pas linéairement séparables

15 Règle du perceptron (Rosenblatt 1958) codage

16 Règle du perceptron (Rosenblatt 1958) Pas de fonction coût minimisée preuve de convergence (dans le cas linéairement séparable)

17 Règle du perceptron (Rosenblatt 1958)

18 Convergence des algorithmes de gradient

19 Performances des algorithmes linéaires Théorème (Vapnik & Chervonenkis, 1974)

20 Performances des algorithmes linéaires Théorème (Vapnik & Chervonenkis, 1974) Probabilité d’erreur risque empirique Malédiction de la dimensionnalité Asymptotiquement « jouable » précision borne

21 Maximum de vraisemblance Distance de Mahalanobis

22 Analyse discriminante de Fisher 2 classes Quelle est la direction de l’espace des caractéristiques qui sépare le mieux les deux classes ? Voilà la critère !

23 Analyse discriminante de Fisher multi classes

24 On recherche les vecteurs propres de la matrice

25 AD en matlab ind1=find(yi==1); X1=Xi(ind1,:); ind2=find(yi==2); X2=Xi(ind2,:); ind3=find(yi==3); X3=Xi(ind3,:); n1=length(ind1); n2=length(ind2); n3=length(ind3); n = n1+n2+n3; Sw = (n1*cov(X1)+n2*cov(X2)+n2*cov(X3))/n; %AD m1 = mean(X1); m2 = mean(X2); m3 = mean(X3); mm = mean(Xi); Sb = (n1*(m1-mm)'*(m1-mm)+n2*(m2-mm)'*(m2-mm)+n3*(m3-mm)'*(m3-mm))/n; % L = chol(Sw); % Linv = inv(L); % [v l]=eig(Linv*Sb*Linv'); % AD % v = Linv'*v; [v l]=eig(inv(Sw)*Sb); % AD [val ind] = sort(-abs(diag(l))); P = [v(:,ind(1)) v(:,ind(2))]; xi = Xn*P;

26 Conclusion : discrimination linéaire –Minimiser les erreurs moindres carrées : erreur quadratique adaline : erreur quadratique perceptron : le nombre de mal classé le neurone formel : les formes frontière nombre d’erreur : le simplex -> les SVM –estimer les paramètres max de vraisemblance, puis règle de Bayes –minimiser un autre critère analyse discriminante de Fisher : REPRESENTATION

27 Apprentissage bayésien

28 Malédiction de la dimensionalité –Un problème inatendu –estimation de la matrice de covariance –capacité d’un classifieur linéaire –le problème de l’erreur moyenne !

29 Estimation du taux d’erreur


Télécharger ppt "DEA Perception et Traitement de l’Information Reconnaissance des formes Apprentissage linéaire S. Canu"

Présentations similaires


Annonces Google