La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

DEA instrumentation et commande Reconnaissance des formes Erreurs et coûts des algorithmes S. Canu

Présentations similaires


Présentation au sujet: "DEA instrumentation et commande Reconnaissance des formes Erreurs et coûts des algorithmes S. Canu"— Transcription de la présentation:

1 DEA instrumentation et commande Reconnaissance des formes Erreurs et coûts des algorithmes S. Canu

2 Buts de la RdF D : Algorithme de Reconnaissance des Formes Une forme x (vecteur forme des caractéristiques) Cest la forme « y=D(x) » Nous voulons un algorithme de RdF performant

3 RdF et apprentissage D : Algorithme de Reconnaissance des Formes Une forme x (vecteur forme des caractéristiques) Cest la forme « y=D(x) » A : Algorithme dapprentissage Ensemble dapprentissage (échantillon) A priori sur la nature de la solution Les problèmes

4 Grandes déviations Fréquence Probabilité derreur précision confiance La moyenne nest pas lespérance prise en compte de lenchantillonnage

5 Grandes déviations Bienaimé Tchebitchev –pour tout P –Démonstration précision confiance

6 Grande déviation confiance = (4n ) -1/2 précision p : probabilité derreur X i = 1 si on cest trompé, = 0 sinon

7 Application : comparaison dalgorithmes Algorithme 1 (adaline) Algorithme 2 (perceptron) m exemples pour le test Donc lalgorithme 1 est meilleur que lalgorithme 2

8 Application : comparaison dalgorithmes Algorithme 1 (adaline) Algorithme 2 (perceptron) m exemples pour le test Donc lalgorithme 1 est meilleur que lalgorithme 2 ssi

9 Application : Choix de la taille de lensemble test Algorithme 1 (adaline) m exemples pour le test Comment choisir m pour que probabilité derreur = ? m 0,05 0, , Comment améliorer cette borne ?

10 –Améliorer linégalité des grandes déviations. –Inégalité de markov –Hoeffding erreur bornée –Chernov Classification –Bernstein –Bennet

11 Grandes déviations généralisation de Bienaimé Tchebitchev –pour tout P –Démonstration Fonction positive h(x)>0

12 Lemme de Markov –soit (A,,D) un espace probabilisé –soit X une v.a. sur (A, ) –soit > 0 –Alors : –Démonstration –comme Bienaymé Tchébychev

13 Comment choisir h(x) ? Hoeffding Bennett Bernstein

14 Récapitulons Approximation normale Hoeffding (1963) Bernstein (1946) Bennett (1962)

15 Taille de léchantillon pour une précision

16 Exemples

17

18 Estimation de lerreur dun classifieur Avec un ensemble de test Avec des exemples – validation croisée – bootstrap Indépendamment des exemples – il faut une borne

19 –Beaucoup dexemples : ensemble test DONNEES –Peu dexemples : le rééchantillonnage TEMPS –Validation croisée –Jackknife –Bootstrap –Analyse théorique : PRECISION Estimation de lerreur facture

20 Ensemble test –grandes déviations

21 Rééchantillonnage –Validation croisée –Jackknife –Bootstrap

22 X 1 X 2 X 3. X i. X n Bootstrap Young G.A. (1994) Bootstrap: More than a stab in the Dark, Statistical Science 9 pp Quelle est la loi de ? (comment estimer le biais et la variance dun estimateur ?) Idée : « observer » la distribution de on tire plusieurs échantillons on calcule plusieurs réalisations de nouvelle idée : créer des échantillons « fictifs » Échantillon initial X* 1 X* 2 X* 3 … X* i … X* n Tirage de n points AVEC REMISE X* 1 X* 2 X* 3 … X* i … X* n principe

23 Bootstrap X 1 X 2 X 3. X i. X n Échantillon initial X* 1 X* 2 X* 3 … X* i … X* n Tirage de n points AVEC REMISE X* 1 X* 2 X* 3 … X* i … X* n Biais : Variance :

24 Exemple de Bootstrap n = 20; xi=rand(n,1); m = mean(xi); % B=200; for b=1:B ind = round(n*rand(n,1)+1/2); mb(b)=mean(xi(ind)); end hist(mb); std(mb) % sqrt(1/12/n) % ind = (Fractiles)

25 r(x) estimateur P.M.C. + I. B sur léchantillon initial (x ) Innovation équivalente : = x - r(x ) Validation par Bootstrap t t+1 t Erreur initiale Erreur BS 1 Echantillon BS 2 P.M.C. ( ( ( b ( B (x* 1... (x* b (x* B r* 1 (x)... r* b (x)... r* B (x) ^ t t t t t ^ ^ ^ ^

26 Validation par Bootstrap –Faire B fois (B ­ 50) –1 : Générer un nouvel échantillon : x* b (t) ; t = 1:T x* b (t+1) = r(x* b (t) ) + b (t) –2 : Apprendre ce nouvel échantillon : r* b (x) –Biais b :  ( x(t+1) - r* b (x(t)) ) -  ( x* b (t+1) - r* b (x* b (t)) ) 2 t=1 T-1 1 T-1 2 t=1 1 T-1 ^ ^ ^ ^

27 Exemple de bootstrap

28 –Avec une probabilité (1 - ), pour tous les : EP(w) < C emp (w) + ( VCdim( B ), C emp (w), n, ) erreur < coût visible + complexité, nb dexemples, précision –mesure de complexité : –Taille de B ? –Nombre de paramètres ? –dimension de Vapnik - Chervonenkis (pire des cas) –e.g. Dim VC d'un ensemble de fonctions à seuil = taille du plus grand ensemble S pour lequel le système peut implémenter les 2 |S| dichotomies sur S. Théorie des bornes

29 Un exemple de grande déviation –T une v.a. de bernouilli

30 Convergence uniforme

31 Borne sur lerreur dapprentissage Théorème (Vapnik & Chervonenkis, 1974)


Télécharger ppt "DEA instrumentation et commande Reconnaissance des formes Erreurs et coûts des algorithmes S. Canu"

Présentations similaires


Annonces Google