DEA instrumentation et commande

Présentation au sujet: "DEA instrumentation et commande"— Transcription de la présentation:

1 DEA instrumentation et commande
Reconnaissance des formes Erreurs et coûts des algorithmes S. Canu

2 des caractéristiques)
Buts de la RdF D : Algorithme de Reconnaissance des Formes Une forme x (vecteur forme des caractéristiques) C’est la forme « y=D(x) » Nous voulons un algorithme de RdF performant

3 RdF et apprentissage 2 1 Les problèmes
Ensemble d’apprentissage (échantillon) 3 A priori sur la nature de la solution 2 A : Algorithme d’apprentissage D : Algorithme de Reconnaissance des Formes Une forme x (vecteur forme des caractéristiques) C’est la forme « y=D(x) »

4 Grandes déviations précision confiance Fréquence Probabilité
La moyenne n’est pas l’espérance prise en compte de l’enchantillonnage précision confiance Fréquence Probabilité d’erreur d’erreur

5 Grandes déviations Bienaimé Tchebitchev
pour tout P Démonstration précision confiance

6 Grande déviation   confiance   = (4n)-1/2 précision
-6 -4 -2 2 4 6 p : probabilité d’erreur Xi = 1 si on c’est trompé, = 0 sinon confiance   = (4n)-1/2 précision

7 Application : comparaison d’algorithmes
1 (adaline) m exemples pour le test Algorithme 2 (perceptron) Donc l’algorithme 1 est meilleur que l’algorithme 2

8 Application : comparaison d’algorithmes
1 (adaline) m exemples pour le test Algorithme 2 (perceptron) Donc l’algorithme 1 est meilleur que l’algorithme 2 ssi

9 Application : Choix de la taille de l’ensemble test
Algorithme 1 (adaline) m exemples pour le test Comment choisir m pour que probabilité d’erreur = ? m 0, , 0, Comment améliorer cette borne ?

10 Comment améliorer cette borne ?
Améliorer l’inégalité des grandes déviations. Inégalité de markov Hoeffding erreur bornée Chernov Classification Bernstein Bennet

11 Grandes déviations généralisation de Bienaimé Tchebitchev
pour tout P Démonstration Fonction positive h(x)>0

12 Lemme de Markov soit (A,,D) un espace probabilisé
soit X une v.a. sur (A,) soit  > 0 Alors : Démonstration comme Bienaymé Tchébychev

13 Comment choisir h(x) ? Hoeffding Bennett Bernstein

14 Récapitulons Approximation normale Hoeffding (1963) Bernstein (1946)
Bennett (1962)

15 Taille de l’échantillon pour une précision

16 Exemples

17 Exemples 3200 1800 1000 600 500

18 Estimation de l’erreur d’un classifieur
Avec un ensemble de test Avec des exemples validation croisée bootstrap Indépendamment des exemples il faut une borne

19 Estimation de l’erreur
facture Beaucoup d’exemples : ensemble test DONNEES Peu d’exemples : le rééchantillonnage TEMPS Validation croisée Jackknife Bootstrap Analyse théorique : PRECISION

20 Ensemble test grandes déviations

21 Rééchantillonnage Validation croisée Jackknife Bootstrap

22 Bootstrap Quelle est la loi de ? (comment estimer le biais et la variance d’un estimateur ?) Idée : « observer » la distribution de on tire plusieurs échantillons on calcule plusieurs réalisations de nouvelle idée : créer des échantillons « fictifs » principe Tirage de n points AVEC REMISE X*1 X*2 X*3 … X*i … X*n X1 X2 X3 . Xi Xn X*1 X*2 X*3 … X*i … X*n Échantillon initial X*1 X*2 X*3 … X*i … X*n X*1 X*2 X*3 … X*i … X*n Young G.A. (1994) Bootstrap: More than a stab in the Dark, Statistical Science 9 pp

23 Bootstrap Tirage de n points AVEC REMISE X*1 X*2 X*3 … X*i … X*n X1 X2
. Xi Xn X*1 X*2 X*3 … X*i … X*n Échantillon initial X*1 X*2 X*3 … X*i … X*n X*1 X*2 X*3 … X*i … X*n Biais : Variance :

24 Exemple de Bootstrap n = 20; xi=rand(n,1); m = mean(xi); % 0.528
for b=1:B ind = round(n*rand(n,1)+1/2); mb(b)=mean(xi(ind)); end hist(mb); std(mb) % sqrt(1/12/n) % ind = (Fractiles)

25 Validation par Bootstrap
^ r(x) estimateur P.M.C. + I. B sur l’échantillon initial (x ) Innovation équivalente :  = x r(x ) t ^ t t t Erreur initiale Erreur BS 1 Echantillon BS 2 P.M.C. ( ( (b   (B  (x*1  (x*b  (x* B  r*1(x) r*b(x) r*B(x) t t t t t t t ^ ^ ^

26 Validation par Bootstrap
Faire B fois (B ­ 50) 1 : Générer un nouvel échantillon : x*b(t) ; t = 1:T x*b(t+1) = r(x*b(t)) + b(t) 2 : Apprendre ce nouvel échantillon : r*b(x) Biais b :  (x(t+1) - r*b(x(t))) -  (x*b(t+1) - r*b(x*b(t))) ^ ^ t=1 T-1 1 2 ^ 1 T-1 2 ^ t=1

27 Exemple de bootstrap

28 EP(w) < Cemp(w) + (VCdim(B), Cemp(w), n,  )
Théorie des bornes Avec une probabilité (1 - a), pour tous les : EP(w) < Cemp(w) (VCdim(B), Cemp(w), n,  ) erreur < coût visible + complexité, nb d’exemples, précision mesure de complexité : Taille de B ? Nombre de paramètres ? dimension de Vapnik - Chervonenkis (pire des cas) e.g. Dim VC d'un ensemble de fonctions à seuil = taille du plus grand ensemble S pour lequel le système peut implémenter les 2|S| dichotomies sur S. Connu pour des systèmes simples e.g. syst. linéaires Systèmes complexes : approximations, bornes

29 Un exemple de grande déviation
T une v.a. de bernouilli

30 Convergence uniforme

31 Borne sur l’erreur d’apprentissage
Théorème (Vapnik & Chervonenkis, 1974)