DEA Perception et Traitement de l’Information

Présentation au sujet: "DEA Perception et Traitement de l’Information"— Transcription de la présentation:

1 DEA Perception et Traitement de l’Information
Reconnaissance des formes Règle de Bayes S. Canu

2 des caractéristiques)
Buts de la RdF D : Algorithme de Reconnaissance des Formes Une forme x (vecteur forme des caractéristiques) C’est la forme « y=D(x) » Nous voulons un algorithme de RdF performant

3 Théorème de Bayes (et non la règle)
Ex : en français P(e) = 0,12 Ex : après avoir observé x quelle est P(e|x) ? On choisi une observation, et on décide On choisi la source, et on émet Attention à la confusion source - action

4 illustration sans autre information on décide toujours qu’un pixel
vient de la zone (source 1) car P(S1) > P(S2) A PRIORI que se passe t’il si l’on connaît un caratéristique : x l’intensité source 1 source 2

5 illustration Caractéristique : x l’intensité on décide
l’action qui « coûte » le moins cher en cout 0-1 c’est la classe max A POSTERIORI source 1 f(x|s1) source 2 f(x|s2) Les vraisemblances x

6 illustration f(x|s2) f(x|s1) Règle de décision

7 notations J coût d ’une règle de décision (erreur de prédiction)
espace des sources J coût d ’une règle de décision (erreur de prédiction)

8 Cas particulier des 2 classes et coûts 0-1

9 Cas particulier des 2 classes et coûts 0-1
Minimiser J(D) c’est minimiser la probabilité d’erreur

10 Théorème fondamental Définition : règle de décision du maximum « a posteriori » Théorème : - D* est la règle de Bayes (celle qui minimise la probabilité d’erreur) - J*=J(D*)=P(D*(x)=S) est la plus petite erreur possible (et donc de coût minimal dans le cadre deux classes 0-1) r(x) x x* tel que r(x*)=1/2

11 Définition fondamentale
Coût minimum = maximum à posteriori = minimum d’erreur Pour Définitions : - D* est appelée règle de Bayes c’est la règle qui donne la plus petite probabilité d’erreur - le problème qui consiste à rechercher D* est le problème de Bayes - J*=J(D*) est appelée l’erreur de Bayes

12 Résumé : problème de RdF
espace des sources (erreur de prédiction)

13 illustration f X(x,0) ~ N(m0,1) f X(x,1) ~ N(m1,1) r(x) = P(S=1|x)
Illustration 1d pour deux classes f X(x,0) ~ N(m0,1) f X(x,1) ~ N(m1,1) r(x) = P(S=1|x) P(S=0|x) = 1-r(x)

14 Démonstration du théorème fondamental (maximum a posteriori)
Il est difficile de minimiser J(D) (démonstration constructive) car la fonction coût n’est pas dérivable

15 Interprétation en terme de moindres carrés
La minimisation de l’erreur quadratique mène à la règle de Bayès La minimisation de l’erreur absolue aussi !

16 Rejet : règle de Chow Rejet d’ambiguité Définition : 1 rA 1/2 x
règle de décision du maximum « a posteriori » 1 rA 1/2 Rejet d’ambiguité x classe rejet classe 1

17 Rejet de distance (Dubuisson)
1 rA rD = 0 et rA = .5 : règle du MAP (bayes pour le coût 0-1) 1/2 rD x rejet de distance classe rejet classe rejet de distance

18 illustration C1 C0 ?????? f X(x,0) ~ N(m0,1) f X(x,1) ~ N(m1,1)
Illustration 2d pour deux classes f X(x,0) ~ N(m0,1) f X(x,1) ~ N(m1,1) r(x) = P(S=1|x) P(S=0|x) = 1-r(x) P(x) = f X(x,0) + f X(x,1) rejet d’ambiguïté

19 illustration

20 Un exemple simple S=0 vous ratez votre DEA, S=1 vous l’avez
X : le nombre d’heures de travail par semaine

21 Un exemple simple S=0 vous ratez votre DEA, S=1 vous l’avez
X : le nombre d’heures de travail par semaine

22 Résumé : problème de RdF
espace des sources (erreur de prédiction)

23 RdF : stratégie de Base 1. Estimer 2. Retrouver la règle de Bayes
Alternative minimiser directement la probabilité d’erreur (estimer une densité est un problème très difficile)

24 Comment comparer deux algorithmes
Soit D1 et D2 deux algorithmes (kppv et arbres de décision) Soit J1 = J(D1) l ’erreur de classification de D1 et J2 = J(D2) Imaginons que nous connaissions J1 et J2 Sur un échantillon D1 est meilleur, sur un autre c’est D2 comment les comparer ? En moyenne : E(J) (l’espérance sur tous les échantillons possibles) un algorithme est dit consistant si la probabilité d’erreur tend vers son minimum si c’est vrai quelle que soit la distribution des exemples, l’algorithme est dit universellement consistant Définition

25 Théorème (Stone 1977) L’algorithme des kppv est un algorithme universellement consistant Attention : un bon algorithme peut donner un mauvais classifieur (on peu aussi gagner au loto)

26 A savoir Variable aléatoire cas discret (un exemple)
cas continu (un exemple) Probabilité, probabilité conditionnelle fonction de répartition et densité loi usuelles : bernouilli, binomiale, poisson, normale Espérance, Variance Quiz de 5 minutes maintenant

27 Conclusion Un problème de reconnaissance des formes se caractérise
par une loi à priori, une vraisemblance (souvent inconnues), une fonction coût et un échantillon (souvent connus). La meilleure solution possible (souvent inconnue) la règle de Bayes c’est le MAP qui minimise la probabilité d’erreur Il faut en plus faire du rejet Reste à savoir comment approcher la règle de Bayes à partir de l’échantillon deux stratégies sont possibles : 1. Approcher les lois inconnues puis appliquer le principe du MAP (la « règle de bayes » sur une approximation des lois) 2. Minimiser directement une estimation de la probabilité d’erreur