La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

DEA Perception et Traitement de lInformation Reconnaissance des formes Règle de Bayes S. Canu

Présentations similaires


Présentation au sujet: "DEA Perception et Traitement de lInformation Reconnaissance des formes Règle de Bayes S. Canu"— Transcription de la présentation:

1 DEA Perception et Traitement de lInformation Reconnaissance des formes Règle de Bayes S. Canu

2 Buts de la RdF D : Algorithme de Reconnaissance des Formes Une forme x (vecteur forme des caractéristiques) Cest la forme « y=D(x) » Nous voulons un algorithme de RdF performant

3 Théorème de Bayes (et non la règle) Ex : en français P(e) = 0,12 On choisi la source, et on émet On choisi une observation, et on décide Ex : après avoir observé x quelle est P(e|x) ? Attention à la confusion source - action

4 illustration source 1 source 2 sans autre information on décide toujours quun pixel vient de la zone (source 1) car P(S1) > P(S2) A PRIORI que se passe til si lon connaît un caratéristique : x lintensité

5 illustration source 1 source 2 Caractéristique : x lintensité on décide laction qui « coûte » le moins cher en cout 0-1 cest la classe max A POSTERIORI x f(x|s1) f(x|s2) Les vraisemblances

6 illustration f(x|s1) f(x|s2) Règle de décision

7 notations espace des sources J coût d une règle de décision (erreur de prédiction)

8 Cas particulier des 2 classes et coûts 0-1

9 Minimiser J(D) cest minimiser la probabilité derreur

10 Théorème : - D* est la règle de Bayes (celle qui minimise la probabilité derreur) - J*=J(D*)=P ( D*(x)=S ) est la plus petite erreur possible (et donc de coût minimal dans le cadre deux classes 0-1) Théorème fondamental Définition : règle de décision du maximum « a posteriori » x r(x)r(x) x* tel que r(x*)=1/2

11 Définition fondamentale Coût minimum = maximum à posteriori = minimum derreur Définitions : - D* est appelée règle de Bayes cest la règle qui donne la plus petite probabilité derreur - le problème qui consiste à rechercher D* est le problème de Bayes - J*=J(D*) est appelée lerreur de Bayes Pour

12 espace des sources Résumé : problème de RdF (erreur de prédiction)

13 illustration Illustration 1d pour deux classes f X (x,0) ~ N ( 0,1) f X (x,1) ~ N ( 1,1) r(x) = P(S=1|x) P(S=0|x) = 1-r(x)

14 Démonstration du théorème fondamental (maximum a posteriori) Il est difficile de minimiser J(D) (démonstration constructive) car la fonction coût nest pas dérivable

15 Interprétation en terme de moindres carrés La minimisation de lerreur quadratique mène à la règle de Bayès La minimisation de lerreur absolue aussi !

16 Rejet : règle de Chow Rejet dambiguité Définition : règle de décision du maximum « a posteriori » 1/2 1 A x classe 0 rejet classe 1

17 Rejet de distance (Dubuisson) 1/2 1 A x rejet de distance classe 0 rejet classe 1 rejet de distance D = 0 et A =.5 : règle du MAP (bayes pour le coût 0-1) D

18 ?????? C0 C1 illustration Illustration 2d pour deux classes f X (x,0) ~ N ( 0,1) f X (x,1) ~ N ( 1,1) r(x) = P(S=1|x) P(S=0|x) = 1-r(x) P(x) = f X (x,0) + f X (x,1) rejet dambiguïté

19 illustration

20 Un exemple simple S=0 vous ratez votre DEA, S=1 vous lavez X : le nombre dheures de travail par semaine

21 Un exemple simple S=0 vous ratez votre DEA, S=1 vous lavez X : le nombre dheures de travail par semaine

22 espace des sources Résumé : problème de RdF (erreur de prédiction)

23 RdF : stratégie de Base 1. Estimer 2. Retrouver la règle de Bayes Alternative minimiser directement la probabilité derreur (estimer une densité est un problème très difficile)

24 Comment comparer deux algorithmes Soit D 1 et D 2 deux algorithmes (kppv et arbres de décision) Soit J 1 = J(D 1 ) l erreur de classification de D 1 et J 2 = J(D 2 ) Imaginons que nous connaissions J 1 et J 2 Sur un échantillon D 1 est meilleur, sur un autre cest D 2 comment les comparer ? En moyenne : E(J) (lespérance sur tous les échantillons possibles) un algorithme est dit consistant si la probabilité derreur tend vers son minimum si cest vrai quelle que soit la distribution des exemples, lalgorithme est dit universellement consistant Définition

25 Théorème (Stone 1977) Lalgorithme des kppv est un algorithme universellement consistant Attention : un bon algorithme peut donner un mauvais classifieur (on peu aussi gagner au loto)

26 A savoir Variable aléatoire cas discret (un exemple) cas continu (un exemple) Probabilité, probabilité conditionnelle fonction de répartition et densité loi usuelles : bernouilli, binomiale, poisson, normale Espérance, cas discret (un exemple) cas continu (un exemple) Variance Quiz de 5 minutes maintenant

27 Conclusion Un problème de reconnaissance des formes se caractérise par une loi à priori, une vraisemblance (souvent inconnues), une fonction coût et un échantillon (souvent connus). La meilleure solution possible (souvent inconnue) la règle de Bayes cest le MAP qui minimise la probabilité derreur Il faut en plus faire du rejet Reste à savoir comment approcher la règle de Bayes à partir de léchantillon deux stratégies sont possibles : 1. Approcher les lois inconnues puis appliquer le principe du MAP (la « règle de bayes » sur une approximation des lois) 2. Minimiser directement une estimation de la probabilité derreur


Télécharger ppt "DEA Perception et Traitement de lInformation Reconnaissance des formes Règle de Bayes S. Canu"

Présentations similaires


Annonces Google