DEA Perception et Traitement de l’Information Reconnaissance des formes Règle de Bayes S. Canu http://psichaud.insa-rouen.fr/~scanu/RdF

des caractéristiques) Buts de la RdF D : Algorithme de Reconnaissance des Formes Une forme x (vecteur forme des caractéristiques) C’est la forme « y=D(x) » Nous voulons un algorithme de RdF performant

Théorème de Bayes (et non la règle) Ex : en français P(e) = 0,12 Ex : après avoir observé x quelle est P(e|x) ? On choisi une observation, et on décide On choisi la source, et on émet Attention à la confusion source - action

illustration sans autre information on décide toujours qu’un pixel vient de la zone (source 1) car P(S1) > P(S2) A PRIORI que se passe t’il si l’on connaît un caratéristique : x l’intensité source 1 source 2

illustration Caractéristique : x l’intensité on décide l’action qui « coûte » le moins cher en cout 0-1 c’est la classe max A POSTERIORI source 1 f(x|s1) source 2 f(x|s2) Les vraisemblances x

illustration f(x|s2) f(x|s1) Règle de décision

notations J coût d ’une règle de décision (erreur de prédiction) espace des sources J coût d ’une règle de décision (erreur de prédiction)

Cas particulier des 2 classes et coûts 0-1

Cas particulier des 2 classes et coûts 0-1 Minimiser J(D) c’est minimiser la probabilité d’erreur

Théorème fondamental Définition : règle de décision du maximum « a posteriori » Théorème : - D* est la règle de Bayes (celle qui minimise la probabilité d’erreur) - J*=J(D*)=P(D*(x)=S) est la plus petite erreur possible (et donc de coût minimal dans le cadre deux classes 0-1) r(x) x x* tel que r(x*)=1/2

Définition fondamentale Coût minimum = maximum à posteriori = minimum d’erreur Pour Définitions : - D* est appelée règle de Bayes c’est la règle qui donne la plus petite probabilité d’erreur - le problème qui consiste à rechercher D* est le problème de Bayes - J*=J(D*) est appelée l’erreur de Bayes

Résumé : problème de RdF espace des sources (erreur de prédiction)

illustration f X(x,0) ~ N(m0,1) f X(x,1) ~ N(m1,1) r(x) = P(S=1|x) Illustration 1d pour deux classes f X(x,0) ~ N(m0,1) f X(x,1) ~ N(m1,1) r(x) = P(S=1|x) P(S=0|x) = 1-r(x)

Démonstration du théorème fondamental (maximum a posteriori) Il est difficile de minimiser J(D) (démonstration constructive) car la fonction coût n’est pas dérivable

Interprétation en terme de moindres carrés La minimisation de l’erreur quadratique mène à la règle de Bayès La minimisation de l’erreur absolue aussi !

Rejet : règle de Chow Rejet d’ambiguité Définition : 1 rA 1/2 x règle de décision du maximum « a posteriori » 1 rA 1/2 Rejet d’ambiguité x classe 0 rejet classe 1

Rejet de distance (Dubuisson) 1 rA rD = 0 et rA = .5 : règle du MAP (bayes pour le coût 0-1) 1/2 rD x rejet de distance classe 0 rejet classe 1 rejet de distance

illustration C1 C0 ?????? f X(x,0) ~ N(m0,1) f X(x,1) ~ N(m1,1) Illustration 2d pour deux classes f X(x,0) ~ N(m0,1) f X(x,1) ~ N(m1,1) r(x) = P(S=1|x) P(S=0|x) = 1-r(x) P(x) = f X(x,0) + f X(x,1) rejet d’ambiguïté

illustration

Un exemple simple S=0 vous ratez votre DEA, S=1 vous l’avez X : le nombre d’heures de travail par semaine

Un exemple simple S=0 vous ratez votre DEA, S=1 vous l’avez X : le nombre d’heures de travail par semaine

Résumé : problème de RdF espace des sources (erreur de prédiction)

RdF : stratégie de Base 1. Estimer 2. Retrouver la règle de Bayes Alternative minimiser directement la probabilité d’erreur (estimer une densité est un problème très difficile)

Comment comparer deux algorithmes Soit D1 et D2 deux algorithmes (kppv et arbres de décision) Soit J1 = J(D1) l ’erreur de classification de D1 et J2 = J(D2) Imaginons que nous connaissions J1 et J2 Sur un échantillon D1 est meilleur, sur un autre c’est D2 comment les comparer ? En moyenne : E(J) (l’espérance sur tous les échantillons possibles) un algorithme est dit consistant si la probabilité d’erreur tend vers son minimum si c’est vrai quelle que soit la distribution des exemples, l’algorithme est dit universellement consistant Définition

Théorème (Stone 1977) L’algorithme des kppv est un algorithme universellement consistant Attention : un bon algorithme peut donner un mauvais classifieur (on peu aussi gagner au loto)

A savoir Variable aléatoire cas discret (un exemple) cas continu (un exemple) Probabilité, probabilité conditionnelle fonction de répartition et densité loi usuelles : bernouilli, binomiale, poisson, normale Espérance, Variance Quiz de 5 minutes maintenant

Conclusion Un problème de reconnaissance des formes se caractérise par une loi à priori, une vraisemblance (souvent inconnues), une fonction coût et un échantillon (souvent connus). La meilleure solution possible (souvent inconnue) la règle de Bayes c’est le MAP qui minimise la probabilité d’erreur Il faut en plus faire du rejet Reste à savoir comment approcher la règle de Bayes à partir de l’échantillon deux stratégies sont possibles : 1. Approcher les lois inconnues puis appliquer le principe du MAP (la « règle de bayes » sur une approximation des lois) 2. Minimiser directement une estimation de la probabilité d’erreur