RECONNAISSANCE DE FORMES IAR-6002

Approches non-paramétriques Les histogrammes Les estimateurs de densités Technique de classification NN Technique de classification k-NN Erreurs de classification NN

Les histogrammes Les histogrammes nous permettent d’estimer les pdf lorsque nous ne connaissons pas leurs formes paramétriques Un histogramme est formé d’intervalles adjacents représentant un découpage de la plage des valeurs des caractéristiques x Le nombre d’observations tombant dans chaque intervalle est ensuite affiché en fonction de x

Les histogrammes (exemples d’histogrammes) 50 observations

Les histogrammes Les probabilités sont alors estimées par nj: nombre d’observations dans l’intervalle j wj: largeur de l’intervalle j

Les histogrammes (Exemple) Avec 2 classes et 1 caractéristique

Les histogrammes (Exemple) Sachant que N=60 et wj=1, nous devons diviser les nombres d’occurences par 60, P(A) = P(B) = 0.5 Pour classifier une observation x=7.5, nous devons calculer des estimations de p(x|A) et p(x|B)

Les histogrammes (Exemple) Par le théorème de Bayes P(B|7.5) > P(A|7.5) alors x est classé dans B

Les estimateurs de densités Les observations représentent une approximation grossière de la fonction de densité réelle Les observations sont en fait un ensemble de delta de dirac, un pour chaque observation La surface de chaque pic correspond au nombre d’observations divisé par le nombre total d’obser-vations

Les estimateurs de densités Si nous remplaçons chaque pic par un noyau (kernel), leur sommation produira alors une estimation plus douce de la densité De plus, si nous estimons des valeurs ponctuelles de densité, nous pouvons alors centrée une fonction (window function) à une position donnée x et ainsi calculée par convolution l’estimation de la densité à cette position

Les estimateurs de densités Si nous remplaçons chaque pic par un noyau (kernel), leur sommation produira alors une estimation plus douce de la densité De plus, si nous estimons des valeurs ponctuelles de densité, nous pouvons alors centrée une fonction (window function) à une position donnée x et ainsi calculée par convolution l’estimation de la densité à cette position

Les estimateurs de densités (Exemple noyau triangulaire)

Les estimateurs de densités L’expression de convolution

Les estimateurs de densités (formes de divers noyaux) Formes des noyaux (K(x))

Les estimateurs de densités (exemples d’estimation de densité) Noyau triangulaire Noyau gaussien

Technique de classification NN La technique du voisin le plus proche nous permet d’éviter le problème de calcul des probabilités En fait, nous classons une observation x inconnue dans la classe la plus proche (NN), ou à l’observa-tion la plus proche dans les données d’entraînement

Technique de classification NN Nous devons alors déterminer l’observation de référence la plus proche. La distance Euclidienne est donnée par

Technique de classification NN Autres distances Différence absolue Distance maximale Minkowski

Technique de classification NN Exemple de classification NN

Technique de classification k-NN Une généralisation de la technique NN consiste à associer la classe Ci à une observation x dont font partie une majorité des k voisins les plus proches de x Si nous utilisons 3 voisins, l’observation de l’exemple précédent sera classé dans B puisque 2/3 voisin appartiennent à B 

Technique de classification k-NN (Comparaison de l’erreur)

Erreurs de classification NN La probabilité d’erreur d’un classificateur NN est toujours plus grande ou égale à celle d’un classifica-teur de Bayes Le classificateur de Bayes choisit toujours la classe la plus vraisemblable, ce qui représente le choix optimale Avec un classificateur NN, il peut arriver qu’un voi-sin d’une classe donnée qui n’est pas la classe la plus vraisemblable soit le plus proche d’une obser-vation à classifier

Erreurs de classification NN La probabilité de bonne classification des éléments de la classe Ci, est obtenue par

Erreurs de classification NN La probabilité d’erreur de classification des éléments de la classe Ci, est obtenue par

Erreurs de classification NN La probabilité d’erreur de classification totale, est obtenue par

Erreurs de classification NN (Exemple) Si nous avons 2 classes A et B avec P(A) = P(B) = 0.5, et p(x|A) est distribué uniformément entre 0 et 2 alors que p(x|B) est distribué uniformément entre 1 et 5 Quelle est l’erreur de classification NN ? Comment cette erreur se compare-t-elle à l’erreur Bayesienne

Erreurs de classification NN (Exemple) p(x|A), p(x|B) avec p(x) en pointillée

Erreurs de classification NN (Exemple) Calcul des probabilités d’erreur

Erreurs de classification NN (Exemple) Calcul des probabilités d’erreur

Erreurs de classification NN (Exemple) Calcul de la probabilité d’erreur totale

Erreurs de classification NN (Exemple) Calcul de la probabilité d’erreur totale Bayesienne

Erreurs de classification NN (Exemple) Calcul de la probabilité d’erreur totale Bayesienne

Erreurs de classification NN (Borne) La borne d’erreur de P(E)NN