RECONNAISSANCE DE FORMES

Présentation au sujet: "RECONNAISSANCE DE FORMES"— Transcription de la présentation:

1 RECONNAISSANCE DE FORMES
IAR-6002

2 Approches non-paramétriques
Les histogrammes Les estimateurs de densités Technique de classification NN Technique de classification k-NN Erreurs de classification NN

3 Les histogrammes Les histogrammes nous permettent d’estimer les pdf lorsque nous ne connaissons pas leurs formes paramétriques Un histogramme est formé d’intervalles adjacents représentant un découpage de la plage des valeurs des caractéristiques x Le nombre d’observations tombant dans chaque intervalle est ensuite affiché en fonction de x

4 Les histogrammes (exemples d’histogrammes)
50 observations

5 Les histogrammes Les probabilités sont alors estimées par
nj: nombre d’observations dans l’intervalle j wj: largeur de l’intervalle j

6 Les histogrammes (Exemple)
Avec 2 classes et 1 caractéristique

7 Les histogrammes (Exemple)
Sachant que N=60 et wj=1, nous devons diviser les nombres d’occurences par 60, P(A) = P(B) = 0.5 Pour classifier une observation x=7.5, nous devons calculer des estimations de p(x|A) et p(x|B)

8 Les histogrammes (Exemple)
Par le théorème de Bayes P(B|7.5) > P(A|7.5) alors x est classé dans B

9 Les estimateurs de densités
Les observations représentent une approximation grossière de la fonction de densité réelle Les observations sont en fait un ensemble de delta de dirac, un pour chaque observation La surface de chaque pic correspond au nombre d’observations divisé par le nombre total d’obser-vations

10 Les estimateurs de densités
Si nous remplaçons chaque pic par un noyau (kernel), leur sommation produira alors une estimation plus douce de la densité De plus, si nous estimons des valeurs ponctuelles de densité, nous pouvons alors centrée une fonction (window function) à une position donnée x et ainsi calculée par convolution l’estimation de la densité à cette position

11 Les estimateurs de densités
Si nous remplaçons chaque pic par un noyau (kernel), leur sommation produira alors une estimation plus douce de la densité De plus, si nous estimons des valeurs ponctuelles de densité, nous pouvons alors centrée une fonction (window function) à une position donnée x et ainsi calculée par convolution l’estimation de la densité à cette position

12 Les estimateurs de densités (Exemple noyau triangulaire)

13 Les estimateurs de densités
L’expression de convolution

14 Les estimateurs de densités (formes de divers noyaux)
Formes des noyaux (K(x))

15 Les estimateurs de densités (exemples d’estimation de densité)
Noyau triangulaire Noyau gaussien

16 Technique de classification NN
La technique du voisin le plus proche nous permet d’éviter le problème de calcul des probabilités En fait, nous classons une observation x inconnue dans la classe la plus proche (NN), ou à l’observa-tion la plus proche dans les données d’entraînement

17 Technique de classification NN
Nous devons alors déterminer l’observation de référence la plus proche. La distance Euclidienne est donnée par

18 Technique de classification NN
Autres distances Différence absolue Distance maximale Minkowski

19 Technique de classification NN
Exemple de classification NN

20 Technique de classification k-NN
Une généralisation de la technique NN consiste à associer la classe Ci à une observation x dont font partie une majorité des k voisins les plus proches de x Si nous utilisons 3 voisins, l’observation de l’exemple précédent sera classé dans B puisque 2/3 voisin appartiennent à B 

21 Technique de classification k-NN (Comparaison de l’erreur)

22 Erreurs de classification NN
La probabilité d’erreur d’un classificateur NN est toujours plus grande ou égale à celle d’un classifica-teur de Bayes Le classificateur de Bayes choisit toujours la classe la plus vraisemblable, ce qui représente le choix optimale Avec un classificateur NN, il peut arriver qu’un voi-sin d’une classe donnée qui n’est pas la classe la plus vraisemblable soit le plus proche d’une obser-vation à classifier

23 Erreurs de classification NN
La probabilité de bonne classification des éléments de la classe Ci, est obtenue par

24 Erreurs de classification NN
La probabilité d’erreur de classification des éléments de la classe Ci, est obtenue par

25 Erreurs de classification NN
La probabilité d’erreur de classification totale, est obtenue par

26 Erreurs de classification NN (Exemple)
Si nous avons 2 classes A et B avec P(A) = P(B) = 0.5, et p(x|A) est distribué uniformément entre 0 et 2 alors que p(x|B) est distribué uniformément entre 1 et 5 Quelle est l’erreur de classification NN ? Comment cette erreur se compare-t-elle à l’erreur Bayesienne

27 Erreurs de classification NN (Exemple)
p(x|A), p(x|B) avec p(x) en pointillée

28 Erreurs de classification NN (Exemple)
Calcul des probabilités d’erreur

29 Erreurs de classification NN (Exemple)
Calcul des probabilités d’erreur

30 Erreurs de classification NN (Exemple)
Calcul de la probabilité d’erreur totale

31 Erreurs de classification NN (Exemple)
Calcul de la probabilité d’erreur totale Bayesienne

32 Erreurs de classification NN (Exemple)
Calcul de la probabilité d’erreur totale Bayesienne

33 Erreurs de classification NN (Borne)
La borne d’erreur de P(E)NN