RECONNAISSANCE DE FORMES

Présentation au sujet: "RECONNAISSANCE DE FORMES"— Transcription de la présentation:

1 RECONNAISSANCE DE FORMES
IAR-6002

2 Appproches statistiques de la classification
Introduction Théorème de Bayes Frontières de décisions Caractéristiques multiples Frontière de décision multidimensionnelles Frontières de décision d-dimensionnelle en notation matricielle Estimation des taux d’erreurs

3 Introduction Beaucoup d’applications en reconnaissance de formes (RF) utilisent des techniques de classifi-cation basées sur des modèles statistiques Ces modèles requièrent l’utilisation de paramè-tres descriptifs devant être estimés à partir des données disponibles En RF automatique, l’apprentissage supervisé (supervised learning) permet le design d’un classificateur

4 Introduction De plus, l’entraînement du classificateur est basé sur un ensemble (training set) de caractéristi-ques descriptives de chaque classe connue per-mettant la création des critères de discrimination Les critères de discrimination servent par la suite pour classer des observations (sample) dont nous voulons connaître la classe d’apparte-nance

5 Introduction Lorsque nous ne connaissons pas la forme des densités de probabilité (pdf) nous devons utiliser des techniques non-paramétriques (nonparametric classification) (ex: estimation de densité) D’autres méthodes permettent de regrouper des ensembles d’objets (clusters) en fonction de mesures de similarité et ce sans connaissance à priori des classes d’appartenance (unsupervised learning)

6 Introduction Avec la classification paramétrique (parametric classification) nous connaissons la forme géné-rale des pdf de chaque classe Les paramètres des pdf (moyenne et variance) ne sont pas connus Avant d’utiliser les pdf, il faut d’abord estimer les valeurs de ces paramètres

7 Introduction Généralement, le but des procédures de classifi-cation est d’estimer les probabilités qu’une observation (sample) à classer appartienne aux diverses classes Le classificateur choisi alors la classe la plus vraisemblable

8 Théorème de Bayes Un classificateur basé sur le théorème de Bayes choisi la classe d’appartenance la plus vraisem-blable d’une observation à classer La probabilité d’appartenance à une classe est calculée à partir du théorème de Bayes La probabilité jointe qu’une observation provienne d’une classe C avec comme valeur caractéristique x est donnée par

9 Théorème de Bayes Le théorème de Bayes s’écrit alors

10 Théorème de Bayes Lorsque les classes d’appartenance C1, C2, …..,Ck sont indépendantes au sens statistique (évènements mutuellement exclusifs) Le théorème de Bayes pour la classe C=Ci devient

11 Frontières de décision
Nous pouvons aussi faire le design du classifica-teur en créant des régions ceinturées par des frontières Chaque région représente l’intervalle des valeurs de x associé à chaque classe Pour une observation x donnée, le classificateur détermine à quelle région Ri appartient l’obser-vation et associe x à la classe correspondant à la région Ri

12 Frontières de décision
Le positionnement optimal des frontières permet de subdiviser l’espace des caractéristiques en régions R1, …,Rk de telle façon que le choix de la classe Ci est plus vraisemblable pour les valeurs x dans la région Ri que dans toute autre région

13 Frontières de décision
Calculer la frontière de décision entre 2 classes A et B

14 Frontières de décision
Pour calculer la frontière de décision entre 2 classes A et B nous supposons au préalable que les pdf sont continues et se chevauchent donnant

15 Frontières de décision
Si les valeurs des caractéristiques x pour chaque classe A et B suivent une loi normale

16 Frontières de décision
En simplifiant nous obtenons Nous pouvons alors déduire une fonction discri- minante de la forme

17 Frontières de décision
Les règles de décision (classification) devien-nent SI D = 0 classer x dans A ou B SI D > 0 classer x dans B SI D < 0 classer x dans A

18 Frontières de décision
La dernière égalité est quadratique selon x et peut avoir 1 racine réelle, 2 racines réelles ou aucune racine Lorsque les variances sont égales (A=B), l’expression quadratique devient linéaire avec alors une seule racine réelle

19 Caractéristiques multiples
Lorsque nous supposons l’indépendance des carac-téristiques pour une même classe Cj, la probabilité d’occurrence du vecteur x est déduite par

20 Caractéristiques multiples
Le théorème de Bayes multidimentionnel donne

21 Caractéristiques multiples
Avec des distributions normales multivariées la probabilité d’occurrence conditionnelle du vecteur x devient

22 Frontières de décision multidimentionnelles
Si nous avons 2 caractéristiques x1 et x2, la frontière de décision optimale entre 2 classes Ci et Cj est donnée par

23 Frontières de décision multidimentionnelles
La frontière optimale entre 2 classes normales bivariées en supposant l’indépendance des valeurs des caractéristiques est déduite par

24 Frontières de décision multidimentionnelles
La frontière optimale entre 2 classes normales bivariées en supposant l’indépendance des valeurs des caractéristiques

25 Frontières de décision multidimentionnelles
Après simplification nous obtenons la frontière donnée par

26 Frontières de décision multidimentionnelles
Sur la frontière La fonction discriminante est donnée par

27 Frontières de décision multidimentionnelles
Les règles de décision (classification) devien-nent SI D = 0 classer l’observation dans C1 ou C2 SI D > 0 classer l’observation dans C1 SI D < 0 classer l’observation dans C2

28 Frontières de décision multidimentionnelles
La frontière optimale entre 2 classes normales bivariées avec des valeurs des caractéristiques corrélées est déduite par

29 Frontières de décision multidimentionnelles
La pdf jointe bivariée associée à chaque classe prend la forme

30 Frontières de décision multidimentionnelles
Nous pouvons alors déduire les probabilités conditionnelles Sachant que sur la frontière En prenant le logarithme naturel de chaque côté

31 Frontières de décision multidimentionnelles
Après simplifications nous obtenons la frontière donnée par Classes avec la même variance et corrélation

32 Frontières de décision multidimentionnelles
La fonction discriminante devient dans ce cas Les règles de décision (classification) deviennent

33 Frontières de décision d-dimensionnelle en notation matricielle
Si nous avons k classes et d caractéristiques, nous pouvons représenter les moyennes des caractéristiques de chaque classe Ci par un vecteur de moyennes

34 Frontières de décision d-dimensionnelle en notation matricielle
Les variances et covariances des caractéristi-ques de chaque classe Ci sont représentées par une matrice Cette matrice est symétrique La variance de chaque caracté- ristique est sur la diagonale

35 Frontières de décision d-dimensionnelle en notation matricielle
Le théorème de Bayes stipule qu’une observa-tion x ou x est un vecteur de caractériatiques est classée dans Ci qui maximise

36 Frontières de décision d-dimensionnelle en notation matricielle
Le numérateur de l’expression précédente peut s’écrire En prenant le logarithme et multipliant par -2 nous pou- vont choisir la classe qui minimise

37 Frontières de décision d-dimensionnelle en notation matricielle
Nous pouvons alors déduire une distance géné-ralisée Pour trouver la frontière entre 2 classes Ci et Cj nous devons trouver l’intersection par

38 Frontières de décision d-dimensionnelle en notation matricielle
Sachant que La frontière entre les classes Ci et Cj devient

39 Frontières de décision d-dimensionnelle en notation matricielle
De plus, si les matrices de covariances sont égales pour chaque classe

40 Frontières de décision d-dimensionnelle en notation matricielle
L’hyperplan bTx = c est une frontière de décision linéaire qui peut aussi prendre la forme d: nombre de caractéristiques

41 Frontières de décision d-dimensionnelle en notation matricielle
Une somme pondérée des matrices de covariance (pooled) donne une estimation non biaisée de la vraie covariance lorsqu’elles sont supposées égales pour toutes les classes ni: nombre d’observations de Ci N: nombre total d’observations k: nombre de classes i: Estimation non biaisée de la covariance de Ci

42 Frontières de décision d-dimensionnelle en notation matricielle
i est estimée à partir des données d’entraînement par S est un estimateur non biaisé de 

43 Frontières de décision d-dimensionnelle en notation matricielle
Si nous considérons un cas bidimensionnel avec 3 classes (k=3) avec une probabilité a priori uni-forme de 1/3

44 Frontières de décision d-dimensionnelle en notation matricielle
Les pdf de P(Ci)p(x|Ci) de chaque classe

45 Frontières de décision d-dimensionnelle en notation matricielle
Les fonctions discriminantes (Bayes rules) sont

46 Frontières de décision d-dimensionnelle en notation matricielle
Les frontières de décisions sont

47 Frontières de décision d-dimensionnelle en notation matricielle
Diagramme de dispersion de 1000 observa-tions

48 Frontières de décision d-dimensionnelle en notation matricielle
Autre exemple de classification d-dimensionnelle IR R G B

49 Frontières de décision d-dimensionnelle en notation matricielle
Autre exemple de classification d-dimensionnelle 1: Végétation 2: Rivière 3: Haie 4: Tributaire 5: Étang

50 Frontières de décision d-dimensionnelle en notation matricielle
Autre exemple de classification d-dimensionnelle (résultat) Zones importantes: Sols nus Végétation Eau

51 Estimation des taux d’erreurs (model-based)
La probabilité d’erreur de classification des obser-vations de la classe Ci correspond à la probabilité que x soit hors de la région d’appartenance Ri de Ci et est donnée par

52 Estimation des taux d’erreurs (model-based)
Les probabilités d’erreur de classification de chaque classe Ci

53 Estimation des taux d’erreurs (model-based)
La probabilité d’erreur totale est déduite à partir de la probabilité de bonne classification

54 Estimation des taux d’erreurs (model-based)
Pour l’exemple précédent, la frontière de décision est placée à x=45. Alors si x>45 x est classé dans B sinon dans A. La probabilité d’erreur est

55 Estimation des taux d’erreurs (comptage simple)
Comptage du nombre d’erreurs de classification du classificateur à partir d’un échantillons d’objets test de classification connue L’échantillon test doit être différent de celui utilisé pour construire le classificateur La probabilité d’erreur est estimée par k: nombre d’erreurs de classification n: nombre d’observations

56 Estimation des taux d’erreurs (comptage simple)
La probabilité d’erreur estimée ne sera générale-ment pas égale à la vraie probabilité d’erreur La probabilité que k erreurs de classification surviennent dans n observations est donnée par la distribution binomiale

57 Estimation des taux d’erreurs (comptage simple)
Si P(E) était connue, P(k) peut être calculée pour chaque valeur de k et nous pouvons alors déduire un intervalle de confiance dans lequel k tombe avec une probabilité donnée (95 %) Si P(E) = 0.2, et n = 10, alors k = 2 en moyenne, mais k peut prendre d’autres valeurs proches de 2 Nous cherchons alors l’intervalle dans lequel k tombe 95 % du temps

58 Estimation des taux d’erreurs (comptage simple)
Si l’intervalle est symétrique, alors 5 % des probabilités sont à l’extérieur de l’intervalle (2.5 5 de chaque côté de nP(E) Si P(E)=0.2, les probabilités d’avoir k = sont approximativement 0.11, 0.27, 0.30, 0.2, 0.09, 0.03, 0.0, 0.0, 0.0, 0.0, 0.0 L’intervalle [0,4] n’est pas symétrique mais comporte 97 % des probabilités Alors nous pouvons prévoir, que k sera dans l’in-tervalle [0,4] plus que 95 % du temps (P(E) = 0.2)

59 Estimation des taux d’erreurs (comptage simple)
Cependant, P(E) est inconnue, nous ne connaissons que k et n Cherchons alors un intervalle de confiance pour P(E), celui contenant la vraie valeur de P(E) 95 % du temps étant donné k et n Si n=10 et k=2, par essai et erreur nous pouvons déduire que si P(E)=0.5561, P(k<=2) = 2.5 %

60 Estimation des taux d’erreurs (comptage simple)
P(k<=2) est donné par  Si P(E) > , P(k<=2) < alors k=2 est hors de l’intervalle pour un classificateur avec P(E) >  Si P(E) <= , P(k>=2) <= 0.025  Alors l’intervalle [0.0252,0.5561] est un intervalle de confiance de 95 % pour P(E)