La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

RECONNAISSANCE DE FORMES IAR-6002. Appproches statistiques de la classification u Introduction u Théorème de Bayes u Frontières de décisions u Caractéristiques.

Présentations similaires


Présentation au sujet: "RECONNAISSANCE DE FORMES IAR-6002. Appproches statistiques de la classification u Introduction u Théorème de Bayes u Frontières de décisions u Caractéristiques."— Transcription de la présentation:

1 RECONNAISSANCE DE FORMES IAR-6002

2 Appproches statistiques de la classification u Introduction u Théorème de Bayes u Frontières de décisions u Caractéristiques multiples u Frontière de décision multidimensionnelles u Frontières de décision d-dimensionnelle en notation matricielle u Estimation des taux derreurs

3 Introduction u Beaucoup dapplications en reconnaissance de formes (RF) utilisent des techniques de classifi- cation basées sur des modèles statistiques u Ces modèles requièrent lutilisation de paramè- tres descriptifs devant être estimés à partir des données disponibles u En RF automatique, lapprentissage supervisé (supervised learning) permet le design dun classificateur

4 Introduction u De plus, lentraînement du classificateur est basé sur un ensemble (training set) de caractéristi- ques descriptives de chaque classe connue per- mettant la création des critères de discrimination u Les critères de discrimination servent par la suite pour classer des observations (sample) dont nous voulons connaître la classe dapparte- nance

5 Introduction u Lorsque nous ne connaissons pas la forme des densités de probabilité (pdf) nous devons utiliser des techniques non-paramétriques (nonparametric classification) (ex: estimation de densité) u Dautres méthodes permettent de regrouper des ensembles dobjets (clusters) en fonction de mesures de similarité et ce sans connaissance à priori des classes dappartenance (unsupervised learning)

6 Introduction u Avec la classification paramétrique (parametric classification) nous connaissons la forme géné- rale des pdf de chaque classe u Les paramètres des pdf (moyenne et variance) ne sont pas connus u Avant dutiliser les pdf, il faut dabord estimer les valeurs de ces paramètres

7 Introduction u Généralement, le but des procédures de classifi- cation est destimer les probabilités quune observation (sample) à classer appartienne aux diverses classes u Le classificateur choisi alors la classe la plus vraisemblable

8 Théorème de Bayes u Un classificateur basé sur le théorème de Bayes choisi la classe dappartenance la plus vraisem- blable dune observation à classer u La probabilité dappartenance à une classe est calculée à partir du théorème de Bayes u La probabilité jointe quune observation provienne dune classe C avec comme valeur caractéristique x est donnée par

9 Théorème de Bayes u Le théorème de Bayes sécrit alors

10 Théorème de Bayes u Lorsque les classes dappartenance C 1, C 2, …..,C k sont indépendantes au sens statistique (évènements mutuellement exclusifs) u Le théorème de Bayes pour la classe C=C i devient

11 Frontières de décision u Nous pouvons aussi faire le design du classifica- teur en créant des régions ceinturées par des frontières u Chaque région représente lintervalle des valeurs de x associé à chaque classe u Pour une observation x donnée, le classificateur détermine à quelle région R i appartient lobser- vation et associe x à la classe correspondant à la région R i

12 Frontières de décision u Le positionnement optimal des frontières permet de subdiviser lespace des caractéristiques en régions R 1, …,R k de telle façon que le choix de la classe C i est plus vraisemblable pour les valeurs x dans la région R i que dans toute autre région

13 Frontières de décision u Calculer la frontière de décision entre 2 classes A et B

14 Frontières de décision u Pour calculer la frontière de décision entre 2 classes A et B nous supposons au préalable que les pdf sont continues et se chevauchent donnant

15 Frontières de décision u Si les valeurs des caractéristiques x pour chaque classe A et B suivent une loi normale

16 Frontières de décision u En simplifiant nous obtenons u Nous pouvons alors déduire une fonction discri- minante de la forme

17 Frontières de décision u Les règles de décision (classification) devien- nent –SI D = 0 classer x dans A ou B –SI D > 0 classer x dans B –SI D < 0 classer x dans A

18 Frontières de décision u La dernière égalité est quadratique selon x et peut avoir 1 racine réelle, 2 racines réelles ou aucune racine u Lorsque les variances sont égales ( A = B ), lexpression quadratique devient linéaire avec alors une seule racine réelle

19 Caractéristiques multiples u Lorsque nous supposons lindépendance des carac- téristiques pour une même classe C j, la probabilité doccurrence du vecteur x est déduite par

20 Caractéristiques multiples u Le théorème de Bayes multidimentionnel donne

21 Caractéristiques multiples u Avec des distributions normales multivariées la probabilité doccurrence conditionnelle du vecteur x devient

22 Frontières de décision multidimentionnelles u Si nous avons 2 caractéristiques x 1 et x 2, la frontière de décision optimale entre 2 classes C i et C j est donnée par

23 Frontières de décision multidimentionnelles u La frontière optimale entre 2 classes normales bivariées en supposant lindépendance des valeurs des caractéristiques est déduite par

24 Frontières de décision multidimentionnelles u La frontière optimale entre 2 classes normales bivariées en supposant lindépendance des valeurs des caractéristiques

25 Frontières de décision multidimentionnelles u Après simplification nous obtenons la frontière donnée par

26 Frontières de décision multidimentionnelles u Sur la frontière u La fonction discriminante est donnée par

27 Frontières de décision multidimentionnelles u Les règles de décision (classification) devien- nent –SI D = 0 classer lobservation dans C 1 ou C 2 –SI D > 0 classer lobservation dans C 1 –SI D < 0 classer lobservation dans C 2

28 Frontières de décision multidimentionnelles u La frontière optimale entre 2 classes normales bivariées avec des valeurs des caractéristiques corrélées est déduite par

29 Frontières de décision multidimentionnelles u La pdf jointe bivariée associée à chaque classe prend la forme

30 Frontières de décision multidimentionnelles u Nous pouvons alors déduire les probabilités conditionnelles u Sachant que sur la frontière u En prenant le logarithme naturel de chaque côté

31 Frontières de décision multidimentionnelles u Après simplifications nous obtenons la frontière donnée par Classes avec la même variance et corrélation

32 Frontières de décision multidimentionnelles u La fonction discriminante devient dans ce cas u Les règles de décision (classification) deviennent

33 Frontières de décision d-dimensionnelle en notation matricielle u Si nous avons k classes et d caractéristiques, nous pouvons représenter les moyennes des caractéristiques de chaque classe C i par un vecteur de moyennes

34 Frontières de décision d-dimensionnelle en notation matricielle u Les variances et covariances des caractéristi- ques de chaque classe C i sont représentées par une matrice Cette matrice est symétrique La variance de chaque caracté- ristique est sur la diagonale

35 Frontières de décision d-dimensionnelle en notation matricielle u Le théorème de Bayes stipule quune observa- tion x ou x est un vecteur de caractériatiques est classée dans C i qui maximise

36 Frontières de décision d-dimensionnelle en notation matricielle u Le numérateur de lexpression précédente peut sécrire u En prenant le logarithme et multipliant par -2 nous pou- vont choisir la classe qui minimise

37 Frontières de décision d-dimensionnelle en notation matricielle u Nous pouvons alors déduire une distance géné- ralisée u Pour trouver la frontière entre 2 classes C i et C j nous devons trouver lintersection par

38 Frontières de décision d-dimensionnelle en notation matricielle u Sachant que u La frontière entre les classes C i et C j devient

39 Frontières de décision d-dimensionnelle en notation matricielle u De plus, si les matrices de covariances sont égales pour chaque classe

40 Frontières de décision d-dimensionnelle en notation matricielle u Lhyperplan b T x = c est une frontière de décision linéaire qui peut aussi prendre la forme d: nombre de caractéristiques

41 Frontières de décision d-dimensionnelle en notation matricielle u Une somme pondérée des matrices de covariance (pooled) donne une estimation non biaisée de la vraie covariance lorsquelles sont supposées égales pour toutes les classes n i : nombre dobservations de C i N: nombre total dobservations k: nombre de classes i : Estimation non biaisée de la covariance de C i

42 Frontières de décision d-dimensionnelle en notation matricielle u i est estimée à partir des données dentraînement par S est un estimateur non biaisé de

43 Frontières de décision d-dimensionnelle en notation matricielle u Si nous considérons un cas bidimensionnel avec 3 classes (k=3) avec une probabilité a priori uni- forme de 1/3

44 Frontières de décision d-dimensionnelle en notation matricielle u Les pdf de P(C i )p(x|C i ) de chaque classe

45 Frontières de décision d-dimensionnelle en notation matricielle u Les fonctions discriminantes (Bayes rules) sont

46 Frontières de décision d-dimensionnelle en notation matricielle u Les frontières de décisions sont

47 Frontières de décision d-dimensionnelle en notation matricielle u Diagramme de dispersion de 1000 observa- tions

48 Frontières de décision d-dimensionnelle en notation matricielle u Autre exemple de classification d-dimensionnelle IR R G B

49 Frontières de décision d-dimensionnelle en notation matricielle u Autre exemple de classification d-dimensionnelle 1: Végétation 2: Rivière 3: Haie 4: Tributaire 5: Étang

50 Frontières de décision d-dimensionnelle en notation matricielle u Autre exemple de classification d-dimensionnelle (résultat) Zones importantes: Sols nus Végétation Eau

51 Estimation des taux derreurs (model- based) u La probabilité derreur de classification des obser- vations de la classe C i correspond à la probabilité que x soit hors de la région dappartenance R i de C i et est donnée par

52 Estimation des taux derreurs (model- based) u Les probabilités derreur de classification de chaque classe C i

53 Estimation des taux derreurs (model- based) u La probabilité derreur totale est déduite à partir de la probabilité de bonne classification

54 Estimation des taux derreurs (model- based) u Pour lexemple précédent, la frontière de décision est placée à x=45. Alors si x>45 x est classé dans B sinon dans A. La probabilité derreur est

55 Estimation des taux derreurs (comptage simple) u Comptage du nombre derreurs de classification du classificateur à partir dun échantillons dobjets test de classification connue u Léchantillon test doit être différent de celui utilisé pour construire le classificateur u La probabilité derreur est estimée par k: nombre derreurs de classification n: nombre dobservations

56 Estimation des taux derreurs (comptage simple) u La probabilité derreur estimée ne sera générale- ment pas égale à la vraie probabilité derreur u La probabilité que k erreurs de classification surviennent dans n observations est donnée par la distribution binomiale

57 Estimation des taux derreurs (comptage simple) u Si P(E) était connue, P(k) peut être calculée pour chaque valeur de k et nous pouvons alors déduire un intervalle de confiance dans lequel k tombe avec une probabilité donnée (95 %) u Si P(E) = 0.2, et n = 10, alors k = 2 en moyenne, mais k peut prendre dautres valeurs proches de 2 u Nous cherchons alors lintervalle dans lequel k tombe 95 % du temps

58 Estimation des taux derreurs (comptage simple) u Si lintervalle est symétrique, alors 5 % des probabilités sont à lextérieur de lintervalle (2.5 5 de chaque côté de nP(E) u Si P(E)=0.2, les probabilités davoir k = sont approximativement 0.11, 0.27, 0.30, 0.2, 0.09, 0.03, 0.0, 0.0, 0.0, 0.0, 0.0 u Lintervalle [0,4] nest pas symétrique mais comporte 97 % des probabilités u Alors nous pouvons prévoir, que k sera dans lin- tervalle [0,4] plus que 95 % du temps (P(E) = 0.2)

59 Estimation des taux derreurs (comptage simple) u Cependant, P(E) est inconnue, nous ne connaissons que k et n u Cherchons alors un intervalle de confiance pour P(E), celui contenant la vraie valeur de P(E) 95 % du temps étant donné k et n u Si n=10 et k=2, par essai et erreur nous pouvons déduire que si P(E)=0.5561, P(k<=2) = 2.5 %

60 Estimation des taux derreurs (comptage simple) u P(k<=2) est donné par Si P(E) > , P(k<=2) < alors k=2 est hors de lintervalle pour un classificateur avec P(E) > Si P(E) =2) <= Alors lintervalle [0.0252,0.5561] est un intervalle de confiance de 95 % pour P(E)


Télécharger ppt "RECONNAISSANCE DE FORMES IAR-6002. Appproches statistiques de la classification u Introduction u Théorème de Bayes u Frontières de décisions u Caractéristiques."

Présentations similaires


Annonces Google