La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 RECONNAISSANCE DE FORMES ECRITURE MANUSCRITE SIGNATURE VISAGES, BIOMETRIE OBJETS ET ENVIRONNEMENT EN ROBOTIQUE idée à retenir : tout cela ne marche pas.

Présentations similaires


Présentation au sujet: "1 RECONNAISSANCE DE FORMES ECRITURE MANUSCRITE SIGNATURE VISAGES, BIOMETRIE OBJETS ET ENVIRONNEMENT EN ROBOTIQUE idée à retenir : tout cela ne marche pas."— Transcription de la présentation:

1 1 RECONNAISSANCE DE FORMES ECRITURE MANUSCRITE SIGNATURE VISAGES, BIOMETRIE OBJETS ET ENVIRONNEMENT EN ROBOTIQUE idée à retenir : tout cela ne marche pas très bien les approches sont encore élémentaires ; on ne sait pas encore mimer le fonctionnement cérébral A.approche statistique pour les objets « simples » : mesure sur des objets par exemple en chaîne de production « bons » et « mauvais » B. approche structurelle : description dobjets complexes sous forme de graphes liant des objets plus simples pour représenter ces objets complexes

2 2 un objet analysé à reconnaître est représenté sous la forme dun vecteur de paramètres approche standard en reconnaissance de formes dobjets « simples » (classification) dans le même espace, on dispose de formes types, apprises au préalable correspondant aux objets à reconnaître reconnaître lobjet cest décider que le vecteur caractérisant lobjet analysé à reconnaître est suffisamment proche dun des vecteur mémorisés lors de lapprentissage problèmes : bruit, préanalyse incorrecte (contours, régions) fluctuations importantes dun objet à lautre approche probabiliste ; théorie de la décision (critère de bayes et de neyman pearson) A. approche statistique nécessité dun apprentissage

3 3 Reconnaissance de formes Approche statistique Un objet est décrit comme un ensemble de paramètres (un vecteur de dimension réduite) longueur largeur

4 4 Il y a des fluctuations dun objet à lautre longueur largeur Formalisation probabiliste R L longueur largeur R L Chaque groupe (classe) est associée à un nuage de points Comment décide t on de lappartenance à une classe ?

5 5 mesure de paramètres objet représenté par un vecteur séparation de lespace des paramètres en régions

6 6 représenter les classes sous forme de densités de probabilités

7 7 maximiser la probabilité dappartenance à une classe

8 8 Probabilité dappartenance à un des deux groupes

9 9 Rapport de vraisemblance Seuil s en dessous duquel on décide que x appartient à la classe L Extension : test dhypothèse en statistique (critère de Neyman Pearson) Evaluation de la probabilité derreur s

10 10 Notions de Théorie de la Décision décider si un élément caractérisé par un vecteur de paramètres appartient à une classe ou à une autre séparatrice

11 11 probabilité derreur évaluer le coût des erreurs de décision en déduire le critère de décision deux approches classiques élémentaire : Bayes plus élaboré : Neyman Pearson

12 12 Si la cause est u = 0, la loi de probabilité de y est p(y|u = 0) Approche bayesienne y réel, peut être produit uniquement par une cause u qui ne prend que les valeurs 0 ou 1 ; probabilités pour que u = 0 ou 1, q 0 et q 1, connues si la cause est u = 1, la loi de probabilité de y est p(y|u = 1)

13 13 Le problème de la décision : on a mesuré y ; choisir parmi les deux propositions (d = 0 et d = 1): y a été causé par u = 0 ou y a été causé par u = 1 ; il faut se donner une fonction de pénalité : les quatre coûts associés aux situations possibles c(0|0) quand on choisit d = 0 et que la vraie valeur est u = 0 c(0|1) quand on choisit d = 0 et que la vraie valeur est u = 1 c(1|0) quand on choisit d = 1 et que la vraie valeur est u = 0 c(1|1) quand on choisit d = 1 et que la vraie valeur est u = 1

14 14 Pour une valeur de y mesurée, on choisira d = 0 si le coût associé à ce choix est moins élevé que le coût associé au choix d = 1 Calcul de la valeur moyenne du coût associé au choix u = 0 en tenant compte du fait que cette valeur de y a pu avoir une des deux causes

15 15 u=0 & d=0 u=0 & d=1 u=1 & d=0 u=1 & d=1 p(y|u=0).q 0 p(y|u=1).q 1 les quatre possibilités de choix les probabilités associées

16 16 Les coûts moyens associés aux décisions sont obtenus en considérant pour chaque décision les probabilités des valeurs possibles de u : c(1|0) p(y|u=0).q 0 + c(1|1)p(y|u=1).q 1 d = 1 d = 0 c(0|0) p(y|u=0).q 0 + c(0|1)p(y|u=1).q 1 On choisit d = 0 si, en moyenne, cela coûte moins que de choisir d = 1, c(0|0) p(y|u=0).q 0 + c(0|1)p(y|u=1).q 1 < c(1|0) p(y|u=0).q 0 + c(1|1)p(y|u=1).q 1,

17 17 c(0|0) p(y|u=0).q 0 + c(0|1)p(y|u=1).q 1 < c(1|0) p(y|u=0).q 0 + c(1|1)p(y|u=1).q 1, (c(0|1) - c(1|1))p(y|u=1).q 1 < (c(1|0) - c(0|0) )p(y|u=0).q 0. hypothèse : coûts des mauvaises décisions plus élevés que coûts des décisions correctes (c(0|0)< c(1|0) et c(1|1)< c(0|1)), on choisira d = 0 lorsque

18 18 Un exemple : deux lois de probabilités conditionnelles gaussiennes

19 19 choix des valeurs des pénalités Pour minimiser le critère, on choisira lhypothèse u = 1 si y est dans lintervalle (ymin=0.87, ymax=1.21) ; si y est en dehors de cet intervalle, on choisira u = 0.

20 20 probabilité de détection correcte probabilité derreur (fausse alarme)

21 21 définition des probabilités conditionnelles On écrit de deux manières différentes p(u = 0| y) peut être écrit en fonction de p(y|u = 0) la probabilité p(y) sécrit en fonction des probabilités conditionnelles et on en déduit. Règle de Bayes :

22 22 Critère de Neyman Pearson probabilités a priori des causes q 0 = p(u=0) et q 1 = p(u=1) inconnues. si une mesure x correspond à lémission dune donnée u = 0, et dans ce cas la densité de probabilité de x est p 0 (x) ; ou si elle correspond à lémission u = 1, et dans ce cas la densité de probabilité de x est p 1 (x) ; décider maximiser la probabilité de détection correcte (ici u=1) sous la contrainte que la probabilité de fausse alarme ne dépasse pas un seuil fixé a priori

23 les densités de probabilités des événements : rouge : il y a erreur vert : la détection est correcte quand faut il décider quil y a effectivement détection? (elle ne peut pas toujours être correcte) calcul sur un domaine xmin

24 24 calcul sur un domaine xmin

25 25 sur la frontière (pfa =0.1niveau rouge sur la figure de gauche) on trouve le maximum de la probabilité de décision correcte domaine où la probabilité de fausse alarme est en dessous dun seuil fixé à 0.1 sur ce domaine : probabilité de détection correcte xmax xmin xmax

26 26 Critère de Neyman Pearson probabilités a priori des causes q 0 = p(u=0) et q 1 = p(u=1) inconnues. si une mesure x correspond à lémission dune donnée u = 0, et dans ce cas la densité de probabilité de x est p 0 (x) ; ou si elle correspond à lémission u = 1, et dans ce cas la densité de probabilité de x est p 1 (x) ; on décidera que d = 1 si dépasse un seuil s donné de la manière suivante décider

27 27 pour chaque mesure x, considérer la probabilité p fa dune fausse alarme (d = 1 alors que u = 0) maximiser la probabilité p dc de détection correcte (d = 1 quand u = 1) ; ( la probabilité p em dun événement manqué (d = 0 alors que u = 1) vaut 1 - p dc ;) probabilité de fausse alarme p fa : probabilité que u = 0 p fa est lintégrale de la densité de probabilité p 0 (x) calculée pour lensemble des valeurs (domaine D) de x pour lequel ce seuil est dépassé dépasse le seuil s alors que

28 28 Exemple de densités de probabilité et de leur rapport utilisé pour illustrer lapproche de Neyman Pearson si le seuil s est choisi égal à 2, on décide d = 1 lorsque x est dans linterv. (0.7, 1.4) = les probabilités a priori des causes ne sont pas prises en compte ; probabilité de fausse alarme probabilité de détection correcte

29 29 Neyman Pearson : on se donne un seuil que cette probabilité de fausse alarme p fa ne doit pas dépasser et on en déduit le seuil s utilisé dans la décision cas où r(x) (rapport des densités de probabilités) est une fonction croissante puis décroissante le domaine D se réduit à un segment borne inférieure xmin borne supérieure xmax dans lintervalle [xmin, xmax] : r(x) > s une fois fixé maximiser la probabilité de décision correcte

30 30 comment ajuster s et par conséquent les bornes xmin et xmax pour maximiser la probabilité de décision correcte, tout en assurant que la probabilité de fausse alarme ne dépasse pas le seuil. illustration sur un exemple (lois gaussiennes) si s est fixé : calculer les valeurs xmin et xmax entre lesquelles on décidera d=1 Le dépassement du seuil par le rapport des deux lois :

31 31 soit, en logarithmes : en fonction des puissances de x Les deux valeurs du dépassement du seuil sont racines dune équation du deuxième degré

32 32 pour tous les seuils s calculer xmin et xmax - en déduire la proba de fausse alarme - trouver la valeur de s pour laquelle cette pfa atteint la borne quon sest fixé (calcul complémentaire pdc)

33 33 Valeur des limites xmin et xmax du domaine de décision d =1, en fonction du seuil s probabilité de fausse alarme et probabilité de détection correcte en fonction du seuil s. Si la probabilité de fausse alarme est de 0.1, on choisira un seuil de décision à 4.5, ce qui correspondra aux bornes xmin = et xmax = et une probabilité de décision correcte de 0.709

34 34 longueur largeur R L Dans le cas multidimensionnel Séparatrices entre les Nuages de points (souvent, mais pas nécessairement Des droites ou des plans) gaussiennes dans un espace de dimension élevée distance de mahalanobis

35 35

36 36 essayer de quantifier les décisions correctes (hypothèses 1 et 2 les erreurs (1 ou lieu de 2 ou 2 au lieu de 1) à partir des probabilités derreur et les conséquences de ces fausses décisions (par exemple risque de faux diagnostic médical) règle de probas à ne pas oublier : la loi des grands nombres ne sapplique pas aux petits !

37 37 réduire le nombre de composantes dun vecteur en essayant de garder linformation la plus pertinente pour ne pas détériorer la discrimination entre classes analyse en composantes principales

38 38 (vecteurs propres de la matrice de covariance)

39 39 apprentissage Trouver les paramètres des lois de probabilités des classes ou les séparatrices de ces classes A. Si un « superviseur » connaît les classes déchantillons test On déduit de ces échantillons les moyennes et les variances caractérisant les différentes classes ; voir les enseignements sur les estimations de paramètres B. génération automatique de la description des classe envisageable si les classes sont assez bien séparées (voir la présentation sur les champs de Markov) à appliquer avec précaution ; éviter de traiter des vecteurs de grande dimension

40 40 affecter un numéro de classe i à chaque échantillon au hasard calculer la moyenne sur les valeurs des échantillons (centre c i ) de chacune des classes chaque échantillon ( x, y ) a une valeur f ( x, y ) pour chaque échantillon, affecter maintenant le numéro de la classe dont le centre c i est le plus proche de cet échantillon ; réitérer ce processus jusquà stabilisation initialisation première classification par les k-means boucle test darrêt la distance de chaque échantillon à chacun des centres de classe c i est calculée d ( x, y, c i )

41 41 convergence non garantie !

42 42 méthodologie générale de lapprentissage expectation maximization

43 43 Catherine Aaron Université Paris Ihttp://samos.univ-paris1.fr/archives/ftp/preprints/samos212.pdf nombre de gaussienne K fixé a priori on recherche un maximum local calcul itératif :

44 44

45 45 Introduction aux \Support Vector Machines" (SVM)

46 46 Support Vector Machines" (SVM) H. Mohamadally B. Fomani, U. Versailles St Quentin 2. chercher un hyperplan dont la distance minimale aux exemples dapprentissage est maximale 1. transformation non linéaire des données pour trouver une séparation linéaire des données dapprentissage dans un nouvel espace

47 47 SYNTHESE

48 48 B. Approche structurelle Un objet complexe est décrit comme un mot composé de lettres dun alphabet prédéfini et des relations de position entre ces lettres Mais... lettres manquantes, relations de position erronées... Distances entre graphes rechercher dans la base des graphes, celui qui est le plus proche du graphe déduit des données analysées Schalkoff, Pattern Recognition: Statistical, Structural and Neural Approaches, 1992

49 49

50 50 A gauche, et se prolongeant en dessous, la clef n°162 (marcher vite) sous sa forme simplifiée (trois ou quatre traits, suivant comment on le dessine). Le bloc interne qu'il isole est une composition verticale. Sous le bloc interne, quatre traits qui forment la clef n° 61 (coeur) Au dessus de ce même bloc, la clef 116 (trou), cinq traits. Le bloc interne est une composition horizontale. A gauche, une clef de quatre traits qui est soit la clef n°74 (lune), soit plus probablement la clef n° 130 (chair). A droite, une clef de deux traits, la clef n° 18 (couteau), qui en position latérale se trace simplement sous forme de deux traits verticaux. Enfin, le bloc interne est une composition verticale en triptyque, où un caractère est encadré par deux exemplaires d'un autre. Au centre, une autre superposition verticale de la clef n° 149 (mot), sept traits, et de la clef n° 187 (cheval) de neuf traits. Cette combinaison ne figure pas dans les dictionnaires courants. De part et d'autre, une superposition verticale de la clef n° 52 (petit), de trois traits, et de la clef n° 168 (long) de huit traits. Cette combinaison ne figure pas non plus dans les dictionnaires courants.

51 51 la reconnaissance dobjets complexes nécessité dune représentation structurée nécessité de prendre en compte les erreurs de prétraitement il faut pouvoir remettre en cause une décision qui a été prise antérieurement (processus itératif) élément simple p ex morceau de contour élément simple p ex morceau de contour regroupement objet complexe regroupement relations entre éléments regroupés progression dans la reconnaissance

52 52

53 53

54 54

55 55

56 56

57 57

58 58 contours haut et bas segmentation reconnaissance des « segments » dans une base de segments mémorisés et de leurs enchaînements (modèles de markov) Abdenaim EL YACOUBI (la poste nantes) ftp:// ftp.irisa.fr/local/IMADOC/lorette/elyacoubi/MOUNIM.PPT exemple de reconnaissance décriture manuscrite

59 Schalkoff, Pattern Recognition: Statistical, Structural and Neural Approaches, 1992

60 60 recognition and classification are done using: I Parsing (analyse syntaxique, compilation) (for formal grammars), I Relational graph matching (for relational descriptions).

61 61 String matching: Given string x and text, determine whether x is a factor of text, and if so, where it appears. I String edit distance: Given two strings x and y, compute the minimum number of basic operations character insertions, deletions and exchanges needed to transform x into y. I String matching with errors: Given string x and text, find the locations in text where the distance of x to any factor of text is minimal. I String matching with the dont care symbol: This is the same as basic string matching but the special dont care symbol can match any other symbol.

62 62 I Substitutions: A character in x is replaced by the corresponding character in y. I Insertions: A character in y is inserted into x, thereby increasing the length of x by one character. I Deletions: A character in x is deleted, thereby decreasing the length of x by one character.

63 63 Techniques based on tree search The basic idea –A partial match (initially empty) is iteratively expanded by adding to it new pairs of matched nodes. –The pair is chosen using some necessary conditions, usually also some heuristic condition to prune unfruitful search paths. –Eventually, either the algorithm finds a complete matching, or no further vertex pairs may be added (backtracking) –For PR the algorithm may consider the attributes of nodes and edges in constraining the desired matching. based on tree search

64 64

65 65 Reconnaissance de séquences fondée sur les Modèles de Markov Cachés Hidden Markov Models Formulation en reconnaissance de séquence 2.1 Reconnaissance (Viterbi) 2.2 Probabilité dune séquence 2.3 Apprentissage

66 66 transition mesures 2. Automates utilisés dans les modèles de Markov cachés Séquence détats : Séquence de mesures : (Probabilités) états n n m m probabilité de transition de létat m à létat m probabilité de mesurer n quand lautomate est dans létat m probabilité que létat initial soit m

67 67 Modèles de Markov Cachés (HMM Hidden Markov Models) par exemple pour mesurer la ressemblance entre deux contours de lettres On écarte les portions de contour qui ne sont pas des côtés parallèles dun segment tenir compte du fait quun état peut produire plusieurs mesures possibles modèle de Markov Un état = Une mesure

68 68 Les trois problèmes : 1. Reconnaissance : Y donné quelle est la S la plus probable ? 2. Quelle est la probabilité dobserver Y avec l automate (a,b,d) ? 3. Apprentissage : comment calculer a(m,m), b(m,n) et d(m) Séquence détats : Séquence de mesures :

69 69 SHAPE MATCHING BASED ON GRAPH ALIGNMENT USING HIDDEN MARKOV MODELS Xiaoning Qian and Byung-Jun Yoo University of South Florida

70 70 L'algorithme de Needleman et Wunsch (programmation dynamique) Laurent Bloch, 2006 un score de ressemblance savoir si deux mots se ressemblent, quel est leur degré de ressemblance, ou de trouver, dans un ensemble de mots, celui qui ressemble le plus à un mot-cible un alignement des deux chaînes (qui nont pas forcément la même longueur) selon la configuration qui procure le meilleur score ; La programmation dynamique résout des problèmes en combinant des solutions de sous-problèmes. (Thomas Cormen, Charles Leiserson, Ronald Rivest et Clifford Stein, Introduction à lalgorithmique)

71 71 séquence n° 1 : G A A T T C A G T T A séquence n° 2 : G G A T C G A la « prime de score » pour la comparaison du résidu de rang i de la première séquence avec le résidu de rang j de le seconde séquence sera Si,j = 1 si les deux résidus sont identiques, sinon Si,j = 0 (score de discordance) ; w = 0 (pénalité de gap). 1. Remplir la matrice 2.Déterminer l'alignement optimal Initialisation

72 72 a titre dillustration : un exemple simple dans le cas de lécriture manuscrite - extraction des contours - quantification en fonction de la pente - description sous forme dun graphe -comparaison avec un graphe mémorisé (éventuellement prise en compte de la distance entre graphes)

73 TANGENTES ANGLES QUANTIFICATION DES PENTES DES CONTOURS

74 TANGENTES ANGLES QUANTIFICATION DES PENTES DES CONTOURS

75 75 A. Mesure et quantification des pentes des contours par exemple huit pentes possibles (horizontale, verticale, oblique gauche et oblique droite) B. Recherche de tronçons aux côtés parallèles lun en face de lautre (typiquement analyse du type morphologie mathématique) puis élimination dans la description des autres éléments de contours

76 Recherche de la forme dans une base en mémoire : on peut avoir des milliers voire des millions de formes type un seul contour plusieurs contours

77 77 Si on ne trouve pas la séquence de la forme en mémoire On cherche si il y a une forme proche, La méthode la plus reconnue est celle des Modèles de Markov Cachées Coopération entre différents niveaux Morphologie mathématique : Ici lextension de région Peut fermer la boucle et permettre la reconnaissance Module de reconnaissance ? Forme inconnue A !

78 78 Découpe en formes élémentaires plus simples Par exemple en cassant des segments horizontaux Ou obliques situés sur le contour extérieur En supposant que le mot existe dans le dictionnaire : Trouver le mot du dictionnaire dont la séquence ressemble le plus à celle qui a été analysée la plupart du temps, elle ne sera pas telle quelle dans le dictionnaire ; là encore les modèles de markov cachés Sont un outil efficace Ecriture manuscrite cursive

79 79 reconnaissance de visages approche statistique (eigenfaces) approche structurelle (relations entre éléments caractéristiques)

80 80 A B C en dessous au dessus à gauche D au dessus à droite E au dessus point de départ : détection des éléments de contour 1. recherche par corrélation déléments simples : en « balayant » limage, est ce que le médaillon analysé ressemble à limage simple à laquelle on le compare (sourcil, œil, nez, bouche) (on peut avoir plusieurs formes pour ces images simples) 2. Vérification de la cohérence F au dessus E F BD A C 3. Retour à limage initiale pour essayer daffiner lanalyse

81 81 détection de visage apprendre à partir de visages types représentation paramétrique dans un espace de dimension réduite images grossières avec peu de détails comment caractériser la notion de « visage » comment rechercher dans limage les domaines qui présentent ces caractéristiques et les différencier de ceux qui ne les présentent pas ? faut il décrire le visage ? ou bien en faire une présentation paramétrique approximative (avec peu de paramètres) (approche statistique)

82 82 un classifieur va apprendre ce quest un visage (Neural Networks, Support Vector Machine, Principal Component Analysis - Eigenfaces...). détection de visage apprendre à partir de visages types représentation dans un espace de dimension réduite images grossières peu de détails

83 83 analyse en composantes principales : représenter les visages sur une base de vecteur orthogonaux en essayant de prendre en compte les caractéristiques les plus significatives des visages approche statistique de la reconnaissance de visages

84 84 analyse en composantes principales de visages : eigenfaces une image = un vecteur de paramètres (opérations préalables : cadrer les images et soustraire la moyenne de chaque image)

85 85 image 1image 2image 3 image M matrice rectangulaire W RECHERCHE DES VECTEURS PROPRES e 1,...,e M (orthogonaux) DE LA MATRICE (carrée MxM) W T.W N M les vecteurs propres associés aux valeurs propres les plus grandes contiennent linformation la plus significative de lensemble des images ayant servi à les construire (composantes de plus grand écart type)

86 86 une nouvelle image est projetée sur cette base elle est caractérisée par le vecteur de paramètres (les images de la base dapprentissage peuvent être caractérisées de la même manière par une projection sur cette base : ) les images et sont ressemblantes si la distance est petite

87 87 vecteurs propres associés aux valeurs propres les plus grandes de la matrice de covariance des « vecteurs » représentant les images représentation dune image dans cette base la distance entre deux images qui se ressemblent est « petite » les composantes suivant les vecteurs propres associés aux valeurs propres plus petites sont moins informatives et sont négligées

88 88 AT&T Laboratories,Cambridge at Original training images Eigenface - The first eigenface account for the maximal variation of the training vectors,and the second one for the second Reconstructed images of training images- they are almost same as their original images représentation sur la base reconnaissance (calcul de distance entre points dans lespace de dimension réduite M)

89 89 base de données visages inconnus de la base limitations : fond, éclairage, cadrage, utilité dun prétraitement (filtrage passe haut pour mettre en évidence les contours, normalisation de lhistogramme, recentrage de limage, etc....°

90 90 Résultats pour la détection de visages Voir utilisation des fonctions de Haar

91 91

92 92 prétraitement utile filtrage passe haut (mise en évidence des contours) prétraitement utile filtrage passe bas (caractérisation du « type visage »)

93 93 mais il peut y avoir des erreurs ! the face on mars...

94 94 Conclusion Tout ça marche assez bien quand le problème nest pas trop difficile Il y a encore beaucoup à comprendre sur le fonctionnement cérébral Ce quon sait sur les neurones et le cerveau On est très loin datteindre les performances dun animal Mais les algorithmes tombent facilement dans les pièges les plus simples

95 95 stanislas dehaene

96 96


Télécharger ppt "1 RECONNAISSANCE DE FORMES ECRITURE MANUSCRITE SIGNATURE VISAGES, BIOMETRIE OBJETS ET ENVIRONNEMENT EN ROBOTIQUE idée à retenir : tout cela ne marche pas."

Présentations similaires


Annonces Google