Quelques contributions en reconnaissance de symboles Mathieu Delalandre DAG Group, CVC, Barcelone, Espagne LaBRI, Bordeaux, France 5 Mai 2009

Recherche Introduction reconnaissance de graphiques reconnaissance, interprétation, indexation, recherche évaluation de performance prétraitement d’images extraction de caractéristiques approches structurelles et statistiques géométrie algorithmique systèmes à base de connaissances interaction homme-machine etc. Evaluation de performance Approche Système Extraction de primitives, appariement Reconnaissance et localisation de symboles plan technique symbole logo caractère script lettrine ClipArt

Recherche Introduction reconnaissance de graphiques reconnaissance, interprétation, indexation, recherche évaluation de performance prétraitement d’images extraction de caractéristiques approches structurelles et statistiques géométrie algorithmique systèmes à base de connaissances interaction homme-machine etc. Evaluation de performance Approche Système Extraction de primitives, appariement Reconnaissance et localisation de symboles plan technique symbole logo caractère script lettrine ClipArt

Recherche Extraction, appariement (1/3) point de connexion jonction T ligne arc de connexion arc T Appariement Kppv Graphe de voisinage, filtrage Filtrage Occlusion Zernike Base FT (14 plans, 103 symboles) Occlusion (kppv) Symbole (appariement) 100% 54,4% 86.86%

Recherche Extraction, appariement (2/3) Base GREC’03 (900 symboles) Filtrage Graphe d’inclusion Graphe de voisinage Appariement Marquage Graphe Hybride

Recherche Extraction, appariement (3/3) Détection de ligne (HT) Appariement de templates vectoriels Base GREC’03 (900 symboles) 41 12 7 43 6 1,1 5 15 4 0,1 3 2 0,4 1 1,4 8 model vectors detected vectors Taille manqué fausse détection division fusion simple vecteurs modèles vecteurs détectés 7 0.1 6 1,1 5 12 4 3 2 0,4 1 1,4 8 6.4 Delta 5.1 Score 2 11.4 Score 1 detected vectors model vectors p1 L l1 l2 p2 p2 p1 l1 l2

Recherche Introduction reconnaissance de graphiques reconnaissance, interprétation, indexation, recherche évaluation de performance prétraitement d’images extraction de caractéristiques approches structurelles et statistiques géométrie algorithmique systèmes à base de connaissances interaction homme-machine etc. Evaluation de performance Approche Systèmes Extraction de primitives, appariement Reconnaissance et localisation de symboles plan technique symbole logo caractère script lettrine ClipArt

Recherche Approche Système (1/3) ACTI_VA DocMining ACTI_VA Modèle de scénario (XML, DTD) Interface-Panels Navigation base de scénario (graphe hyperbolique) Aide-textuelle (ontologie) Requête (XQuery, appariement de graphes) Libraire d’opérateurs Appariement de graphes Moteur XSLT Moteur XQuery Visualisation, navigation Base de scenario (XML) Interface de commande analyse de structure séparation texte/graphique vectorisation reconnaissance optique de caractères reconnaissance d’objets etc.

Recherche Approche Système (2/3) opérateurs représentations contraintes objets se specialise classe association Liste l comprend 0.* Graphe g Graphique Og Point Ligne Bitmap extrémité jonction axe médian bitmap composante inclusion marquage appariement de contours reconstruction jonction quadrilatère côte à côte adjacence bitmaps composantes quadrilatères adjacents ligne angle vecteur jonction Extraire le raster ou les composantes, les substituer par leurs squelettes. squelettisation Spécifications Opérateurs opérateur 15 enchainement 72 base d’objets graphiques Opérateur Représentation niveau procédural Représentation niveau déclaratif Extraction/Substitution marquage et squelettisation marquage, voisinage et squelettisation

Recherche Approche Système (3/3) Objet Spécialisation Partie de Opérateur Vers graphe (biparti) de reconstruction opérateur objet paramètre règle Exécuter opérateur adaptation sur objet image avec paramètre 0.3 si fait adapter Règles Fait Opérateur de contrôle stratégie Graphe de reconstruction implicite explicite reconstruction événement contrôle Base FT (14 plans, 103 symboles) Base GREC’03 (900 symboles) Fixe Adaptatif Localisation 49.00% 87.50% Reconnaissance 65.33% 80.55%

Recherche Introduction reconnaissance de graphiques reconnaissance, interprétation, indexation, recherche évaluation de performance prétraitement d’images extraction de caractéristiques approches structurelles et statistiques géométrie algorithmique systèmes à base de connaissances interaction homme-machine etc. Evaluation de performance Approche Système Extraction de primitives, appariement Reconnaissance et localisation de symboles plan technique symbole logo caractère script lettrine ClipArt

Recherche Evaluation de performance (1/3) no selection on model full ? overflow ? selection on constraint overlap ? continue ? constraint stack empty ? building failure model and constraint symbol and constraint yes building end (1) model and constraint selection (2) symbol loader (5) constraint checking (7) Stopping criterion (6) Space management positioned symbol (3) symbol control document generation symbol positioning (4) shape positioning control shapes symbol loader symbol control shape positioning new loop Characterisation Groundtruth Groundtruthing Results Performance evaluation System c2 c1 M1 M2 M3 M4 C1 C2 C3 C4 bounding box and control point alignment symbol model loaded symbol cleaning reproduction of domain-rules building use L1 θ1 p1 L2 θ2 p2 p L 

Recherche Evaluation de performance (2/3) Symbol Models Building Engine (2) run (3) display (1) edit datasets images symbols models bags #16 1600 15046 25-150 floorplans #10 1000 26830 16 diagrams 14100 21 queries #6 6000 16-21 Background Image v x s [0,1] y vmax

Recherche Evaluation de performance (3/3) Spotting/Recognition System Groundtruth Mapping Region Of Interest Characterization sofa skin tub door Labels r1 r2 r3 Ranks QBE truth results Learning Rendre homogène les ROI fournit par les systèmes Problème de précision et de complexité θ(n) Limiter les problèmes de sur- détection groundtruth ROI Domain definition of ROI Sampling Shifting Signature localization point overlayed ROI truth results Single : a model line matches only with one detected line. Split : two model lines match with one detected line. Merge : a model line matches with two detected lines. False alarm : a detected line doesn't match with any model lines. Miss : a model line doesn't match with any detected lines. Mapping cases Base SESYD (6 fonds, 100 plans, 2521 symboles)

Recherche Introduction reconnaissance de graphiques reconnaissance, interprétation, indexation, recherche évaluation de performance prétraitement d’images extraction de caractéristiques approches structurelles et statistiques géométrie algorithmique systèmes à base de connaissances interaction homme-machine etc. Evaluation de performance Approche Système Extraction de primitives, appariement Reconnaissance et localisation de symboles plan technique symbole logo caractère script lettrine ClipArt

Recherche Optimisation (1/3) <rect x="400" y="100" width="400“ height="200" fill="yellow" stroke="navy" stroke-width="10" /> Déformatage Filtrage crossing point merged lines Recherche intersection d1 d2 ϴ L1 L2 d1 and d2 are the two lines’ directions in [0- 2π] α(2-1) L1 L5 L2 L4 L3 α(1-2) L1 L4 L2 L5 L3 Recherche des régions Adjacence, inclusion

Recherche Optimisation (2/3) Tampon (de dessous) tampon 1 tampon 2 tampon 3 impréssion 1 impréssion 2 0.75 0.95 0.88 Vascosan 1555 Marnef 1576 Printing house plug exchange duplicate 1531-1548 1511-1542 1555-1578 1497-1507 Printings produced by a same plug with a 21 year gap Wood plug duplicate x1 x1 x1 x1 137.06 903.62 Max 41.68 337.06 Mean 22.32 176.67 Min RLE Raster Query(s) ligne (y) de l’image 1 ligne (y) de l’image 2 x accumulateur pointeur x2 x2 x2 x2 x2 tant que x2  x1 parcourir image 2 tant que x1  x2 parcourir image 1

Recherche Optimisation (3/3) Taille (hauteur, largeur) Densité (forme, fond) Compression (forme, fond) requête présélection RLE Étage 2 Étage 1 Pics de décroissance Sélection des n points Approximation Courbes cumulatives Dérivées 1er et 2sd 1 2 if 1 - 2 < 0 push x, cluster while 1 - 2 < 0 next

Conclusion ISRC’09, EPEIRES Franchir la barrière de la localisation Evaluation de performance Approche Système Extraction de primitives, appariement Reconnaissance et localisation de symboles ISRC’09, EPEIRES Franchir la barrière de la localisation De l’aide à l’interprétation vers l’adaptation au contenu Robustesse vs. généricité, images basse résolution, couleur