Reconnaissance de symboles à partir de schémas électriques Soutenance de Stage Master GI Romain Raveaux ( Double cursus Master GI et Master GEII ) Maître de stage : Mlle Elise GABARRA Tuteur : M. Sébastien ADAM 07/2006

Le déroulement de la soutenance Problématique : reconnaissance de symboles Etat de l’art Réalisations Approche statistique et combinaison de classifieurs Approche structurelle, classification de graphes Analyse de résultats Conclusions et perspectives Présentation

Problématique : reconnaissance de symboles Le déroulement de la soutenance Le traitement automatique du document Analyse de document graphique Structure générale des systèmes d’analyse Bilan des savoir-faire et des verrous technologiques 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Rétro conversion

Le déroulement de la soutenance Les différents points de vue des processus de reconnaissances Le déroulement de la soutenance 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Les systèmes de recherche dans une base de documents Les systèmes de détection/reconnaissance des symboles dans un document complet. Les systèmes de « simple » reconnaissance Modèles Classe du symbole identifiée Processus de RDF Inconnu Rétro conversion

Le déroulement de la soutenance Schéma électrique Le déroulement de la soutenance Le traitement automatique du document Analyse de document graphique Structure générale des systèmes d’analyse Bilan des savoir-faire et des verrous technologiques 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Rétro conversion

Le déroulement de la soutenance Contexte Industriel Le déroulement de la soutenance Développement de logiciel de schématique électrique (CAO/DAO) Projet européen EPEIRES (Évaluation des PErformances de l'Interprétation et de la REconnaissance de Symboles) 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Rétro conversion

Le déroulement de la soutenance Problématique : reconnaissance de symboles Etat de l’art Réalisations Approche statistique et combinaison de classifieurs Approche structurelle, classification de graphes Analyse de résultats Conclusions et perspectives Présentation

Etat de l’art de la reconnaissance de symboles Le déroulement de la soutenance Etat de l’art de la reconnaissance de symboles 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion [RAM 05] « De l’appariement de graphes symboliques à l’appariement de graphes numériques : Application à la reconnaissance de symboles », Rashid Jalal Qureshi, Jean-Yves Ramel, Hubert Cardot. [FIL 92] Filipski A.J., Flandrena R., « Automated Conversion of Engineering Drawings to CAD form », Proc. IEEE, vol. 80, n°7, p. 1195-1209, 1992. [Jean-Marc Ogier et Sébastien Adam 06] Chapitre 7 : « Documents graphiques : de la rétro conversion à la recherche d’information » [DOR 95] DORI D., « Vector-Based Arc Segmentation in the Machine Drawing Understanding System Environment », IEEE PAMI, vol. 17, n°11, p. 1057-1068, 1995. BELAID A., TOMBRE K. (1992) "Analyse de documents : de l'image à la sémantique", Actes de CNED'92, Bigre No 80, pp. 3-29. Trois types d’approches Approches statistiques Approches structurelles Approches syntaxiques Bibliographie

Approches statistiques Le déroulement de la soutenance Approches statistiques 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Le Symbole image est projeté sous forme de vecteur de caractéristiques numériques. L’image est donc ramenée à un espace à N dimensions. Approche statistique

Approches statistiques Le déroulement de la soutenance Approches statistiques 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Exemple de caractéristiques : Les moments invariants de Zernike Les descripteurs de Fourier – Melin Les moments de Legendre Signature Radon Pattern Recognition, Vol. 29, No. 4, pp. 641-662, 1996, “FEATURE EXTRACTION METHODS FOR CHARACTER RECOGNITION--A SURVEY” Approche statistique

Approches structurelles Le déroulement de la soutenance Approches structurelles 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Un symbole peut être décrit à partir des primitives le constituant (composantes connexes, occlusions, segments, arcs…) et des relations entre ces primitives (voisinage, connexions, parallélisme). Contextual System of Symbol Structural Recognition based on an Object-Process Methodology. Mathieu Delalandre and Eric Trupin and Jean-Marc Ogier and Jacques Labiche Approche structurelle

Approches syntaxiques Le déroulement de la soutenance 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Modélisation par un ensemble de règles. Phase de reconnaissance : - Vérification des grammaires de production [CHA 01] Chang M.T. and Chen S.Y., « Deformed trademark retrieval based on 2D pseudo-hiddem Markov model », PR, vol. 34, p. 953–967, 2001. - Les dernières études syntaxiques se portent sur les grammaires stochastiques notamment des outils de reconnaissance fondés sur les modèles de Markov cachés. L’étape de reconnaissance consiste alors à chercher la séquence d’états possédant la plus haute probabilité de générer l’image en entrée MMC MEM CRF Approche syntaxique

Le déroulement de la soutenance Etude de solutions 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Il n’existe pas de solution générique Dépendance au contexte d’acquisition de l’image. Dépendance au type de symbole à traiter. Nombre de classes du problème. L’objectif à atteindre. Confronter des approches bien différentes Obtenir des erreurs non corrélées. Comparatif Analyse

Le déroulement de la soutenance Problématique : reconnaissance de symboles Etat de l’art Réalisations Approche statistique et combinaison de classifieurs Approche structurelle, classification de graphes Analyse de résultats Conclusions et perspectives Présentation

Approche statistique et combinaison de classifieurs Le déroulement de la soutenance Approche statistique et combinaison de classifieurs 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Principe : Extraction de caractéristiques Classification Combinaison parallèle Approche statistique

Approche statistique et combinaison de classifieurs Le déroulement de la soutenance Approche statistique et combinaison de classifieurs 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Extraction de caractéristiques : Descripteur de l’image Description de l’image Approche statistique

Approche statistique et combinaison de classifieurs Le déroulement de la soutenance Approche statistique et combinaison de classifieurs 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Classification de caractéristiques Classifieur 1 Plus Proche Voisin Plateforme WeKa Approche statistique Classifieur : Classification basée sur les moments de Zernike d’ordre 6

Approche statistique et combinaison de classifieurs Le déroulement de la soutenance Approche statistique et combinaison de classifieurs 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Classification de caractéristiques Deux cas de figures : Distance entre deux vecteurs : Distance euclidienne. Distance entre deux matrices : Chaque ligne représente un vecteur de caractéristiques d’une composante connexe. Approche statistique

Approche statistique et combinaison de classifieurs Le déroulement de la soutenance Approche statistique et combinaison de classifieurs 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Classification de caractéristiques Matrice M1 : Vecteur A1 [ 13.545152 ; 0.788149 ; 2.686930 ] Vecteur A2 [ 13.562704 ; 0.780961 ; 2.679942 ] Vecteur A3 [13.545152 ; 0.788149 ; 2.686930 ] Symbole métier Matrice M2 : Vecteur B1 [ 6.216766 ; 0.416909 ; 4.637786 ] Classification

Le déroulement de la soutenance Approche statistique et combinaison de classifieurs Le déroulement de la soutenance Matrice M1 : Vecteur A1 [ 13.545152 ; 0.788149 ; 2.686930 ] Vecteur A2 [ 13.562704 ; 0.780961 ; 2.679942 ] Vecteur A3 [13.545152  ; 0.788149 ; 2.686930 ] Matrice M2 : Vecteur B1 [ 6.216766 ; 0.416909 ; 4.637786 ] 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion B1 Dummy (fictif) A1 D(A1,B1) |A1| A2 D(A2,B1) |A2| A3 D(A3,B1) |A3| Matrice de pondération B1 Dummy (fictif) A1 1 A2 A3 Matrice d’assignement D(M1,M2) = D(A3,B1) + D(A1) + D(A2) Recherche de la matrice d’assignement par la méthode hongroise. SCHÖNAUERS [SHO 03] “Distances and expression measures”,Sandrine Dudoit and Robert Gentleman, Bioconductor short course Summer 2002 Recherche opérationnelle

Approche statistique et combinaison de classifieurs Le déroulement de la soutenance Approche statistique et combinaison de classifieurs 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Combinaison parallèle Combinaison

Le déroulement de la soutenance Problématique : reconnaissance de symboles Etat de l’art Réalisations Approche statistique et combinaison de classifieurs Approche structurelle, classification de graphes Analyse de résultats Conclusions et perspectives Présentation

Approche structurelle et classification de graphes Le déroulement de la soutenance Approche structurelle et classification de graphes 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Du symbole au graphe : - Construction à partir des éléments vectorisés. Graphe de jonctions Représentation

Approche structurelle et classification de graphes Le déroulement de la soutenance Approche structurelle et classification de graphes 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Attributs nominaux : Etiquetage des nœuds : - Le degré du nœud Etiquetage des arêtes : - L’alignement entre deux points. - Le type de liaison : Arc ou Vecteur - La taille de liaison : Discrétisation en Grand ou Petit. Clustering v 1 J1 v 2 J3 v 3 J1 v 4 J1 v 5 J2 v 6 J3 v 7 J2 v 8 J1 u 1 2 vec_qqc_g u 2 3 vec_qqc_g u 2 6 vec_h_g u 4 5 vec_h_p u 5 6 vec_v_g u 6 7 vec_v_g u 7 8 vec_h_p Graphe invariant facteur d’échelle Représentation

Approche structurelle et classification de graphes Le déroulement de la soutenance Approche structurelle et classification de graphes 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Description structurelle du symbole. Le problème tourne en une classification de graphes. Comment comparer des graphes ? - Difficulté : établir une distance entre graphes. Classification de graphes

Le déroulement de la soutenance Distance entre graphe Le déroulement de la soutenance 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Notion de distance : Distance

Le déroulement de la soutenance Distance entre graphe 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Distance d’édition Représente la séquence d'édition visant à minimiser la somme des coûts des opérations élémentaires permettant de transformer un graphe en un autre. - Opération d’insertion - Opération de substitution - … Une complexité algorithmique exponentielle dans le pire des cas. Problème NP complet. Si les coûts des opérations élémentaires sont symétriques, il s'agit d'une métrique. Les coûts des opérations doivent être déterminés en fonction de l'application . Cette distance n'est pas normalisée Distance

Mesure de dissimilarité Le déroulement de la soutenance Mesure de dissimilarité 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Pour pallier ce handicap, l’explosion combinatoire, nous optons pour une approximation : Graph Probing [D. P. Lopresti and G.T. . Wilfong, “A fast technique for comparing graph representations with applications to performance evaluation” ] Le Graph Probing s'applique aux graphes non orientés ● La structure d'arcs d'un noeud donné – Considérant ‘a’ étiquettes d'arcs : – La structure d'arcs d'un noeud est un ‘2a’-tuple d'entiers non négatifs – Le noeud a exactement xi arcs entrants étiquetés li, et yj noeuds sortant étiquetés lj ● Probe1 : Combien de noeuds étiquetés « J2 » sont présents dans le graphes ? ● Probe2 : Combien de noeuds disposant d’une structure d'arcs donnée sont présents dans le graphe ? Mesure

Mesure de dissimilarité Le déroulement de la soutenance 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion ● Graph probing distance respecte les conditions 1,3 et 4 de la définition d'une métrique, mais pas la propriété 2. ● Graph probing peut être calculé en temps linéaire ● Relation entre graph probing et distance d'édition : Dissimilarité entre objets

Mesure de dissimilarité Le déroulement de la soutenance Mesure de dissimilarité 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion G1 G2 Graphes

Mesure de dissimilarité Le déroulement de la soutenance 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Probe1 = N G1 G2 3 5 Probe élément discriminant Probe 1

Mesure de dissimilarité Le déroulement de la soutenance Mesure de dissimilarité S G1 G2 1 2 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Probe2 = Probe élément discriminant Probe 2

Appariement de graphes : Corrélation Le déroulement de la soutenance Appariement de graphes : Corrélation 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Mesure de dissimilarité : Graph Probing Taux de corrélation Graph Probing Kendall 0.6824176 Etude du comportement du Graph Probing : E. Barbu, R. Raveaux, H. Locteau, S. Adam, P. Héroux, E. Trupin, "Graph Classification Using Genetic Algorithm and Graph Probing Application to Symbol Recognition“ Lecture Notes in Computer Science, 2006. Evaluation

Le déroulement de la soutenance Analyse de résultats 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Problèmes : Approche statistique Sensible aux caractéristiques d’acquisition de l’image. Coûteuse en temps:Extraction + combinaison de classifieurs Problèmes : Approche structurelle Vectorisation imprécise  Solution possible:  LOCTEAU H., RAVEAUX R., ADAM S., LECOURTIER Y., HEROUX P., TRUPIN E. « Approximation of Digital Curves Using a Multi-Objective Genetic Algorithm »; Lecture Notes in Computer Science 3926, 2006. Base GREC Base Electrique Approche statistique Approche structurelle Top 1 0.8734 0,7325 0.2142 0,5654 Top 5 0.9216 0,8855 0.7678 0,7486 Top 10 1 0.875 0,8928 Top 15 0.9464 Top 20 0.9642 Comparaison

Le déroulement de la soutenance Conclusion 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Bilan : - Méthode statistique associée à une combinaison de classifieurs. - Méthode structurelle:  2 types de graphe  Comparaison de mesures de dissimilarité entre graphes. - Réseau de symboles [MES 93] Prospection : Combinaison statistico/strcuturelle Tester et valider l’approche en réseau de symboles. Etudier des méthodes d’appariements de graphes.  « A Comparative Study of Ant Colony Optimization and Reactive Search for Graph Matching Problems. » Sébastien Sorlin - Tenir compte d’éléments externes à l’imagette. - Information spécifique au domaine. Bilan http://algoreco.free.fr

Le déroulement de la soutenance Fin 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Merci de votre attention Des questions ?

Représentation structurelle Le déroulement de la soutenance Représentation structurelle 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Probe 2

Le déroulement de la soutenance Réseau 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Probe 2

Le déroulement de la soutenance Documents graphiques 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Rétro conversion

Pluralité des données graphiques Le déroulement de la soutenance Pluralité des données graphiques 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Rétro conversion

Faible densité de pixels Le déroulement de la soutenance 1. Introduction 2. Etat de l’art 3. Réalisations a. Approche statistique b. Classification de graphes 4. Analyse de résultats 5. Conclusion Symbole base Elec 1600 pixels Symbole GREC 250 000 pixels Rétro conversion