Décomposition des manuscrits anciens en traits Construction des codes book basée sur la coloration de graphes Hani DAHER – LIRIS Veronique EGLIN-LIRIS.

Présentation au sujet: "Décomposition des manuscrits anciens en traits Construction des codes book basée sur la coloration de graphes Hani DAHER – LIRIS Veronique EGLIN-LIRIS."— Transcription de la présentation:

1 Décomposition des manuscrits anciens en traits Construction des codes book basée sur la coloration de graphes Hani DAHER – LIRIS Veronique EGLIN-LIRIS Nicole VINCENT-LIPADE Stephane Bres-LIRIS Djamel GACEB-LIRIS

2 Plan Contexte Caractérisation: Squelettisation
Extraction et Sélection des Descripteurs Classification en tables de similarités « codebooks » Résultats et application Conclusion

3 Projet Graphem contexte Projet Graphem: « Graphem based Retrieval and Analysis for PaleograpHic Expertise of Middle Age manuscripts ». Projet pluridisciplinaire: IRHT, École des Chartes, LIFO Orléans, LIPADE Paris V, LIRIS Objectifs: Faire progresser la compréhension de l’évolution des formes de l’écriture pour la Paléographie Créer des méthodes efficaces d’accès au contenu des manuscrits (Word- Spotting, Word-Retrievial).

4 Type de manuscrits Contexte Epoque Gothique 13ème siècle 15ème siècle
Epoque Mérovingienne Renaissance 751 10ème siècle Epoque Carolingienne

5 qualité des manuscrits
Contexte Vieillissement de l’encre et papier Enchevêtrement des lignes Ecriture à la marge et/ou entre les lignes

6 Ordre des traits & densité de l’encre
Contexte De gauche à droite Le premier trait est situé à gauche et puis les autre traits le suivent Recherche de l’ordre des traits à partir de la densité de l’encre Détermination des poser et lever de calames: Au début du trait la densité d'encre est importante au cours du tracé la densité devient moins importante à la fin du trait la densité d'encre la plus élevée

7 Relation: épaisseur et décomposition des traits
Contexte Relation: épaisseur et décomposition des traits Traits noires: Entre -135° et 60° Obéissent à la règle générale Traits pointillés Frontière entre les traits obéissent et non obéissent à la règle. Traits rouges (Région hachuré): Traits qui n’obéissent pas à la règle générale Possibilité de déterminer la direction des traits. difficulté de connaître la position de la plume au cours de la formation du tracé. possibilité de connaître la position du bout de la plume sur le support

8 Objectifs et contributions
Contexte Aide des paléographes au: Classement des manuscrits en familles de style. Reconnaissance des manuscrits Développement des méthodes de recherche d’occurrence de mots « word spotting » Notre contribution: Décomposition des manuscrits en traits Sélection des descripteurs compréhensibles pour les deux domaines informatiques et paléographiques. Constructions des tables de similarités « code-book » à partir des traits Calcul de la Similarité entre les code-books pour la classification Utilisation des code-books pour la recherche des occurrences des mots dans les manuscrits

9 Plan Contexte Caractérisation: Squelettisation
Extraction et Sélection des Descripteurs Classification en tables de similarités « codebooks » Résultats et application Conclusion

10 Suivi du tracé et détection de l’axe médian
Caractérisation: Squelettisation Suivi du tracé et détection de l’axe médian (b) (a) Méthode: S’appliquer directement sur l’image en niveaux de gris Offrir une robustesse aux dégradations On a aussi constaté : Des ressemblances morphologiques entre vaisseaux sanguins et traits manuscrits

11 Suivi du tracé et détection de l’axe médian
Caractérisation: Squelettisation Suivi du tracé et détection de l’axe médian Etape 2: Carte de distance Diffusion Etape 3: Extraction de l’axe médian (Xu). Rayon: carte des distances. Diffusion: meilleure représentation des traits Etape 1: Mise en évidence du tracé Lissage Image Fusion de diffusion et T.D

12 Etape 1: Approche de séparation fond-forme
Caractérisation: Squelettisation Etape 1: Approche de séparation fond-forme Application de la méthode de (Frangi,1998): Directement sur l’image en niveau de gris I(x) pour mettre en évidence le tracé par rapport au fond. La nouvelle image subit un lissage gaussien pour enlever les discontinuités, trous, bruits et déformations.

13 Etape 2: Squelettisation par diffusion
Caractérisation: Squelettisation Etape 2: Squelettisation par diffusion Application de la transformé en distance sur F pour: Déterminer automatiquement le rayon « distance par rapport au point contour le plus proche) de chaque point du tracé. Bonne adaptation au changement d’épaisseur des traits. Squelettisation par régularisation du gradient et diffusion ( LeBourgeois,2007)

14 Etape 3: Détection de l’axe médian
Caractérisation: Squelettisation Etape 3: Détection de l’axe médian Principe de suivi du tracé. Détection automatique des points de départ. Points rouges au début de chaque trait. Ces points représentent le départ pour les suivi des traits.

15 Etape 3: Détection de l’axe médian
Caractérisation: Squelettisation Etape 3: Détection de l’axe médian Extraction de l'axe médian par : Notre méthode, La méthode de (Zhang et Suen, 1984) ( Amincissement morphologique) Rapide et simple. adopté pour générer une topologie suffisamment complexe, Inconvénients: Binarisation indispensable, peu robuste aux dégradations des traits, problèmes d’artéfacts (branches parasites), ne peut pas suivre le trait jusqu’aux extrémités. Notre méthode Zhang

16 Découpage du manuscrit en graphèmes
Caractérisation: Décomposition des manuscrits en graphèmes Découpage du manuscrit en graphèmes Les trois points particuliers de découpage: Minimum local dans l’épaisseur du segment Croisement de segments «  Voie sans issue »

17 Illustration: Minimum local
Caractérisation: Décomposition des manuscrits en graphèmes Illustration: Minimum local

18 Illustration: croisements et cas d’erreur
Caractérisation: Décomposition des manuscrits en graphèmes Illustration: croisements et cas d’erreur

19 Plan Contexte Caractérisation: Squelettisation
Extraction et Sélection des Descripteurs Classification en tables de similarités « codebooks » Résultats et application Conclusion

20 Extraction des caractéristiques
Extraction et Sélection des Descripteurs Extraction des caractéristiques Descripteurs Intérêt Hauteur Connaitre les style d’écriture et la plume utilisée Largeur Inclinaison Connaitre l’inclinaison du graphème et la formation du trait Excentricité Connaitre La forme du graphème Densité globale (Surface) Connaitre La place que le graphème occupe dans le manuscrit Périmètre la longueur de la ligne qui délimite le contour d’un objet. Rapport: longueur/largeur rapport entre la mesure de longueur du graphème et la mesure de hauteur, Compacité : périmètre / Surface invariable par rapport à la taille de l’objet. Il est minimum dans le cas d’un disque

21 Extraction des caractéristiques
Extraction et Sélection des Descripteurs Extraction des caractéristiques Descripteurs Intérêt Les 9 densités Division de l’image en 9 Régions, et calcul de la surface pour chacune d’eux Les 8 orientations Les 8 orientation préférentielles calculées à partir du gradient. 25 Moments de Zernike Invariants à la rotation et à l’échelle, après normalisation du graphème binaire par le moment du premier ordre (surface du graphème)

22 construction du codebook
Extraction et Sélection des Descripteurs construction du codebook Par coloration de graphes(Gaceb et Eglin,2008) appliquée aux graphèmes caractérisés 3 Couleurs = 3 classes de graphèmes 1 7 3 5 4 2 6 Image de manuscrit a) Découpage en graphèmes b) Modélisation en graphe (graphème = sommet) c) Coloration de graphe d) Construction de code book Application optimisation d’un seuil de similarité Descripteurs Sélectionnés Seuil Descripteurs Sélectionnés Seuil

23 Comparaison des codebooks
Extraction et Sélection des Descripteurs Comparaison des codebooks Reconnaissance du style des manuscrits à partir des code books:

24 Plan Contexte Caractérisation: Squelettisation
Extraction et Sélection des Descripteurs Classification en tables de similarités « codebooks » Résultats et application Conclusion

25 Extraits de la base de test
Résultats et application Extraits de la base de test 10000 traits à partir de 20 pages de manuscrits du Moyen-âge (IRHT), 300 images à ce jour.

26 Comparaison des codebooks
Résultats et application Comparaison des codebooks Extrait: distances d entre les 12 pages Evaluation avec vérité de terrain sur une base de données de 300 manuscrits.(en cours images) La vérité  terrain est établie par l’expertise des paléographes <<<<Bouton>>>> d=0.127 Page 7 Page 1 d=0.206 Page 2 Page 10

27 Plan Contexte Caractérisation: Squelettisation
Extraction et Sélection des Descripteurs Classification en tables de similarités « codebooks » Résultats et application Conclusion

28 Conclusion Nouvelle méthode de découpage de manuscrits en graphèmes.
Construction d’un code book robuste en utilisant la coloration de graphes. Création d’un prototype expérimental à l’usage des experts paléographes du projet GRAPHEM. Word spotting (en cours)

29 Merci de votre attention