La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD Groupe de travail CALYPOD graphiCs imAge anaLYsis from Printed Old Document Membres :Frédéric Nicolier (CRESTIC) Etienne Baudrier (LMA) Mathieu Delalandre (CVC) Sébastien Busson (CESR) Thierry Brouard (LI) Nicholas Journet (LI) …
La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD 2/15 Présentation du groupe de travail Thématique de recherche : Thématique de recherche : Indexation graphiques imprimés anciens Indexation graphiques imprimés anciens Qui sommes nous? Qui sommes nous? 8 personnes de 7 labos 8 personnes de 7 labos Projet réunissant STIC et SHS Projet réunissant STIC et SHS
La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD 3/15 Objectif scientifique Offrir de nouveaux outils de recherche aux utilisateurs de bibliothèques numériques :. Pour quoi faire? Datation, suivi du matériel, identification imprimeur, transmission du savoir
La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD 4/15 Associer des métadonnées aux illustrations Associer des métadonnées aux illustrations Lettre « A » Style décoratif Lettre blanche Fond noir Zones dusure du tampon - Titre : Le Pegme - Auteur : Cousteau, Pierre - Date : Index : arbre (tronc), homme, balance, instrument de mesure Objectifs scientifiques
La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD 5/15 Actions associées à ces objectifs Actions associées à ces objectifs 1.Extraire automatiquement ce qui peut lêtre (style et lettre dune lettrine, caractéristiques diverses dune illustration, comparer deux illustrations…) 2.Fournir des outils accélérant la saisie de métadonnées ne pouvant être renseignées que par un spécialiste (mots clefs sur une scène) Objectifs scientifiques
La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD 6/15 PLAN Contexte Contexte Les projets similaires au nôtre Les projets similaires au nôtre Objectifs à courts termes Objectifs à courts termes Plate forme dannotation Plate forme dannotation Recalage dillustrations Recalage dillustrations Indexation automatique de lettrines Indexation automatique de lettrines
La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD 7/15 Les projets similaires au notre
La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD 8/15 PLAN Contexte Contexte Les projets similaires au notre Les projets similaires au notre Objectifs à courts termes Objectifs à courts termes Plate forme dannotation Plate forme dannotation Recalage dillustrations Recalage dillustrations Indexation automatique de lettrines Indexation automatique de lettrines
La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD 9/15 Dropcap Image Retrieval Real time process or not ? We cant index all images in regard to legal properties, a real time process will allow to do queries with images provided by other digital libraries DB query results result User-driven historical metadata acquisition Metadata file Metadata file Metadata file Metadata file Without retrieval With retrieval more faster reduce error
La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD 10/15 PLAN Contexte Contexte Les projets similaires au notre Les projets similaires au notre Objectifs à courts termes Objectifs à courts termes Plate forme dannotation Plate forme dannotation Recalage dillustrations Recalage dillustrations Indexation automatique de lettrines Indexation automatique de lettrines
La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD 11/15 Image registration (preprocessing) Affine transformation preprocessing Affine transformation preprocessing Offset Angle Reuse of existing methods : RLE coding [Delalandre] LDM [Baudrier] Use of letters properties symetry low intra-class disparity
La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD Image registration (preprocessing) Difficulties Difficulties Noisy registration Noisy registration Registration of non-identical images Registration of non-identical images
La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD 13/15 Proposed solutions Proposed solutions translation => SPOMF (Symetric Phase Only Matched Filter) : correlation based method translation => SPOMF (Symetric Phase Only Matched Filter) : correlation based method rotation => SPOMF on polar form of images rotation => SPOMF on polar form of images scale => SPOMF + Mellin transform scale => SPOMF + Mellin transform Image registration (preprocessing) or other translation/rotation/scale invariant transform (Radon, wavelets,...) or other translation/rotation/scale invariant transform (Radon, wavelets,...)
La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD 14/15 PLAN Contexte Contexte Les projets similaires au notre Les projets similaires au notre Objectifs à courts termes Objectifs à courts termes Plate forme dannotation Plate forme dannotation Recalage dillustrations Recalage dillustrations Indexation automatique de lettrines Indexation automatique de lettrines
La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD 15/15 Reconnaître une lettre Segmenter pour reconnaître: « A » Extraction de la lettreReconnaissance de la lettre Inefficacité des descripteurs globaux. Tests réalisés sur 970 lettrinesSVM Zernike (ordre 5) <25% Histogramme projection <35% Attributs de ma thèse <60% Localisation de la lettre
La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD 16/15 Pistes pour la réalisation de cet objectif Reconnaître une lettre Algorithme de croissance de régions Doù part la croissance? Quel critère de croissance? Deux difficultés Critère de croissance dédié à la recherche de lettres dans les lettrines? Model shaped base?
La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD 17/15 Problème de dévaluation de la segmentation Intéressant pour un PFE? + Une évaluation de la segmentation permettrait de donner un premier retour sur la qualité de nos algorithmes +Difficultés de la saisie (zones non rectangulaires). Lidée est de faire une baguette magique assistée Lutilisateur indique où se situe la lettre Segmentation automatique Interactions avec utilisateur pour corrections Sauvegarde vérité (SVG?, Format image matricielle?, format image vectorielle?)
La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD 18/15 Perspectives du groupe CALYPOD Fournir « rapidement » des outils dindexation de lettrines au CESR Fournir « rapidement » des outils dindexation de lettrines au CESR Elargir notre domaine applicatif à lensemble du « graphique ancien » Elargir notre domaine applicatif à lensemble du « graphique ancien » Rassembler des chercheurs travaillant sur le graphique Rassembler des chercheurs travaillant sur le graphique Projet ouvert à toutes les bonnes volontés (donc vous!) Projet ouvert à toutes les bonnes volontés (donc vous!)