Nicolas Zlatoff - Stage de DEA Sous la direction de Bruno Tellez Exploitation de connaissances « domaine » pour l’analyse et l’interprétation d’image Application à l’indexation d’images Nicolas Zlatoff - Stage de DEA Sous la direction de Bruno Tellez LIRIS MOM

Plan 1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art 3. Méthodologie 3.1 Présentation théorique 3.2 Segmentation (bas-niveau) 3.3 Modélisation et exploitation des connaissances (haut-niveau) 4. Conclusion et perspectives

Contexte: indexation Augmentation du nombre d’images Accéder à l’information Indexer automatiquement, sémantiquement Le fossé sémantique Exploiter des connaissances En particulier: « domaine »

Contexte: domaine La Maison de l’Orient et de la Méditerranée (MOM) Images de stèles thessaliennes (10000) Accéder aux objets sémantiques

Contexte: stèles Couronnement Geison Inscriptions Rosette double Tainia Corps Socle

Plan 1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art 3. Méthodologie 3.1 Présentation théorique 3.2 Segmentation (bas-niveau) 3.3 Modélisation et exploitation des connaissances (haut-niveau) 4. Conclusion et perspectives

Etat de l’art Exploitation de connaissances haut-niveau Indexation par mots clés [Mechkour95] Séparation connaissances et raisonnements Utilisation de traitements bas niveaux Traitements procéduraux [Huertas96], [Mees96]. Notre proposition: « piloter les traitements par les connaissances » [Mechkour95] M. Mechkour, C. Berrut, Y. Chimarella, « Using Conceptual Graphs Framework for Image Retrieval », Proc. Of the MMM’95 (Multimedia Modeling) Conference, Singapore, 1995, p.127-142. [Huertas96] A. Huertas, R. Nevatia. « Detecting Changes in Aerial Views of Man-Made Structures ». Proceedings of the ARPA Image Understanding Workshop. Palm Springs, California. 1996. p. 381-388. [Mees96] W. Mees. « Automatic Image Interpretation for GIS updating ». Fourth Euroconference on Geographical Information Systems. Madrid. 1996. 7p.

Plan 1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art 3. Méthodologie 3.1 Présentation théorique 3.2 Segmentation (bas-niveau) 3.3 Modélisation et exploitation des connaissances (haut-niveau) 4. Conclusion et perspectives

Méthodologie Interprétation Analyse Segmentation Bas niveau Excentricité: … Taille: … Niveau intermédiaire Haut niveau Modèle instancié Stèle 23 Relation 9 Couron. 5 Rosette 7 Composi. 8 Stèle Relation Couron. Rosette Composi. Modèle générique Inscription Adjacence Interprétation Analyse Segmentation

Plan 1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art 3. Méthodologie 3.1 Présentation théorique 3.2 Segmentation (bas-niveau) 3.3 Modélisation et exploitation des connaissances (haut-niveau) 4. Conclusion et perspectives

Segmentation (1/2) Descripteurs de texture Texture de Laws Filtres directionnels Micro-textures K. Laws. Textured Image Segmentation, Ph.D. Dissertation, University of Southern California, 1980

Segmentation (2/2) Descripteurs de Laws… et clustering Image originale I(x,y) Image segmentée 14 descripteurs I(x,y)  Kernel(j)

Plan 1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art 3. Méthodologie 3.1 Présentation théorique 3.2 Segmentation (bas-niveau) 3.3 Modélisation et exploitation des connaissances (haut-niveau) 4. Conclusion et perspectives

Modéliser les connaissances Identifier les concepts et les relations Objet d’intérêt Région Concept Connaissances strictement« domaine » Connaissances orientées « problème » Objet sémantique Rosette double Tainia Bloc Ornement Corps Geison Adjacence Composition

Choisir un formalisme Systèmes à base de frames: Protégé© Frame Ornement Identifiant Matériau Forme Frame Rosette Identifiant Matériau Forme Spécialisation Slot Facette Forme = « rond »

Exploiter les connaissances Moteur d’inférences (Jess) Connaissances « domaine » « problème » « Si X est au-dessus d’un Corps, X est un Geison » « Si X est au centre de l’image, X est dans la stèle » Règles Règles Base de faits Connaissances sémantiques Objets sémantiques, relations Faits Dom. Objets d’intérêt Faits Prob. Classes Instances Instances Classes

Exemple de règles Condition Action Image Modèle instancié Objet d’intérêt OI1 Image Objet d’intérêt OI2 Modèle instancié Instance 1 objet sémantique OS4 représente Modèle générique Classe 1 Objet sémantique OS4 Classe 2 OS5 Classe 3 Relation adjacence Rel1 dessus dessous Objet d’intérêt OI1 Image Objet d’intérêt OI2 Modèle instancié Instance 1 objet sémantique OS4 Modèle générique Classe 1 Objet Classe 2 OS5 Classe 3 Relation adjacence Rel1 dessus dessous représente Action Instance 3 relation adjacence Rel1 dessous dessus Instance 2 objet sémantique OS5 représente

Plan 1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art 3. Méthodologie 3.1 Présentation théorique 3.2 Segmentation (bas-niveau) 3.3 Modélisation et exploitation des connaissances (haut-niveau) 4. Conclusion et perspectives

Conclusion Architecture sur 3 niveaux Segmentation pertinente Descripteurs de Laws et clustering Modélisation des connaissances Pour interpréter Validation de faisabilité Soumission à RFIA 2004

Perspectives Améliorer l’efficacité Automatiser: niveau intermédiaire Raisonnements spécifiques aux frames Automatiser: niveau intermédiaire Connaissances « vision » A terme: générer automatiquement les règles

Choisir un formalisme (2/2) Stocker une relation Composition 1 composé composant Couronnement ogival Identifiant Rosette « Un couronnement ogival est composé d’une rosette » Facette composé = instance de Couronnemt Couronnement ogival Identifiant composant Rosette Facette composant = instance de Rosette, etc. Facette composant = instance de Rosette, etc.