Nicolas Zlatoff - Stage de DEA Sous la direction de Bruno Tellez

Présentation au sujet: "Nicolas Zlatoff - Stage de DEA Sous la direction de Bruno Tellez"— Transcription de la présentation:

1 Nicolas Zlatoff - Stage de DEA Sous la direction de Bruno Tellez
Exploitation de connaissances « domaine » pour l’analyse et l’interprétation d’image Application à l’indexation d’images Nicolas Zlatoff - Stage de DEA Sous la direction de Bruno Tellez LIRIS MOM

2 Plan 1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art
3. Méthodologie 3.1 Présentation théorique 3.2 Segmentation (bas-niveau) 3.3 Modélisation et exploitation des connaissances (haut-niveau) 4. Conclusion et perspectives

3 Contexte: indexation Augmentation du nombre d’images
Accéder à l’information Indexer automatiquement, sémantiquement Le fossé sémantique Exploiter des connaissances En particulier: « domaine »

4 Contexte: domaine La Maison de l’Orient et de la Méditerranée (MOM)
Images de stèles thessaliennes (10000) Accéder aux objets sémantiques

5 Contexte: stèles Couronnement Geison Inscriptions Rosette double
Tainia Corps Socle

6 Plan 1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art
3. Méthodologie 3.1 Présentation théorique 3.2 Segmentation (bas-niveau) 3.3 Modélisation et exploitation des connaissances (haut-niveau) 4. Conclusion et perspectives

7 Etat de l’art Exploitation de connaissances haut-niveau
Indexation par mots clés [Mechkour95] Séparation connaissances et raisonnements Utilisation de traitements bas niveaux Traitements procéduraux [Huertas96], [Mees96]. Notre proposition: « piloter les traitements par les connaissances » [Mechkour95] M. Mechkour, C. Berrut, Y. Chimarella, « Using Conceptual Graphs Framework for Image Retrieval », Proc. Of the MMM’95 (Multimedia Modeling) Conference, Singapore, 1995, p [Huertas96] A. Huertas, R. Nevatia. « Detecting Changes in Aerial Views of Man-Made Structures ». Proceedings of the ARPA Image Understanding Workshop. Palm Springs, California p [Mees96] W. Mees. « Automatic Image Interpretation for GIS updating ». Fourth Euroconference on Geographical Information Systems. Madrid p.

8 Plan 1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art
3. Méthodologie 3.1 Présentation théorique 3.2 Segmentation (bas-niveau) 3.3 Modélisation et exploitation des connaissances (haut-niveau) 4. Conclusion et perspectives

9 Méthodologie Interprétation Analyse Segmentation Bas niveau
Excentricité: … Taille: … Niveau intermédiaire Haut niveau Modèle instancié Stèle 23 Relation 9 Couron. 5 Rosette 7 Composi. 8 Stèle Relation Couron. Rosette Composi. Modèle générique Inscription Adjacence Interprétation Analyse Segmentation

10 Plan 1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art
3. Méthodologie 3.1 Présentation théorique 3.2 Segmentation (bas-niveau) 3.3 Modélisation et exploitation des connaissances (haut-niveau) 4. Conclusion et perspectives

11 Segmentation (1/2) Descripteurs de texture Texture de Laws
Filtres directionnels Micro-textures K. Laws. Textured Image Segmentation, Ph.D. Dissertation, University of Southern California, 1980

12 Segmentation (2/2) Descripteurs de Laws… et clustering Image originale
I(x,y) Image segmentée 14 descripteurs I(x,y)  Kernel(j)

13 Plan 1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art
3. Méthodologie 3.1 Présentation théorique 3.2 Segmentation (bas-niveau) 3.3 Modélisation et exploitation des connaissances (haut-niveau) 4. Conclusion et perspectives

14 Modéliser les connaissances
Identifier les concepts et les relations Objet d’intérêt Région Concept Connaissances strictement« domaine » Connaissances orientées « problème » Objet sémantique Rosette double Tainia Bloc Ornement Corps Geison Adjacence Composition

15 Choisir un formalisme Systèmes à base de frames: Protégé©
Frame Ornement Identifiant Matériau Forme Frame Rosette Identifiant Matériau Forme Spécialisation Slot Facette Forme = « rond »

16 Exploiter les connaissances
Moteur d’inférences (Jess) Connaissances « domaine » « problème » « Si X est au-dessus d’un Corps, X est un Geison » « Si X est au centre de l’image, X est dans la stèle » Règles Règles Base de faits Connaissances sémantiques Objets sémantiques, relations Faits Dom. Objets d’intérêt Faits Prob. Classes Instances Instances Classes

17 Exemple de règles Condition Action Image Modèle instancié
Objet d’intérêt OI1 Image Objet d’intérêt OI2 Modèle instancié Instance 1 objet sémantique OS4 représente Modèle générique Classe 1 Objet sémantique OS4 Classe 2 OS5 Classe 3 Relation adjacence Rel1 dessus dessous Objet d’intérêt OI1 Image Objet d’intérêt OI2 Modèle instancié Instance 1 objet sémantique OS4 Modèle générique Classe 1 Objet Classe 2 OS5 Classe 3 Relation adjacence Rel1 dessus dessous représente Action Instance 3 relation adjacence Rel1 dessous dessus Instance 2 objet sémantique OS5 représente

18 Plan 1. Contexte: l’indexation d’image, la MOM 2. Etat de l’art
3. Méthodologie 3.1 Présentation théorique 3.2 Segmentation (bas-niveau) 3.3 Modélisation et exploitation des connaissances (haut-niveau) 4. Conclusion et perspectives

19 Conclusion Architecture sur 3 niveaux Segmentation pertinente
Descripteurs de Laws et clustering Modélisation des connaissances Pour interpréter Validation de faisabilité Soumission à RFIA 2004

20 Perspectives Améliorer l’efficacité Automatiser: niveau intermédiaire
Raisonnements spécifiques aux frames Automatiser: niveau intermédiaire Connaissances « vision » A terme: générer automatiquement les règles

21 Choisir un formalisme (2/2)
Stocker une relation Composition 1 composé composant Couronnement ogival Identifiant Rosette « Un couronnement ogival est composé d’une rosette » Facette composé = instance de Couronnemt Couronnement ogival Identifiant composant Rosette Facette composant = instance de Rosette, etc. Facette composant = instance de Rosette, etc.

22