Laboratoire d'InfoRmatique en Image et Systèmes d'information FRE 2672 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de Lyon, Université Claude Bernard Lyon1 - Bâtiment Nautibus 43, boulevard du 11 Novembre 1918 – F Villeurbanne Cedex FRE 2672 – CORESA, 25 mai Lille Vision Gestalt et connaissances Une approche générique à linterprétation dimages N. ZlatoffB. TellezA. Baskurt

CORESA, 25 mai 2004 – Lille Contexte & problématique Augmentation du volume dimages numériques Nécessité doutil dindexation Sémantique Automatique Des outils content-based limités au bas-niveau QBIC [Niblack-93], VisualSEEk [Smith-96] [Niblack-93] W. Niblack, R. Barber, W. Equitz, et al. « The QBIC Project : Querying Images by Content Using Color, Texture and Shape », in Proceedings of Storage and Retrieval for Image and Video Databases, Bellingham, WA, 1993, Vol. 1908, pp [Smith-96] J. Smith, S. Chang, « Tools and Techniques for Color Image Retrieval », in Proceedings of The Symposium on Electronic Imaging : Science and Technology Storage and Retrieval for Image and Video Databases IV, San Jose, CA, 1996, pp ,

CORESA, 25 mai 2004 – Lille État de lart Systèmes knowledge-based Schema [Draper-89], SIGMA [Matsuyama-90] Dépendants des connaissances du domaine (procédurales) Limités à un domaine Outils de groupements perceptuels Génériques, déconnectés des connaissances [Vasseur-99] Extraient des objets non sémantiques (intermédiaires) [Draper-89] B.A. Draper, R. Colins, J. Brolio et al. « The Schema System », International Journal of Computer Vision, Vol. 2, 3, 1989, pp [Matsuyama-90] T. Matsuyama, V. Hwang, «SIGMA: A Knowledge-Based Aerial Image Understanding System», Plenum, New-York, [Vasseur-99] P. Vasseur, C. Pégard, M. Mouaddib et al, Perceptual Organization Approach by Dempster-Schafer Theory, Pattern Recognition, Vol. 32, 1999, pp Perception Connaissances Mécanismes innés Connaissances Mécanismes innés

CORESA, 25 mai 2004 – Lille Description intermédiaire Positionnement Externaliser les connaissances du domaine et y accéder « au besoin » Ontologies Ontologie du domaine contrôle Image segmentée Description topologique Groupement perceptuel Description sémantique

CORESA, 25 mai 2004 – Lille Groupement perceptuel (1/2) Aboutir à des objets intermédiaires Vision Gestalt (approche nativiste) [Wertheimer-58] « Le tout est plus que la somme des parties » Mécanismes de groupements successifs selon 5 propriétés Proximité (a et b), similarité (c), fermeture (d), continuité (e), symétrie [Wertheimer-58] M. Wertheimer, Principles of Perceptual Organization, Readings in Perception, pp , (a) (b) (c) (d)(e)

CORESA, 25 mai 2004 – Lille Groupement perceptuel (2/2) A partir du RAG, calcul dune distance perceptuelle entre les régions i et j: DP ij = D ij x F ij x C ij D ij différence entre les descripteurs bas-niveaux F ij mesure de limbrication mutuelle (fermeture) C ij favorise la fusion de petites régions (vers une continuité) Basé sur [Idrissi-03] [Idrissi-03] K. Idrissi, G. Lavoué, J. Ricard, et al. « An Object of Interest based Visual Navigation, Retrieval and Semantic Content Identification System», Computer Vision and Image Understanding: Special Issue on Colour for Image Indexing and Retrieval, to appear, 2003.

CORESA, 25 mai 2004 – Lille Groupement perceptuel (2/2) Réduction itérative du RAG Critères darrêt: DP ij < seuil_max Nombre dobjets intermédiaires > nb_min Question du contrôle et du paramétrage Quattend-on? … Quest-ce quun objet intermédiaire pertinent ? Appel aux connaissances Image Image segmentée Groupement perceptuel

CORESA, 25 mai 2004 – Lille Modèle de scène (apparition dans limage) Objets sémantiques Taille relative, forme, propriétés « intrinsèques » Relations topologiques Inclusion Adjacence & voisinage (dessus, dessous, gauche, droite) Composition de la scène « tous les objets ne sont pas pertinents à tous les niveaux de détail » Groupements perceptuels successifs dans un contexte simplifié Scène OS 1OS 2OS 3OS 4 OS 5OS 6OS 7OS 8 OS 11OS 10OS 9 N i v e a u d e d é t a i l Composants primaires Composants dordre 2 Composant dordre 3 Modélisation des connaissances GROUPEMENT PERCEPTUEL Description primaire Description dordre 2 Description dordre 3

CORESA, 25 mai 2004 – Lille Contrôle par les connaissances Paramétrage du groupement par les connaissances MinPix Taille des objets attendus Critères darrêt en fonction des objets attendus et du niveau de composition Interprétation a posteriori des groupements Initialisation: exploitation des contraintes de scène Propagation de la connaissance inférence, logique dordre 1 Relaxation: vérification de la cohérence

CORESA, 25 mai 2004 – Lille Domaine détude Stèles thessaliennes Bloc de pierre peint et sculpté dans la Grèce Antique Fournies par la Maison de lOrient et de la Méditerranée (MOM) Couronnement Corps Geison Rosettes Tainia

CORESA, 25 mai 2004 – Lille Modélisation des connaissances En collaboration avec les experts de la MOM Stockage avec Protégé-2000 (frames) Utilisation dun plug-in Jess pour les inférences

CORESA, 25 mai 2004 – Lille Groupement perceptuel (Niveau 1) Image segmentéeImage originale Exemples de résultats Couron- nement GeisonCorps Couron- nement Corps

CORESA, 25 mai 2004 – Lille Conclusions Une architecture générique Qui sapplique à des domaines contraints géométriquement Validée dans un domaine (stèle) Groupement perceptuel… Aboutissant à des objets intermédiaires pertinents … Contrôlé par les connaissances Paramétrage du groupement par les connaissances Validation a posteriori & remise en cause Mécanisme encore incomplet

CORESA, 25 mai 2004 – Lille Perspectives Groupement perceptuel Poursuivre limplantation gestaltiste Lois de symétrie, continuité Contrôle par les connaissances Incorporé dans le groupement: arrêt local si une structure est reconnue Utilisation des inférences pour filtrer les résultats