Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Indexation dimages Henri Maître

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Lindexation : un avatar des masses de données Indexer pour retrouver Retrouver en nommant Retrouver en décrivant Retrouver en montrant Indexer pour trier Trier par catégories Trier par ordre Indexer pour naviguer Indexer pour … connaître

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Des objectifs différents des indexations différentes Recherches catégorielles dans les bases ouvertes Recherches exactes dans les bases ouvertes Recherches catégorielles dans les bases spécialisées

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Les bases ouvertes

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Recherches catégorielles dans les bases ouvertes Objectif : recherche « sémantique »

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Recherches catégorielles dans les bases ouvertes Rechercher en nommant : index = mots Annotation : cold fresh landforms natural world north america oregon pacific northwest pacific states positive concepts running water snow states streams tributary usa water weather (ex : LTU)

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Recherches catégorielles dans les bases ouvertes Rechercher par lexemple : quels index ? Index globaux, Robustes (donc imprécis), Invariants par échelle, déformations géométriques ou colorimétriques Histogrammes quantifiés Histogrammes locaux Liste des plages dominantes et position Distribution des contrastes Densité de contours … N. Boujemaa, Technovision 2006 Leur nombre : 1 image = ~ 1000 indices Problème : quelle métrique ?

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Recherches catégorielles dans les bases ouvertes Rechercher par lexemple ! Quelle sémantique ?

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Recherche exacte dans les bases ouvertes Retrouver un objet précis, sujet à des « déformations » : Taille, cadrage Masquage Projection perspective (affine ?) Changement de contraste, déclairage Déformations ? Vieillissement A. Zisserman, C. Schmidt, F. Jurie, 2005 Quels index ? Des points caractéristiques (Harris, Deriche, Moravec, etc. ) Des descripteurs locaux autour des PC (gradients, ondelettes, etc.) Nombre de PC de 100 à Nombre de descripteurs : 10 à 30

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Retrouver un objet précis, sujet à des « déformations » SIFT (Scale Invariant Feature Transform) Lowe, 2004 Filtrage espace-échelle Recherche des points invariants par changement déchelle = maxima dans le scale space de la dérivée seconde Interpolation de la position des points Test délimination des bords des objets

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Méthode de Lowe (suite) Le descripteur de chaque point caractéristique : ÑL(x,y)=[L(x+1,y)-L(x-1,y),L(x,y+1)-L(x,y-1)] T

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Méthode de Lowe Détection des points Caractéristiques et représentation des Descripteurs (J. Rabin )

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Méthode de Lowe Robustesse des descripteurs (J. Rabin )

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation SIFT : 16 matchs SIFT modifié a contrario : 260 matchs J. Rabin, Y. Gousseau, J. Delon ( 2006)

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Recherche catégorielle dans des bases spécifiques Exemples : Biomédical Biologie Astronomie Télédétection et imagerie satellitaire Objectif : retrouver des scènes qui « ressemblent » à une scène donnée

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Quels index ? Radiométrie En multispectral : canaux + NDVI + IB + ISU Textures Filtres de Gabor Descripteurs des matrice de cooccurrence dHaralick Les filtres miroirs en quadrature Les décompositions en contourlets Les décompositions en ondelettes adaptables (steerable wavelets) Paramètres des champs de Markov (gaussien, laplacie, loglaplacien …) Structures Contours, régions Objets : routes, bâtiments, rivières, lacs Réseaux

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Nos choix Indexation de petites vignettes (64 x 64) = 320 m x 320 m sur le terrain Mélange de primitives : Radiométrie (Panchro seul) Structure (contours) Ondelettes : 2 directions, 4 échelles Sélection automatique des primitives (Fisher FS ou k-means FS)

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Performance des algorithmes Classification d'imagettes (128 x 128) : ville, forêt, champs, mer, désert et nuage 600 images par classe Résultat : SVM gaussien, erreur moyenne de 1.4% ± 0.4% (147 attributs,validation croisée) Vraie\Prédite (%) villenuagedésertchampsforêtmer ville nuage désert champs forêt mer

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Combien de primitives ?

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Indexation : ce qui nest pas résolu Aucune preuve de qualité pour lobjectif final Aucune démonstration de minimalité Beaucoup trop dindex : il faut au moins une couche supplémentaire Pas de sémantique

Competence Centre on Information Extraction and Image Understanding for Earth Observation 3 juillet 2006 Indexation Comment introduire du sens ? Comment trouver des mots ? Méthodes supervisées Totalement = annotation manuelle Partiellement (apprentissage) = KIM M. Costache Analyse du contexte des images Titre, légende, texte environnant, site web = LIP6 : Detyniecki AVEIR Utilisation de bases de données annexes Corine Land Cover (apprentissage de classes et de catégories) M. Liénou Cartes et SIG (annotation) = EOGIS Inférence de sémantique Modèles latents = Blei & Jordan J.B. Bordes Déduction « ontologique » I. Kyrgyzov DaFOE4App