Recherche d’un même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux

( ) Approche locale Extraction de points d’intérêt Calcul de descripteurs locaux en ces points ( ) Descripteur local

( ) Approche locale Extraction de points d’intérêt Calcul de descripteurs locaux en ces points Sélection des descripteurs correspondants dans la base ( ) Descripteur local

Approche locale Extraction de points d’intérêt Calcul de descripteurs locaux en ces points Sélection des descripteurs correspondants dans la base Sélection des images les plus similaires algorithme de vote vérification avec des relations de voisinage et globales

Contraintes de voisinage sans contraintes avec contraintes

… Recherche d’images Recherche d’un même objet ou d’une même scène rotation image facteur d’échelle de 4 visibilité partielle

Results for recognition … > 5000 images image rotation scale factor of 4

Detected interest points

Initial matches 58 points are matched

Matches after verification 32 points matches - correct

Image retrieval - results … > 5000 images image rotation scale factor of 4.5 illumination change

Matches

Affine invariant Harris points Iterative estimation of localization, scale, neighborhood Initial points

Affine invariant Harris points Iterative estimation of localization, scale, neighborhood Iteration #1

Affine invariant Harris points Iterative estimation of localization, scale, neighborhood Iteration #2

Affine invariant Harris points Iterative estimation of localization, scale, neighborhood Iteration #3, #4, ...

Affine invariant Harris points Initialization with multi-scale interest points Iterative modification of location, scale and neighborhood

change in viewing angle Image retrieval … > 5000 images change in viewing angle

Matches 22 correct matches

Recognizing specific objects / scenes Lola shot 1 Lola shot 2 matched points

Recherche d’un même objet / scène Approches basées sur des descripteurs locaux descripteurs photométriques descripteurs géométriques (invariants géométriques) Approches basées sur des descripteurs globaux histogramme de couleur eigenimages

Histogramme de couleur

Eigenimages …

Reconnaissance d’objets 3D point de vue complètement différent pas d’invariant 3D Difficultés :

Reconnaissance 3D avec un ensemble d’images Columbia database 20 objets - 72 vues chaque objet est représenté par un ensemble de vues (36) l’approche est basé sur les images propres (eigenimages) chaque objet forme une courbe / surface sélection du point le plus proche sur la courbe / surface (on obtient la pose)

Mesure de proximité entre points de vue

Exemple pour la reconnaissance 3D

Exemple pour la reconnaisance 3D

Appariements

Vérification des appariements images de la base calcul du tenseur trifocal : à partir des appariements entre trois images vérification supplémentaire calcul robuste permet de rejeter les outliers image recherchée

Ajout de données symboliques Calcul du tenseur trifocale T Projection de données stockées avec les images de la base avec T Localisation de endroits spécifiques

Ajout de données symboliques

Ajout de données symboliques

Recherche d’images Recherche d’images avec un contenu similaire Difficultés définir le contenu sémantique définir des critères significatifs de similarité visuelle

Recherche d’images Recherche d’images similaires similarité globale similarité partielle Interaction avec l’utilisateur Recherche d’objets semblables

Blobworld - exemple de recherche

Similarité partielle de distributions sélection de la partie utilisée pour la requête images similaires

Résultats pour la détection de visages

Résultats pour la détection de voitures

Recognizing object classes / categories

Recognizing object classes / categories positive and negative exemples visual model (descriptors) retrieved images (database of 600 images)

Recognizing object classes / categories