La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Indexation textuelle dimages par le contenu visuel pour un moteur de recherche dimages sur le Web Sabrina Tollari, Hervé Glotin, Jacques Le Maitre Université.

Présentations similaires


Présentation au sujet: "1 Indexation textuelle dimages par le contenu visuel pour un moteur de recherche dimages sur le Web Sabrina Tollari, Hervé Glotin, Jacques Le Maitre Université."— Transcription de la présentation:

1 1 Indexation textuelle dimages par le contenu visuel pour un moteur de recherche dimages sur le Web Sabrina Tollari, Hervé Glotin, Jacques Le Maitre Université du Sud Toulon-Var Toulon, le 25 novembre 2004

2 2 Plan Problématique Etat de lart Système dauto-annotation : DIMATEX –Protocole –Expérimentations Système de filtrage visuel dindexation textuelle –Protocole –Premières expérimentations Perspectives

3 3 Problématique Indexation visuelleIndexation textuelle mer ciel sable fleurs arbres Liens

4 4 Rechercher une image Problématique

5 5 Indexation dimages pour la recherche dimages sur le Web Indexation textuelle Manuelle : coûteuse, subjective Automatique à partir du nom, de la légende ou du texte entourant limage : ne décrit pas le contenu de limage, beaucoup derreurs dindexation car ce texte ne correspond que rarement avec limage Indexation visuelle Couleurs, formes, textures Localisation, régions dintérêts, segmentation – Extraction de la sémantique difficile ! Problématique

6 6 Indexer automatiquement une image House for sale in Saint- Zenon Quebec Mail delivery by mail man. Water has been tested is very good. Many mature trees on property. Recherche dimages : house water man Recherche dimages : house snow Problématique

7 7 Systèmes de recherche dimages Indexation textuelle seule Indexation visuelle seule Indexation textuelle et visuelle Google MSN Search Moteurs de recherche dimages sur le web Virage(1996) NeTra(1997) SurfImage(INRIA,1998) IKONA(INRIA,2001) Chabot(Berkeley,1995) QBIC(IBM,1995) ImageSeeker5.4(INRIA,LTU) Peu de systèmes utilisent à la fois le texte et le contenu de limage pour indexer, filtrer, combiner, rechercher les informations textuelles et visuelles efficacement. État de lart

8 8 Méthodes dannotation automatique textuelle à partir du visuelle [REF1] Kobus Barnard, P. Duygulu, N. de Freitas, D. Forsyth, D. Blei, and M. I. Jordan, « Matching Words and Pictures », Journal of Machine Learning Research, Vol 3, pp , [REF2] F. Monay and D. Gatica-Perez, « On Image Auto- Annotation with Latent Space Models », in ACM MM, 2003 [REF3] Jia Li, James Z. Wang, « Automatic linguistic indexing of pictures by a statistical modeling approach », IEEE Trans. on Pattern Analysis and Machine Intelligence, Tous utilisent la même base dimages COREL. État de lart

9 9 Système 1 : DIMATEX (DIchotomic IMAge TEXt system) Un système dannotation automatique dimages à partir du contenu visuel

10 10 Protocole pour associer automatiquement des mots à une image Corpus dimages (indexées textuellement et visuellement) Base de référence ciel mer fleur arbre ciel arbre arbre fleur route Base de test arbre (5fois), fleur (4 fois) fusion FleurMerCielArbre Rouge Bleu Vert Classes visuelles Estimation des probabilités DIMATEX

11 Construction de classes visuelles par méthode dichotomique Principe : séparer uniformément lespace visuel Exemple : découpage de lespace RGB chaque dimension est séparé en deux il y a 2^3 = 8 classes DIMATEX

12 12 Classement par dichotomie des mots associés à limage Construction de classes visuelles par méthode dichotomique Principe : séparer uniformément lespace visuel Exemple : découpage de lespace RGB chaque dimension est séparé en deux il y a 2^3 = 8 classes Mot n…Mot 2Mot 1Classe V={230,190,30} DIMATEX +1

13 13 Calcule de la probabilité jointe dun mot w et dune classe visuelle C k DIMATEX Lassociation entre une région ( un « blob » ) de limage et une classe visuelle est unique. Lensemble dapprentissage T est composé des |T| images Jj. Si w légende Jj alors il légende bi Jj.

14 14 Auto-annotation dimages par K mots DIMATEX Soit I limage de TEST composée des blobs b1, b2,…,bm qui forment une partition. On légende limage de TEST avec les K mots qui ont la plus grande probabilité.

15 15 Expérimentations DIMATEX

16 16 Corpus Base dimages de COREL images 200 mot-clés différents en anglais Chaque image possède : –De 1 à 5 mot-clés choisis manuellement –De 2 à 10 « blobs », des segments de limage –Chaque blob de limage possède un vecteur visuel de 40 composantes extrait par Kobus Barnard (aire, RGB, RGS, LAB, 12 coefficients de texture (filtres gaussiens),…) Corpus

17 17 Corpus Adaptation du corpus : –Normalisation par estimation MLE de distributions Gamma des vecteurs visuels pour la génération de distributions de probabilités 3 dimensions de forme (F), 6 pour LAB, 4 pour la texture (T) Corpus Exemples de segmentation par « normalized cuts »

18 18 Quelques images qui ont un blob dans la classe F LAB T DIMATEX

19 19 Quelques images qui ont un blob dans la classe DIMATEX

20 20 Calcul du score de la classification « Normalized Score » Score NS = right/n - wrong/(N-n) Où : - right est le nombre de mots de références acceptés - wrong est le nombre de mots acceptés qui ne sont pas des mots de références - n est le nombre de mots de références de limage - N est le nombre de mots du vocabulaire DIMATEX sensibilité 1-spécificité

21 21 Calcul du score de la classification Image de la base de test Mots de références de limage Mots trouvés par le système fleur arbre lampadairearbre fleur ciel Score NS=2/3-1/200 DIMATEX

22 22 DIMATEX Score aléatoire : 2%

23 23 Etude comparative des modèles de létat de lart DIMATEX Modèle Hierar. Clust. [REF1] Modèle LSA, PLSA [REF2]

24 24 Exemples dindexation par DIMATEX DIMATEX

25 25 Avantages / Inconvénients du système Avantages –Annotation très rapide –Scores équivalents aux autres systèmes Inconvénients –Utilisable seulement avec des vecteurs de petites dimensions (pas plus de 20 ) –Soumis aux problèmes de cooccurrences Amélioration du système –Fiabiliser les légendes de lensemble dapprentissage DIMATEX

26 26 Système 2 Système de filtrage visuel dindexation textuelle

27 27 Comment trouver les caractéristiques visuelles dun mot ? Un mot peut avoir plusieurs représentations visuelles –Exemple : flower (différentes couleurs) Un mot peut ne pas avoir de traits caractéristiques visuels –Exemple : market, street, guard, restaurant,race Il est difficile de trouver des différences visuelles significatives entre de nombreux mots, particulièrement avec une faible résolution dimage –Exemple : flower, tulip Système 2

28 28 Construction de classes visuelles Pour chaque mot, –On réalise une CAH (Classification Ascendante Hiérarchique) sur les traits visuels des blobs des images contenant ce mot à la recherche de noyaux de blobs –Critère darrêt de la CAH : le score NS Système 2

29 29 « Soleil » vert rouge Système 2

30 30 « Soleil » vert rouge Système 2

31 31 « Soleil » vert rouge Système 2

32 32 « Soleil » Pour chaque classe, on garde seulement : le vecteur centroide les valeurs des écart-types de la classe pour chaque dimension du vecteur vert rouge Système 2

33 33 Phase de test Pour chaque image de la base de test, on regarde combien de blobs sont dans lun des clusters du mot. Si un ou plusieurs blobs sont dans lune des classes dun mot alors on indexe limage avec le mot. Finalement, on calcule le score NS. « Soleil » vert rouge Système 2

34 34 Premiers résultats pour quelques mots rnwNsensibilitéspécificitéNS Field Iceberg Leaf Lion Lizard Sailboat Rose Système 2

35 35 Ordonnancement de la consistante visuelle des mots à laide de la valeur du score NS Field (0.32) Rock (0.20) Snow (0.27) Sky (0.15) Building (0.06) Closeup (-0.03) People (-0.06) Street (-0.08) Market(-0.17) Guard(-0.49) Système 2

36 36 Conclusion sur le système 2 Premières expérimentations encourageantes Ce système une fois bien paramétré permet de tester rapidement la validité visuelle des mots entourant une image. Système 2 House for sale in Saint-Zenon Quebec Mail delivery by mail man. Water has been tested is very good. Many mature trees on property.

37 37 Perspectives Méthode indépendante des traits visuels utilisés, possibilité de comparer lefficacité de nouveaux traits visuels par rapport aux autres traits. Réduire lespace de recherche en fonction du mot et des traits visuels efficaces pour ce mot Appliquer ces méthodes sur le Web


Télécharger ppt "1 Indexation textuelle dimages par le contenu visuel pour un moteur de recherche dimages sur le Web Sabrina Tollari, Hervé Glotin, Jacques Le Maitre Université."

Présentations similaires


Annonces Google