Rehaussement de la classification textuelle d’images par leur contenu visuel Sabrina Tollari, Hervé Glotin, Jacques Le Maitre Laboratoire SIS - Équipe Informatique Université du Sud Toulon-Var RFIA 2004 Toulouse, le 30 janvier 2004

Plan Problématique Protocole du système visuo-textuel Expérimentations Discussion Conclusion et perspectives Cette approche multi-niveaux a pour but de permettre de faire le lien entre le signal et la sémantique au niveau le plus approprié suivant le média considéré ou la technique d’analyse utilisée et de permettre simultanément une interaction entre les différentes analyses afin d’améliorer la précision et la robustesse de chacune d’entre elles. Étudier la faisabilité d’un système visuo-textuel.

Comment raffiner une requête textuelle d’images ? Comparaison à la base de référence

Problématique Paysage Cameroun Agriculture Cohérence ? Indices textuels Paysage Cameroun Agriculture Indices visuels Perspectives WEB Cohérence ?

Nature des indices Indices textuels : Indices visuels : Indexation manuelle : mot-clés, metadata, annotation… Indexation automatique : mots clés de la légende, du texte entourant l’image… Indices visuels : Couleur : espaces RGB, HSV, Lab… Forme : contour, surface, transformée en ondelettes, transformée de Fourrier… Texture : grossièreté, contraste, directionnalité… Localisation, segmentation en zones d’intérêt… Indices=descripteurs= décrit quoi ? Subjectivité

Corpus (1/2) 600 photos de presse Indexées textuellement par une iconographe à partir des mot-clés extraits d’un thésaurus Stockées dans des fiches XML suivant la DTD de MPEG-7 Picture researcher=icongraphe=documentaliste The annotated descriptions are stored as MPEG-7 descriptions in an XML file. Automatique, Simple Les histogrammes sont en fait des vecteurs numériques

Corpus (2/2) Indexées visuellement par les histogrammes rouge, vert, bleu, luminance et direction (« low level features »)

Base indexée (classes textuelles) Protocole Corpus d’images Base indexée (classes textuelles) Classer les images à partir des indices textuelles Étape A Base de test Base de références Étape B Diviser aléatoirement en deux bases 50% Étape C Reclasser les images de la base de test par rapport aux indices textuels, aux indices visuels et par fusion des classifications visuelle et textuelle

Étape A Construction de la base indexée par classification ascendante hiérarchique (CAH) des indices textuelles Lance et Williams, 1967 Principe : regrouper ensemble des images proches Intérêt : cette méthode peut être mise en œuvre sur des images n’ayant pas de lien sémantique apparent Objectif : obtenir des classes sémantiquement et numériquement significatives cette méthode peut être mis en œuvre sur des images n’ayant pas de lien sémantique directe??????? On aurait pu utiliser d’autres méthodes tels que l’algo de Kohonen, mais méthode classique a déjà fait ses preuves, Simple à mettre en œuvre.

Caractéristiques de la réalisation de la CAH Étape A Caractéristiques de la réalisation de la CAH L’ensemble des mots clés de chaque image est représenté par un vecteur (modèle vectoriel, Salton 1971) La mesure de similarité entre deux vecteurs textuels est le cosinus. La mesure de similarité entre deux classes est le critère classique du plus lointain voisin que l’on contraint. Critère d’arrêt de la CAH : quand la distance entre deux classes dépasse une certaine valeur.

Résultat de la classification obtenue par CAH 24 classes contenant de 8 à 98 images sémantiquement homogènes Classe Fréquence 1 Fréquence 2 Fréquence 3 1 Femme Ouvriers Industrie 2 Cameroun Agriculture Paysage 3 Constructeurs Transport Automobile 4 Contemporaine Portrait Rhône 5 Société Famille Enfant

Résultats de la CAH C1 C2 Base de références Paysage, agriculture, Cameroun C1 Femme, Ouvrier, Industrie C2

Base indexée (classes textuelles) Étape B Protocole Corpus d’images Base indexée (classes textuelles) Classer les images à partir des indices textuelles Étape A Base de test Base de références Étape B Diviser aléatoirement en deux bases 50%

Classer une image de la base de test Étape C Classer une image de la base de test Base de références Paysage, agriculture, Cameroun C1 Femme, Ouvrier, Industrie C2 Classe estimée Ce (obtenue par distance minimale) Image de la base de test (classe d’origine Co) Textuels seuls, Visuels seuls Fusion tardive visuel et textuel Si Co¹Ce alors erreur

Les classifications Étape C Classification textuelle pure Classification visuelle pure Classification par fusion des classifieurs visuels et textuels

Distance de Kullback-Leibler(1951) Étape C Distance de Kullback-Leibler(1951) Soit x et y deux distributions de probabilités Divergence de Kullback-Leibler : Distance de Kullback-Leibler : Tout d’abord, nous allons définir une distance entre 2 images qui travaille aussi bien sur les vecteurs d’indices textuels et les vecteurs d’indices visuels. Entropie relative, symétrie distance

1. Classification textuelle pure Étape C 1. Classification textuelle pure Vecteur moyen normalisé pour chaque classe Classe textuelle de l’image IT: Résultats Textuelle avec thésaurus Textuelle sans thésaurus Taux d’erreur 1.17 % 13.72 %

2. Classification visuelle pure Étape C 2. Classification visuelle pure IT Image de la base de test Distance DKL N=2 I1 I2 I3 I4 Classe Ck de la base de références 0.2 0.6 0.3 0.8 Moyenne des N premières distances minimales Avantage : elle diminue les fausses alertes dVA(IT,Ck)=0.25 Pour le visuel, plusieurs caractéristiques de l’image sont possibles, donc nous allons définir une fusion précoce qui permet d’améliorer les résultats.

2. Résultats de la classification visuelle pure Étape C 2. Résultats de la classification visuelle pure N 1 2 3 4 Rouge* 75.68 74.50 71.76 Vert* 79.60 78.03 76.86 76.07 Bleu* 77.64 77.25 Luminance* 79.21 Direction* 84.70 * Taux d’erreur en % Taux d’erreur théorique : 91.6%

3. Classification visuo-textuelle par « Fusion tardive » Étape C 3. Classification visuo-textuelle par « Fusion tardive » Probabilité d’appartenance de l’image IT à la classe Ck par fusion des probabilités textuelles et visuelles : Distorsion Les coefficient de pondérations devraient être calculée à partir des performances moyennes des classifieurs. Idéalement, ils auraient dû être calculer à partir d’une base de développement et les appliquer sur la base. On note V1,V2,V3,V4,V5 les 5 attributs visuels et V6 l’attribut textuel.

Étape C 3. Définitions des probabilités d’appartenance d’une image à une classe Bien combiner VA Î {Rouge, Vert, Bleu, Luminance, Direction}

3. Définitions des pondérations Étape C 3. Définitions des pondérations Soit TE(j) le taux d’erreur du classifieur utilisant les attributs Vj Élévation à la puissance p pour contraster les poids

Étape C 3. Classification par fusion des classifieurs visuels et textuels : Influence du paramètre p Valeur de p Rappel : taux d’erreur visuel 71 %

Résultat final : rehaussement visuo-textuel Étape C Résultat final : rehaussement visuo-textuel Résultats Textuelle sans thésaurus Fusion visuo-textuelle Gain Taux d’erreur 13.72% 6.27% +54.3%

Discussion Ces résultats doivent être affinés sur une base de données plus grande La méthode de pondération doit être comparée à d’autres (entropie des distributions…) Les poids devraient être optimisés sur une base de développement

Conclusion Il existe une cohérence entre l’indexation textuelle et visuelle Cette cohérence permet le rehaussement d’une recherche par mot-clés d’images par leur contenu Méthode simple et automatique, donc utilisable sur le web Ce système peut être utilisé avec n’importe qu’elle type d’indices visuels

Perspectives Application : recherche textuelle « classique » sous Google, puis filtrage visuel des images par rapport à la distribution des distances Distribution des distances pour chaqu’une des images de Google. Cette distribution est bimodale, ce qui permet de considérer que les images du premier mode (distances < 0.04) sont adéquates à la requête, les autres non.

Merci

Corpus : segmentation en région d’intérêt Segmentation en 4 régions d’intérêts pour éliminer le bruit de fond de l’image Chaque région d’intérêt possède les 5 mêmes types d’histogrammes que les images entières