Rehaussement de la classification textuelle d’une base de données photographiques par son contenu visuel Sabrina Tollari Sous la direction de Hervé Glotin.

Slides:



Advertisements
Présentations similaires
Mais vous comprenez qu’il s’agit d’une « tromperie ».
Advertisements

Le Marché Publicitaire de la Presse Professionnelle
Le moteur
Fabrice Lauri, François Charpillet, Daniel Szer
Licence pro MPCQ : Cours
Distance inter-locuteur
1 Plus loin dans lutilisation de Windows Vista ©Yves Roger Cornil - 2 août
Mon carnet De comportement
Indexation Parole / Musique / Bruit
Classification des signaux exemples de signaux réels
Introduction aux classes empiétantes François Brucker Brest (Breizh)
Regroupement (clustering)
Classe : …………… Nom : …………………………………… Date : ………………..
Une approche informationnelle de la restauration d’images
Marine Campedel mars 2005 INDEXATION des IMAGES Marine Campedel mars 2005.
Reconnaissance de la parole
Les nombres.
Les Prepositions.
1. Les caractéristiques de dispersion. 11. Utilité.
1 Vers la découverte de nouvelles modalités sensori-motrices. Encadrants : Pierre Bessière Anne Spalanzani Pierre Dangauthier DEA I.V.R. 24 Juin 2003 Sélection.
Génération interactive dimages projectives : Application à la Radiothérapie Pierre BLUNIER Du 01/12/2002 au 28/03/2003 Centre Léon Bérard.
Indicateurs de position
A Pyramid Approach to Subpixel Registration Based on Intensity
Auteurs : P. Hellier C. Barillot E. Mémin P.Pérez
1 Intégration numérique garantie de systèmes décrits par des équations différentielles non-linéaires Application à l'estimation garantie d'état et de paramètres.
La diapo suivante pour faire des algorithmes (colorier les ampoules …à varier pour éviter le « copiage ») et dénombrer (Entoure dans la bande numérique.
SYMETRIE CENTRALE OU SYMETRIE PAR RAPPORT A UN POINT.
LES TRIANGLES 1. Définitions 2. Constructions 3. Propriétés.
Analyse des proximités, des préférences et typologie
Identification des personnes par l’iris
Sélection automatique d’index et de vues matérialisées
Améliorer les performances du chiffrage à flot SYND
PBST*: une nouvelle variante des SDDS
Application des algorithmes génétiques
Auto-organisation dans les réseaux ad hoc
Karin Lundgren-Cayrol
Classification Multi Source En Intégrant La Texture
Rehaussement de la classification textuelle d’images par leurs contenus visuels pour un système de recherche d’images Sabrina Tollari, Hervé Glotin, Jacques.
Méthode des k plus proches voisins
Construction de modèles visuels
Traitements à base d’histogrammes Cours 6
LES NOMBRES PREMIERS ET COMPOSÉS
Indicateur de mesure de la satisfaction des patients hospitalisés.
La Saint-Valentin Par Matt Maxwell.
Courbes de Bézier.
Notre calendrier français MARS 2014
Année universitaire Réalisé par: Dr. Aymen Ayari Cours Réseaux étendus LATRI 3 1.
Web sémantique : Web de demain
MAGIE Réalisé par Mons. RITTER J-P Le 24 octobre 2004.
C'est pour bientôt.....
Veuillez trouver ci-joint
Les Nombres! de 0 à 20.
2.2 PRODUIT SCALAIRE ET CALCUL D’ANGLES
SUJET D’ENTRAINEMENT n°4
Aire d’une figure par encadrement
Thierry Molinier > David Fofi >
MAGIE Réalisé par Mons. RITTER J-P Le 24 octobre 2004.
LUNDI – MARDI – MERCREDI – JEUDI – VENDREDI – SAMEDI – DIMANCHE
ECOLE DES HAUTES ETUDES COMMERCIALES MARKETING FONDAMENTAL
1 - Programme de Seconde (juin 2009) Statistique et probabilités
CALENDRIER-PLAYBOY 2020.
Caractérisation texturale des surfaces boisées dans une image Ikonos de la région de Montréal Pierre Bugnet Langis.
Tolérance de parallélisme
La formation des maîtres et la manifestation de la compétence professionnelle à intégrer les technologies de l'information et des communications (TIC)
Présentation RFIA janvier 2002
Sabrina Tollari, Hervé Glotin, Jacques Le Maitre
Transcription de la présentation:

Rehaussement de la classification textuelle d’une base de données photographiques par son contenu visuel Sabrina Tollari Sous la direction de Hervé Glotin et Jacques Le Maitre Laboratoire SIS - Équipe Informatique Juin 2003

Plan Problématique Présentation du corpus Protocole du système visuo-textuel Expérimentations Discussion Conclusion et perspectives Cette approche multi-niveaux a pour but de permettre de faire le lien entre le signal et la sémantique au niveau le plus approprié suivant le média considéré ou la technique d’analyse utilisée et de permettre simultanément une interaction entre les différentes analyses afin d’améliorer la précision et la robustesse de chacune d’entre elles. Étudier la faisabilité d’un système visuo-textuel.

Comment raffiner une requête textuelle d’images ? base de référence

Problématique Paysage Cameroun Agriculture Cohérence ? Indices textuels Paysage Cameroun Agriculture Indices visuels Perspectives WEB Cohérence ?

Nature des indices Indices textuels : Indices visuels : Indexation manuelle : mot-clés, metadata, annotation… Indexation automatique : mots clés de la légende, du texte entourant l’image… Indices visuels : Forme : contour, surface, transformée en ondelettes, transformée de Fourrier… Couleur : espaces RGB, HSV… Texture : grossièreté, contraste, directionnalité… Localisation, segmentation en zones d’intérêt… Indices=descripteurs= décrit quoi ? Subjectivité

Systèmes de recherche d’images Indices visuels uniquement Indices visuels et/ou textuels Virage(1996) NeTra(1997) SurfImage(INRIA,1998) IKONA(INRIA, 2001) Chabot(1995) QBIC(IBM,1995) VisualSeek(1996) MARS(1997) Ils existent de nombreux systèmes existants de recherche d’images par le contenu. Mais ils n’utilisent que peu, voire pas du tout, les textuels et le visuels.

Présentation du corpus 665 photos de presse Indexées textuellement par une iconographe à partir des mot-clés extraits d’un thésaurus Indexées visuellement par les histogrammes rouge, vert, bleu, luminance et direction Automatique, Simple Les histogrammes sont en fait des vecteurs numériques

Base indexée (classes textuelles) Protocole Corpus d’images Base indexée (classes textuelles) Classer les images à partir des indices textuelles Étape A Base de test Base de références Étape B Diviser aléatoirement en deux bases 50% Étape C Reclasser les images de la base de test par rapport aux indices textuels, aux indices visuels et par fusion des classifications visuelle et textuelle

Construction de la base indexée par classification ascendante hiérarchique (CAH) des indices textuelles Lance et Williams, 1967 Principe : regrouper ensemble des images proches Intérêt : cette méthode peut être mise en œuvre sur des images n’ayant pas de lien sémantique apparent Objectif : obtenir des classes sémantiquement et numériquement significatives cette méthode peut être mis en œuvre sur des images n’ayant pas de lien sémantique directe??????? On aurait pu utiliser d’autres méthodes tels que l’algo de Kohonen, mais méthode classique a déjà fait ses preuves, Simple à mettre en œuvre.

Algorithme de la CAH

Représentation textuelle des images : le modèle vectoriel Salton, 1971 Une image est représentée par un vecteur des mot-clés Exemple : Soit une image I telle que Terme(I)={Radio} Vecteur(I)=(0,1,0) Vecteur_etendu(I)=(1,1,0) Média(1) Radio(2) Télévision(3) Thésaurus

Mesure de la similarité : le cosinus La distance entre deux images X et Y est : dist(X,Y) = 1-

Critère d’agrégation Critères classiques Plus proche voisin Diamètre maximum (ou voisin le plus éloigné) Distance moyenne Critère de Ward… Les classifications obtenues sur notre corpus par ces critères n’étaient pas significatives

Nouveau critère d’agrégation La distance par « Diamètre maximum contraint » de contrainte CT entre une classe Cp et une classe Cq est définit par : sinon. Revoir l’écriture Ce critère permet d’aller chercher un peu plus loin les voisins, mais pas trop. De toute façon, lorsque les distances sont assez grandes, on se rapproche.

Classification obtenue 24 classes contenant de 8 à 98 images sémantiquement homogènes Classe Fréquence 1 Fréquence 2 Fréquence 3 1 Femme Ouvriers Industrie 2 Cameroun Agriculture Paysage 3 Constructeurs Transport Automobile 4 Contemporaine Portrait Rhône 5 Société Famille Enfant

Base indexée (classes textuelles) Protocole Corpus d’images Base indexée (classes textuelles) Classer les images à partir des indices textuelles Étape A Base de test Base de références Étape B Diviser aléatoirement en deux bases 50% 50%

Étape C : déterminer la classe d’une image de la base de test Base de références Paysage, agriculture, Cameroun C1 Femme, Ouvrier, Industrie C2 Classe estimée Ce (obtenue par distance minimale) Image de la base de test (classe d’origine Co) Textuels seuls, Visuels seuls Fusion tardive visuel et textuel Si Co¹Ce alors erreur

Les classifications Classification textuelle pure Classification visuelle pure Classification par fusion des classifieurs visuels et textuels

Distance de Kullback-Leibler(1951) Soit x et y deux distributions de probabilité Divergence de Kullback-Leibler : Distance de Kullback-Leibler : Tout d’abord, nous allons définir une distance entre 2 images qui travaille aussi bien sur les vecteurs d’indices textuels et les vecteurs d’indices visuels. Entropie relative, symétrie distance

1.Classification textuelle pure Vecteur moyen pour chaque classe Classe textuelle de l’image IT: Résultats Textuelle avec thésaurus (vecteur étendu) Textuelle sans thésaurus (vecteur non-étendu) Taux d’erreur 1.17 % 13.72 %

2. « Fusion précoce » des indices visuels IT Image de la base de test N=2 I1 I2 I3 I4 Classe Ck de la base de références 0.2 0.6 0.3 0.8 Moyenne des N premières distances minimales d(IT,Ck)=0.25 Pour le visuel, plusieurs caractéristiques de l’image sont possibles, donc nous allons définir une fusion précoce qui permet d’améliorer les résultats.

2. Classification visuelle pure 1 2 3 4 Rouge* 75.68 74.50 71.76 Vert* 79.60 78.03 76.86 76.07 Bleu* 77.64 77.25 Luminance* 79.21 Direction* 84.70 * Taux d’erreur en % Taux d’erreur théorique : 91.6%

3. « Fusion tardive » visuo-textuelle Probabilité d’appartenance de l’image IT à la classe Ck par fusion des probabilités textuelles et visuelles : Distorsion Les coefficient de pondérations devraient être calculée à partir des performances moyennes des classifieurs. Idéalement, ils auraient dû être calculer à partir d’une base de développement et les appliquer sur la base.

3. Définitions des probabilités d’appartenance d’une image à une classe Bien combiner A Î {Rouge, Vert, Bleu, Luminance, Direction}

3. Définitions des pondérations Soit TE(j) le taux d’erreur du classifieur utilisant les attributs Aj Élévation à la puissance p pour contraster les poids

3. Influence du paramètre p Rappel : taux d’erreur visuel 71 %

Résultat : rehaussement visuo-textuel Résultats Textuelle sans thésaurus Fusion visuo-textuelle Gain Taux d’erreur 13.72% 6.27% +54.3%

Discussion Ces résultats doivent être affinés sur une base de données plus grande La méthode de pondération doit être comparée à d’autres (entropie des distributions…) Les poids devraient être optimisés sur une base de développement

Conclusion Il existe une cohérence entre l’indexation textuelle et visuelle Cette cohérence permet le rehaussement d’une recherche par mot-clés d’images par leur contenu Méthode simple et automatique, donc utilisable sur le web Ce système peut être utilisé avec n’importe qu’elle type d’indices visuels

Perspectives Utilisation pour raffiner les recherches textuelles sur le Web (Google, Altavista…) Inversion du système pour corriger des erreurs d’indexation textuelle des images sur le Web (base de références visuelles)