Distances de similarité d’images basées sur les arbres quaternaires Marta Rukoz1 Maude Manouvrier2 Geneviève Jomier2 * Réalisé dans le cadre d’une coopération scientifique CNRS-FONICIT 1. CCPD - Université Centrale du Venezuela - Caracas 2. LAMSADE - Université Paris-Dauphine - France

Plan Introduction Représentation multi-niveau Définition de la distance Conclusion et perspectives BDA’2002 M. Manouvrier 2

Introduction Recherche d’images par le contenu Représentation des images Distance / similarité entre images Interrogation des images 3 BDA’2002 M. Manouvrier

Représentation des images Bavg Gavg Ravg Représentation des images par des vecteurs de caractéristiques (points dans un espace multidimensionnel) 4 Image adaptée de http://simulant.ethz.ch/Chariot/ BDA’2002 M. Manouvrier

Distance entre images Vérifiant  i, j, k trois images : symétrie réflexivité inégalité triangulaire 5 BDA’2002 M. Manouvrier

Similarité d’images Point de vue utilisateur : similarité par rapport à une caractéristique Point de vue système : distance entre vecteurs de caractéristique Similarité : fonction décroissante de la distance avec d la distance entre deux images et dmax la distance maximale entre deux images 6 S. Lin, An Extendible Hashing Structure for Image Similarity, Rapport technique, University of Alberta, 2000

Requêtes sur les images B : une base d'images i : une image q : une image requête Q : le résultat de s : un seuil la requête Requêtes d’intervalle Requêtes de voisinage 7 S. Lin, An Extendible Hashing Structure for Image Similarity, Rapport technique, University of Alberta, 2000

Représentation multi-niveau Histogrammes en niveaux de gris Noir Blanc 8 BDA’2002 M. Manouvrier

... ... ... ... ... Utilisation d’un arbre quaternaire (quadtree) 00 00 01 000 001 ... 002 003 ... ... 02 03 03 ... 000 001 002 003 00 01 02 Utilisation d’un arbre quaternaire (quadtree) ... 9 BDA’2002 M. Manouvrier

Représentation multi-niveau ... 000 001 002 003 03 00 01 02 Niveau 0 Niveau 1 03 00 01 02 ... 000 001 002 003 dr pour distance entre régions Niveau n 1010

Utilisation des arbres quaternaires lors de la recherche des images par le contenu H. Lu, B-C. Ooi and K-L. Tan, Efficient Image Retrieval by Color Contents, ADB’1994 S. Lin, M. Tamer Özsu, V. Oria, and R. Ng. An Extendible Hash for Multi-Precision Similarity Querying of Image Databases, VLDB'2001 J. Malki, N. Boujemaa, C. Nastar, and A. Winter. Region Queries without Segmentation for Image Retrieval by Content. Visual’1999 Hae-Kwang Kim and Jong-Deuk Kim. Region-based shape descriptor invariant to rotation, scale and translation. Signal Processing: Image Communication 2000 1111 BDA’2002 M. Manouvrier

Notre proposition Définition générale de distances entre images représentées par des arbres quaternaires ck : coefficient représentant le poids du nœud k dans le calcul de la distance k : identificateur de nœud parmi l’union des identificateurs de nœuds des arbres quaternaires de i et j : distance normalisée entre les nœuds k Certaines distances d’articles scientifiques sont des cas particuliers de  De nouvelles distances apparaissent 1212 BDA’2002 M. Manouvrier

Distance T : distance entre structures d’arbres 00 01 02 03 010 012 013 i 011 0110 0111 0112 0113 00 01 02 03 011 010 012 013 j E. Albuz, E.D. Kocalar, and A.A. Khokhar. Quantized CIELab* Space and Encoded Spatial Structure for Scalable Indexing of Large Color Image Archives. IEEE ICASSP, June 2000 Valeur particulière  Distance entre les arbres quaternaires d’une même image découpée selon deux critères différents : 1313

Distance T : distance entre structures d’arbres 00 01 02 03 010 012 013 011 0110 0111 0112 0113 i 00 01 02 03 011 010 012 013 0110 0111 0112 0113 j Distance entre les arbres quaternaires de deux images différentes découpées selon le même critère : 1414 BDA’2002 M. Manouvrier

Distance Q Pour évaluer le partage entre arbres quaternaires Image A Image B Image C 00 01 02 03 030 031 032 033 Q(B,C)=5/9 Q(A,C)=1/5 A B C M. Manouvrier, M. Rukoz, and G. Jomier. Quadtree representations for storage and manipulation of clusters of images. Image and Vision Computing, 2002 1515

Distance V Distance visuelle entre images organisées en arbre quaternaire Image i Image j 00 01 02 03 030 031 032 033 Nœuds occupant 1/4 de la surface de l’image Nœuds occupant 1/16 de la surface 1 * 1/4 3*1/4 + 2 1/16 + 4*1/16 03 1/2 00 01 02 030 031 032 033 BDA’2002 M. Manouvrier 1616

Expérimentations Image en N&B de 512 x 512 pixels dont 89% de pixels égaux Critère de découpage en arbre quaternaire : couleur Distance Q : 0.13503 Distance V : 0.1081543 1717 BDA’2002 M. Manouvrier

Expérimentations Image en 16 millions de couleur de 512 x 512 pixels Critère de découpage : couleurs uniformes en moyenne Distance Q : 0.24198 Distance V : 0.5578308 1818 BDA’2002 M. Manouvrier

Expérimentations Distance Q jusqu’au niveau 2 : 1.5290287E-5 Distance V jusqu’au niveau 2 : 0.0 Distance Q jusqu’au niveau 5 : 0.0034167327 Distance V jusqu’au niveau 5 : 0.025390625 Distance Q de la région 02 : 0.26614186 Distance V de la région 02 : 0.46246338 Distance Q de la région 03 : 0.3010675 Distance V de la région 03 : 0.5908203 1919 BDA’2002 M. Manouvrier

Expérimentations Distance Q : 0.24262393 Distance V : 0.8547058 Distance Q jusqu’au niveau 2 : 0.0 Distance V jusqu’au niveau 2 : 0.0 Distance Q jusqu’au niveau 5 : 0.0038938588 Distance V jusqu’au niveau 5 : 0.21972656 Distance Q de la région 02 : 0.29505217 Distance V de la région 02 : 0.8748169 Distance Q de la région 03 : 0.28164285 Distance V de la région 03 : 0.8432617 2020 BDA’2002 M. Manouvrier

Conclusion Définition générale de distance Utilisation de quels que soient les valeurs des nœuds et le choix de Possibilité de filtrage Calcul de distances entre régions d’images 2121 BDA’2002 M. Manouvrier

Perspectives Développement d’un prototype de recherche d’images par le contenu Indexation multi-niveau Agrégation de plusieurs distances 2222 BDA’2002 M. Manouvrier

Représentation des images Caractéristiques visuelles de bas niveau Forme Couleur Texture Tapis tissé Granit Papier kraft 2323 BDA’2002 M. Manouvrier