4. Descripteurs du contenu Le descripteurs les plus fréquemment utilisés : Descripteurs invariants aux transformations affines autour des points caractéristiques : « coins de Harris », DOG – Lowe et al. Descripteurs normalisés ( MPEG7 ) 26/03/2017

Descripteurs SIFT (D. Lowe 2004) -1 SIFT = scale invariant feature transform Problème : détecter les points caractéristiques et proposer les descripteurs invariants par rapport aux transformations affines du plan – image et de la liminance. (1) (2 ) -est le paramètre d’échelle Mokolajczyk (2002) a montré que les points les plus stables sont obtenus comme extremums de Laplacien de Gaussienne d’une image 26/03/2017

DOG est une bonne approximation de Considérons Alors (3) Descripteurs SIFT (D. Lowe 2004) -2 DOG est une bonne approximation de Considérons Alors (3) (4) Par ailleurs (5) 26/03/2017

Descripteurs SIFT (D. Lowe 2004) -3 De (4) et (5) : (6) Finalement de (3) et (6): DOG déjà comporte la normalisation requise pour Laplacien inv. à l’échelle. Le facteur (k-1) est constant pour toutes les échelles et n’influence pas la localisation des extremums 26/03/2017

Une Octave est divisée en s intervalles, Calcul de la DOG Convoluer I avec G progressivement pour produire L séparées par k dans l’espace - échelle Une Octave est divisée en s intervalles, Echelles adjacentes DOG: Sous-échantillonnage de facteur 2 26/03/2017

Détection des extremums locaux Un point est retenu si DOG est minimale ou maximale parmi 26 voisins Choix du paramètre d’échelle valeur (Lowe[2004]) L’échelle s est affectée au point 26/03/2017

Filtrage le long des contours (1) Un faible pic de DOG (qui correspond au contour) aura une forte courbure dans la direction orthogonale au contour et une fable courbure dans la direction orthogonale. Matrice Hessienne Les valeurs propres de H sont proportionnelles aux courbures principales de D au point considéré. Soit avec - la valeur propre maximale ( ) sont les racines du polynôme caractéristique , alors 26/03/2017

Filtrage le long des contours (2) Finalement Exclusion du point si 26/03/2017

Résultats de la détection Image1 26/03/2017

Résultats de la détection Image10 26/03/2017

Affectation de l’orientation Objectif : obtenir l’invariance du descripteur par rapport à la rotation en compensant par rapport à l’orientation locale For each sample of the image L(x,y) at a given scale compute : Amplitude du gradient : Angle d’orientation : Histogramme d’orientations et calculé dans le voisinage du point caractéristiques (36 orientations : 360/10). Points multiples : l’histogramme contient plusieurs modes 26/03/2017

Descripteur local autour du point caractéristique (1) Séléctionner une région – carré autour du point caractéristique ( 8x8 or 16x16 pixels); Claculer l’amplitude du gradient et l’orientation en chaque point de la région, pondérer l’amplitude avec une Gaussienne (cercle) Diviser en blocs de taille 4x4 et calculer l’histogramme d’orientation pour chaque bloc (8 orientations); Pondérer chaque contribution dans un bin par l’amplitude lissée du gradient Interpoler les histogrammes 26/03/2017

Descripteur local autour du point caractéristique (2) Le descripteur X est un vecteur des histogrammes 4x4 concaténés dim(X)=4x4x8=128 « Tourner » le descripteur X par rapport à l’orientation du point caractéristique pour obtenir l’invariance par rapport à la rotation Normaliser : - invariance par rapport aux transformations affines de la luminance 26/03/2017

Soit p1 le PPV de Q et p2 le second PPV de Q Comparaison des descripteurs ( contexte de recherche des images/vidéos) Pour chaque point caractéristique dans l’image-requête et tous les points caractéristiques dans la BD calculer Soit p1 le PPV de Q et p2 le second PPV de Q Si D(p1 )< D(p2) x Th du ]0 … 1] alors p1 est le bon « correspondant » Activer le mécanisme de vote,…. Groupement basé sur les appariements…. 26/03/2017

Mise en correspondance -Application à la recherche des images (mais aussi reconnaissance des images vidéos similaires, groupement des clips etc) Plusieurs méthodes : par exemple, pour chaque descripteur de l’image – requête trouver le meilleur correspondant dans la BD et regrouper les images correspondantes. Soient p1 premier plus proche voisin d’un point-clé de l’image requête et p2 son second plus proche voisin, alors D(p1 )< D(p2) x seuil , seuil appartenant à ]0 … 1] – bon appariement Activer le mécanisme de vote,…. Groupement basé sur les appariements…. 26/03/2017

Descripteurs normalisés MPEG7 Descripteurs de la couleur; Descripteurs de la texture; Descripteurs de la forme des objets; Descripteurs du mouvement; 26/03/2017

SURF (speed-up robust features)(1) Points caractéristiques : max de det de Hessian - blobs L-convolution de l’image avec la dérivée seconde d’une Gaussienne   26/03/2017

SURF (speed-up robust features)(2) H. Bay et al. Image intégrale Calcul rapide de convolution C-B-D+A 26/03/2017

SURF (speed-up robust features)(3) Augmentation de taille de filtre au lieu de changement de l’image pour la détection à différentes échelles 26/03/2017

Exemples de détection 26/03/2017

Régions de calcul du descripteur. Calcul de  l’orientation à la base des Ondelettes de Haar 26/03/2017

Descripteur 26/03/2017

Descripteurs de la couleur en MPEG7 (1) Color structure descriptor : exprime la structure locale de la couleur dans l ’image Calcul : soit M couleurs quantifiées. L ’histogramme de la structure couleur est dénoté par h(m), m=0,1,…,M-1 où la valeur dans chaque bin représente le nombre d ’éléments structurants dans l ’image contenant cette couleur. Si la taille de l ’image > 256x256 - un sous-échantillonnage de facteur de 2 est effectué. Elément structurant : bloc 8x8 glissant d ’un pixel. 26/03/2017

Système couleur et quantification Quantification de la couleur (HMMD - HS) en 32, 64, 120, 184 couleurs HueMaxMinDiff Blanc Degré de noir (max) Chroma (diff) Intensité (sum) Degré de blanc (min) Couleur Pure Noir Hue - le même que dans HSV Max=max(R,G,B), Min=min(R,G,B) 26/03/2017 Diff=Max-Min, Sum=(Max+Min)/2

Descripteurs de la couleur en MPEG7 (2) Dominant color descriptor : l ’ensemble des couleurs dominantes dans la régions d ’intérêt ou dans l ’image entière fournit une description compacte facile à indexer. - ième couleur dominante - pourcentage dans l ’image - variance couleur; - mesure de cohérence spatiale (nombre moyen normalisé des pixels connexes de même couleur dans un voisinage 3x3). 26/03/2017

Calcul du DCD – Split-LBG Nombre de classes final fixé à priori K=2n Méthode : 1. Initialisation : tirage aléatoire des centres de M<K classes (M=2) 2) « Split » de D : 3) LBG a - affectation b - calcul du nouveau centroïde de chaque classe : c - calcul de la distorsion si alors arrêter sinon (3) 4) Arrêt si K classes sinon retour en (2). 26/03/2017

Descripteur Color Layout Color Layout Descriptor : représentation compacte de la distribution spatiale des couleurs dans l’image, indépendante de la résolution. Calcul : - Partitionner image de taille MxN en 64 blocs (8x8). -Calculer la valeur représentative (moyenne) par bloc Calculer la DCT sur l’imagette des valeurs représentatives Coefficients DCT de luminance Coefficients DCT de chrominance rouge Coefficients DCT de chrominance bleu m = 6, n = 3 par exemple 26/03/2017

Calcul du descripteur DCT 64(8x8) blocs Partitionement image Zigzag Scan Coefficients Partitionement Calcul des couleurs représentatives DCT image CLD Y Cb Cr 64(8x8) blocs 26/03/2017

Exemples de CLD 26/03/2017

Descripteurs du mouvement Activité de mouvement : traduit la notion intuitive de l ’intensité d ’action dans un segment d’une vidéo Attributs : - intensité de d ’activité (l ’attribut principal) - direction d ’activité (la direction dominante parmi 8 possibles) - distribution spatiale de l ’activité (indication sur la taille et quantité des régions actives dans une scène vidéo) - distribution temporelle de l ’activité 26/03/2017

Activité du mouvement Corrélation avec l ’amplitude des vecteurs du mouvement dans la séquence Intensité d ’activité : mesure qualitatives selon l ’échelle 1..5 (très faible, faible, moyenne, forte, très forte 26/03/2017

Descripteur du mouvement des objets (1) Moving region 26/03/2017

Descripteur du mouvement des objets (2) Modèle de trajectoire : approximation du premier ou second ordre par morceaux. Ensemble des points-clés : coordonnées du centre de gravité de l ’objet (2D ou 3D); ou -paramètre d ’interpolation - la vitesse et l ’accélération de l ’objet - positions en temps ta et tb 26/03/2017