La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 4. Descripteurs du contenu Le descripteurs les plus fréquemment utilisés : Descripteurs invariants.

Présentations similaires


Présentation au sujet: "Laboratoire Bordelais de Recherche en Informatique 23/02/2014 4. Descripteurs du contenu Le descripteurs les plus fréquemment utilisés : Descripteurs invariants."— Transcription de la présentation:

1 Laboratoire Bordelais de Recherche en Informatique 23/02/ Descripteurs du contenu Le descripteurs les plus fréquemment utilisés : Descripteurs invariants aux transformations affines autour des points caractéristiques : « coins de Harris », DOG – Lowe et al. Descripteurs normalisés ( MPEG7 )

2 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Descripteurs SIFT (D. Lowe 2004) -1 SIFT = scale invariant feature transform Problème : détecter les points caractéristiques et proposer les descripteurs invariants par rapport aux transformations affines du plan – image et de la liminance. -est le paramètre déchelle (1)(2 ) Mokolajczyk (2002) a montré que les points les plus stables sont obtenus comme extremums de Laplacien de Gaussienne dune image

3 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 DOG est une bonne approximation de Considérons Alors (3) (4) Par ailleurs (5) Descripteurs SIFT (D. Lowe 2004) -2

4 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Descripteurs SIFT (D. Lowe 2004) -3 De (4) et (5) : (6) Finalement de (3) et (6): DOG déjà comporte la normalisation requise pour Laplacien inv. à léchelle. Le facteur (k-1) est constant pour toutes les échelles et ninfluence pas la localisation des extremums

5 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Calcul de la DOG Convoluer I avec G progressivement pour produire L séparées par k dans lespace - échelle Une Octave est divisée en s intervalles, Echelles adjacentes DOG: Sous-échantillonnage de facteur 2

6 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Détection des extremums locaux Un point est retenu si DOG est minimale ou maximale parmi 26 voisins Choix du paramètre déchelle valeur (Lowe[2004]) Léchelle s est affectée au point

7 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Filtrage le long des contours (1) Un faible pic de DOG (qui correspond au contour) aura une forte courbure dans la direction orthogonale au contour et une fable courbure dans la direction orthogonale. Matrice Hessienne Les valeurs propres de H sont proportionnelles aux courbures principales de D au point considéré. Soit avec - la valeur propre maximale ( ) sont les racines du polynôme caractéristique, alors

8 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Filtrage le long des contours (2) Finalement Exclusion du point si

9 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Résultats de la détection Image1

10 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Résultats de la détection Image10

11 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Affectation de lorientation Objectif : obtenir linvariance du descripteur par rapport à la rotation en compensant par rapport à lorientation locale For each sample of the image L(x,y) at a given scale compute : Amplitude du gradient : Angle dorientation : Histogramme dorientations et calculé dans le voisinage du point caractéristiques (36 orientations : 360/10). Points multiples : lhistogramme contient plusieurs modes

12 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Séléctionner une région – carré autour du point caractéristique ( 8x8 or 16x16 pixels); Claculer lamplitude du gradient et lorientation en chaque point de la région, pondérer lamplitude avec une Gaussienne (cercle) Diviser en blocs de taille 4x4 et calculer lhistogramme dorientation pour chaque bloc (8 orientations); Pondérer chaque contribution dans un bin par lamplitude lissée du gradient Interpoler les histogrammes Descripteur local autour du point caractéristique (1)

13 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Descripteur local autour du point caractéristique (2) Le descripteur X est un vecteur des histogrammes 4x4 concaténés dim(X)=4x4x8=128 « Tourner » le descripteur X par rapport à lorientation du point caractéristique pour obtenir linvariance par rapport à la rotation Normaliser : - invariance par rapport aux transformations affines de la luminance

14 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Comparaison des descripteurs ( contexte de recherche des images/vidéos) Pour chaque point caractéristique dans limage-requête et tous les points caractéristiques dans la BD calculer Soit p1 le PPV de Q et p2 le second PPV de Q Si D(p1 )< D(p2) x Th du ]0 … 1] alors p1 est le bon « correspondant » Activer le mécanisme de vote,…. Groupement basé sur les appariements….

15 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Mise en correspondance -Application à la recherche des images (mais aussi reconnaissance des images vidéos similaires, groupement des clips etc) Plusieurs méthodes : par exemple, pour chaque descripteur de limage – requête trouver le meilleur correspondant dans la BD et regrouper les images correspondantes. Soient p1 premier plus proche voisin dun point-clé de limage requête et p2 son second plus proche voisin, alors D(p1 )< D(p2) x seuil, seuil appartenant à ]0 … 1] – bon appariement Activer le mécanisme de vote,…. Groupement basé sur les appariements….

16 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Descripteurs normalisés MPEG7 Descripteurs de la couleur; Descripteurs de la texture; Descripteurs de la forme des objets; Descripteurs du mouvement;

17 Laboratoire Bordelais de Recherche en Informatique SURF (speed-up robust features)(1) 23/02/2014 Points caractéristiques : max de det de Hessian - blobs L-convolution de limage avec la dérivée seconde dune Gaussienne

18 Laboratoire Bordelais de Recherche en Informatique SURF (speed-up robust features)(2) H. Bay et al. Image intégrale Calcul rapide de convolution 23/02/2014 C-B-D+A

19 Laboratoire Bordelais de Recherche en Informatique SURF (speed-up robust features)(3) 23/02/2014 Augmentation de taille de filtre au lieu de changement de limage pour la détection à différentes échelles

20 Laboratoire Bordelais de Recherche en Informatique Exemples de détection 23/02/2014

21 Laboratoire Bordelais de Recherche en Informatique Régions de calcul du descripteur. 23/02/2014 Calcul de lorientation à la base des Ondelettes de Haar

22 Laboratoire Bordelais de Recherche en Informatique Descripteur 23/02/2014

23 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Descripteurs de la couleur en MPEG7 (1) Color structure descriptor : exprime la structure locale de la couleur dans l image Calcul : soit M couleurs quantifiées. L histogramme de la structure couleur est dénoté par h(m), m=0,1,…,M-1 où la valeur dans chaque bin représente le nombre d éléments structurants dans l image contenant cette couleur. Elément structurant : bloc 8x8 glissant d un pixel. Si la taille de l image > 256x256 - un sous- échantillonnage de facteur de 2 est effectué.

24 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Système couleur et quantification Quantification de la couleur (HMMD - HS) en 32, 64, 120, 184 couleurs HueMaxMinDiff Blanc Degré de noir (max) Chroma (diff) Degré de blanc (min) Intensité (sum) Noir Couleur Pure Hue - le même que dans HSV Max=max(R,G,B), Min=min(R,G,B) Diff=Max-Min, Sum=(Max+Min)/2

25 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Descripteurs de la couleur en MPEG7 (2) Dominant color descriptor : l ensemble des couleurs dominantes dans la régions d intérêt ou dans l image entière fournit une description compacte facile à indexer. - ième couleur dominante - pourcentage dans l image - variance couleur; - mesure de cohérence spatiale (nombre moyen normalisé des pixels connexes de même couleur dans un voisinage 3x3).

26 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Calcul du DCD – Split-LBG Nombre de classes final fixé à priori K=2 n Méthode : 1. Initialisation : tirage aléatoire des centres de M

27 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Descripteur Color Layout Color Layout Descriptor : représentation compacte de la distribution spatiale des couleurs dans limage, indépendante de la résolution. Calcul : - Partitionner image de taille MxN en 64 blocs (8x8). -Calculer la valeur représentative (moyenne) par bloc Calculer la DCT sur limagette des valeurs représentatives Coefficients DCT de luminance Coefficients DCT de chrominance rouge Coefficients DCT de chrominance bleu m = 6, n = 3 par exemple

28 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Calcul du descripteur Zigzag Scan Coefficients Partitionement Calcul des couleurs représentatives DCT image CLD Y Cb Cr 64(8x8) blocs

29 Laboratoire Bordelais de Recherche en Informatique Exemples de CLD 23/02/2014

30 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Descripteurs du mouvement Activité de mouvement : traduit la notion intuitive de l intensité d action dans un segment dune vidéo Attributs : - intensité de d activité (l attribut principal) - direction d activité (la direction dominante parmi 8 possibles) - distribution spatiale de l activité (indication sur la taille et quantité des régions actives dans une scène vidéo) - distribution temporelle de l activité

31 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Activité du mouvement Corrélation avec l amplitude des vecteurs du mouvement dans la séquence Intensité d activité : mesure qualitatives selon l échelle 1..5 (très faible, faible, moyenne, forte, très forte

32 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Descripteur du mouvement des objets (1)

33 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Descripteur du mouvement des objets (2) Modèle de trajectoire : approximation du premier ou second ordre par morceaux. Ensemble des points-clés : coordonnées du centre de gravité de l objet (2D ou 3D); ou -paramètre d interpolation - la vitesse et l accélération de l objet - positions en temps t a et t b


Télécharger ppt "Laboratoire Bordelais de Recherche en Informatique 23/02/2014 4. Descripteurs du contenu Le descripteurs les plus fréquemment utilisés : Descripteurs invariants."

Présentations similaires


Annonces Google