4.2. Descripteurs : BoF et BoW

Présentation au sujet: "4.2. Descripteurs : BoF et BoW"— Transcription de la présentation:

1 4.2. Descripteurs : BoF et BoW

2 Approche BagofFeatures (BoF)
D’après Lazebnik (UNC)

3 Comparaison des images
Score(i,j) d(Fk,i,Fl,j)

4 Recherche des images similaires
- Mesure de similarité entre les descripteurs (SIFT : distance L1, histogrammes – distance L1, coeff de Battacharyya, Ki-2,…, mesures assymetriques) - Score : nombre de descripteurs similaires au sens de la mesure de similarité choisie

5 Recherche des images similaires

6 Recherche des images similaires

7 Stratégie de vote(1)

8 Stratégie de vote(2) K=7 : inconvenients? Non-symétrique

9 Stratégie de vote (3)

10 Extension à la comparaison et recherche de la vidéo

11 Stratégie de vote Calcul de « bonnes » correspondances uniquement en considérant toutes les correspondances équivalentes. Nécessité d’une similarité plus « sémantique » Difficultés de « passage en échelle » - une grande quantité des appariements.

12 Approche par Bag of Words BoW
Approches inspirées par la recherche dans des bases de données textuelles (R. Baeza –Yates, B. Ribero-Neto, Modern Information Retrieval, ACM Press, 1999) la quantification viselle (codage) ( Lindo Buso Gray) « Dictionnaires visuels »

13 BoW(1) « visage », »herbe », « bâtiment » ????
Lazebnik (UNC) conférence sur BoF, proposé par G. Szurka en 2004

14 BoW(2) 1. Extraction des descripteurs des éléments
2. Construction de l’ensemble des descripteurs + +…

15 BoW(3)

16 BoW(4)

17 BoW(5)

18 Choix des éléments de l’image et des descripteurs(1)
Vogel & Schiele, 2003 •Fei-Fei & Perona, 2005 Quenot et Ayache 2005, Merialdo, Dumont 2008

19 Choix des éléments de l’image et des descripteurs (2)
Sivic & Zisserman 2005

20 TF-IDF(1)

21 TF-IDF(2)

22 Méthodes de construction de dictionnaire
Algorithmes de groupement de données : clustering Le plus fréquement utilisé est l’algorithme des K-moyennes