Base de données multimédia Cordelia Schmid

Présentation au sujet: "Base de données multimédia Cordelia Schmid"— Transcription de la présentation:

1 Base de données multimédia Cordelia Schmid Cordelia.Schmid@inrialpes.fr

2 Contenu du cours 7 séances de 1.5 heures Examen écrit Données multimédia –texte –son –image –vidéo

3 BD multimédia a) Recherche à partir de chaque média –construction de descripteurs numériques –par exemple : recherche dune image avec un certain acteur b) Mécanisme dindexation –algorithme daccès rapide –les modèles classiques sont peu adaptés –beaucoup de données de haute dimension avec des incertitudes c) Combinaison de différents médias –problème de recherche, difficile –par exemple : image + texte, image + information temporelle

4 BD multimédia Application –vidéo clickable –structuration de la vidéo decoupage en plan extraction dobjets, par le mouvement ou des algorithmes de détection appariement des objets (permet de créer des liens) –annotation avec des informations supplémentaires plan } } } }} } } } ~ ~ ~ ~ ~ ~ ~ ~ ~ ~

5

6 Recherche dimages ? image requête base dimages

7 Recherche dimages Recherche dun même objet ou dune même scène –recherche spécifique Recherche dimages similaire ou dobjets semblables –recherche générale

8 Recherche dimages Recherche dun même objet ou dune même scène –recherche spécifique Recherche dimages similaire ou dobjets semblables –recherche générale

9 Recherche dimages Recherche dun même objet ou dune même scène reconnaissance de visages

10 Recherche dimages Recherche dun même objet ou dune même scène … –rotation image –facteur déchelle de 4 –visibilité partielle

11 Applications Reconnaissance de visages Reconnaissance dempreintes digitales Vérification du copyright Collection de photo personelle Structuration de la vidéo

12 Difficultés rotation image Transformations image (rotation, échelle)

13 Difficultés changement déchelle Transformations image (rotation, échelle)

14 Difficultés Transformations image (rotation, échelle) Changement de luminosité

15 Difficultés Transformations image (rotation, échelle) Changement de luminosité Visibilité partielle / occultation

16 Difficultés Transformations image (rotation, échelle) Changement de luminosité Visibilité partielle / occultation Clutter (objets supplémentaires)

17 Difficultés Transformations image (rotation, échelle) Changement de luminosité Visibilité partielle / occultation Clutter (objets supplémentaires) Objets 3D

18 Difficultés Transformations image (rotation, échelle) Changement de luminosité Visibilité partielle / occultation Clutter (objets supplémentaires) Objets 3D Nombre dimages important dans la base

19 Recherche dimages Recherche dun même objet ou dune même scène –recherche spécifique Recherche dimages similaire ou dobjets semblables –recherche générale

20 Recherche dimages Recherche dimages similaires, dobjets semblables –par exemple couleurs similaires

21 Recherche dimages Recherche dimages similaires, dobjets semblables –par exemple des visages

22 Recherche dimages Recherche dimages similaires, dobjets semblables –capturer les variations dapparence, apprendre un modèle visuel

23 Applications Première étape de la reconnaissance de visages Recherche sur le web Agence de presse Structuration de la vidéo