Base de données multimédia Cordelia Schmid

Contenu du cours 7 séances de 1.5 heures Examen écrit Données multimédia –texte –son –image –vidéo

BD multimédia a) Recherche à partir de chaque média –construction de descripteurs numériques –par exemple : recherche dune image avec un certain acteur b) Mécanisme dindexation –algorithme daccès rapide –les modèles classiques sont peu adaptés –beaucoup de données de haute dimension avec des incertitudes c) Combinaison de différents médias –problème de recherche, difficile –par exemple : image + texte, image + information temporelle

BD multimédia Application –vidéo clickable –structuration de la vidéo decoupage en plan extraction dobjets, par le mouvement ou des algorithmes de détection appariement des objets (permet de créer des liens) –annotation avec des informations supplémentaires plan } } } }} } } } ~ ~ ~ ~ ~ ~ ~ ~ ~ ~

Recherche dimages ? image requête base dimages

Recherche dimages Recherche dun même objet ou dune même scène –recherche spécifique Recherche dimages similaire ou dobjets semblables –recherche générale

Recherche dimages Recherche dun même objet ou dune même scène –recherche spécifique Recherche dimages similaire ou dobjets semblables –recherche générale

Recherche dimages Recherche dun même objet ou dune même scène reconnaissance de visages

Recherche dimages Recherche dun même objet ou dune même scène … –rotation image –facteur déchelle de 4 –visibilité partielle

Applications Reconnaissance de visages Reconnaissance dempreintes digitales Vérification du copyright Collection de photo personelle Structuration de la vidéo

Difficultés rotation image Transformations image (rotation, échelle)

Difficultés changement déchelle Transformations image (rotation, échelle)

Difficultés Transformations image (rotation, échelle) Changement de luminosité

Difficultés Transformations image (rotation, échelle) Changement de luminosité Visibilité partielle / occultation

Difficultés Transformations image (rotation, échelle) Changement de luminosité Visibilité partielle / occultation Clutter (objets supplémentaires)

Difficultés Transformations image (rotation, échelle) Changement de luminosité Visibilité partielle / occultation Clutter (objets supplémentaires) Objets 3D

Difficultés Transformations image (rotation, échelle) Changement de luminosité Visibilité partielle / occultation Clutter (objets supplémentaires) Objets 3D Nombre dimages important dans la base

Recherche dimages Recherche dun même objet ou dune même scène –recherche spécifique Recherche dimages similaire ou dobjets semblables –recherche générale

Recherche dimages Recherche dimages similaires, dobjets semblables –par exemple couleurs similaires

Recherche dimages Recherche dimages similaires, dobjets semblables –par exemple des visages

Recherche dimages Recherche dimages similaires, dobjets semblables –capturer les variations dapparence, apprendre un modèle visuel

Applications Première étape de la reconnaissance de visages Recherche sur le web Agence de presse Structuration de la vidéo