Monitoring Détection de séquences vidéo en temps réel dans une grande base de données Julien Law-to 22/06/2004

Objectifs ● Utiliser 3 descripteurs très simples (Invariant de translation, Invariant en rotation, Invariant en luminance) et se demander comment combiner ces 3 descripteurs pour retrouver la transformation (plutot que de les utiliser indépendemment) ● Voir les travaux de Rémi Megret (INSA Lyon) ● Faire une bibliographie sur la focalisation d'attention, la psychovision

Travaux de Rémi Megret Bibliographie ● R. Megret, Structuration spatio-temporelle d'une séquence vidéo,Thèse soutenue en décembre 2003, INSA Lyon. ● R. Megret, J.-M. Jolion. Suivi de blobs de niveaux de gris pour la représentation du contenu dynamique d'une vidéo. RFIA'02, Angers, ● R. Megret, J.-M. Jolion. Le suivi de blobs comme base pour la caractérisation du mouvement dans des séquences audiovisuelles. CORESA 2001, Dijon, ● R. Megret, J.-M. Jolion. Tracking scale-space blobs for video description. IEEE MultiMedia, 2002.

Travaux de Rémi Megret Idée principale ● Détections de blobs par filtrage multi-echelle basés sur les niveaux de gris ● Suivi de mouvement de ces blobs ● Fusion de mouvements par similarité ● Modèle de tube spatio temporel ● Vecteur de caractérisation normalisé (7 dimensions): ● Couleur ● Mouvement ● Position spatiale

Travaux de Rémi Megret Bilan ● Très couteux en temps de calcul – 2s par image pour le calcul de blobs sur un Pentium 500 Mhz – 2.5s par image et par type de blob pour le suivi ● Pas d'indexation au final ● Pas de test de robustesse

Focalisation d'attention Bibliographie ● Yu-Fei Ma, Hong-Jiang Zhang. Contrast-based Image Attention Analysis by Using Fuzzy Growing. ACM international conference on Multimedia 2003 ● Yu-Fei Ma, Hong-Jiang Zhang. Detecting Motion Object by Spatio- Temporal Entropy. International conference on Multimedia 2001 ● L. Itty, C. Koch, E. Niebur. A Model of Saliency-Based Visual Attention for Rapid Scene Analysis. AIEEE Transactions on Pattern analysis and Machine Intelligence 1998 ● Y. Sun, R. Fisher. Object-based Visual Attention for Computer Vision. Artificial Intelligence 2003

Focalisation d'attention Principe ● Repose sur le contraste : ● Couleur ● Intensité lumineuse ● Orientations (géométrie) ● Modèle de L. Itty fait référence : ● 3 cartes de constrastes ● Normalisation ● Fusion linéaire ● Winner take all

Focalisation d'attention Bilan ● Idée de contraste (formes, couleurs, intensité) ● Zones ou points d'attention ● Peu utilisé pour l indexation de documents ● Idées interessantes

Pistes intéressantes ● Entropie ( Yu-Fei Ma, Hong-Jiang Zhang. Detecting Motion Object by Spatio-Temporal Entropy. International conference on Multimedia 2001 ) – Spatio temporel – Détection de mouvement – Fenêtre trop petite (3 pixels) ● Focalisation d'image ( Yu-Fei Ma, Hong-Jiang Zhang. Contrast- based Image Attention Analysis by Using Fuzzy Growing. ACM international conference on Multimedia 2003 ) – Rajouter aspect temporel – Distance gaussienne ?

Programme envisagé à priori ● Développer les 2 pistes intéressantes et les coder pour les tester sur des séquences ● Voir si ces 2 detecteurs de points spatio temporels sont stables et robustes ● Développer un descripteur basé sur les filtres de Gabor pour extraire la texture ● Tester ce descripteur et étudier la localisation du descripteur