Monitoring Détection de séquences vidéo en temps réel dans une grande base de données Julien Law-to 23/07/2004

Objectifs ● Développer un détecteur de points spatio-temporel, le coder et le tester sur des séquences ● Détecteur basé sur l'entropie ● Détecteur basé sur les distances spatio-temporelle ● Voir si ces 2 detecteurs de points spatio temporels sont stables et robustes ● Développer un descripteur basé sur les filtres de Gabor pour extraire la texture ● Tester ce descripteur et étudier la localisation du descripteur ● Continuer la bibliographie sur la focalisation d'attention (voir aspect plus « eye tracking »)

Détecteur basé sur l'entropie Principe Entropie

Détecteur basé sur l'entropie Principe de l'algorithme(1) Buffer d'images (352 X 288)

Détecteur basé sur l'entropie Principe de l'algorithme(2) Grille 32 X 32 ( 11 pixels X 9 pixels ) Calcul d'histogramme spatio temporel (15 X 13 X 11) Entropie = Σ p.Log(p)

Détecteur basé sur l'entropie Principe de l'algorithme(3) Visualisation Spatiale Temporelle

Détecteur basé sur l'entropie Principe de l'algorithme(4) Choix des maxima Points d'inflexion temporel (avec un seuil sur la dérivée) Recentrage dans la zone spatiale ainsi choisie (Harris ?) La question reste ouverte

Détecteur basé sur l'entropie Résultats : détection temporelle des maxima Choix des maxima Variance du filtre dérivée = 10

Détecteur basé sur l'entropie Résultats : Mesure du rapport Signal/Bruit ● Mesure du bruit RSB = 2 %

Détecteur basé sur l'entropie Résultats : temps de calcul ● 2 min de video : 230 s de calcul ● On peut gagner très facilement 60% du temps ● Pour l'instant ce n'est pas un obstacle ● MAJ (28/07/2004) : après optimisation du code : 25 secondes pour 2 min de video

Détecteur basé sur l'entropie Résultats ● Voir les séquences : – 32 X 32 – 64 X 64 – Différence

Détecteur basé sur l'entropie Projets ● Déterminer de bons critères de choix de max ● Superposer les max sur l’image ● Travailler sur le recentrage ● Améliorer le temps de calcul ● Choisir des dimensions optimales (en x,y,t) ● Choisir des paramètres différents suivant le domaine …

Plan de travail a priori ● Continuer sur le détecteur basé sur l’entropie ● Coder des descripteurs pour avoir une signature complète ● Faire la bibliographie sur la focalisation d’attention sur un aspect eye-tracking