Monitoring Détection de séquences vidéo en temps réel dans une grande base de données Julien Law-to 19/11/2004

Plan de travail ● Coder descripteur et utiliser la rareté pour éliminer des points ● Reprendre la bibliographie sur la focalisation ● Faire une bibliographie sur la détection de mouvements ● Faire une base de vidéos “intéressante” à tester

Synthèse bibliographique Vision préattentive et focalisation d'attention ● Perception in visualization ● ● Vision préattentive ● Propriétés détectées <250 ms ● Nombreuses expériences qui isolent ces propriétés (Triesman, Nakayama, Julesz, Wolfe) : ● orientation (de ligne ou de blobs),longueur, largeur, taille, courbure, nombre, terminaisons, intersections, fermeture, couleur, intensité, clignotement, direction du mouvement, profondeur stéréoscopique, éclat, direction de la lumière, texture, propriétés artistiques... ● E. Williams :Visual Search: A novel Psychophysics for Preattentive Vision, 1999

● Article fondamental ● Itty, C. Koch and E. Niebur, A model of Saliency-Based Visual Attention for Rapid Scene Analysis, IEEE PAMI 1998 ● 3 critères : couleur, intensité, orientation ● Plusieurs echelles (9) ● “center surround differences” ● Combinaison linéaire Synthèse bibliographique Vision préattentive et focalisation d'attention Saliency Map

● De nombreux chercheurs ont repris cette idée en cherchant à la tester ou à la completer : ● D. Parkhurst, K. Law, E. Niebur: Modeling the Role of salience in the allocation of overt visual attention 2001 ● O. Le Meur, P. Le Callet, D. Barba, D. Thoreau, E. Francois : From Low Level perception to high level perception, a coherent approach for visual attention modeling, SPIE Human Vision and Electronic Imaging 2004 Synthèse bibliographique Vision préattentive et focalisation d'attention Saliency Map

● N. D. B. Bruce : Evolutionary Design for Computational Visual Attention, Thesis 2003 (University of Waterloo) ● N. D. B. Bruce, M. Ed Jernigan, Evolutionary Design of Context-Free Attentional Operators, ICIP 2003 ● Reprend les travaux de Topper (PhD 1991) et Tompa (PhD 2002) ● Les travaux de Itty, Koch et Niebur sont repris mais l etape de center surround est remplacée par une mesure de “self information” de Shannon pour modéliser l'importance de la rareté. Synthèse bibliographique Vision préattentive et focalisation d'attention Saliency Map

● Approche du problème par segmentation ● W. Osberger, N. Bergmann, A. Maede: an automatic image quality assessment technique incorporating higher level perceptual factors, ICIP 1998 ● “split and merge” en utilisant 5 critères : contraste, taille, forme, localisation, image de fond ● Problème : dépend beaucoup de la 1ere segmentation et peu de justifications théoriques psychovisuelles Synthèse bibliographique Vision préattentive et focalisation d'attention

● Approche du problème par des psychologues : vision Gestalt ● N. Zlatoff, B. Tellez, A. Baskurt: Vision Gestalt et connaissances: une approche générique à l'interprétation d'images, CORESA 2004 ● Utilisation pour la segmentation: regroupement a priori du cerveau humain sur 5 critères ● Proximité, similarité, fermeture, continuité et symétrie Synthèse bibliographique Vision préattentive et focalisation d'attention

● “Symmetry catches the eye” d'après Locher et Nodine dans le livre : Eye movements: From Physiology to Cognition, edited by O'Regan, J.K. and Levy- Schoen ● Heidemann utilise un détecteur basé sur la symétrie développé par Reisfeld et ajoute la couleur. ● G. Heidemann: Focus-of-Attention from Local Color Symmetries. PAMI 2004 ● D.Reisfeld, H. Wolfson, Y. Yeshurun: Context Free Attentional Operators:the generalized Symmetry Transform. International Journal of Computer Vision 1995 Synthèse bibliographique Vision préattentive et focalisation d'attention

● Privitera evalue 10 algorithmes (ondelettes, filtres divers, entropie, contrast...) pour détecter des régions d'intérets et les comparer à la réalité. ● C. M. Privitera, L. W. Stark, Algorithms for Defining Visual Regions-of- Interest: Comparison with Eye Fixations, Transactions On Pattern Analysis and Machine Intelligence 2000 Synthèse bibliographique Vision préattentive et focalisation d'attention Comparaison Eye-tracking

● K. N. Walker, T. F. Cootes, C.J. Taylor: Locating Salient Object Features, British Machine Vision conference 1998 ● F. W. M. Stentiford: An evolutionary Programming approach to the Simulation of Visual Attention, Congress on Evolutionary Computation 2001 ● O K Oyekoya, F W M Stentiford: Exploring the significance of visual attention by eye trackin, London Communications Symposium, 2003 ● Pas de critères à priori mais juste une étude de dissimilarité sur un voisinage (pour r,g,b ou y,u,v). Synthèse bibliographique Vision préattentive et focalisation d'attention

● Approche plus originale orienté uniquement analyse statistique du signal ● N.Vasconcelos, G. Carneiro: What is the Role of the Independence for Visual Recognition, ECCV 2002 ● U. Rajashekar, L. K. Cormack, A. C. Bovik : Image Feature that draw fixations, ICIP 2003 Synthèse bibliographique Vision préattentive et focalisation d'attention Comparaison Eye-tracking (2)

Conclusion sur la Bibliographie ● Pas d'étude sur la focalisation d'attention pour une séquence vidéo. ● Le mouvement n'est pas utilisé dans images réelles ● Une approche bottom-up uniquement ne peut pas se substituer à la vision humaine ● Pour notre application: ● Ne pas se restreindre aux points de Harris ● Ondelette, symétrie voire les 3

Discussion sur le Détecteur ● Rappel de l'algorithme ● Choix du post traitement

Détecteur spatio-temporel Principe de l'algorithme Grille N X N Moyenne par bloc et calcul de l'activité moyenne par bloc Grille 64X64 utilisée

Détecteur spatio-temporel Principe de l'algorithme(2) Masque de mouvement Points de Harris &

Détecteur spatio-temporel Principe de l'algorithme(3) Post traitement ● Calculer descripteur sur chaque point ● Comparer descripteur dans le temps ● Eliminer redondance temporelle due au mouvement

Détecteur spatio-temporel discussion Post traitement ? ● Indexer points uniques ? ● Problème du bruit ● Comment utiliser l'information répétition temporelle ? ● Utile au moment du vote pour avoir une dispersion temporelle et ainsi une pondération

Problématique INA Fausses détections ● Les piano(1)

Problématique INA Fausses détections ● Les piano(2)

Problématique INA Fausses détections ● Kofi Annan

Projets a priori ● Rédiger la synthèse sur la psychovision et la compléter ● Finir le Code du descripteur et commencer les tests ● Etudier la détection de mouvement, les mesures d'activités locales