Faculté de Mathématiques et d’Informatique Analyse de Scènes D. Kachi Master 2 ST-GEII Faculté de Mathématiques et d’Informatique 2009-2010 1 1
Analyse de Séquences d ’images I) Introduction II) Détection du mouvement III) Estimation du mouvement
Introduction Vue d'ensemble de la spécialité et domaines d ’applications
Introduction Bas Niveau Acquisition Transmission, Compression Rehaussement, Restauration Détection contours, Segmentation Suivi de formes Analyse de séquences d’images Traitement d’images Stéréovision Reconnaissance des formes Compréhension de l’image. Vision Haut Niveau
Introduction
Introduction
Introduction Domaines d’Applications : la Télésurveillance Intrusion Trafic routier Poursuite de cibles
Introduction Domaines d’Applications : la Télésurveillance Intrusion Trafic routier Poursuite de cibles
Introduction Domaines d’Applications: la Robotique mobile Déplacement dans des milieux hostiles Reconnaissance et suivi de cible 9 9
Introduction Domaines d’Applications: la Robotique mobile Déplacement dans des milieux hostiles Reconnaissance et suivi de cible 10 10
Introduction Analyse des séquences d’images
Introduction Analyse des séquences d’images
Introduction
Introduction L’illusion de mouvement dans la vidéo est créée par l ’affichage d’images successives (snap- shots) avec une cadence assez élevée (typiquement 25 ou 30 images/sec). Le nombre d’images par seconde dépend de la résolution spatiale de l’image (Cinéma, TV) ainsi que de l’amplitude du mouvement. L’Analyse de Mouvement désigne l’ensemble des méthodes visant à déterminer le mouvement des objets dans une scène Le traitement des séquences d’images en utilisant l’information de mouvement est appelé: Compensation de Mouvement
Introduction
Introduction
Introduction
Introduction Champ de mouvement: La projection de mouvement 3D des objets dans une scène, sur le plan 2D des images x y y Plan image x z
Introduction Flux optique (Flot optique) : La trajectoire des pixels dans une séquence d’images
Introduction cube spatio-temporel Y ligne spatio-temporelle X plan spatio-temporel ligne spatio-temporelle
Introduction PROBLEME INVERSE : Extraire des caractéristiques physiques (i.e objectives) de l’environnement PROBLEME MAL POSE : à partir d’une information qui ne permet de les recouvrir que partiellement Régularisation : Exploiter des connaissances a priori Introduction y t I(x,y) I(x, y, t) : Système numérique x
Détection Détection de mouvement BUT : Associer à chaque pixel de I une étiquette binaire [Fixe, mobile] 0 1 En fonction des changements temporels de I(x,y,t). Quelles variations temporelles ? Différence entre deux frames Différence par rapport à une image de référence Y représente un champ d’observation qui servira de base à la décision d’attribution de L’étiquette 0/1 Idéalement : Y(x,y,t)=|I(x,y,t)-I(x,y,t-t)| Y(x,y,t)=|I(x,y,t)-Iref(x,y,t)|
Détection
! ! Détection Contraintes Caméra fixe (2) Eclairage constant Caméra bougeant lentement (2) Variation d’intensité basse fréquence ! Difficultés Bruits de capteur (acquisition+numérisation) (2) Zones homogènes ( luminance< ) 0~=seuil >0
Détection Idéalement il faut un vecteur de mouvement pour chaque pixel - trop complexe Sémantiquement il faut un vecteur de mouvement pour chaque objet - méthodes de deuxième génération Pratiquement un vecteur de mouvement pour chaque bloc de taille 8x8 ou 16x16 pixels
Détection Mouvement affine : Mouvement translationnel - 9 paramètres : translation, rotation, agrandissement/réduction - 6 paramètres dans le cas 2D - complexe Mouvement translationnel - 2 paramètres : translations horizontale et verticale
Détection Quelques hypothèses supplémentaires pour l’analyse du mouvement Pas d’occlusion Objets rigides Pas de changement d’illumination Continuité locale de mouvement Mouvement localement translationnel
Détection Techniques de détection de mouvement Corrélation : très lente mais optimale Flots optiques : lent mais précis (sub pixel, mais vitesse limitée) Contours en mouvements : robuste (contours actifs + filtrage optimal) Lignes de niveaux (INRETS) Filtres de Gabor : lent mais précis (précision réglable) Différence d’images : rapide mais bruitée
Différence d ’images Valeur absolue de la différence interframe : It-It-1 image de référence : It-Ir Seuillage de cette différence Différence avec une moyenne glissante
Exemple image de route nocturne
Différence avec moyenne glissante + gradient seuillé
Après une ouverture morpho
Exemples taxi ML0 ML0 + intervalle de confiance soutraction ML1 ML1 + intervalle de confiance
Avec image de référence Seuil absolu=25
Problèmes Niveau qualitatif Niveau quantitatif trop de pixel en mouvement (si seuil bas) complexité Niveau qualitatif trop peu de pixel (gestion complexe de l’intervalle de confiance) Solution : relaxation par champs de Markov (MRF : Markov Random Fields)
Détection Modélisation markovienne Régularisation de problème mal posé Injection de connaissance a priori sur les données du problème MODELISATION PROBABILISTE La solution est la réalisation la plus probable d’un certain phénomène aléatoire 3 questions Comment construire ce phénomène aléatoire ? MODELISATION Comment obtenir des réalisations de ce phénomène ? SIMULATION Comment obtenir la réalisation la plus probable ? OPTIMISATION 36
Détection Modélisation markovienne Propriétés du modèle CHAMPS DE MARKOV Construction du modèle CHAMPS DE GIBBS Simulation CHAINES DE MARKOV Optimisation Déterministe ICM Stochastique RECUIT SIMULE
Détection Propriétés du modèle Markovien Un champ aléatoire X sur S à valeur dans V est défini par Ens. des sites (pixels) Univers Ens. des valeurs Probabiliste (niveaux de gris) Notations : V={0,1}, ({fixe, mobile}) S=Z3 ou Z2xN (espace-temps discret) Dans notre contexte de détection :
Détection Topologie et système de voisinage La donnée d’une topologie sur S détermine les relations de dépendances entre les variables aléatoires Xs Topologie sur S système de voisinage x y t
Topologie et système de voisinage Détection
Détection Champs de Markov Pb de détection : On recherche la réalisation la plus probable d’un champ de Markov dit « caché » X, à valeur binaire sur Z3, à partir d’un champ connu dit « observation » Y, qui correspond à la séquence des différences d’images. Remarque : On a décrit ici une propriété fondamentale du modèle, mais pas de moyen explicite de le construire. Equivalence avec les champs de Gibbs
Détection Champs de Gibbs
Détection Champs de Gibbs et topologie
Détection Théorème de Hammersley-Clifford J. Besag 1974
Détection Théorème de Hammersley-Clifford Conséquences : On peut décrire un modèle de champ de Markov dans une topologie donnée en spécifiant les potentiels attachés à chaque clique. La donnée de la fonctionnelle d’énergie U permet de « prévoir » le comportement du champ aléatoire puisque la réalisation est d’autant plus probable que l’énergie est faible
Modèle pour la détection de mouvement
Sémantique du modèle Détection
Sémantique du modèle Détection
Détection Critère Bayesien du Maximum A Posteriori 49
Détection Simulation et chaînes de Markov BUT : Une fois le modèle défini, on souhaite générer des réalisations (échantillons de ce modèle) PRINCIPE : Construire une série de champs aléatoires(Xn)nN , telle que
Optimisation Détection
Champs de Markov Détection Théorie modèle de voisinage (clique, lien entre les sites) modèle d ’énergie et de potentiel (ex : spin up / spin down) Principe minimiser l’énergie homogénéiser les régions (ici, connecter les points) Algorithmes stochastiques lent (complexe, beaucoup d’itération) converge vers le minimum global Algorithmes déterministes rapides (simple, peu d’itération) converge vers le 1er minimum local importance de l ’initialisation
Détection ICM
Recuit simulé Détection
Détection Algorithme du Recuit Simulé RS
Détection Algorithme du Recuit Simulé RS (Suite)
Détection Convergences
Estimation Introduction
Exemples de flot optique Estimation
Le flot optique Estimation équation du flot optique fossé entre mouvement estimé par équation du flot optique et mouvement réel détermination du mouvement problème mal posé : problème d’ouverture : seule b, composante du mouvement normale au bord, peut être estimée 60/226
Estimation Méthodes d’estimation du flot optique Techniques différentielles Méthodes fréquentielles Appariement par fenêtres
Estimation Les méthodes différentielles fondées sur hypothèse d’intensité constante Problème d’ouverture ajout de contrainte de lissage du flot optique : flot optique constant sur un voisinage local de meilleure solution : la plus régulière
Estimation Positionnement des techniques différentielles coût de calculs faible précise estimation de déplacements de faible amplitude mauvaise estimation du flot optique aux frontières des objets = zones de discontinuités du mouvement
position translatée de la L’appariement par fenêtres Estimation recherche de la meilleure correspondance entre des régions de deux images consécutives par : maximisation d’un critère de similarité minimisation d’une distance entre deux fenêtres de référence sur une zone de recherche fenêtre de référence ou de corrélation zone de recherche position translatée de la pixel (i, j) de l’image considéré 64/226
Estimation Positionnement de l’appariement par fenêtres simple possibilité d’estimer des déplacements d’amplitude importante problème en cas d’images bruitées, en présence d’occultations, en cas de zones uniformes coûteuse en temps de calculs imprécise
difficile d’apprécier la justesse du flot optique estimé Estimation Estimation du flot optique par appariement par fenêtres simple à l’origine des meilleurs résultats pas fondé sur hypothèse d’illumination constante intégration assez facile de l’information de couleur difficile d’apprécier la justesse du flot optique estimé image initiale, flot optique évalué par appariement et par la méthode de Lucas & Kanade 66/226
Estimation Représentation des normes des vecteurs vitesses et du flot optique évalués par appariement à partir d’images en niveaux de gris à gauche, à partir d’images en couleurs à droite
Detection + Estimation + Segmentation mvt
Detection + Estimation + Segmentation mvt
Detection + Estimation + Segmentation mvt
ICCV03-S07-P2-DIVX-MP3.avi
ICCV03-S03-P3-DIVX-MP3.avi
Diapositive 8 sur 23
Diapositive 8 sur 23