Faculté de Mathématiques et d’Informatique

Présentation au sujet: "Faculté de Mathématiques et d’Informatique"— Transcription de la présentation:

1 Faculté de Mathématiques et d’Informatique
Analyse de Scènes D. Kachi Master 2 ST-GEII Faculté de Mathématiques et d’Informatique 1 1

2 Analyse de Séquences d ’images
I) Introduction II) Détection du mouvement III) Estimation du mouvement

3 Introduction Vue d'ensemble de la spécialité et domaines d ’applications

4 Introduction Bas Niveau Acquisition Transmission, Compression
Rehaussement, Restauration Détection contours, Segmentation Suivi de formes Analyse de séquences d’images Traitement d’images Stéréovision Reconnaissance des formes Compréhension de l’image. Vision Haut Niveau

5 Introduction

6 Introduction

7 Introduction Domaines d’Applications : la Télésurveillance Intrusion
Trafic routier Poursuite de cibles

8 Introduction Domaines d’Applications : la Télésurveillance Intrusion
Trafic routier Poursuite de cibles

9 Introduction Domaines d’Applications: la Robotique mobile
Déplacement dans des milieux hostiles Reconnaissance et suivi de cible 9 9

10 Introduction Domaines d’Applications: la Robotique mobile
Déplacement dans des milieux hostiles Reconnaissance et suivi de cible 10 10

11 Introduction Analyse des séquences d’images

12 Introduction Analyse des séquences d’images

13 Introduction

14 Introduction L’illusion de mouvement dans la vidéo est créée par l ’affichage d’images successives (snap- shots) avec une cadence assez élevée (typiquement 25 ou 30 images/sec). Le nombre d’images par seconde dépend de la résolution spatiale de l’image (Cinéma, TV) ainsi que de l’amplitude du mouvement. L’Analyse de Mouvement désigne l’ensemble des méthodes visant à déterminer le mouvement des objets dans une scène Le traitement des séquences d’images en utilisant l’information de mouvement est appelé: Compensation de Mouvement

15 Introduction

16 Introduction

17 Introduction

18 Introduction Champ de mouvement: La projection de mouvement 3D des objets dans une scène, sur le plan 2D des images x y y Plan image x z

19 Introduction Flux optique (Flot optique) : La trajectoire des pixels dans une séquence d’images

20 Introduction cube spatio-temporel Y ligne spatio-temporelle X
plan spatio-temporel ligne spatio-temporelle

21 Introduction PROBLEME INVERSE :
Extraire des caractéristiques physiques (i.e objectives) de l’environnement PROBLEME MAL POSE : à partir d’une information qui ne permet de les recouvrir que partiellement Régularisation : Exploiter des connaissances a priori Introduction y t I(x,y) I(x, y, t) : Système numérique x

22 Détection Détection de mouvement
BUT : Associer à chaque pixel de I une étiquette binaire [Fixe, mobile] En fonction des changements temporels de I(x,y,t). Quelles variations temporelles ? Différence entre deux frames Différence par rapport à une image de référence Y représente un champ d’observation qui servira de base à la décision d’attribution de L’étiquette 0/1 Idéalement : Y(x,y,t)=|I(x,y,t)-I(x,y,t-t)| Y(x,y,t)=|I(x,y,t)-Iref(x,y,t)|

23 Détection

24 ! ! Détection Contraintes Caméra fixe (2) Eclairage constant
Caméra bougeant lentement (2) Variation d’intensité basse fréquence ! Difficultés Bruits de capteur (acquisition+numérisation) (2) Zones homogènes ( luminance< ) 0~=seuil >0

25 Détection  Idéalement il faut un vecteur de mouvement pour chaque pixel - trop complexe  Sémantiquement il faut un vecteur de mouvement pour chaque objet - méthodes de deuxième génération  Pratiquement un vecteur de mouvement pour chaque bloc de taille 8x8 ou 16x16 pixels

26 Détection  Mouvement affine :  Mouvement translationnel
- 9 paramètres : translation, rotation, agrandissement/réduction - 6 paramètres dans le cas 2D - complexe  Mouvement translationnel - 2 paramètres : translations horizontale et verticale

27 Détection Quelques hypothèses supplémentaires pour l’analyse du mouvement Pas d’occlusion Objets rigides Pas de changement d’illumination Continuité locale de mouvement Mouvement localement translationnel

28 Détection Techniques de détection de mouvement
Corrélation : très lente mais optimale Flots optiques : lent mais précis (sub pixel, mais vitesse limitée) Contours en mouvements : robuste (contours actifs + filtrage optimal) Lignes de niveaux (INRETS) Filtres de Gabor : lent mais précis (précision réglable) Différence d’images : rapide mais bruitée

29 Différence d ’images Valeur absolue de la différence
interframe : It-It-1 image de référence : It-Ir Seuillage de cette différence Différence avec une moyenne glissante

30 Exemple image de route nocturne

31 Différence avec moyenne glissante + gradient seuillé

32 Après une ouverture morpho

33 Exemples taxi ML0 ML0 + intervalle de confiance
soutraction ML ML1 + intervalle de confiance

34 Avec image de référence
Seuil absolu=25

35 Problèmes Niveau qualitatif
Niveau quantitatif trop de pixel en mouvement (si seuil bas) complexité Niveau qualitatif trop peu de pixel (gestion complexe de l’intervalle de confiance) Solution : relaxation par champs de Markov (MRF : Markov Random Fields)

36 Détection Modélisation markovienne
Régularisation de problème mal posé Injection de connaissance a priori sur les données du problème MODELISATION PROBABILISTE La solution est la réalisation la plus probable d’un certain phénomène aléatoire 3 questions Comment construire ce phénomène aléatoire ? MODELISATION Comment obtenir des réalisations de ce phénomène ? SIMULATION Comment obtenir la réalisation la plus probable ? OPTIMISATION 36

37 Détection Modélisation markovienne
Propriétés du modèle CHAMPS DE MARKOV Construction du modèle CHAMPS DE GIBBS Simulation CHAINES DE MARKOV Optimisation Déterministe ICM Stochastique RECUIT SIMULE

38 Détection Propriétés du modèle Markovien
Un champ aléatoire X sur S à valeur dans V est défini par Ens. des sites (pixels) Univers Ens. des valeurs Probabiliste (niveaux de gris) Notations : V={0,1}, ({fixe, mobile}) S=Z3 ou Z2xN (espace-temps discret) Dans notre contexte de détection :

39 Détection Topologie et système de voisinage
La donnée d’une topologie sur S détermine les relations de dépendances entre les variables aléatoires Xs Topologie sur S système de voisinage  x y t

40 Topologie et système de voisinage
Détection

41 Détection Champs de Markov Pb de détection :
On recherche la réalisation la plus probable d’un champ de Markov dit « caché » X, à valeur binaire sur Z3, à partir d’un champ connu dit « observation » Y, qui correspond à la séquence des différences d’images. Remarque : On a décrit ici une propriété fondamentale du modèle, mais pas de moyen explicite de le construire. Equivalence avec les champs de Gibbs

42 Détection Champs de Gibbs

43 Détection Champs de Gibbs et topologie

44 Détection Théorème de Hammersley-Clifford J. Besag 1974

45 Détection Théorème de Hammersley-Clifford Conséquences :
On peut décrire un modèle de champ de Markov dans une topologie donnée en spécifiant les potentiels attachés à chaque clique. La donnée de la fonctionnelle d’énergie U permet de « prévoir » le comportement du champ aléatoire puisque la réalisation est d’autant plus probable que l’énergie est faible

46 Modèle pour la détection de mouvement

47 Sémantique du modèle Détection

48 Sémantique du modèle Détection

49 Détection Critère Bayesien du Maximum A Posteriori 49

50 Détection Simulation et chaînes de Markov
BUT : Une fois le modèle défini, on souhaite générer des réalisations (échantillons de ce modèle) PRINCIPE : Construire une série de champs aléatoires(Xn)nN , telle que

51 Optimisation Détection

52 Champs de Markov Détection Théorie
modèle de voisinage (clique, lien entre les sites) modèle d ’énergie et de potentiel (ex : spin up / spin down) Principe minimiser l’énergie homogénéiser les régions (ici, connecter les points) Algorithmes stochastiques lent (complexe, beaucoup d’itération) converge vers le minimum global Algorithmes déterministes rapides (simple, peu d’itération) converge vers le 1er minimum local importance de l ’initialisation

53 Détection ICM

54 Recuit simulé Détection

55 Détection Algorithme du Recuit Simulé RS

56 Détection Algorithme du Recuit Simulé RS (Suite)

57 Détection Convergences

58 Estimation Introduction

59 Exemples de flot optique
Estimation

60 Le flot optique Estimation équation du flot optique fossé entre mouvement estimé par équation du flot optique et mouvement réel détermination du mouvement problème mal posé : problème d’ouverture : seule b, composante du mouvement normale au bord, peut être estimée 60/226

61 Estimation Méthodes d’estimation du flot optique
Techniques différentielles Méthodes fréquentielles Appariement par fenêtres

62 Estimation Les méthodes différentielles
fondées sur hypothèse d’intensité constante  Problème d’ouverture ajout de contrainte de lissage du flot optique : flot optique constant sur un voisinage local de meilleure solution : la plus régulière

63 Estimation Positionnement des techniques différentielles
coût de calculs faible précise estimation de déplacements de faible amplitude mauvaise estimation du flot optique aux frontières des objets = zones de discontinuités du mouvement

64 position translatée de la
L’appariement par fenêtres Estimation recherche de la meilleure correspondance entre des régions de deux images consécutives par : maximisation d’un critère de similarité minimisation d’une distance entre deux fenêtres de référence sur une zone de recherche fenêtre de référence ou de corrélation zone de recherche position translatée de la pixel (i, j) de l’image considéré 64/226

65 Estimation Positionnement de l’appariement par fenêtres simple
possibilité d’estimer des déplacements d’amplitude importante problème en cas d’images bruitées, en présence d’occultations, en cas de zones uniformes coûteuse en temps de calculs imprécise

66 difficile d’apprécier la justesse du flot optique estimé
Estimation Estimation du flot optique par appariement par fenêtres simple à l’origine des meilleurs résultats pas fondé sur hypothèse d’illumination constante intégration assez facile de l’information de couleur difficile d’apprécier la justesse du flot optique estimé image initiale, flot optique évalué par appariement et par la méthode de Lucas & Kanade 66/226

67 Estimation Représentation des normes des vecteurs vitesses et du flot optique évalués par appariement à partir d’images en niveaux de gris à gauche, à partir d’images en couleurs à droite

68 Detection + Estimation + Segmentation mvt

69 Detection + Estimation + Segmentation mvt

70 Detection + Estimation + Segmentation mvt

71 ICCV03-S07-P2-DIVX-MP3.avi

72 ICCV03-S03-P3-DIVX-MP3.avi

73                                                                                                                                                                                                                                                       

74                                                                        Diapositive 8 sur 23                                                                                                                                                                                 

75                                                                        Diapositive 8 sur 23