1. Représentation du mouvement dans le plan - image

Présentation au sujet: "1. Représentation du mouvement dans le plan - image"— Transcription de la présentation:

1 3.2.Caractérisation du mouvement et méthodes par comparaison du mouvement
1. Représentation du mouvement dans le plan - image 2. Modèles du mouvement 3. Méthodes d’estimation Méthodes directes Méthodes paramétriques Estimation robuste Estimation par bloc 4. Méthodes de la segmentation basées mouvement Méthodes par comparaison du mouvement Méthodes par des mesures de similarité après la compensation Approches par projections 26/03/2017

2 3.2.1.Représentation du mouvement dans le plan - image
Une séquence vidéo est une image 2D du monde 3D en mouvement On ne perçoit le mouvement que grâce au changement de la luminance / couleur Mouvement Apparent 26/03/2017

3 Mouvement réel 2D vs mouvement apparent
Mouvement réel 2D est la projection du mouvement 3D par le système optique de la caméra Y Z X Y Z X à t à t+1 Mouvement apparent _ “flot optique” est observé dans le plan image 2D grâce au changements de la luminance 26/03/2017

4 Mouvement réel 2D vs mouvement apparent (2)
Mouvement apparent est dans le cas général différent du mouvement réel 2D a)Insuffisance du gradient spatial MR - oui MA - non b)Changements d’illumination extérieure MR - non MA - oui Néanmoins! Hypothèse: Mouvement Apparent=Mouvement reel 2D 26/03/2017

5 Caractérisation locale du mouvement
P P’ t t+1 Vecteur de déplacement élémentaire vecteur vitesse Premier niveau de caractérisation du mouvement consiste à calculer le flot optique ou “champ de déplacement” 26/03/2017

6 Modèles de mouvement En développant en série de Taylor autour de jusqu’au 1er ordre (9) Ici M Modèle afffine à 6-paramètres 26/03/2017

7 Modèles affines Exprimant = 26/03/2017

8 Hiérarchie des modèles affines

9 3.2.3. Méthodes d’estimation
Objectif : mesurer le mouvement apparent Applications : indexation vidéo : caractérisation du mouvement de la caméra, suivi des objets Méthodes :- directes (estimation du flot optique) - indirectes (parametriques- estimation du modèle global) Modes : basé-pixel, basé-bloc, basé-région 26/03/2017

10 Estimation du mouvement(1)
Hypothèse principale : conservation de l’intensité lumineuse d’un point le long du trajectoire n’est jamais nulle à cause du bruit et de changement d’éclairage (12) (x+dx, y+dy) (x, y) (dx, dy) 26/03/2017

11 Estimation du mouvement(2)
Critères à minimiser: EQM, MAD min min Estimation directe Estimation paramétrique 26/03/2017

12 Estimation du mouvement(3)
Développant en série de Taylor autour de (x,y,t) et supposant la linéarité de I(x,y,t) on a Du (12) l’équation de contrainte du mouvement apparent (ECMA) 26/03/2017

13 Estimation du mouvement(4)
Sous forme vectorielle alors Comme u v ECMA Décomposons , est parallèle au gradient local est orthogonale Estimation du mouvement est un problème mal posé. Uniquement le flot optique normal est observable 26/03/2017

14 Estimation du mouvement(5)
Une autre vue Si u,v sont supposées indépendantes, alors une seule équation pour deux inconnues – problème d’unicité de la solution – “problème d’ouverture” Problème du bruit d’acquisition Problème d’occultation 26/03/2017

15 Estimation du mouvement(4)
(1)Illustration du « problème d’ouverture » flot optique normal flot optique réel (3) Illustration du « problème d’occultation » Zone découverte : pas de correspondance des pixels avec l’image précédente 26/03/2017

16 Méthodes pel-récursives(1)
Méthodes d’optimisation différentielles de premier ordre (descente de gradient) avec le gain constant Fonctionnelle à minimiser Méthode de Netravali et Robbins Problème du bruit -> préfiltrage gaussien 26/03/2017

17 Méthodes pel-récursives(2)
Gain adaptatif en fonction de l’image Méthode de Walker et Rao Méthode of Cafforio and Rocca 26/03/2017

18 Estimation paramètrique(1)
Un modèle globale est supposé dans une zone du plan-image (ex. dans un bloc, dans un région, dans le fond de la scène – mvt. de caméra) Méthodes d’estimation : differentielles de 1er ordre ( déscente de gradient), 2nd ordre ( Gauss-Newton), moindres carrés Modèles : affines 1er order ( 4, 6-paramètrs) Example: Modèle: 26/03/2017

19 Estimation paramétrique(2)
Fonctionnelle à optimiser : Application de la méthode de Cafforio-Rocca avec le gain adaptatif de même ordre de grandeur que pixels 26/03/2017

20 Approches multi-résolution-multi-échelle
1)Construction des pyramides Gaussiennes pour 2) Estimation des paramètres de mouvement commençant par le niveau le plus élevé 3) Propagation r -le facteur de sous-échantillonnage 26/03/2017

21 Estimation robuste (1) - On suppose le mouvement conforme au modèle paramétrique On considère - les mesures observées - les mesures conformes au modèle - les résidus Principe minimiser un critère d’erreur de façon que les valeurs aberrantes de résidus ne perturbent l’estimation 26/03/2017

22 Estimation robuste (2) Soit la loi discrète de distribution d’erreur dépendant du paramètre . La vraisemblance du paramètre est définie Le max-vraisemblance est trouvé en résolvant Ceci est équivalent à minimiser Pour toutes les valeurs disponibles de r 26/03/2017

23 Estimation robuste (3) est appelé “estimateur” (*) Supposons que r suit (Estimateur gaussien). (*) est l’estimateur aux moindres carrés Estimateur de Lorentz Estimateur de Geman-McClur D. Hasler, L. Sbaiaz, S. Susstrunk, M. Vetterli, « Outlier Modeling in Image Matching », IEEE TRans on PAMI, v. 25, n3, march 2003 26/03/2017

24 Estimation robuste(4) Exemple : Estimateur des moindres carrés médians : Modèle: avantage : une grande robustesse aux erreurs (50%) - inconvénient : lourdeur de calcul 26/03/2017

25 Estimation robuste (5) Minimisation problem is posed as a re-weighted least – square minimisation min here 26/03/2017

26 Estimation robuste(2) M-estimateurs
r - est opposé de log-vraisemblance des observations conditionnellement au modèle - sont des fonctions d’influence (des outliers) - moindres carrés –l’influence est illimitée - la dérivée d’estimateur de Tuckey 26/03/2017

27 Estimation robuste (3) Estimateur de Tuckey La dérivée 26/03/2017

28 Estimation robuste(3) Estimation par de moindres carrés pondérés
Minimiser le critère revient à calculer les dérivées partielles par rapport à chaque paramètre et les égaler à 0 On obtient ainsi les coefficients de pondération du moindre-carré Méthode d’estimation – itérative en recalculant les poids à chaque itération 26/03/2017

29 Estimation par bloc Objectif : obtenir le champ de déplacement éparse
Le FO est supposé constant à l’intérieur d’un bloc Le critère à minimiser : ou B It It-dt 26/03/2017

30 Méthode de recherche exhaustive
Estimation « au pixel près » B F It-dt It L’inconvénient majeur : coût opératoire Les estimateurs basés-blocs sont utilisés pour tous les standards du codage vidéo cf. UE « Codage Vidéo » 26/03/2017