3.2.Caractérisation du mouvement et méthodes par comparaison du mouvement 1. Représentation du mouvement dans le plan - image 2. Modèles du mouvement 3. Méthodes d’estimation Méthodes directes Méthodes paramétriques Estimation robuste Estimation par bloc 4. Méthodes de la segmentation basées mouvement Méthodes par comparaison du mouvement Méthodes par des mesures de similarité après la compensation Approches par projections 26/03/2017

3.2.1.Représentation du mouvement dans le plan - image Une séquence vidéo est une image 2D du monde 3D en mouvement On ne perçoit le mouvement que grâce au changement de la luminance / couleur Mouvement Apparent 26/03/2017

Mouvement réel 2D vs mouvement apparent Mouvement réel 2D est la projection du mouvement 3D par le système optique de la caméra Y Z X Y Z X à t à t+1 Mouvement apparent _ “flot optique” est observé dans le plan image 2D grâce au changements de la luminance 26/03/2017

Mouvement réel 2D vs mouvement apparent (2) Mouvement apparent est dans le cas général différent du mouvement réel 2D a)Insuffisance du gradient spatial MR - oui MA - non b)Changements d’illumination extérieure MR - non MA - oui Néanmoins! Hypothèse: Mouvement Apparent=Mouvement reel 2D 26/03/2017

Caractérisation locale du mouvement P P’ t t+1 Vecteur de déplacement élémentaire vecteur vitesse Premier niveau de caractérisation du mouvement consiste à calculer le flot optique ou “champ de déplacement” 26/03/2017

3.2.2. Modèles de mouvement En développant en série de Taylor autour de jusqu’au 1er ordre (9) Ici M Modèle afffine à 6-paramètres 26/03/2017

Modèles affines Exprimant = 26/03/2017

Hiérarchie des modèles affines

3.2.3. Méthodes d’estimation Objectif : mesurer le mouvement apparent Applications : indexation vidéo : caractérisation du mouvement de la caméra, suivi des objets Méthodes :- directes (estimation du flot optique) - indirectes (parametriques- estimation du modèle global) Modes : basé-pixel, basé-bloc, basé-région 26/03/2017

Estimation du mouvement(1) Hypothèse principale : conservation de l’intensité lumineuse d’un point le long du trajectoire n’est jamais nulle à cause du bruit et de changement d’éclairage (12) (x+dx, y+dy) (x, y) (dx, dy) 26/03/2017

Estimation du mouvement(2) Critères à minimiser: EQM, MAD min min Estimation directe Estimation paramétrique 26/03/2017

Estimation du mouvement(3) Développant en série de Taylor autour de (x,y,t) et supposant la linéarité de I(x,y,t) on a Du (12) l’équation de contrainte du mouvement apparent (ECMA) 26/03/2017

Estimation du mouvement(4) Sous forme vectorielle alors Comme u v ECMA Décomposons , est parallèle au gradient local est orthogonale Estimation du mouvement est un problème mal posé. Uniquement le flot optique normal est observable 26/03/2017

Estimation du mouvement(5) Une autre vue Si u,v sont supposées indépendantes, alors une seule équation pour deux inconnues – problème d’unicité de la solution – “problème d’ouverture” Problème du bruit d’acquisition Problème d’occultation 26/03/2017

Estimation du mouvement(4) (1)Illustration du « problème d’ouverture » flot optique normal flot optique réel (3) Illustration du « problème d’occultation » Zone découverte : pas de correspondance des pixels avec l’image précédente 26/03/2017

Méthodes pel-récursives(1) Méthodes d’optimisation différentielles de premier ordre (descente de gradient) avec le gain constant Fonctionnelle à minimiser Méthode de Netravali et Robbins Problème du bruit -> préfiltrage gaussien 26/03/2017

Méthodes pel-récursives(2) Gain adaptatif en fonction de l’image Méthode de Walker et Rao Méthode of Cafforio and Rocca 26/03/2017

Estimation paramètrique(1) Un modèle globale est supposé dans une zone du plan-image (ex. dans un bloc, dans un région, dans le fond de la scène – mvt. de caméra) Méthodes d’estimation : differentielles de 1er ordre ( déscente de gradient), 2nd ordre ( Gauss-Newton), moindres carrés Modèles : affines 1er order ( 4, 6-paramètrs) Example: Modèle: 26/03/2017

Estimation paramétrique(2) Fonctionnelle à optimiser : Application de la méthode de Cafforio-Rocca avec le gain adaptatif de même ordre de grandeur que pixels 26/03/2017

Approches multi-résolution-multi-échelle 1)Construction des pyramides Gaussiennes pour 2) Estimation des paramètres de mouvement commençant par le niveau le plus élevé 3) Propagation r -le facteur de sous-échantillonnage 26/03/2017

Estimation robuste (1) - On suppose le mouvement conforme au modèle paramétrique On considère - les mesures observées - les mesures conformes au modèle - les résidus Principe minimiser un critère d’erreur de façon que les valeurs aberrantes de résidus ne perturbent l’estimation 26/03/2017

Estimation robuste (2) Soit la loi discrète de distribution d’erreur dépendant du paramètre . La vraisemblance du paramètre est définie Le max-vraisemblance est trouvé en résolvant Ceci est équivalent à minimiser Pour toutes les valeurs disponibles de r 26/03/2017

Estimation robuste (3) est appelé “estimateur” (*) Supposons que r suit (Estimateur gaussien). (*) est l’estimateur aux moindres carrés Estimateur de Lorentz Estimateur de Geman-McClur D. Hasler, L. Sbaiaz, S. Susstrunk, M. Vetterli, « Outlier Modeling in Image Matching », IEEE TRans on PAMI, v. 25, n3, march 2003 26/03/2017

Estimation robuste(4) Exemple : Estimateur des moindres carrés médians : Modèle: avantage : une grande robustesse aux erreurs (50%) - inconvénient : lourdeur de calcul 26/03/2017

Estimation robuste (5) Minimisation problem is posed as a re-weighted least – square minimisation min here 26/03/2017

Estimation robuste(2) M-estimateurs r - est opposé de log-vraisemblance des observations conditionnellement au modèle - sont des fonctions d’influence (des outliers) - moindres carrés –l’influence est illimitée - la dérivée d’estimateur de Tuckey 26/03/2017

Estimation robuste (3) Estimateur de Tuckey La dérivée 26/03/2017

Estimation robuste(3) Estimation par de moindres carrés pondérés Minimiser le critère revient à calculer les dérivées partielles par rapport à chaque paramètre et les égaler à 0 On obtient ainsi les coefficients de pondération du moindre-carré Méthode d’estimation – itérative en recalculant les poids à chaque itération 26/03/2017

Estimation par bloc Objectif : obtenir le champ de déplacement éparse Le FO est supposé constant à l’intérieur d’un bloc Le critère à minimiser : ou B It It-dt 26/03/2017

Méthode de recherche exhaustive Estimation « au pixel près » B F It-dt It L’inconvénient majeur : coût opératoire Les estimateurs basés-blocs sont utilisés pour tous les standards du codage vidéo cf. UE « Codage Vidéo » 26/03/2017