3. Analyse et estimation du mouvement dans la vidéo CERIMES © MPEG7 test set Mouvement Apparent

Projection du mouvement rigide 3D dans le plan-image Hypothèse : le mouvement observé dans le plan image via changements de luminance correspond à la projection idéale du mouvement 3D des objets de la scène

Mouvement réel/mouvement apparent a) Insuffisance du gradient spatial MR - oui MA - non b) Changements d’illumination extérieure MR - non MA - oui

Détection du mouvement(1) Modèle des scènes : la caméra statique, les objets en mouvement Méthodes « d’ordre 0 »

Détection du mouvement(2) I(x,y,t) - fonction d’intensité lumineuse Instants de temps : t, t-dt (1)La difference temporelle absolue Détection : Si alors le pixel (x,y) est en mouvement Inconvénients : difficultés d’apprentissage du seuil, présence du bruit. (Jain, 79)

Détection du mouvement(3) (2) Prise en compte du bruit et de variations de luminance: -Pour chaque pixel (x,y) apprentissage pendant de - -Pour le couple d’ images calcul de Détection d’un « pixel en mouvement » si (Haritaoglu’98)

Détection du mouvement (4) (3) Détection par test des hypothèses statistiques Approche par max de vraisemblance. Considérons 2 fenêtres centrées sur le pixel (x,y) (x,y) t t+dt A1 A2

Détection du mouvement (5) Hypothèses: H0 : les distributions de la luminance des deux fenêtres possèdent les mêmes caractéristiques statistiques en t et t+dt H1 : les distributions sont différentes. Modèle de luminance : Modèle constant : (A)  I(x,y)N(µ,s2) H0: pour tout point (x,y) dans A1 et A2 I(x,y)N(µ0,s2) H1: pour tout point (x,y) dans A1 I(x,y)N(µ1,s2), pour tout pixel (x,y) dans A2 I(x,y)N(µ2,s2),

Détection du mouvement(6) Les fonctions de vraisemblance associées

Détection du mouvement (7) Test au maximum de vraisemblance : Rapport logarithmique de vraisemblances

Détection du mouvement(8) Pour simplifier (méthode de P. Bouthemy et F. Lalande).

Détection à la base de modélisation stochastique des valeurs de pixels. Considérons (x0, y0) – un pixel dans le plan image. Considérons les valeurs de l’image I(x0,y0,t). A chaque instant de temps t « l’histoire d’un pixel » est connue - réalisations de la variable aléatoire X associée à un pixel. « processus pixel » : Grimson et Stauffer, 1998,2000

Si on considère une scène idéalement stationnaire, et le bruit Gaussien indépendant, alors Néanmoins, les scènes stationnaires naturelles sont caractérisées par changement de luminance, occultations En supposant l’indépendance des composantes R,V,B

Initialisation : - sélection du paramètre K =3 ou 5 -initialisation des gaussiennes et des poids, algorithme EM, K moyennes, Isodata,..

Mise à jour (1) Pour chaque nouvelle valeur tester « la correspondance » à une des gaussienne du mélange : (2) Dans le cas positif : - «taux d’apprentissage » Dans le cas négatif : la distribution de poids le plus faible est remplacée par une nouvelle distribution

Détection Détection : - trier les gaussiennes selon les valeurs Sélectionner B meilleures Si parmi les B gaussiennes on ne trouve pas cas positif (k*), alors un pixel d’objet a été détecté. Exemple

Estimation du mouvement Hypothèse d’invariance de luminance x y Une séquence vidéo I(x, y , t) t I(x,y,t) - fonction d’intensité lumineuse en l’absence de bruit: I(x, y, t) = I(x+dx, y+dy, t+Δt) d=(dx, dy)T, la projection du déplacement réel 3D dans le plan image. Le champ vectoriel D(x,y)= {(dx, dy)T } est appelé le champ dense de déplacement

Flot optique Le vecteur de vitesse au point (x,y) correspond à dt près au vecteur de déplacement Le champ vectoriel W(x,y) est appelé le flot optique ou encore champ de vitesse Par l ’hypothèse d’invariance de luminance OFE/ECMA Le problème d ’estimation du FO est mal posé.

ECMA (I) Sous forme vectorielle Comme alors u v ECMA sous forme vectorielle Décomposons , est parallèle au gradient local :   flot optique normal   est orthogonale L’estimation du mouvement est un problème mal posé. Seul le flot optique normal est observable

ECMA (II) Une autre vue Si u,v sont supposées indépendantes, alors une seule équation pour deux inconnues – Problème d’unicité de la solution – “problème d’ouverture” Problème du bruit d’acquisition Problème d’occultation

ECMA (III) (1) Illustration du « problème d’ouverture » flot optique normal flot optique réel (3) Illustration du « problème d’occultation » Zone découverte : pas de correspondance des pixels avec l’image précédente

Méthodes d’estimation du mouvement - Méthodes basées sur l ’ECMA (différentielles) - Méthodes basées sur la minimisation directe de la DFD ou d ’une mesure basée DFD - Méthode directes/méthodes paramétriques (x+dx, y+dy) (x, y) (dx, dy) DFD(x, y, d) = I(x, y, t) - I(x+dx, y+dy, t+Δt) On cherche d=d(θβ) (β modèle du mouvement 2D, θ ses paramètres) tel que DFD(x, y, d) soit minimum.

Estimation du mouvement dans les algorithmes normalisés (I) Approche : mise en correspondance (basée bloc) Critères à optimiser : MAD= avec MSE = I(t-dt) I(t) Bloc B Fenêtre F

Estimation par bloc Objectif : obtenir le champ de déplacement épars Le FO est supposé constant à l’intérieur d’un bloc Le critère à minimiser : ou F B It It-dt

Méthode de recherche exhaustive Estimation « au pixel près » F B It-dt It L’inconvénient majeur : coût opératoire Limitations : les dimensions trop faibles de la fenêtre de recherche ne permettent pas d’estimer correctement le vecteur de déplacement

Méthodes de recherche accélérée Estimation « au pixel près » Recherche à 3 pas, Recherche logarithmique, Recherche « une à la fois » Recherche à 4 pas ……. – méthodes sous-optimales : Fortes conséquences sur la possibilité d’interprétation du flot optique par bloc;

Recherche à trois pas (Koga’81) Principe : l’affinage du pas de recherche Pas=4. Evaluer MAD aux pixels « 0 » et « 1 » Si min(MAD) =MAD(0) – alors bloc stationnaire Sinon 2. Pas=Pas/2. Evaluer MAD aux pixels « 2 » 3. Pas=Pas/2. Evaluer MAD aux pixels « 3 » 1 2 3 Fenêtre de recherche + 7 pels

Recherche à trois pas (Koga’81) Modifications : Comparaison de min(MAD) avec un seuil T Si min(MAD)<T alors arrêt Sinon recherche autour de la position courante avec le pas/2 (recherche « logarithmique »). 1 2 3 Le vecteur de déplacement optimal

Recherche en croix (Ghanbari’90) 2 1 5 4 3 Le pas de recherche est réduit si l’optimum se trouve au centre de la croix ou sur le bord de la fenêtre de recherche

Recherche en diamant (Zhu, Ma, MPEG4 VS) première recherche si l’optimum se trouve au centre de la croix sur le bord de la fenêtre de recherche

Estimation du mouvement dans les algorithmes normalisés (II) Méthode d ’estimation : recherche exhaustive Précision d ’estimation : - « au pixel près » - « au demi-pixel près » Estimation au pixel près : Estimation au demi pixel près :

Approches multi-résolution multi-échelle 1) Construction des pyramides Gaussiennes pour 2) Estimation des paramètres de mouvement en commençant par le niveau le plus élevé 3) Propagation r -le facteur de sous-échantillonnage

Estimation du mouvement dans les algorithmes normalisés (III) Problèmes spécifiques à la méthode: - mauvaise approximation des mouvements complexes; - lissage du champ de déplacement au travers des contours d’occultation; - « effet de bloc » et coût important de codage de l’erreur dans des schémas du codage avec la compensation du mouvement.