La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

3. Analyse et estimation du mouvement dans la vidéo Mouvement Apparent CERIMES © MPEG7 test set.

Présentations similaires


Présentation au sujet: "3. Analyse et estimation du mouvement dans la vidéo Mouvement Apparent CERIMES © MPEG7 test set."— Transcription de la présentation:

1 3. Analyse et estimation du mouvement dans la vidéo Mouvement Apparent CERIMES © MPEG7 test set

2 Projection du mouvement rigide 3D dans le plan-image Hypothèse : le mouvement observé dans le plan image via changements de luminance correspond à la projection idéale du mouvement 3D des objets de la scène

3 Mouvement réel/mouvement apparent a) Insuffisance du gradient spatial MR - oui MA - non b) Changements dillumination extérieure MR - non MA - oui

4 Détection du mouvement(1) Modèle des scènes : la caméra statique, les objets en mouvement Méthodes « dordre 0 »

5 Détection du mouvement(2) I(x,y,t) - fonction dintensité lumineuse Instants de temps : t, t-dt (1)La difference temporelle absolue Détection : Si alors le pixel (x,y) est en mouvement Inconvénients : difficultés dapprentissage du seuil, présence du bruit. (Jain, 79)

6 Détection du mouvement(3) (2) Prise en compte du bruit et de variations de luminance: -Pour chaque pixel (x,y) apprentissage pendant de - -Pour le couple d images calcul de - Détection dun « pixel en mouvement » si (Haritaoglu98)

7 (3) Détection par test des hypothèses statistiques Approche par max de vraisemblance. Considérons 2 fenêtres centrées sur le pixel (x,y) Détection du mouvement (4) (x,y) tt+dt A1A1 A2A2

8 Détection du mouvement (5) Hypothèses: H0 : les distributions de la luminance des deux fenêtres possèdent les mêmes caractéristiques statistiques en t et t+dt H1 : les distributions sont différentes. Modèle de luminance : Modèle constant : (A) I(x,y) N(µ, ) H0: pour tout point (x,y) dans A 1 et A 2 I(x,y) N(µ 0, ) H1: pour tout point (x,y) dans A 1 I(x,y) N(µ 1, ), pour tout pixel (x,y) dans A 2 I(x,y) N(µ 2, ),

9 Détection du mouvement(6) Les fonctions de vraisemblance associées

10 Détection du mouvement (7) Test au maximum de vraisemblance : Rapport logarithmique de vraisemblances

11 Détection du mouvement(8) Pour simplifier (méthode de P. Bouthemy et F. Lalande).

12 Détection à la base de modélisation stochastique des valeurs de pixels. Considérons (x0, y0) – un pixel dans le plan image. Considérons les valeurs de limage I(x0,y0,t). A chaque instant de temps t -« lhistoire dun pixel » est connue - - réalisations de la variable aléatoire X associée à un pixel. « processus pixel » : Grimson et Stauffer, 1998,2000

13 Si on considère une scène idéalement stationnaire, et le bruit Gaussien indépendant, alors Néanmoins, les scènes stationnaires naturelles sont caractérisées par changement de luminance, occultations En supposant lindépendance des composantes R,V,B

14 Initialisation : - sélection du paramètre K =3 ou 5 -initialisation des gaussiennes et des poids, algorithme EM, K moyennes, Isodata,..

15 Mise à jour (1) Pour chaque nouvelle valeur tester « la correspondance » à une des gaussienne du mélange : (2) Dans le cas positif : - «taux dapprentissage » Dans le cas négatif : la distribution de poids le plus faible est remplacée par une nouvelle distribution

16 Détection Détection : - trier les gaussiennes selon les valeurs Sélectionner B meilleures Si parmi les B gaussiennes on ne trouve pas cas positif (k*), alors un pixel dobjet a été détecté. Exemple

17 Estimation du mouvement Hypothèse dinvariance de luminance x y Une séquence vidéo en labsence de bruit: I(x, y, t) = I(x+dx, y+dy, t+Δt) d=(dx, dy) T, la projection du déplacement réel 3D dans le plan image. I(x,y,t) - fonction dintensité lumineuse Le champ vectoriel D(x,y)= {(dx, dy) T } est appelé le champ dense de déplacement I(x, y, t) t

18 Flot optique Le vecteur de vitesse au point (x,y) correspond à dt près au vecteur de déplacement Le champ vectoriel (x,y) est appelé le flot optique ou encore champ de vitesse Par l hypothèse dinvariance de luminance OFE/ECMA Le problème d estimation du FO est mal posé.

19 ECMA (I) Commealors u v ECMA sous forme vectorielle Lestimation du mouvement est un problème mal posé. Seul le flot optique normal est observable Sous forme vectorielle Décomposons, est parallèle au gradient local : flot optique normal est orthogonale

20 Une autre vue Si u,v sont supposées indépendantes, alors une seule équation pour deux inconnues – (1)Problème dunicité de la solution – problème douverture (2)Problème du bruit dacquisition (3)Problème doccultation ECMA (II)

21 ( 1) Illustration du « problème douverture » Zone découverte : pas de correspondance des pixels avec limage précédente flot optique normal flot optique réel (3) Illustration du « problème doccultation » ECMA (III)

22 Méthodes destimation du mouvement (x+dx, y+dy) (x, y) (dx, dy) DFD(x, y, d) = I(x, y, t) - I(x+dx, y+dy, t+Δt) On cherche d=d(θ β ) (β modèle du mouvement 2D, θ ses paramètres) tel que DFD(x, y, d) soit minimum. - Méthodes basées sur l ECMA (différentielles) - Méthodes basées sur la minimisation directe de la DFD ou d une mesure basée DFD - Méthode directes/méthodes paramétriques

23 Estimation du mouvement dans les algorithmes normalisés (I) Approche : mise en correspondance (basée bloc) Critères à optimiser : MAD= avec MSE = Fenêtre F Bloc B I(t) I(t-dt)

24 Estimation par bloc Objectif : obtenir le champ de déplacement épars Le FO est supposé constant à lintérieur dun bloc Le critère à minimiser : ou I t-dt ItIt F B

25 Méthode de recherche exhaustive Estimation « au pixel près » I t-dt ItIt Linconvénient majeur : coût opératoire Limitations : les dimensions trop faibles de la fenêtre de recherche ne permettent pas destimer correctement le vecteur de déplacement F B

26 Méthodes de recherche accélérée Estimation « au pixel près » 1.Recherche à 3 pas, 2.Recherche logarithmique, 3.Recherche « une à la fois » 4.Recherche à 4 pas ……. – méthodes sous-optimales : Fortes conséquences sur la possibilité dinterprétation du flot optique par bloc;

27 Recherche à trois pas (Koga81) Principe : laffinage du pas de recherche 1.Pas=4. Evaluer MAD aux pixels « 0 » et « 1 » Si min(MAD) =MAD(0) – alors bloc stationnaire Sinon 2. Pas=Pas/2. Evaluer MAD aux pixels « 2 » 3. Pas=Pas/2. Evaluer MAD aux pixels « 3 » Fenêtre de recherche + 7 pels

28 Recherche à trois pas (Koga81) Le vecteur de déplacement optimal Modifications : - Comparaison de min(MAD) avec un seuil T - Si min(MAD)

29 Recherche en croix (Ghanbari90) Le pas de recherche est réduit si - loptimum se trouve au centre de la croix ou - sur le bord de la fenêtre de recherche

30 Recherche en diamant (Zhu, Ma, MPEG4 VS) première recherche si loptimum se trouve au centre de la croix sur le bord de la fenêtre de recherche

31 Estimation du mouvement dans les algorithmes normalisés (II) Méthode d estimation : recherche exhaustive Précision d estimation : - « au pixel près » - « au demi-pixel près » Estimation au pixel près : Estimation au demi pixel près :

32 Approches multi-résolution multi-échelle 1) Construction des pyramides Gaussiennes pour 2) Estimation des paramètres de mouvement en commençant par le niveau le plus élevé 3) Propagation -le facteur de sous- échantillonnage

33 Estimation du mouvement dans les algorithmes normalisés (III) Problèmes spécifiques à la méthode: - mauvaise approximation des mouvements complexes; - lissage du champ de déplacement au travers des contours doccultation; - « effet de bloc » et coût important de codage de lerreur dans des schémas du codage avec la compensation du mouvement.


Télécharger ppt "3. Analyse et estimation du mouvement dans la vidéo Mouvement Apparent CERIMES © MPEG7 test set."

Présentations similaires


Annonces Google