La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Estimation du mouvement – 1 GIF-19263 : André Zaccarin 2003 (dernière révision: Patrick Hébert 2008) Références: Sonka et al. sections 16.1 et 16.2 Autres:

Présentations similaires


Présentation au sujet: "1 Estimation du mouvement – 1 GIF-19263 : André Zaccarin 2003 (dernière révision: Patrick Hébert 2008) Références: Sonka et al. sections 16.1 et 16.2 Autres:"— Transcription de la présentation:

1 1 Estimation du mouvement – 1 GIF : André Zaccarin 2003 (dernière révision: Patrick Hébert 2008) Références: Sonka et al. sections 16.1 et 16.2 Autres: Video processing & communications, Wang et al., Prentice Hall, Estimating Motion in image sequences, Stiller & Konrad, IEEE Signal Processing Mag., July 1999 Introduction techniques for 3-D computer vision, Trucco & Verri, Prentice Hall, 1998 Chapitre 8

2 2 Pourquoi estimer le mouvement ? Traitement vidéo Interpolation temporelle & spatiale, conversion de format vidéo Compression Permet de relier à faible coût (bits pour encodage) une image temporellement corrélée à une autre Vision Estimation de structure à partir du mouvement (3D structure from motion) Tracking Interpolation de vues

3 3 Mouvement 3D & mouvement 2D Tiré de « Video Processing and Communications », Y. Wang et al., Prentice Hall 2001

4 4 Estimation du mouvement: Problème Séquences dimages E 1, E 2, E 3,… Estimer le déplacement des pixels Correspondance entre les pixels Quel pixel de E 2 correspond au pixel E 1 (x,y) ? Exprime le résultat sous la forme dun déplacement relatif E 1 (x,y)= E 2 (x+ d x,y+ d y ) La vitesse: v(x,y) = (d x, d y ) T

5 5 Ce qui cause le mouvement Déplacement dun objet Déplacement de la caméra Plusieurs caméras différentes Ce qui est perçu dans le plan image …

6 6 Mouvement apparent Tiré de « Video Processing and Communications », Y. Wang et al., Prentice Hall 2001 Sphère en rotation Sphère immobile Déplacement de la source

7 7 Définitions Champ de mouvement 2D Projection du champ de mouvement 3D, i.e. lensemble des vecteurs de déplacement Flux optique Champ de mouvement observé ou apparent Peut être différent du vrai champ de mouvement 2D

8 8 Hypothèse: Intensité lumineuse constante Malgré le changement de position, lintensité lumineuse est constante: (x,y) (x+ d x,y+ d y )

9 9 Équation dintensité constante d x, d y, d t sont supposés petits v = (v x, v y ) T Équation de flux optique (on a tout divisé par d t ) * dév. Taylor au premier ordre!

10 10 Équation dintensité constante - autre dérivation

11 11 Mouvement apparent Instant tInstant t+ d t Direction du mouvement perçu:

12 12 Problème douverture Instant tInstant t+ d t Le mouvement perçu est parallèle à la direction du gradient de lintensité.

13 13 Problème douverture (2) Instant tInstant t+ d t Aucun mouvement apparent nest perçu

14 14 E Problème douverture V1 V2 VnVn Lieu des vecteurs v i qui satisfont léquation dintensité constante

15 15 Problème de louverture « Barber pole illusion »

16 16 Équation du flux optique: Région avec intensité constante,E=0 Pas destimation possible Pour un pixel x, on ne peut déterminer v Une équation, 2 inconnues Il faut des contraintes supplémentaires Approches basées Sur lintensité Sur les caractéristiques des images (feature- based)

17 17 Approche basée sur lintensité - 1 Hypothèse: Champ de mouvement dune petite région de limage est constant (Lucas & Kanade) Q: Voisinage de NxN pixels (typ. N=5) Mouvement décrit par v Chaque pixel satisfait léquation de ICste

18 18 Minimisation

19 19 Minimisation – fin On définit A et b: Et on obtient: (équation des moindres carrés) (2 x N 2 ) (1 x N 2 )

20 20 Exemple Fenêtre correspondant au bateau

21 21 Détails dimplantation Filtrer les images avant le calcul des gradients Filtre passe-bas gaussien On peut pondérer les pixels de la fenêtre (typiquement une fonction gaussienne) W: matrice diagonale des poids

22 22 Complément: lapproche ne fonctionne pas Quand le mouvement dans la fenêtre nest pas constant Quand lintensité nest pas constante (pour chacun des points physiques) Quand le mouvement est trop grand… Quand A T A nest pas inversible

23 23 Complément: Quand A T A nest pas inversible… Tous les gradients sont nuls v peut prendre toutes les valeurs Les gradients non-nuls sont parallèles On ne peut estimer que la composante du mouvement parallèle au gradient

24 24 Complément: Méthode basée sur lintensité - 2 Équation à résoudre est sous-contrainte (graphique) (graphique) Régularisation: ajouter un terme de pénalité pour contraindre la solution Favoriser un vecteur v j parmi tous les v i Possibilités: Champ de mouvement à variation lente Amplitude des vecteurs

25 25 Complément: Horn & Schunk Variation spatiale lente du champ de mouvement Terme de pénalité Fonction à minimiser

26 26 Complément: Horn & Schunk: solution Itérative Hypothèse de variation lente Problème aux discontinuités du champ de mouvement Alternative: traiter séparément les régions avec mouvement apparent différent

27 27 Méthode basée sur lintensité - 3 Hypothèse de départ: Hypothèse supplémentaire: Vecteur constant dans une fenêtre (8x8) Hypothèse de translation par rapport au plan de la caméra Ressemble à la stéréo!

28 28 Recherche par appariement Choisir le bloc le plus représentatif parmi tous les blocs possibles à lintérieur dune fenêtre. v=0 t1t1 t2t2

29 29 Critère à minimiser: Somme de différences absolues (SAD) Alternative à la somme des carrés des différences (SSD) Utilisé en compression vidéo

30 30 Un exemple... originale différence Différence compensée

31 31 Complément: Solution sous-pixel Estimation à la précision du pixel Directement de lalgorithme Sous-pixel ½, ¼,… sont possible XXXXX XXXXX XXXXX XXXXX XXXXX XXXXX XXXXX XXXXX

32 32 Estimation du mouvement: 2 problèmes La fonction à minimiser a des minimums locaux Sensible à la solution initiale La minimisation est lourde Temps de calcul Solution: approche multi-résolution Basé sur des pyramides

33 33 Quest-ce quune pyramide Tiré de Gonzalez & Woods, Digital Image Processing, 3ème édition

34 34 Complément: Traitement multi-résolution Proposée par Burt & Adelson (1983) Applications en vision, traitement dimages & compression Avantages Plus rapide: Grande partie du traitement fait à faible résolution Meilleur résultat Initialisation plus facile à faible résolution

35 35 Complément: Exemple de pyramide dimage A9A9 A7A7 A6A6 D9D9 D8D8 D7D7 A6A6 A8A8 Pyramide gaussienne Pyramide laplacienne Tiré de Gonzalez & Woods, Digital Image Processing, 3ème édition

36 36 Complément: Décomposition pyramidale h(i,j) 2 2 g(i,j) AiAi A i-1 DiDi AiAi + - (n x n) (n/2 x n/2) (n x n)

37 37 Complément: reconstruction pyramidale 2 g(i,j) AiAi A i-1 DiDi AiAi + + (n x n) (n/2 x n/2) (n x n)

38 38 Complément: Pyramide dimages h(i,j), g(i,j): filtres gaussiens A i : pyramide gaussienne D i : pyramide de différence de gaussienne (laplacienne) Décomposition valide pour tous filtres A 6 + D 7 + D 8 + D 9 = A 9 Nombre de pixels: 33% de plus N 2 (1 +1/4 + 1/16 + 1/64 + …) = 1.33 x N 2 Pyramide sur-échantillonnée

39 39 Estimation multirésolution Tiré de « Video Processing and Communications », Y.Wang et al., Prentice Hall 2001

40 40 Exemple destimation pyramidale

41 41 Approche multirésolution Sans multi-résolution Niveau 1Niveau 2 Niveau 3

42 42 Complément: les méthodes destimation ne sont pas exclusives Estimation par appariement de blocs Méthode multirésolution Vecteurs avec précision du pixel Estimation sous-pixel avec HS Initialisation avec vecteurs obtenus par appariement Pour HS: nimpose pas la contrainte de variation lente à travers les discontinuités du mouvement Segmentation des pixels selon leurs vecteurs

43 43 Segmentation basée sur le mouvement Sans les blocs (autre approche)

44 44 Références Video processing & communications, Wang et al., Prentice Hall, 2002 Motion estimation in image sequences, Konrad & Stiller, IEEE Signal Processing Mag., July 1999 Introduction techniques for 3-D computer vision, Trucco & Verri, Prentice Hall, 1998


Télécharger ppt "1 Estimation du mouvement – 1 GIF-19263 : André Zaccarin 2003 (dernière révision: Patrick Hébert 2008) Références: Sonka et al. sections 16.1 et 16.2 Autres:"

Présentations similaires


Annonces Google