Estimation du mouvement – 1

Présentation au sujet: "Estimation du mouvement – 1"— Transcription de la présentation:

1 Estimation du mouvement – 1
Références: Sonka et al. sections 16.1 et 16.2 Autres: Video processing & communications, Wang et al., Prentice Hall, 2002. Estimating Motion in image sequences, Stiller & Konrad, IEEE Signal Processing Mag., July 1999 Introduction techniques for 3-D computer vision, Trucco & Verri, Prentice Hall, 1998 Chapitre 8 GIF : André Zaccarin 2003 (dernière révision: Patrick Hébert 2008)

2 Pourquoi estimer le mouvement ?
Traitement vidéo Interpolation temporelle & spatiale, conversion de format vidéo Compression Permet de relier à faible coût (bits pour encodage) une image temporellement corrélée à une autre Vision Estimation de structure à partir du mouvement (3D structure from motion) Tracking Interpolation de vues

3 Mouvement 3D & mouvement 2D
Tiré de « Video Processing and Communications », Y. Wang et al., Prentice Hall 2001

4 Estimation du mouvement: Problème
Séquences d’images E1, E2, E3,… Estimer le déplacement des pixels Correspondance entre les pixels Quel pixel de E2 correspond au pixel E1(x,y) ? Exprime le résultat sous la forme d’un déplacement relatif E1(x,y)= E2(x+ dx,y+ dy) La vitesse: v(x,y) = (dx, dy)T

5 Ce qui cause le mouvement
Déplacement d’un objet Déplacement de la caméra Plusieurs caméras différentes Ce qui est perçu dans le plan image …

6 Mouvement apparent Sphère en Sphère rotation immobile
Déplacement de la source Sphère en rotation Sphère immobile Tiré de « Video Processing and Communications », Y. Wang et al., Prentice Hall 2001

7 Définitions Champ de mouvement 2D Flux optique
Projection du champ de mouvement 3D, i.e. l’ensemble des vecteurs de déplacement Flux optique Champ de mouvement observé ou apparent Peut être différent du vrai champ de mouvement 2D

8 Hypothèse: Intensité lumineuse constante
(x,y) (x+ dx,y+ dy) Malgré le changement de position, l’intensité lumineuse est constante:

9 Équation d’intensité constante
* dév. Taylor au premier ordre! (on a tout divisé par dt) Équation de flux optique dx, dy, dt sont supposés petits v = (vx, vy)T

10 Équation d’intensité constante - autre dérivation

11 Mouvement apparent Instant t Instant t+ dt
Direction du mouvement perçu:

12 Problème d’ouverture Instant t Instant t+ dt
Le mouvement perçu est parallèle à la direction du gradient de l’intensité.

13 Problème d’ouverture (2)
Instant t Instant t+ dt Aucun mouvement apparent n’est perçu

14 Problème d’ouverture V1 E
Lieu des vecteurs vi qui satisfont l’équation d’intensité constante V1 E Vn V2

15 Problème de l’ouverture
« Barber pole illusion »

16 Équation du flux optique:
Région avec intensité constante, E=0 Pas d’estimation possible Pour un pixel x, on ne peut déterminer v Une équation, 2 inconnues Il faut des contraintes supplémentaires Approches basées Sur l’intensité Sur les caractéristiques des images (feature-based)

17 Approche basée sur l’intensité - 1
Hypothèse: Champ de mouvement d’une petite région de l’image est constant (Lucas & Kanade) Q: Voisinage de NxN pixels (typ. N=5) Mouvement décrit par v Chaque pixel satisfait l’équation de ICste

18 Minimisation

19 Minimisation – fin On définit A et b:
(2 x N2) (1 x N2) Et on obtient: (équation des moindres carrés)

20 Exemple Fenêtre correspondant au bateau

21 Détails d’implantation
Filtrer les images avant le calcul des gradients Filtre passe-bas gaussien On peut pondérer les pixels de la fenêtre (typiquement une fonction gaussienne) W: matrice diagonale des poids

22 Complément: l’approche ne fonctionne pas
Quand le mouvement dans la fenêtre n’est pas constant Quand l’intensité n’est pas constante (pour chacun des points physiques) Quand le mouvement est trop grand… Quand ATA n’est pas inversible

23 Complément: Quand ATA n’est pas inversible…
Tous les gradients sont nuls v peut prendre toutes les valeurs Les gradients non-nuls sont parallèles On ne peut estimer que la composante du mouvement parallèle au gradient

24 Complément: Méthode basée sur l’intensité - 2
Équation à résoudre est sous-contrainte (graphique) Régularisation: ajouter un terme de pénalité pour contraindre la solution Favoriser un vecteur vj parmi tous les vi Possibilités: Champ de mouvement à variation lente Amplitude des vecteurs

25 Complément: Horn & Schunk
Variation spatiale lente du champ de mouvement Terme de pénalité Fonction à minimiser

26 Complément: Horn & Schunk: solution
Itérative Hypothèse de variation lente Problème aux discontinuités du champ de mouvement Alternative: traiter séparément les régions avec mouvement apparent différent

27 Méthode basée sur l’intensité - 3
Hypothèse de départ: Ressemble à la stéréo! Hypothèse supplémentaire: Vecteur constant dans une fenêtre (8x8) Hypothèse de translation par rapport au plan de la caméra

28 Recherche par appariement
v=0 t1 t2 Choisir le bloc le plus représentatif parmi tous les blocs possibles à l’intérieur d’une fenêtre.

29 Critère à minimiser: Somme de différences absolues (SAD)
Alternative à la somme des carrés des différences (SSD) Utilisé en compression vidéo

30 Un exemple... originale différence Différence compensée

31 Complément: Solution sous-pixel
Estimation à la précision du pixel Directement de l’algorithme Sous-pixel ½, ¼,… sont possible X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X

32 Estimation du mouvement: 2 problèmes
La fonction à minimiser a des minimums locaux Sensible à la solution initiale La minimisation est lourde Temps de calcul Solution: approche multi-résolution Basé sur des pyramides

33 Qu’est-ce qu’une pyramide
Tiré de Gonzalez & Woods, Digital Image Processing, 3ème édition

34 Complément: Traitement multi-résolution
Proposée par Burt & Adelson (1983) Applications en vision, traitement d’images & compression Avantages Plus rapide: Grande partie du traitement fait à faible résolution Meilleur résultat Initialisation plus facile à faible résolution

35 Complément: Exemple de pyramide d’image
Pyramide gaussienne A9 A8 A7 A6 D9 A6 D7 D8 Pyramide laplacienne Tiré de Gonzalez & Woods, Digital Image Processing, 3ème édition

36 Complément: Décomposition pyramidale
h(i,j) 2 Ai-1 (n/2 x n/2) 2 g(i,j) A’i Ai - Di + (n x n) (n x n)

37 Complément: reconstruction pyramidale
Ai-1 (n/2 x n/2) 2 g(i,j) A’i Di + Ai (n x n) + (n x n)

38 Complément: Pyramide d’images
h(i,j), g(i,j): filtres gaussiens Ai: pyramide gaussienne Di: pyramide de différence de gaussienne (laplacienne) Décomposition valide pour tous filtres A6 + D7 + D8 + D9 = A9 Nombre de pixels: 33% de plus N2 (1 +1/4 + 1/16 + 1/64 + …) = 1.33 x N2 Pyramide sur-échantillonnée

39 Estimation multirésolution
Tiré de « Video Processing and Communications », Y.Wang et al., Prentice Hall 2001

40 Exemple d’estimation pyramidale

41 Approche multirésolution
Sans multi-résolution Niveau 1 Niveau 2 Niveau 3

42 Complément: les méthodes d’estimation ne sont pas exclusives
Estimation par appariement de blocs Méthode multirésolution Vecteurs avec précision du pixel Estimation sous-pixel avec HS Initialisation avec vecteurs obtenus par appariement Pour HS: n’impose pas la contrainte de variation lente à travers les discontinuités du mouvement Segmentation des pixels selon leurs vecteurs

43 Segmentation basée sur le mouvement
Sans les blocs (autre approche)

44 Références Video processing & communications, Wang et al., Prentice Hall, 2002 Motion estimation in image sequences, Konrad & Stiller, IEEE Signal Processing Mag., July 1999 Introduction techniques for 3-D computer vision, Trucco & Verri, Prentice Hall, 1998