Estimation du mouvement – 1 Références: Sonka et al. sections 16.1 et 16.2 Autres: Video processing & communications, Wang et al., Prentice Hall, 2002. Estimating Motion in image sequences, Stiller & Konrad, IEEE Signal Processing Mag., July 1999 Introduction techniques for 3-D computer vision, Trucco & Verri, Prentice Hall, 1998 Chapitre 8 GIF-19263 : André Zaccarin 2003 (dernière révision: Patrick Hébert 2008)

Pourquoi estimer le mouvement ? Traitement vidéo Interpolation temporelle & spatiale, conversion de format vidéo Compression Permet de relier à faible coût (bits pour encodage) une image temporellement corrélée à une autre Vision Estimation de structure à partir du mouvement (3D structure from motion) Tracking Interpolation de vues

Mouvement 3D & mouvement 2D Tiré de « Video Processing and Communications », Y. Wang et al., Prentice Hall 2001

Estimation du mouvement: Problème Séquences d’images E1, E2, E3,… Estimer le déplacement des pixels Correspondance entre les pixels Quel pixel de E2 correspond au pixel E1(x,y) ? Exprime le résultat sous la forme d’un déplacement relatif E1(x,y)= E2(x+ dx,y+ dy) La vitesse: v(x,y) = (dx, dy)T

Ce qui cause le mouvement Déplacement d’un objet Déplacement de la caméra Plusieurs caméras différentes Ce qui est perçu dans le plan image …

Mouvement apparent Sphère en Sphère rotation immobile Déplacement de la source Sphère en rotation Sphère immobile Tiré de « Video Processing and Communications », Y. Wang et al., Prentice Hall 2001

Définitions Champ de mouvement 2D Flux optique Projection du champ de mouvement 3D, i.e. l’ensemble des vecteurs de déplacement Flux optique Champ de mouvement observé ou apparent Peut être différent du vrai champ de mouvement 2D

Hypothèse: Intensité lumineuse constante (x,y) (x+ dx,y+ dy) Malgré le changement de position, l’intensité lumineuse est constante:

Équation d’intensité constante * dév. Taylor au premier ordre! (on a tout divisé par dt) Équation de flux optique dx, dy, dt sont supposés petits v = (vx, vy)T

Équation d’intensité constante - autre dérivation

Mouvement apparent Instant t Instant t+ dt Direction du mouvement perçu:

Problème d’ouverture Instant t Instant t+ dt Le mouvement perçu est parallèle à la direction du gradient de l’intensité.

Problème d’ouverture (2) Instant t Instant t+ dt Aucun mouvement apparent n’est perçu

Problème d’ouverture V1 E Lieu des vecteurs vi qui satisfont l’équation d’intensité constante V1 E Vn V2

Problème de l’ouverture « Barber pole illusion »

Équation du flux optique: Région avec intensité constante, E=0 Pas d’estimation possible Pour un pixel x, on ne peut déterminer v Une équation, 2 inconnues Il faut des contraintes supplémentaires Approches basées Sur l’intensité Sur les caractéristiques des images (feature-based)

Approche basée sur l’intensité - 1 Hypothèse: Champ de mouvement d’une petite région de l’image est constant (Lucas & Kanade) Q: Voisinage de NxN pixels (typ. N=5) Mouvement décrit par v Chaque pixel satisfait l’équation de ICste

Minimisation

Minimisation – fin On définit A et b: (2 x N2) (1 x N2) Et on obtient: (équation des moindres carrés)

Exemple Fenêtre correspondant au bateau

Détails d’implantation Filtrer les images avant le calcul des gradients Filtre passe-bas gaussien On peut pondérer les pixels de la fenêtre (typiquement une fonction gaussienne) W: matrice diagonale des poids

Complément: l’approche ne fonctionne pas Quand le mouvement dans la fenêtre n’est pas constant Quand l’intensité n’est pas constante (pour chacun des points physiques) Quand le mouvement est trop grand… Quand ATA n’est pas inversible

Complément: Quand ATA n’est pas inversible… Tous les gradients sont nuls v peut prendre toutes les valeurs Les gradients non-nuls sont parallèles On ne peut estimer que la composante du mouvement parallèle au gradient

Complément: Méthode basée sur l’intensité - 2 Équation à résoudre est sous-contrainte (graphique) Régularisation: ajouter un terme de pénalité pour contraindre la solution Favoriser un vecteur vj parmi tous les vi Possibilités: Champ de mouvement à variation lente Amplitude des vecteurs

Complément: Horn & Schunk Variation spatiale lente du champ de mouvement Terme de pénalité Fonction à minimiser

Complément: Horn & Schunk: solution Itérative Hypothèse de variation lente Problème aux discontinuités du champ de mouvement Alternative: traiter séparément les régions avec mouvement apparent différent

Méthode basée sur l’intensité - 3 Hypothèse de départ: Ressemble à la stéréo! Hypothèse supplémentaire: Vecteur constant dans une fenêtre (8x8) Hypothèse de translation par rapport au plan de la caméra

Recherche par appariement v=0 t1 t2 Choisir le bloc le plus représentatif parmi tous les blocs possibles à l’intérieur d’une fenêtre.

Critère à minimiser: Somme de différences absolues (SAD) Alternative à la somme des carrés des différences (SSD) Utilisé en compression vidéo

Un exemple... originale différence Différence compensée

Complément: Solution sous-pixel Estimation à la précision du pixel Directement de l’algorithme Sous-pixel ½, ¼,… sont possible X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X

Estimation du mouvement: 2 problèmes La fonction à minimiser a des minimums locaux Sensible à la solution initiale La minimisation est lourde Temps de calcul Solution: approche multi-résolution Basé sur des pyramides

Qu’est-ce qu’une pyramide Tiré de Gonzalez & Woods, Digital Image Processing, 3ème édition

Complément: Traitement multi-résolution Proposée par Burt & Adelson (1983) Applications en vision, traitement d’images & compression Avantages Plus rapide: Grande partie du traitement fait à faible résolution Meilleur résultat Initialisation plus facile à faible résolution

Complément: Exemple de pyramide d’image Pyramide gaussienne A9 A8 A7 A6 D9 A6 D7 D8 Pyramide laplacienne Tiré de Gonzalez & Woods, Digital Image Processing, 3ème édition

Complément: Décomposition pyramidale h(i,j) 2 Ai-1 (n/2 x n/2) 2 g(i,j) A’i Ai - Di + (n x n) (n x n)

Complément: reconstruction pyramidale Ai-1 (n/2 x n/2) 2 g(i,j) A’i Di + Ai (n x n) + (n x n)

Complément: Pyramide d’images h(i,j), g(i,j): filtres gaussiens Ai: pyramide gaussienne Di: pyramide de différence de gaussienne (laplacienne) Décomposition valide pour tous filtres A6 + D7 + D8 + D9 = A9 Nombre de pixels: 33% de plus N2 (1 +1/4 + 1/16 + 1/64 + …) = 1.33 x N2 Pyramide sur-échantillonnée

Estimation multirésolution Tiré de « Video Processing and Communications », Y.Wang et al., Prentice Hall 2001

Exemple d’estimation pyramidale

Approche multirésolution Sans multi-résolution Niveau 1 Niveau 2 Niveau 3

Complément: les méthodes d’estimation ne sont pas exclusives Estimation par appariement de blocs Méthode multirésolution Vecteurs avec précision du pixel Estimation sous-pixel avec HS Initialisation avec vecteurs obtenus par appariement Pour HS: n’impose pas la contrainte de variation lente à travers les discontinuités du mouvement Segmentation des pixels selon leurs vecteurs

Segmentation basée sur le mouvement Sans les blocs (autre approche)

Références Video processing & communications, Wang et al., Prentice Hall, 2002 Motion estimation in image sequences, Konrad & Stiller, IEEE Signal Processing Mag., July 1999 Introduction techniques for 3-D computer vision, Trucco & Verri, Prentice Hall, 1998