La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 MOUVEMENT Estimation 2 PLAN DU CHAPITRE Champ de vitesse apparent et applications Techniques par appariement.

Présentations similaires


Présentation au sujet: "1 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 MOUVEMENT Estimation 2 PLAN DU CHAPITRE Champ de vitesse apparent et applications Techniques par appariement."— Transcription de la présentation:

1 1 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 MOUVEMENT Estimation 2 PLAN DU CHAPITRE Champ de vitesse apparent et applications Techniques par appariement Techniques différentielles 1 : Lucas et Kanade Techniques différentielles 2 : Horn et Schunck

2 2 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Calcul du mouvement apparent (2) Le calcul du mouvement apparent local consiste à associer à chaque pixel (x,y,t) de I un vecteur (v x t,v y t ) représentant la vitesse apparente du pixel (x,y) à linstant t. Calcul du flot optique (= Champ de mouvement apparent) Idéalement : le vecteur (v x t,v y t ) représente la projection sur le plan image du vecteur vitesse (V x t,V y t,V z t ) des objets de la scène par rapport au repère image (O,x,y,z) (grandeur objective). On le calcule à partir des variations temporelles de la fonction I(x,y,t). (1) Le calcul dun mouvement apparent global (mise en correspondance) entre deux images correspond à lestimation des paramètres dune transformation affectant tous les points de limage : translation, rotation, homothétie, affinité,...

3 3 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Exemples de flot optique Source : Pierre Kornprobst - INRIA

4 4 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Quelles informations peut fournir le flot optique ? mouvement dominant « discontinuités », singularités contoursfoyer dexpansion (FOE) niveau conceptuel * temps avant collision * profondeur * orientation de surface * ego-mouvement

5 5 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Distortion perspective On note (X,Y,Z) les coordonnées dun point de la scène. (x,y) les coordonnées du même point projeté dans limage f la distance focale de la caméra Distortion perspective (modèle sténopé) : f Z X x

6 6 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Mouvement projectif Supposons que la caméra se déplace à la vitesse (-X,-Y,-Z) par rapport à une scène statique (scène non déformable, pas dobjets mobiles), alors tous les points de la scène sont à la même vitesse (X,Y,Z) par rapport à la caméra (avec X = dX/dt ; Y = dY/dt ; Z = dZ/dt). En dérivant par rapport au temps des équations de distorsion perspective : Soit :

7 7 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Un modèle plus réaliste… En réalité, le centre optique (projection du diaphragme sur le plan image) nest jamais au centre de limage mais en un point (x c,y c ). De plus, la distortion perspective nest jamais la même dans les deux directions, et la distance focale est remplacée par le couple (f x,f y ) : Les paramètres { x c, y c, f x, f y }dépendent du capteur et des paramètres de loptique. Ils sont estimés dans une phase de calibration de la caméra. Dautre part, si on prend en compte la composante de rotation = ( x, y, z ) de la caméra par rapport à la scène : facteurs de perspective coordonnées du centre optique composante de translation composante de rotation

8 8 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Translation pure et profondeur Translation pure de la caméra selon laxe de x, soit T = (-X,0,0) et = (0,0,0) soit Vitesses apparentes horizontales, de modules inversement proportionnels à la profondeur. Translation pure de la caméra selon laxe de z, soit T = (0,0,-Z) et = (0,0,0) soit Zoom sur limage avec un foyer dexpansion au niveau du centre optique.

9 9 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Soit (X 0,Y 0,Z 0 ) un point de la scène. Après un temps t, il est projeté sur limage au point (x t,y t ), avec : (x 0,y 0 ) Le foyer dexpansion (FOE) Lors dune translation de la caméra dans une scène statique, les directions de vitesse des points projetés sur le plan image converge vers un point du plan projectif appelé FOE. Dans la suite, on suppose que la caméra se déplace selon la translation T = (-X,-Y,-Z). Pour simplifier les notations, on suppose de plus que f x = f y = f et (x c,y c ) = (0,0). (x FOE,y FOE )

10 10 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Temps avant collision f Z foe P(t 1 ) et donc temps avant collision d P(t 2 ) mouvement dans une scène statique :

11 11 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Calcul du flot optique : limites et contraintes ! (1) On suppose : MOUVEMENT VARIATION DINTENSITE ( ) On suppose que lobservation dune variation dintensité dans limage traduit nécessairement lexistence dun mouvement dans la scène. Cela correspond à une hypothèse déclairement constant sur la scène. ( ) Cest la variation de lintensité dans limage qui doit permettre de retrouver le mouvement apparent de lobjet dans la scène. On suppose donc que la lumière réfléchie par un point de la scène reste constante indépendamment du mouvement relatif scène / caméra. Lhypothèse sous-jacente est que les objets sont à surface lambertienne : lumière incidente lumière réfléchie Lintensité de la lumière réfléchie est la même dans toutes les directions.

12 12 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Calcul du flot optique : limites et contraintes ! (2) PROBLEME DE LOUVERTURE On n « accède » au mouvement apparent dun point que grâce à un calcul effectué dans un voisinage borné de ce point. On ne peut calculer que la composante du mouvement dans la direction du gradient (i.e. perpendiculaire au contour). Source : PROJET TELESUN

13 13 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Technique par appariement Cest la somme des différences au carrée (SSD) de 2 blocs : ItIt y x I t+1 y + y x + x typiquement : B de taille 9×9, 15×15... On considère B Z 2 voisinage de lorigine : Mesure dappariement : Solution du flot optique : I K (x,y) B (x+ x,y+ y) K I pour limiter le temps de calcul + stratégies doptimisation…

14 14 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 K y x Appariement : stratégies doptimisation K y x Le principe des stratégies doptimisation est de parcourir « intelligemment » lespace de recherche K pour minimiser la complexité de calcul de loptimum dappariement : K y x EXHAUSTIF SEPARE HIERARCHIQUE DESCENTE DE GRADIENT y K x K y x Ces différentes techniques ne sont pas exclusives, et peuvent être combinées. En labsence dhypothèse sur la fonction dappariement (séparabilité, convexité...) dans le domaine K, seul le parcours exhaustif garantit le calcul dun optimum global sur K. SEQUENTIEL Pour chaque point de K, on ne calcule la somme des différences que tant quon demeure inférieur à un seuil T. Le meilleur déplacement correspond à celui pour lequel le plus de points ont été examinés.

15 15 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Exemple : normes mpeg de codage video Découpage en blocs 16×16 ou 32×32. Hypothèse de même déplacement pour tous les pixels du blocs. Codage : déplacements + erreurs comprimées. Compression statique JPEG : Transformée en cosinus discrète Quantification Codage entropique Flot optique sous-résolu Trame prédite Erreurs de prédiction Référence : VcDemo TU Delft

16 16 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Techniques différentielles (1) LUCAS & KANADE 1981 Le principe de la méthode de Lucas et Kanade est de calculer le minimum de la fonction dappariement quadratique (SSD), en supposant que le déplacement recherché est petit, comme le point où les dérivées de la fonction dappariement sannulent, par rapport à x et à y. Sous lhypothèse que I est régulière et que le déplacement ( x, y ) est petit, on écrit le développement de Taylor à lordre 1 de I : La fonction dappariement A devient :

17 17 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Techniques différentielles (1) LUCAS & KANADE 1981 Equations dEuler-Lagrange de minimisation de A : Annulation des dérivées premières par rapport à x et à y : Ce qui revient à la résolution du système linéaire : avecet et v = (v x,v y ) le déplacement recherché. La résolution du système (S) est finalement réalisée par une méthode itérative, type Gauss-Seidel : Initialisation : Pour k > 0 :

18 18 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Techniques différentielles (1) LUCAS & KANADE 1981 Lexistence et la stabilité dune solution au système (S) dépend de la matrice H : NB : On retrouvera cette matrice au chapitre 3 pour le calcul des points dintérêt… La matrice H doit être de rang 2 « au sens fort », cest-à-dire posséder 2 valeurs propres (, ) grandes. Les auteurs proposent dutiliser = min(, ) comme indicateur de confiance du déplacement calculé. Cette propriété correspond à une interprétation algébrique du problème de louverture…

19 19 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Rang 0 : zone homogène Zone faiblement texturée : 2 valeurs propres faibles Fonction dappariement A Sources : Steven Seitz UW-Seattle

20 20 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Rang 1 : contour simple Contour rectiligne : 1 seule grande valeur propre Fonction dappariement A Sources : Steven Seitz UW-Seattle

21 21 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Rang 2 : point anguleux Point anguleux : 2 valeurs propres importantes Fonction dappariement A Sources : Steven Seitz UW-Seattle

22 22 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Techniques différentielles (2) Exploitation directe de la contrainte (1) : Formule de Taylor Termes dordres supérieures négligés SOIT : Equation de contrainte du mouvement apparent (ECMA) ou : équation du flot optique avec gradient spatial inconnues gradient temporel HORN & SCHUNCK 1981

23 23 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Interprétation de lECMA (1) En faisant lhypothèse dune certaine régularité du champ et de petits déplacements, les changements temporels dans limage sont équivalents (au premier ordre) au produit scalaire des changements spatiaux et de la vitesse apparente. (2) Droite de contrainte : v pb douverture sous-contrainte (1 eq°, 2 inc.) v vitesse vraie vitesse calculée

24 24 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Résolution de lECMA HORN & SCHUNCK 1981 Résolution de lECMA par ajout dune contrainte de régularité. Régularisation du pb mal posé par hypothèse de champ lisse de déplacement. ECMA REGULARISATION facteur de pondération Minimisation dune fonction de coût :

25 25 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Résolution de lECMA HORN & SCHUNCK Minimisation dune fonctionnelle quadratique : avec : (u,v) composantes du champ (inconnues) à calculer {I x, I y, I t } dérivées partielles de limage {u x, u y,v x, v y } dérivées partielles des composantes du champ Annulation des dérivées premières / u(…) = 0 ; / v(…) = 0 Equations dEuler-Lagrange de minimisation de C : soit : avec : laplaciens de u et v

26 26 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Résolution de lECMA 2.Approximation du Laplacien : = moyenne de f dans un certain voisinage soit : 3.Schéma itératif de résolution : Méthode de Gauss-Seidel : ALGORITHME DE HORN & SCHUNCK Initialisation : Répéter jusquà convergence : avec : Soit, en reprenant les notations originales :

27 27 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Estimation multi-échelles Niveau (1) initialisation (2) raffinement Avantages : Calcul de grands déplacements Adaptation du niveau de régularisation.

28 28 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Principe du calcul multi-échelles ALGORITHME DIFFERENTIEL Initialisation : Répéter jusquà convergence : Init. : Répéter jusquà convergence : …/… ALGORITHME PAR CORRELATION I B (x+ x,y+ y) avec :

29 29 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Conclusion Chapitre 2 EXPLOITATION DU FLOT OPTIQUE Mouvement dominant Profondeur Temps avant collision METHODES PAR APPARIEMENT METHODES DIFFERENTIELLES Lucas et Kanade Horn et Schunck METHODES MULTI-ECHELLES

30 30 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Bibliographie Chapitre 2 B.D. Lucas & T. Kanade 1981 « An iterative image registration technique with an application to stereo vision » International Journal of Computer Vision and Artificial Intelligence B.K.P Horn & B. Schunck 1981 « Determining Optical Flow » Artificial Intelligence D.H. Ballard & C.M Brown 1982 « Computer Vision » Prentice Hall (Ch. 3, Ch. 7) J.M. Jolion & A. Rosenfeld 1994 « A pyramid framework for early vision » Kluwer Academic Publishers Dordrecht, NL R. Jain, R. Kasturi & B. Schunck 1995 « Machine Vision » McGraw-Hill Inc. (Ch.14)


Télécharger ppt "1 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 MOUVEMENT Estimation 2 PLAN DU CHAPITRE Champ de vitesse apparent et applications Techniques par appariement."

Présentations similaires


Annonces Google