La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Analyse du mouvement Antoine MANZANERA – ENSTA/LEI Estimation & Poursuite.

Présentations similaires


Présentation au sujet: "1 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Analyse du mouvement Antoine MANZANERA – ENSTA/LEI Estimation & Poursuite."— Transcription de la présentation:

1 1 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Analyse du mouvement Antoine MANZANERA – ENSTA/LEI Estimation & Poursuite

2 2 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Applications et enjeux (1) Surveillance de zone Compression et Indexation (University of Surrey)

3 3 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Applications et enjeux (2) Mouvement fluide Poursuite automatique Navigation robotique (Ecole des Mines / CMM)

4 4 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Quelle information extraire ? Niveau conceptuel Quantité dinformation structure Modèle non rigide nombre position vitesse taille forme Modèle rigide alarme Carte binaire mobile/fixe Champ de déplacement Calculs bas niveau paramètres de mise en correspondance

5 5 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Détection – Estimation – Poursuite DETECTION Certaine continuité temporelle Mouvement de la caméra nul ou très simple. Objectif : identifier dans chaque image les pixels appartenant à des objets mobiles ESTIMATION Continuité temporelle Plutôt « traiter après » Objectif : calculer le mouvement apparent (vitesse instantanée) de chaque pixel Chapitre 1 POURSUITE Discontinuité temporelle Plutôt « traiter avant » Objectif : apparier certaines structures spatiales pour chaque couple dimages. Chapitre 2

6 6 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 MOUVEMENT Estimation 1 PLAN DU CHAPITRE Champ de vitesse apparent et applications Techniques par appariement Techniques différentielles 1 : Lucas et Kanade Techniques différentielles 2 : Horn et Schunck

7 7 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Calcul du mouvement apparent (2) Le calcul du mouvement apparent local consiste à associer à chaque pixel (x,y,t) de I un vecteur (v x t,v y t ) représentant la vitesse apparente du pixel (x,y) à linstant t. Calcul du flot optique (= Champ de mouvement apparent) Idéalement : le vecteur (v x t,v y t ) représente la projection sur le plan image du vecteur vitesse (V x t,V y t,V z t ) des objets de la scène par rapport au repère image (O,x,y,z) (grandeur objective). On le calcule à partir des variations temporelles de la fonction I(x,y,t). (1) Le calcul dun mouvement apparent global (mise en correspondance) entre deux images correspond à lestimation des paramètres dune transformation affectant tous les points de limage : translation, rotation, homothétie, affinité,...

8 8 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Exemples de flot optique Source : Pierre Kornprobst - INRIA

9 9 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Quelles informations peut fournir le flot optique ? mouvement dominant « discontinuités », singularités contoursfoyer dexpansion (FOE) niveau conceptuel * temps avant collision * profondeur * orientation de surface * ego-mouvement

10 10 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Distortion perspective On note (X,Y,Z) les coordonnées dun point de la scène. (x,y) les coordonnées du même point projeté dans limage f la distance focale de la caméra Distortion perspective (modèle sténopé) : f Z X x

11 11 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Mouvement projectif Supposons que la caméra se déplace à la vitesse (-X,-Y,-Z) par rapport à une scène statique (scène non déformable, pas dobjets mobiles), alors tous les points de la scène sont à la même vitesse (X,Y,Z) par rapport à la caméra (avec X = dX/dt ; Y = dY/dt ; Z = dZ/dt). En dérivant par rapport au temps des équations de distorsion perspective : Soit :

12 12 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Un modèle plus réaliste… En réalité, le centre optique (projection du diaphragme sur le plan image) nest jamais au centre de limage mais en un point (x c,y c ). De plus, la distortion perspective nest jamais la même dans les deux directions, et la distance focale est remplacée par le couple (f x,f y ) : Les paramètres { x c, y c, f x, f y }dépendent du capteur et des paramètres de loptique. Ils sont estimés dans une phase de calibration de la caméra. Dautre part, si on prend en compte la composante de rotation = ( x, y, z ) de la caméra par rapport à la scène : facteurs de perspective coordonnées du centre optique composante de translation composante de rotation

13 13 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Translation pure et profondeur Translation pure de la caméra selon laxe de x, soit T = (-X,0,0) et = (0,0,0) soit Vitesses apparentes horizontales, de modules inversement proportionnels à la profondeur. Translation pure de la caméra selon laxe de z, soit T = (0,0,-Z) et = (0,0,0) soit Zoom sur limage avec un foyer dexpansion au niveau du centre optique.

14 14 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Soit (X 0,Y 0,Z 0 ) un point de la scène. Après un temps t, il est projeté sur limage au point (x t,y t ), avec : (x 0,y 0 ) Le foyer dexpansion (FOE) Lors dune translation de la caméra dans une scène statique, les directions de vitesse des points projetés sur le plan image converge vers un point du plan projectif appelé FOE. Dans la suite, on suppose que la caméra se déplace selon la translation T = (-X,-Y,-Z). Pour simplifier les notations, on suppose de plus que f x = f y = f et (x c,y c ) = (0,0). (x FOE,y FOE )

15 15 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Temps avant collision f Z foe P(t 1 ) et donc temps avant collision d P(t 2 ) mouvement dans une scène statique :

16 16 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Calcul du flot optique : limites et contraintes ! (1) On suppose : MOUVEMENT VARIATION DINTENSITE ( ) On suppose que lobservation dune variation dintensité dans limage traduit nécessairement lexistence dun mouvement dans la scène. Cela correspond à une hypothèse déclairement constant sur la scène. ( ) Cest la variation de lintensité dans limage qui doit permettre de retrouver le mouvement apparent de lobjet dans la scène. On suppose donc que la lumière réfléchie par un point de la scène reste constante indépendamment du mouvement relatif scène / caméra. Lhypothèse sous-jacente est que les objets sont à surface lambertienne : lumière incidente lumière réfléchie Lintensité de la lumière réfléchie est la même dans toutes les directions.

17 17 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Calcul du flot optique : limites et contraintes ! (2) PROBLEME DE LOUVERTURE On n « accède » au mouvement apparent dun point que grâce à un calcul effectué dans un voisinage borné de ce point. On ne peut calculer que la composante du mouvement dans la direction du gradient (i.e. perpendiculaire au contour). Source : PROJET TELESUN

18 18 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Technique par appariement Cest la somme des différences au carrée (SSD) de 2 blocs : ItIt y x I t+1 y + y x + x typiquement : B de taille 9×9, 15×15... On considère B Z 2 voisinage de lorigine : Mesure dappariement : Solution du flot optique : I K (x,y) B (x+ x,y+ y) K I pour limiter le temps de calcul + stratégies doptimisation…

19 19 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 K y x Appariement : stratégies doptimisation K y x Le principe des stratégies doptimisation est de parcourir « intelligemment » lespace de recherche K pour minimiser la complexité de calcul de loptimum dappariement : K y x EXHAUSTIF SEPARE HIERARCHIQUE DESCENTE DE GRADIENT y K x K y x Ces différentes techniques ne sont pas exclusives, et peuvent être combinées. En labsence dhypothèse sur la fonction dappariement (séparabilité, convexité...) dans le domaine K, seul le parcours exhaustif garantit le calcul dun optimum global sur K. SEQUENTIEL Pour chaque point de K, on ne calcule la somme des différences que tant quon demeure inférieur à un seuil T. Le meilleur déplacement correspond à celui pour lequel le plus de points ont été examinés.

20 20 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Exemple : normes mpeg de codage video Découpage en blocs 16×16 ou 32×32. Hypothèse de même déplacement pour tous les pixels du blocs. Codage : déplacements + erreurs comprimées. Compression statique JPEG : Transformée en cosinus discrète Quantification Codage entropique Flot optique sous-résolu Trame prédite Erreurs de prédiction Référence : VcDemo TU Delft

21 21 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Techniques différentielles (1) LUCAS & KANADE 1981 Le principe de la méthode de Lucas et Kanade est de calculer le minimum de la fonction dappariement quadratique (SSD), en supposant que le déplacement recherché est petit, comme le point où les dérivées de la fonction dappariement sannulent, par rapport à x et à y. Sous lhypothèse que I est régulière et que le déplacement ( x, y ) est petit, on écrit le développement de Taylor à lordre 1 de I : La fonction dappariement A devient :

22 22 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Techniques différentielles (1) LUCAS & KANADE 1981 Equations dEuler-Lagrange de minimisation de A : Annulation des dérivées premières par rapport à x et à y : Ce qui revient à la résolution du système linéaire : avecet et v = (v x,v y ) le déplacement recherché. La résolution du système (S) est finalement réalisée par une méthode itérative, type Gauss-Seidel : Initialisation : Pour k > 0 :

23 23 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Techniques différentielles (1) LUCAS & KANADE 1981 Lexistence et la stabilité dune solution au système (S) dépend de la matrice H : NB : On retrouvera cette matrice au chapitre 2 pour le calcul des points dintérêt… La matrice H doit être de rang 2 « au sens fort », cest-à-dire posséder 2 valeurs propres (, ) grandes. Les auteurs proposent dutiliser = min(, ) comme indicateur de confiance du déplacement calculé. Cette propriété correspond à une interprétation algébrique du problème de louverture…

24 24 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Rang 0 : zone homogène Zone faiblement texturée : 2 valeurs propres faibles Fonction dappariement A Sources : Steven Seitz UW-Seattle

25 25 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Rang 1 : contour simple Contour rectiligne : 1 seule grande valeur propre Fonction dappariement A Sources : Steven Seitz UW-Seattle

26 26 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Rang 2 : point anguleux Point anguleux : 2 valeurs propres importantes Fonction dappariement A Sources : Steven Seitz UW-Seattle

27 27 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Techniques différentielles (2) Exploitation directe de la contrainte (1) : Formule de Taylor Termes dordres supérieures négligés SOIT : Equation de contrainte du mouvement apparent (ECMA) ou : équation du flot optique avec gradient spatial inconnues gradient temporel HORN & SCHUNCK 1981

28 28 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Interprétation de lECMA (1) En faisant lhypothèse dune certaine régularité du champ et de petits déplacements, les changements temporels dans limage sont équivalents (au premier ordre) au produit scalaire des changements spatiaux et de la vitesse apparente. (2) Droite de contrainte : v pb douverture sous-contrainte (1 eq°, 2 inc.) v vitesse vraie vitesse calculée

29 29 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Résolution de lECMA HORN & SCHUNCK 1981 Résolution de lECMA par ajout dune contrainte de régularité. Régularisation du pb mal posé par hypothèse de champ lisse de déplacement. ECMA REGULARISATION facteur de pondération Minimisation dune fonction de coût :

30 30 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Résolution de lECMA HORN & SCHUNCK Minimisation dune fonctionnelle quadratique : avec : (u,v) composantes du champ (inconnues) à calculer {I x, I y, I t } dérivées partielles de limage {u x, u y,v x, v y } dérivées partielles des composantes du champ Annulation des dérivées premières / u(…) = 0 ; / v(…) = 0 Equations dEuler-Lagrange de minimisation de C : soit : avec : laplaciens de u et v

31 31 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Résolution de lECMA 2.Approximation du Laplacien : = moyenne de f dans un certain voisinage soit : 3.Schéma itératif de résolution : Méthode de Gauss-Seidel : ALGORITHME DE HORN & SCHUNCK Initialisation : Répéter jusquà convergence : avec : Soit, en reprenant les notations originales :

32 32 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Estimation multi-échelles Niveau (1) initialisation (2) raffinement Avantages : Calcul de grands déplacements Adaptation du niveau de régularisation.

33 33 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Principe du calcul multi-échelles ALGORITHME DIFFERENTIEL Initialisation : Répéter jusquà convergence : Init. : Répéter jusquà convergence : …/… ALGORITHME PAR CORRELATION I B (x+ x,y+ y) avec :

34 34 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Conclusion Chapitre 1 EXPLOITATION DU FLOT OPTIQUE Mouvement dominant Profondeur Temps avant collision METHODES PAR APPARIEMENT METHODES DIFFERENTIELLES Lucas et Kanade Horn et Schunck METHODES MULTI-ECHELLES

35 35 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Bibliographie Chapitre 1 B.D. Lucas & T. Kanade 1981 « An iterative image registration technique with an application to stereo vision » International Journal of Computer Vision and Artificial Intelligence B.K.P Horn & B. Schunck 1981 « Determining Optical Flow » Artificial Intelligence D.H. Ballard & C.M Brown 1982 « Computer Vision » Prentice Hall (Ch. 3, Ch. 7) J.M. Jolion & A. Rosenfeld 1994 « A pyramid framework for early vision » Kluwer Academic Publishers Dordrecht, NL R. Jain, R. Kasturi & B. Schunck 1995 « Machine Vision » McGraw-Hill Inc. (Ch.14)

36 36 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 MOUVEMENT 2 PLAN DU CHAPITRE Recalage : méthodes fréquentielles Poursuite 1 : Harris et Invariants de Hilbert Poursuite 2 : SIFT Recalage et Poursuite

37 37 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Introduction Lorsque lamplitude du déplacement est grande, lestimation directe par les méthodes dappariement ou les méthodes différentielles est vouée à léchec, pour 2 raisons majeures : (1) Le déplacement apparent peut être supérieur aux périodes spatiales présentes dans les images (aliasing temporel, voir exemple ci-contre)

38 38 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Introduction (2) La scène est soumise à des déformations géométriques complexes qui invalident lhypothèse de translation locale (voir exemple ci-dessous)

39 39 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Introduction Par conséquent : Il est primordial de disposer de descripteurs qui soit le plus invariants possible aux transformations géométriques : rotation, homothétie, transformation affine. Cela passe forcément par un calcul multi-échelle. Les descripteurs fournis auront un caractère beaucoup moins local, voire global, et on ne disposera plus dun champ dense comme dans les méthodes destimation, mais au mieux dun champ épars. Ce quon verra dans ce chapitre : TRANSFORMATION GLOBALE : Un seul paramètre de déplacement pour toute limage (translation, rotation, homothétie) : Méthodes fréquentielles. MOUVEMENT QUELCONQUE : Quels sont les points utilisés pour le calcul ? Points de Harris, Maxima locaux dans lespace déchelle,... Quels descripteurs utiliser pour lappariement ? Invariants différentiels, histogrammes dorientation,... Applications : Reconnaissance dobjets, Indexation dimages, localisation de robots,…

40 40 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Techniques fréquentielles Les techniques fréquentielles destimation du mouvement entre deux images sont fondées sur léquivalence translation/déphasage de la transformée de Fourier : Les coefficients des différentes sinusoïdes sont calculés par la transformée de Fourier : Transformée de Fourier discrète inverse Transformée de Fourier discrète directe Notation (module,phase) : Rappel : lexpression dune image dans le domaine fréquentiel consiste à décomposer la fonction bidimensionnelle en sommes de sinusoïdes complexes : La propriété de translation/déphasage dit que si F est la transformée de Fourier de I : TF Alors la TF de I translatée de (- x,- y), est G, avec : Soit : et : Le déphasage entre F et G vaut donc : Il suffit donc en théorie de considérer ce déphasage pour 2 couples (u,v) pour calculer ( x, y), mais cette technique est sensible au bruit et aux changement dillumination qui induisent des variations dans les basses fréquences. On utilise plutôt la technique de corrélation de phase.

41 41 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Corrélation de phase La technique de corrélation de phase exploite une conséquence directe de la propriété de translation/déphasage. Si F est la TF de I et G la TF de I translatée de (- x,- y), alors le déphasage entre F et G est égal à leur spectre de puissance croisé normalisé (SPCN), i.e. : La TF inverse du SPCN est donc égale à la fonction de Dirac du vecteur de translation : La technique de corrélation de phase consiste donc à : 1.Calculer les TF de I(x,y,t) et I(x,y,t+1), soit F 1 et F 2 2.Calculer le SPCN de F1 et F 2 3.Calculer D la TF inverse de 4.Rechercher le maximum de D Avantages et inconvénients + Robuste car toutes les fréquences contribuent au calcul + Relativement rapide grâce au calcul de la FFT - En pratique limité à un déplacement global sur toute limage Corrélation de phase dans le domaine spatial (source INRIA)

42 42 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Invariant de Fourier-Mellin Lutilisation de la transformée de Fourier-Mellin permet de calculer les paramètres dune similitude (rotation et homothétie) comme un vecteur de translation de manière analogue au cas précédent, grâce à une représentation log- polaire de lespace des fréquences (u,v) (, log ) : Soit g limage transformée de f par une rotation dangle, une homothétie de rapport, et une translation de vecteur (x 0,y 0 ) : En passant les fréquences en coordonnées polaires : on obtient : Les amplitudes des transformées de Fourier de f et g sont liées par la relation suivante : ne dépend pas de la translation (x 0,y 0 ). subit une rotation dangle. subit une modification déchelle dun facteur. donc lamplitude : on obtient : Enfin, en passant la coordonnée radiale au logarithme : Donc une similitude dans lespace image se traduit par une translation dans lespace des fréquences log-polaires.

43 43 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Invariant de Fourier-Mellin Un exemple dutilisation de la transformée de Fourier-Mellin : calcul de la position de la tête des Robots Aibo dans limage par corrélation de phase des invariants de Fourier-Mellin. (FMI-SPOMF : Fourier-Mellin Invariant Symmetric Phase Only Matched Filtering) : J.C. Baillie et M. Nottale log log FMI corrélation de phase (SPOMF) ! Linformation de phase de limage originale est perdue dans la FMI. Le FMI-SPOMF revient à chercher la meilleure (rotation, homothétie) qui mette en correspondance 2 spectres damplitude. On ne retrouve donc pas les paramètres de translation entre les deux images, et de plus linformation de forme portée par la phase nexiste plus. Pour compléter cette transformation, on peut appliquer une corrélation de phase classique sur le couple dimage de départ, après avoir appliqué sur lune des images la transformation (rotation, homothétie) fournie par le FMI-SPOMF. Notons enfin, que comme pour la corrélation de phase, cette méthode est utilisée en pratique pour estimer des transformations globales, car elle utilise la contribution de tout le spectre (ou au moins une large partie), ce qui implique une étendue spatiale importante des pixels utilisés pour lestimation de chaque transformation.

44 44 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Une mesure des variations locales de limage I au point (x,y) associée à un déplacement ( x, y) est fournie par la fonction dautocorrélation : Où W est une fenêtre centrée au point (x,y). Détection de points anguleux Les points anguleux (ou points dintérêt, points saillants,...) sont des points « qui contiennent beaucoup dinformation » relativement à limage. Ce sont des points aux voisinages desquels limage varie significativement dans plusieurs directions. ( x,y ) W W+ Or, en utilisant une approximation du premier ordre : Et donc : Matrice dautocorrélation de limage I en (x,y)

45 45 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Détection de points anguleux La matrice dautocorrélation représente la variation locale de limage I en (x,y). (x,y) sera considéré comme un point anguleux de I si pour tous les déplacements ( x, y), la quantité ( x, y). (x,y).( x, y) t est grande. Le détecteur de Harris calcule une fonction dintérêt (x,y) : Le premier terme correspond au produit des valeurs propres, le second terme pénalise les points de contours avec une seule forte valeur propre. Les points anguleux sont les points (x,y) pour lesquels la matrice dautocorrélation (x,y) a deux valeurs propres grandes. Cela correspond aux points pour lesquels il existe localement une base de vecteurs propres de décrivant des variations locales importantes de limage. Les points dintérêt correspondent aux maxima locaux de la fonction qui sont au delà dun certain seuil (typiquement 1% de la valeur max de ). [Harris 88]

46 46 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Utilisation des invariants différentiels On notera : (dérivées jusquau 3e ordre) Objectif : représenter les points dintérêt par des indices qui soient invariants par rotation et par changement déchelle. Le principe utilisé ici est basé sur lutilisation des dérivées spatiales multi-échelle : Le « jet local » de I :avec :et : Lidée est de combiner ces dérivées pour obtenir des grandeurs invariantes par rotation : x y X Y I X = I x cos + I y sin I Y = I x sin – I y cos I XX = I xx cos 2 + 2I xy cos sin + I yy sin 2 I YY = I xx sin 2 – 2I xy cos sin + I yy cos 2 et : x = X cos + Y sin y = X sin – Y cos X = x cos + y sin Y = –x sin y cos Par exemple, le laplacien I xx + I yy est invariant par rotation : et donc : I XX + I YY = I xx + I yy

47 47 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Utilisation des invariants différentiels [Schmid et Mohr 97] On peut ainsi construire toute une famille de grandeurs invariantes par rotation : les invariants différentiels de Hilbert. Avec : (notations dEinstein : sommations sur les indices), par ex : Les vecteurs sont donc calculés pour tous les points dintérêt à différentes échelles, et appariés en utilisant une distance (e.g. distance euclidienne). NB : invariance par rotation du noyau gaussien !

48 48 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Espace déchelle gaussien et dérivées échelle

49 49 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Mise en œuvre du détecteur de Harris 1.On calcule les dérivées premières à partir des dérivées de gaussienne (écart-type ) 2.On calcule les termes de la matrice dautocorrélation en calculant une moyenne locale des dérivées sous la forme dune gaussienne (écart-type, typiquement = 2 ) 3.On calcule la fonction dintérêt : = det( ) – trace( ) (typiquement = 0,06). 4.On calcule les maxima locaux de supérieurs à un certain seuil (typiquement 1% de max ). 1 est donc le paramètre déchelle du détecteur de Harris, qui détermine la portée des opérations de dérivations et dintégrations (moyennes).

50 50 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Détecteur de Harris multi-échelles Points de Harris obtenus en calculant les dérivées premières par convolution avec une dérivée de gaussienne décart-type. = 1 = 2 = 3 = 10 = 5

51 51 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Détecteur SIFT : extrema dans lespace déchelle G0G0 G1G1 G2G2 G3G3 L1L1 L2L2 L3L3 échelle Les points sélectionnés par SIFT sont les maxima et les minima locaux de la fonction L k (x,y), à la fois dans léchelle courante et dans les échelles adjacentes (voir ci-contre). L k+1 (x,y) L k (x,y) L k-1 (x,y) La fonction L k (x,y) est une représentation laplacienne de limage, qui correspond à une décomposition fréquentielle localisée : contribution des structures contrastées déchelle (de « taille ») k au point (x,y). La fonction G k (x,y) = G(x,y,k ) est limage convoluée par une gaussienne décart-type k. Les fonctions L k (x,y) correspondent à la différence (ici normalisée) entre 2 gaussiennes adjacentes.

52 52 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Points dintérêt SIFT Image 1 : 589 points détectés. Pour chaque extrema de lespace déchelle des différences de gaussiennes (point dintérêt SIFT), on calcule la direction associée par : avec (où est léchelle sélectionnée) Ci-contre, point dintérêt SIFT : la direction de la flèche représente la direction et sa longueur léchelle associée.

53 53 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Descripteur SIFT : histogramme dorientation Les descripteurs associés aux points dintérêt SIFT sont des histogrammes des orientations locales autour du point dintérêt. On divise lespace autour de chaque point dintérêt (x,y) en N 2 carrés 4x4. On calcule le gradient (G x (a,b, ), G y (a,b, )) pour les 4x4xN 2 points (a,b). Pour chaque carré 4x4, on calcule un histogramme des orientations quantifiées en 8 directions, en pondérant par : (1) le module du gradient (2) linverse de la distance au point dintérêt (x,y). Pour être invariant en rotation : lorientation locale du point dintérêt (x,y) est utilisée comme origine (orientation nulle) des histogrammes. Les descripteurs formés sont donc des vecteurs de taille 8xN 2, qui seront appariés en utilisant une distance (e.g. distance euclidienne) ex : N = 2

54 54 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Appariement par SIFT Résultat dappariement par SIFT entre limage (2) à gauche, 510 points détectés, et limage (1) à droite, 589 points détectés. 51 points ont été appariés, ce qui correspond à une distance euclidienne entre les descripteurs en deçà dun certain seuil.

55 55 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Conclusion Chapitre 2 RECALAGE : Mouvement global Corrélation de phase : translation Invariants de Fourier-Mellin : rotation / homothétie POURSUITE Points dintérêt Harris : points anguleux SIFT : extrema espace déchelle Descripteurs Invariants différentiels Histogrammes dorientation

56 56 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Bibliographie du Chapitre 2 H. Foroosh, J. Zerubia & M. Berthod 2002 « Extension of phase correlation to subpixel registration » IEEE Transactions on Image Processing 11(3) pp Q. Chen, M. Defrise & F. Deconinck 1994 « Symmetric Phase-Only Matched Filtering of Fourier-Mellin Transforms for Image Registration and Recognition » IEEE Transactions on Pattern Analysis and Machine Intelligence 16(12) pp C. Harris & M. Stephens 1988 « A combined corner and edge detector » Alvey Vision Conference pp C. Schmid & R. Mohr 1997 « Local grayvalue invariants for image retrieval » IEEE Transactions on Pattern Analysis and Machine Intelligence 19(5) pp D.G. Lowe 2004 « Distinctive Image Features from Scale-Invariant Keypoints » International Journal of Computer Vision 60-2 pp


Télécharger ppt "1 Antoine MANZANERA – ENSTA/LEITDI – MR2 IMA UPMC Paris 6 Analyse du mouvement Antoine MANZANERA – ENSTA/LEI Estimation & Poursuite."

Présentations similaires


Annonces Google