La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI

Présentations similaires


Présentation au sujet: "Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI"— Transcription de la présentation:

1 Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI

2 Pourquoi? -Compensation du mouvement des organes lors du traitement local : thermothérapie; -Caractérisation des pathologies : rythme cardiaque; -Enregistrement des images à partir de plusieurs images dynamiques, obtenir une image statique; -Augmentation de la résolution dimages des organes « mosaÏcing » (basse résolution spatiale initiale- IRM 64x64 -> 128x128); -Interpolation des vues manquants ( basse résolution temporelle initiale – 1 -2 images /sec).

3 Typologie des mouvements -Mouvement intra-scan : le mouvement durant lacquisition dune seule image. Son effet : le flou dans limage acquise. -Mouvement inter-scan : le mouvement apparent perçu dans le plan image entre les images acquises successivement par lappareil dacquisition. -Objet de notre cours : étude du mouvement inter-scan.

4 Quelques exemples Séquence dorigine Séquence compensée

5 Plan: 1.Caractérisation du mouvement 2.Formalisation du problème destimation 3.Méthodes pel-récursives/différentielles 4.Rappel des méthodes numériques 1.Méthodes doptimisation pour la recherche des extremums 2.Méthodes destimation du mouvement par descente de gradient, gradient simple, gradient accéléré... 3.Stratégies de multi-résolution 5.Méthodes de flot optique avec la régularisation (Horn et Schunck) 6.Calcul variationnel 7.Estimation Itérative par la méthode de Horn et Schunk, et dérivées

6 Mouvement Réel – Mouvement apparent Mvt 2D réel est la projection du mouvement 3D via systèmes dacquisition Y ZZ X Y Y X Y at t at t+1 Mouvement apparent flot optique est observé dans le plan image 2D grâce aux changements de la mesure observée luminance, perméabilité etc.

7 Caractérisation du mouvement P P t t+1 Caractérisation locale Vecteur de déplacement élémentaire Vecteur vitesse Premier niveau de caractérisation : calculer le flot optique ou le champ de déplacement

8 Caractérisation du mouvement P P t t+1 Caractérisation globale Le flot optique est conforme au modèle global dans le plan – image. Le problème alors consiste à estimer les paramètres de modèle

9 Modèles affines. En développant en série de Taylor de premier ordre autour de (9) Ici M Modèle affine à 6 paramètres

10 Modèles affines On peut exprimer =

11 Modèles affines

12 2. Formalisation du problème destimation du mouvement Hypothèse principal : conservation de lintensité dun point le long de son trajectoire. Problème destimation est mal posé : (1)Problème dexistance – occultation (2)Unicité : deux composantes du déplacement : une seule équation ECMA (3)Continuité : Estimation du mouvement est très sensible au bruit : un faible bruit peut amener aux fortes déviations. (1)

13 Estimation du mouvement (2) Développant en série de Taylor autour de (x,y,t) et supposant la linéarité I(x,y,t) Daprès (1) Comme alors u v Equation de contrainte du mouvement apparent (ECMA) (2)

14 Estimation du mouvement (3) est la composante parallèle à,cest à dire orthogonale au contour spatial local. Une autre intérprétation Si les variables u,v sont supposées dêtre indépendantes alors une seule équation est pour 2 inconnues. Solution? (3)

15 Estimation du mouvement Criteria: EQM, MAD nest jamais 0 à cause du bruit dacquisition min Estimation directe Estimation paramétrique

16 3. Méthodes pel-récursives/ differentielles n Pour chaque pixel trouver un vecteur de déplacement tel que lensemble des ces vecteurs dans un domaine du plan- limage D minimise un critère derreur n « Pel –recursives » : –pour chaque pixel –en utilisant des méthodes doptimisation itératives. –-nous allons considérer les méthodes doptimisation de 1er ordre ( gradient ).

17 4. Rappel des méthodes numériques n Méthodes doptimisation pour la recherche des extremums Condition nécessaire dexistence de lextremum dune fonction de plusieurs variables en : (4) Gradient de F : (4) est équivalent à Si on connaît la forme analytique de F(u), alors il sagit de résoudre le système (4)

18 4.1.Méthodes doptimisation pour la recherche des extremums n Exemple trivial n Daprès (4) Les critères et sont difficiles à exprimer analytiquement, alors on utilise des méthodes numériques dites de « descente de gradient »

19 n Il faut trouver tel que ont lieu les conditions nécessaires dextremum dune fonction. On se déplace dun point arbitraire vers dans la direction de la décroissance de la fonction Il faut donc « descendre » - la méthode de descente de gradient Méthodes doptimisation du premier ordre F(x) x* xkxk

20 Méthodes de descente On construit un processus itératif dans lequel Ici est le vecteur qui définit la direction de déplacement du point, est multiplieur scalaire. Pour sapprocher de il est naturel de se déplacer dans la direction de la décroissance de la fonction F(x). Si le point nest pas le point de minimum de la fonction F(x), alors il existe une infinité des vecteurs p, qui définissent la direction de la descente. Chaque direction est définie par la condition ( pour F(x) dérivable) Ici (,) est le produite scalaire,

21 Méthodes de descente(2) Ceci peut être déduit des considérations suivantes. Soit En développant F(x) en Série de Taylor ( en supposant la dérivabilité de F(x) suffisamment de fois), on a (5) Ici Si alors pour les faibles daprès (5) En choisissant la direction de descente et de diverses façons on peut construire des diverses algorithmes de minimisation.

22 Méthode de descente de gradient Methode de descente la plus rapide. Le plus facile est de choisir la direction p comme Descente dans la direction opposée au gradient Sous forme des coordonnées le processus sexprime comme (6)

23 Algorithme de descente de gradient 1. Choisir la valeur la même pour toutes les itérations et fixer le point 2. Calculer 3. Tester linégalité (7) 4. Si (7) est vérifié alors sinon en pratique Tant que (7) nest pas satisfait. 5.Réitérer 2 jusquà stabilité ou NbrItérationsMax

24 Méthode de descente de gradient n Pourquoi (7) est satisfait? n Théorème. Si une fonction est minorée, son gradient satisfait la condition de Liepschitz Quelque soient et le choix de seffectue de façon décrite, alors quelque soit le point initial on a pour le processus lorsque Illustration F(x) x* xkxk trop petit et trop grand

25 4.2.Méthodes destimation du mouvement par descente de gradient n 1. Méthode de Netravali-Robbins n La méthode de descente : (8) n Développement (9) (10)

26 Méthode de Netravali-Robbins(2) n Finalement daprès (8), (9),(10) (11) n Méthode fondamentale n Expression en coordonnées

27 Méthodes de descente de gradient accélérée n (1) Accelération de Netravali –Robbins (12) T.A! n (2) Accélération de Benois-Pineau /Pshenichny& Daniline Calculer Tant que (13) FTq FTq

28 Méthodes de descente de gradient accélérée Illustration géométrique E(d) d k0 Sans recalculer le gradient

29 Méthodes destimation du champ dense basées sur la descente de gradient(suite) n 1. Méthode de Walker-Rao n Principe : le pas adaptatif à limage dans le voisinage dun contour. (Là où le gradient est fort on diminue le pas) n Le gain devient adaptatif

30 Méthode de Walker –Rao (2) n Accélération Euristique n 1). Si, alors (Fin destimation) 2) Si et, alors (on ne peut rien estimer sur une zone plate) 3) Si alors (calcul en arithmétique binaire) 4) Si alors

31 Méthode de Cafforio-Rocca n Descente avec le gain adaptatif (14) n Lajout du terme correctif permet déviter la division par 0 dans des zones plates. n Nombre ditérations dans les méthodes à pas adaptatif : <5

32 Mise en œuvre sur les images numériques(1) n Deux problèmes : –(a) Calcul du gradient sur les images discrètes –(b) La nécessité dinterpoler aux coordonnées non-entières n (a) Plusieurs solutions. –Calcul du gradient par lopérateur de Sobel y x

33 Mise en œuvre sur les images numériques(2) n (b) Interpolation du champs de gradient Interpolation bi-linéaire séparable (15) P2 P4 P(x,y) P1 P3

34 Méthode de gradient conjuguée(1) Considérons une fonction scalaire Le développement en série de Taylor jusquà 2nd ordre : Ou (16) (forme quadratique) Alors la fonction est approximée par une forme quadratique

35 Méthode de gradient conjuguée(2) La matrice H est appelée la matrice Hessian H est symétrique car si les dérivées « mixtes » sont continues, elles sont égales Le gradient de la forme quadratique

36 Méthode de gradient conjuguée(3) Si la fonction F(x) atteint son minimum, alors (17) Minimiser la fonction F équivaut à résoudre le système (17) Le principe de la méthode de GC: A partir de la direction de descente est construit de telle sorte que soient conjuguées : Remarquons que la notion « être conjuguées » est plus large que « être orthogonales ». Si H est une matrice unitaire alors les deux directions sont orthogonales.

37 Méthode de gradient conjuguée(4) Algorithme 1. Choisir 2. Calculer le résidu La direction initiale de la descente est 3. Pour calculer

38 Méthode de gradient conjuguée(5) 4. Mettre a jour X et le résidu 5. Choisir la nouvelle direction de descente : 6. Condition darrêt ou

39 4.3. Stratégies de multi-resolution Problème dinitialisation : la fonctionnelle derreur est généralement non-convexe dx E(dx) dx* dx 0 Solution : estimation multi-resolution, relaxation.

40 Stratégies de multi-résolution Schémas multi-resolution/ multi-échelles 1) Construction des pyramides Gaussienne pyramids for 2) Estimation des paramètres du mouvement au niveau le plus élevé de la pyramide 3) Propagation est le facteur de sous- échantillonnage

41 Quelques résultats(1) 06:14

42 Quelques résultats(2)

43 Quelques résultats(3)

44 Resultats en monoresolution Flot optique : séquence « Reins »

45 Resultats en multirésolution

46 Méthodes de flot optique avec la régularisation (Horn et Schunck) n Pourquoi les méthodes de descente locale sont-elles en difficulté ? n Le pb. destimation du mouvement est mal posé! n Solution : régularisation. n Méthode de K.P.Horn et B.G.Shunk n Determining Optical Flow,Artificial Intelligence 17 (1981) pp

47 Méthodes de flot optique avec la régularisation (Horn et Schunck) n Pourquoi les méthodes de descente locale sont-elles en difficulté ? n Le pb. destimation du mouvement est mal posé! v u Le long de contours de la luminance constante le vecteur de déplacement ne peut pas être estimé sans introduire les contraintes supplémentaires.

48 Méthode de Horn and Shunk(1) On suppose la continuité locale de flot optique. Ajout de la contrainte de lissage : estimer le flot optique La fonctionnelle dont les arguments sont eux-mêmes les éléments dun espace linéaire normé Le problème de recherche du min dune telle fonction est celui du calcul variationnel.

49 6. Calcul Variationnel Def. Fonctionnelle F(y) définie sur lespace linéaire normé D sappelle dérivable dans un point de cet espace si son accroissement peut être écrit comme Où est une fonctionnelle linéaire continue de h et r Est infiniment petite o(h) On peut démontrer que est unique. Def. La fonctionnelle linéaire ainsi définie et unique sappelle différentiel ou encore la variation de la fonctionnelle F en point et est dénotée par

50 Exemples(1) 1. dans lespace Le noyau f(x,y) est supposé dêtre continu avec les dérivées continues jusquà 2nd ordre. Soit Comme la fonction f est dérivable, alors est bornée Donc

51 Exemples(2) 2. dans lespace des fonctions dérivables avec les dérivées partielles de premier ordre continues. Le noyau f(x,y,y) est supposé dêtre continu avec les dérivées continues jusquà 2nd ordre sur Soit En considérant la norme on peut démontrer que est bornée Donc (18)

52 Extremums des fonctionnelles dérivables(1) Considérons une fonfctionnelle dérivable dans lespace linéaire normée Le problème est de trouver les points y où F atteint son extremum. Lemme 1. En chaque point y0 où la fonctionnelle dérivable F(y) atteint sont extremum, la première variation de la fonctionnelle F pour tout accroissement h est égale à 0.

53 Extremum des fonctionnelles dérivables(2) 1. dans lespace Sa première variation est Soit est le point dextremum. Par condition nécessaire Lemme 2. Si pour une fonction continue A(x) pour toute fonction continue h(x) on a alors

54 Extremum des fonctionnelles dérivables(3) 1. Du Lemme 2 Si on résout cette équation par rapport à y 0, on aura une ou plusieurs fonctions de x 2. Fonctionnelles de forme dans lespace - extremum

55 Extremum des fonctionnelles dérivables(4) Considérons le cas quand la fonctionnelle F est définie sur lensemble des fonctions y(x) qui prennent valeurs prédéfinies en a, b : y(a) et y(b). Alors Représentations comme Finalement Integration en parties

56 Equation dEuler(1) Daprès Lemme 2 Calcul de : cest la dérivée complète dune fonction composée. Rappel : Dans notre cas

57 Equation dEuler(2) Ainsi se transforme en Equation dEuler Si lextremum de la fonctionnelle existe et est atteint en fonction qui possède la dérivée seconde, alors cette fonction satisfait léquation dEuler.

58 Fonctionnelles avec plusieurs fonctions inconnues(1) est considérée dans lespace linéaire des fonctions- vecteurs définies sur le segment [a,b] et possédant les dérivées premières continues. La norme : Si la fonction f a des dérivées continues jusquà 2nd ordre selon tous ses arguments, alors la fonctionnelle est dérivable dans lespace et sa variation sécrit comme

59 Fonctionnelles avec plusieurs fonctions inconnues(2) En point dextremum la variation est En particulier, si toutes les composantes du vecteur h sauf une h j sont supposées nulles, alors on obtient Nous allons résoudre le pb. de recherche dextremum sur lensemble des fonctions vecteurs avec les valeurs aux limites fixes y(a) et y(b). En supposant que les fonctions recherchées y1(x),…,yn(x) sont dérivables deux fois et répétant les raisonnement que nous avions pour la fonction scalaire y(x), nous obtenons un système déquations dEuler

60 Fonctionnelles avec plusieurs variables indépendantes(1) Sont considérées dans lespace des fonctions u(x,y) définies sur un domaine limité, plat G continues et ayant les dérivées premières continues selon chaque argument. La norme : Si la fonction f a des dérivées continues jusquà 2nd ordre selon tous ses arguments, alors la fonctionnelle est dérivable dans lespace et sa variation sécrit comme

61 Fonctionnelles avec plusieurs fonctions inconnues(2) Supposons que les valeurs de la fonction u(x,y),sont fixées sur la frontière du domaine G. Par conséquent les valeurs h(x,y ) sur cette frontière sont nulles. Le même calcul pour =0

62 Fonctionnelles avec plusieurs fonctions inconnues(3) Finalement, Comme h(x,y) est une fonction arbitraire Equation dEuler - Ostrogradski

63 Méthode de Horn and Shunk(1) Nous avons donc Système dEuler - Ostrogradski

64 Méthode de Horn et Shunk(2) Après les calculs on obtient Ici sont des Laplaciens des fonctions u et v

65 Méthode of Horn and Shunk(3) Approximation du Laplacien 1/12 1/6 (*) Avec (*) le système peut être re-écrite La solution : soit directe, soit itérative

66 Méthode of Horn and Shunk(4) Approximation des dérivées par Horn et Shunk j j+1 i+1 i k k

67 Méthode de Horn and Shunk(4) Méthode itérative de Gauss-Seidel: Solution itérative Ici sont des moyennes pondérées dans le voisinage

68 Estimateur de Cornélius -Kanade n Prise en compte de la variation locale de lintensité au cours du temps n Ici est la variation de luminance au cours du temps en chaque pixel

69 Estimateur de Cornelius -Kanade

70 1.HORN B.K.P., SHUNK B.G. Determining optical flow. Artificial Intelligence, vol. 17, pp , TEKALP A.M. Digital Video Processing, Prentice Hall, NICOLAS H., LABIT C. Global motion identification for image sequence analysis and coding, Proc. [SCH86] 4. SCHUNK B. G. The image flow constraint equation ; Computer Vision, Graphics and Image Processing, vol. 35, pp , J. Rappeoz, M. Picasso, « Introduction à lanalyse numérique », Presses Polytechniques et Universitaires Romandes, 1998, 6.A. Pchenitchny, B. Danilin « Méhtodes numériques dans la résolution des porblèmes extrémaux », Moscou, Mir, 1987, (En français) 7. Kanade T., Cornelius N., Adapting optical-flow to measure object motion in reflectance and x-ray image sequences. ACM SIGGRAPH/SIGART : pp 50 – 58, 1983


Télécharger ppt "Estimation du mouvement dans des images biomédicales Par Jenny Benois-Pineau, AIV/IS/LABRI"

Présentations similaires


Annonces Google