Approche statistique semi-paramétrique du recalage iconique d’images

Présentation au sujet: "Approche statistique semi-paramétrique du recalage iconique d’images"— Transcription de la présentation:

1 Approche statistique semi-paramétrique du recalage iconique d’images
Philippe Ciuciu (CEA/SHFJ) Vieux pb de vision par ordinateur encore incomplètement résolu qui consiste essentiellement à établir une relation géométrique entre les Objets représentés par des images ; de manière qq peu réductrice, le terme recalage est synonyme de mise en correspondance ou alignement Il n’existe pas un pb unique de recalage mais plutôt une variété de taches visuelles que le bon sens nos incite à regrouper sous le même vocable ESIEA 28/11/05

2 Cours préparé à partir de la thèse d’Alexis Roche (CEA/SHFJ)
Sa thèse est disponible en ligne ESIEA 28/11/05

3 Plan Introduction Méthode du rapport de corrélation
Recalage par inférence statistique Recalage non-rigide multimodal Je vais vous exposer le principe du recalage d’images, une opération canonique du traitement d’images, comme la segmentation puis vous décrire un certain nombre de classes De méthodes, plutôt formulées dans un cadre déterministe ie énergétique avant dans un troisième temps, de passer à une formulation statistique Ces trois premières parties sont orientées recalage rigide, où la transformation entre les images à recaler est paramétrique ; la dernière partie sera quant à elle consacrée au recalage non-rigide (ie non-affine mias pas utilisé dans la communauté ) donc non-paramétrique et bien adapté (en tout cas plus adapté) au recalage Multimodal (eg PET/IRM ou IRM/CT) ESIEA 28/11/05

4 Le recalage d’images Trouver la transformation géométrique qui aligne « au mieux » les voxels homologues Exemple : transfo rigide composée de 3 paramètres de rotation et 3 paramètres de translation pour les images tridimensionnelles Transfo rigide est donc celle qui caractérise un déplacement simple dans l’espace ESIEA 28/11/05

5 Exemples de recalage Correction d’un mouvement rigide
Fusion monomodale, multimodale Estimation de déformations Fusion inter-sujets etc. Par terme de fusion, ou d’estimation de déformation on entend par exemple la caractérisation de déformations propres de l’objet soit imagé En utilisant la même modalité (monomdale, eg IRM) soit plusieurs (multimodale, ie PET/CT IRM/PET) et dans ce cas, la transformation reliant les images devra être recherchée dans un espace beaucoup plus grand que celui des transformations rigides (ou affines) : dans ce dernier cas, il s’agit plus D’un pb de mise en correspondance Recalage multimodal est utile lorsqu’on souhaite tirer partie de la complémentarité des informations qu’offrent les différentes modalités d’acquisition ESIEA 28/11/05

6 Formulation générale (Brown, 92)
Étant données deux images I et J, Algorithme d’optimisation Mesure de similarité Espace de recherche (rigide, affine, élastique,…) Image source I et image cible J ; Problème de recalage se décompose en trois temps : La définition d’un espace de recherche de la transformation T dans un espace (plus ou moins compliqué); La construction d’une mesure de similarité (on dit aussi critère ou fonction de coût ) entre les deux images, source et cible qui vise à apparier au mieux ces 2 scènes Un problème d’optimisation numérique du critère ou de la mesure ainsi construite ; en recalage iconique, c’est critique car la mesure de similarité n’est pas convexe par rapport à T ie aux paramètres de La transformation Dans la suite on va discuter ces 3 points en commençant par les choix qui guident la construction de la mesure de similarité ESIEA 28/11/05

7 Construction d’une mesure de similarité
Approche géométrique Détection de primitives géométriques (points, lignes, surfaces,… graphes relationnels) Critère de distance entre ces primitives Approche iconique Comparaison directe des intensités Choix et construction d’une mesure de similarité Approche la plus naturelle : approche géométrique : identifier des caractéristiques géométriques (ou primitives) communes aux images ; des points, des lignes ou des surfgaces, des volumes Des repères orientés ; On cherche ensuite la transformation spatiale qui « apparie au mieux » les différentes primitives Ces méthodes géométriques sont donc basées sur 2 étapes distinctes (la première étant une segmentation qui n’est pas simple si l’on veut la réaliser automatiquement notamment dans des images À faible rapport signal sur bruit comme des images échographiques ultrasonores) ; il faut de plus que ces primitives correspondent aux mêmes réalités physiques dans les deux images ; cette dernière contrainte Est particulièrement délicate dans un pb de recalage multimodal ; donc ces méthodes nécessitent une forte connaissance a priori sur la nature des objets imagés ce qui rend leur champ d’application spécifique ESIEA 28/11/05

8 Comment recaler ces deux images ?
Exemple intuitif Comment recaler ces deux images ? Principe de base sur un cas d’école ESIEA 28/11/05

9 Approche géométrique/iconique
Détection des primitives (ici, points de forte courbure) Mesure: par exemple, Ici les primitives sont les points de forte courbure Approche géométrique cad basée sur une mesure ie un critère de distance qui compare des primitives détectées ert mises en correspondances dans les deux images après une étape de segmentation Selon que la méthode de segmentation est automatique ou non, il convient de distinguer le cas où les correspondances sont connues à l’avance (primitives labélisées) du cas contraire (primitives non-labélisées) , très fréquent lorsque la segmentation n’est pas automatique Méthodes adaptées au premier cas sont typiquement des méthodes d’ajustement aux moindres carrés ou au sens d’une métrique non-euclidienne Dans le second, méthodes de prédiction-vérification (Besl & Mc Kay 1992, Zhang 1994), minimisation d’une carte de distances (Borgefors 1988) et l’ago ICP (Zhang 1994) Approche iconique signifie basée sur les comparaisons des intensités des deux images Critère non convexe car on optimise vav de T ?? ESIEA 28/11/05

10 Approche géométrique/iconique
Détection des primitives (ici, points de forte courbure) Mesure: par exemple, On voit donc ici qu’il suffit de faire tourner (rotation sens inverse des aiguilles d’une montre ie relacage rigide ) l’image source à recaler cad celle à droite ESIEA 28/11/05

11 Approche géométrique/iconique
Segmentation facultative… Interpolation: Mesure: par ex., T Si les méthodes géométriques sont considérées comme des approches de haut niveau celles dites iconiques sont des approches bas niveau qui ne nécessitent aucune Segmentation préalable des images. Elles consistent essentiellement à optimiser un critère de ressemblance, on dit aussi une mesure de similarité, fondé uniquement sur des comparaisons locales d’intensité Dans ce cas, les primitives sont les données brutes cad des vecteurs 4D contenant la position et l’intensité des voxels Pour faire un parallèle avec la vision naturelle, les primitives iconiques sont de l’ordre de la sensation alors que les primitives géométriques sont de l’ordre de la perception voire de la cognition On reconnaît une méthode iconique à 2 propriétés essentielles ; d’une part choix des primitives est complètement arbitraire (cf image de droite) ; tous les voxels sont a priori des candidats valables. D’autre part, les primitives ne sont pas des entités géométriques appartenant à un espace figuratif Ainsi le critère utilisé pôur comparer ces primitives est une mesure de similarité reflétant indirectement une distance géométrique On note ik l’intensité au pixel de coordonnées xk dans l’image source et jk\fleche celle de coordonnées T(xk) dans l’image cible ; évidemment T(xk) ne tombe pas forcément Sur la grille des pixels (ou voxels en 3D) ; il faut donc interpoler l’image cible pour calculer la valeur jk\fleche ; le choix de la fonction d’interpolation a une influence sur la fonction T estimée Ce critère est une fonction de T la transformation ; on cherche à le minimiser vav de T afin d’optimiser l’adéquation entre les deux images une fois recalées; on cherche donc à minimiser La variance de l’erreur résiduelle entre les deux images recalées ESIEA 28/11/05

12 Approche géométrique/iconique
Segmentation facultative… Mesure: par ex., T1 =Id On comprend que si on superpose les images de manière à compenser la transformation, leurs intensités sont identiques en tout point ; en revanche, en appliquant une transformation qui ne correspond pas au véritable décalage (par exemple ici la transfo identité), on risque d’apparier des points d’intensité différente ; ainsi si l’on est capable de mesurer le degré de recouvrement entre points de même intensité, on obtient indirectement une mesure de l’écart entre la transformation considérée et la transformation véritable, même si celle-ci est inconnue ; Exemple d’une telle mesure facile à calculer : critères des moindres carrés ie des différences d’intensité au carré. Ce critère atteint son min (0) lorsque les images sont recalées ESIEA 28/11/05

13 Approche géométrique/iconique
Segmentation facultative… Recouvrement partiel Mesure: par ex., T2 Bien entendu la situation où les images sont parfaitement identiques à une transformation près n’existe pas en pratique mais tant qu’elles restent relativement semblables le principe très simple que l’on vient De décrire s’avère redoutablement efficace Pb de recouvrement partiel : ici les grilles d’images ne se recouvrent que partiellement ; il existe bien sûr des moyens de prendre ça en compte Situation où la grille transformée T(\Omega_\Ib) n’est pas intégralement contenue dans l’enveloppe convexe de la grille de l’image cible \Omega_\Jb L’interpolation fait intervenir les plus proches voisins ; Pour les pixels projetés au bords de l’image ou à l’extérieur, l’information de voisinage devient insuffisante pour mettre en œuvre l’interpolation On a donc des points isolés ;pour de tels points, ls pb d’interpolation devient un pb d’extrapolation et il nous appartient de dire si on veut le résoudre ou si on préfère le contourner Dans le contexte du recalage rigide ou affine, c’est de loin la seconde approche qui est la plus prisée ; elle consiste tout simplement à ne pas prendre en compte les points isolé Dans le calcul de l’histogramme conjoint ; l’ensemble des voxels appariés dépend alors de la transformation ESIEA 28/11/05

14 Notion d’histogramme conjoint
Image cible b jk Il existe un nombre considérable de mesures de similarité dans la littérature du recalage d’images ; notre objectif n’est pas de les recenser toutes. Or il s’avère que la plupart des mesures existantes peuvent être définies à partir d’un histogramme conjoint ;c’est le point de vue retenu ici ; mais nous signalons quand même que plusr mesures peuvent être appréhendées en dehors de cette notion car en termes de mise en œuvre le calcul effectif d’un histogramme conjoint peut accroître inutilement la complexité calculatoire d’une mesure Histogramme conjoint défini comme le tableau de contingence des couples d’intensité associés aux voxels appariés ; p_ij(T)=1/n * Card(k\in{1,…,n} i_k=i et j_k\fleche = j) avec j_k\fleche = J(T(x_k)) ; il associe donc à chaque couple d’intensités posssible une valeur comprise entre 0 et 1 qui représente une proportion de voxels ; on peut l’interpréter comme une densité de proba Discrète ce qui a le sens suivant : p_ij(T) = proba qu’un voxel tiré aléatoirement dans \Omega_I ait l’intensité i dans l’image I et que son correspondant par T ait l’intensité j dans limage J La définition précédente n’a de sens que si le nb de valeurs d’intensités prises par les images est faible devant le nombre de voxels utilisés pour calculer l’histogramme conjoint. i ik Image source ESIEA 28/11/05

15 Classification des mesures iconiques
Histogramme conjoint Relation supposée Intensité de l’image J Intensité de l’image I Conservation de l'intensité Mesures adaptées Somme des différences au carré Somme des différences en valeur absolue Mesures de différence d’images [Buzug 1997] La mesure de similarité est une fonction à valeurs réelles dont l’argument est l’histogramme conjoint lui-même fonction de la transformation spatiale Le fondement commun aux nombreuses mesures proposées est l’idée que les intensités de 2 images manifestent une cohérence d’autant plus forte que les images sont bien recalées; le rôle de La mesure de similarité est de donner une signification quantitative à cette notion de cohérence. Le choix d’une mesure adaptée à un pb de recalage particulier n’est pas toujours clair pour 2 raisons : 1/établir la relation théorique qui existe entre les intensités des images nécessiterait de faire appel à des modèles d’acquisition, qui sont difficiles à synthétiser 2/ la plupart des mesures de similarité se fondent sur des hypothèses de dépendance qui ne sont pas entièrement explicites Classification des mesures iconiques qu’on va décrire s’efforce de regrouper les mesures selon le type d’hypothèse auquel elles correspondent Ici conservation de l’intensité : mesures de cette classe considèrent comme idéale la situation où les images sont identiques ; elles sont le plus souvent calculées à partir d’une image de diférence Les + usitées sont la SDC (somme des différences au carré ie critère des moindres carrés) et la SDA (somme des différences en valeur absolue ou critère des moindres modules) Critères entropiques calculé à partir de l’histogramme simple de l’image de différences. Les critères sont normalisés (division par le nb de voxels) afin de rejeter des points isolés. ESIEA 28/11/05

16 Classification des mesures iconiques
Relation supposée Histogramme conjoint Intensité de l’image J Intensité de l’image I Affine Mesures adaptées Coefficient de corrélation [Brown 1992] Ici dépendance linéaire ou affine ; on suppose donc que les intensités sont reliées par une fonction affine cad I \approx \alpha J + \beta Le cas où \beta=0 correspond à une hypothèse de dépendance linéaire ; ça permet de modéliser des différences de contraste entre deux images par exemple utile en recalage mono-modalité, (eg2 IRMs avec des contrastes différents) Ici la mesure adaptée doit annuler l’influence de l’ordonnée à l’origine et du coefficient de pente ie des paramètres de la transformation affine Donc le coefficient de corrélation et ses variantes sont bien adaptés ; variance du rapport des intensités à ne pas confondre avec le critère de Woods CC = Très robuste en recalage monomodal cette mesure généralise le cas précédent ESIEA 28/11/05

17 Classification des mesures iconiques
Histogramme conjoint Intensité de l’image J Intensité de l’image I Relation supposée Fonctionnelle Mesures adaptées Critère de Woods (1993) Variantes Woods [Ardekani 1995; Alpert 1996; Nikou 1997] Rapport de corrélation [Roche, 1998] Pour des images de modalité différente, en revanche l’hypothèse affine est savuent grossièrement fausse ; on peut envisager de s’y ramener par un certain nb de pré-traitements ou alors supposer L’existence d’une relation fonctionnelle plus générale (non-linéaire, non monotone) entre les intensités ; les mesures adaptées à cette situation sont les différentes variantes du critère de Woods [Woods, 93, Alpert, 96, Likou 98] et le rapport de corrélation ; généralise le coefficient de corrélation aux relations fonctionnelles non-linéaires Mesure pas complètement adaptée au recalage multimodal car par exemple en scanner CT+IRM : 2 structures peuvent être confondues en intensité en IRM Alors qu’elles sont séparées en CT Par nzture, les mesures de cette classe sont asymétriques au sens où elles ne font pas jouer le même rôle aux lignes et aux colonnes de l’histogramme conjoint ESIEA 28/11/05

18 Classification des mesures iconiques
Histogramme conjoint Intensité de l’image J Intensité de l’image I Relation supposée Redondance Mesures adaptées Entropie conjointe [Hill 1995; Collignon 1995] Information mutuelle [Collignon 1995; Viola 1995] Information mutuelle normalisée [Studholme 1998] L’hypothèse d’une dépendance fonctionnelle, même très générale, reste éminemment discutable ; un exemple typique est celui du recalage d’images cérébrales scanner et IRM En IRM T1, le LCR et l’os donnent sensiblement les mêmes réponses alors qu’is sont différenciés dans le scanner À l’inverse, les tissus mous sont différenciés en IRM T1 mais confondus en scanner ; en toute rigueur il n’est donc pas possible de relier fonctionnellement les intensités d’une IRM T1 et d’un scanner C’est donc ici que la notion d’histogramme conjoint prend toute sa dimension ; on va l’utiliser comme mesure du degré de dépendance statistique entre ces VAs (Joint-histo=densité de proba d’un couple de VA) La théorie de l’information fournit une multitude de critères de liaison statistique parmi lesquels l’entropie conjointe[Collignon 1995], le coefficient de corrélation entropique [Studholme 1998], mais Surtout l’information mutuelle [Collignon 95, Viola 95] sont devenus des mesures standard : vocation est de mesurer l ’écart d’un couple de VA par rapport à la situation d’indépendance es mesures de dépendance statistique étant plus générale que la notion de dépendance fonctionnelle, les mesures de cette classe sont donc celles qui reposent sur les hypothèses les plus faibles. ESIEA 28/11/05

19 Plan Introduction Méthode du rapport de corrélation
Recalage par inférence statistique Recalage non-rigide multimodal La partie précédente nous a permis de mettre en exergue plusieurs mesures de similarité proposées dans le contexte du recalage médical ; parmi les + adaptées au cas du recalage multimodal, l’information mutuelle s’est imposées sans conteste comme la mesure standard ces dernières années ; méthode sous-contrainte qui exhibe des maxima locaux + sensibilité au sous-échantillonnage et à l’interpolation 2 réponses peuvent être trouvées : d’une part, la capacité d’un algo à trouver le maximum global d’un critère dépend de la procédure d’optimisation mise en jeu ; d’autre part, remise en cause de la mesure de similarité tout en satisfaisant 2 exigences : être adaptée au recalage multimodal et traiter les niveaux de gris comme des VA non pas qualitatives mais quantitatives ; en recalage monomodal il suffit de considérer des mesures qui sont des distances entre intensités au sens strict : donnée d’une norme sur l’espace des intensités. Voyons maintenant dans la suite comment corriger ça pour le recalage multimodal %Arrêtons nous maintenant sur la méthode du rapport de corrélation ; ESIEA 28/11/05

20 Motivation: une mesure intermédiaire entre…
Coefficient de corrélation Spécifique monomodal + Robuste + Générale - Peu robuste Information mutuelle Rappels : coefficient de corrélation est une mesure de similarité à peu de paramètres bien adaptée au recalage monomodal pour s’affranchir de la correspondance exacte entre intensité Donc assez robuste car faiblement paramétré ; Il peut être défini lui aussi à partir de l’histogramme conjoint des images Idée : relplacer l’opérateur de différences d’intensité par un opérateur du type : (I,J)  (I – f\circ J \circ T) où f est une fonction de correction d’intensité L’IM : c’est l’inverse : + générale et non paramétrique : donc moins robuste ESIEA 28/11/05

21 Motivation: une mesure intermédiaire entre…
Coefficient de corrélation Erreur quadratique de régression linéaire Normalisation (recouvrement partiel) Définition standard du coeff de corrélation : rho(X,Y)^2 = Cov(X,Y)^2 /Var(X) Var(Y) = (E(XY)-E(X)E(Y))^2 / Var(X)Var(Y) = <X-E(X),Y-E(Y)>/sqrt{||X-E(X) ||^2 ||Y-E(Y) ||^2} Où l’on a introduit le produit scalaire usuel sur des espaces probabilisés Ici on fait les calculs au tableau en utilisant la démarche géométrique qui permet de retrouver que le coeff de corrélation est le carré du cos de l’angle entre Y et sa projcetion Py=alpha X si on considère Uniquement l’espace des applications linéaires (en réalité affine ) après centrage des variables aléatoires ; et donc rho(X,Y)^2 =1 – sin^2\alpha = 1 – || Y –P_Y||^2/Var(Y) où P_Y est la projection de Y connaissant X sur un espace, qui peut être complexe à souhait, ou au plus simple (l’espace des fonctions affines ) Maintenant pour faire le lien avec la version précédente du coeff de corrélation et ce qui est écrit en terme d’erreur de regression linéaire, il faut mentionner Que E[X] = \argmin_{C\in\Delta_{fonction constantes}} {\norm{X-C}^2 = E[(X-C)^2] } Que E[Y|X=x] = \argmin_{\phi|\phi(X)=aX (+b)} E[(X- \phi(X)]^2 sur l’espace de Hilbert des fonctions intégrables wrt p(X) Et la valeur minimale de l’EQM ||Y- \phi^*(X)||^2 = E[ (Y-E[Y|X=x])^2 ] = EQMminimale = (E_X[ Var(Y|X=x) ]) = Var(Y) – Var(E[Y|X]) Où Var(Y) est la variance totale ; Var(E[Y|X]) est la variance de l’espérance conditionnelle E[Y|X] qui est aussi une VA qui mesure la part de Y prédite par X Réciproquement le terme E_X[ Var(Y|X=x)] est appelée variance conditionnelle : elle représente le carré de la distance de Y à l’espace des fonctions linéaires engendré par la VA réelle X ; mesure La part de Y qui est fonctionnellement indépendant de X On a donc démontré le résultat escompté ie l’expression du bas du slide faisant intervenir le lien entre le carré du coeff de corrélation et le rapport de variances (expliquée sur totale) Donc que \argmin_f \sum_k (i_k – f(j_k))^2 = Si on note alpha l’angle entre X-E(X) et Y-E(Y) alors rho(X,Y)^2 = cos^2 alpha et atteint sa valeur maxi ie 1 si ces 2 VA centrées sont colinéaires; ie le coefficient de corrélation mesure la dépendance linéaire ici entre 2 images ; si l’on mesure la quantité de variance expliquée par la régression linéaire (le terme en rouge) ça correspond au calcul de Cov(X,Y) ie à la mesure de la covariance de X et de Y Pas une bonne mesure de dépendance fonctionnelle (potentiellement non linéaire et non monotone) On a rho(X,Y) ^2 = cos^2 \alpha = 1 –sin^2 \alpha La mesure du coefficient de corrélation peut être réinterprétée comme 1 – rapport de variances expliquée par la régression linéaire (mesure de la dépendance linéaire entre les 2 images) sur variance totale de l’image où f est une fonction de correction d’intensité ici affine On cherche la fonction f qui minimise S(T,f) à T fixé où S(T,f)= \sum_k [i_k – f(j_k\fleche)^2 ] ; ce critère s’interprète comme une erreur quadratique moyenne S(T,f) = n\fleche \Esp[ \tilde{I} – f(\tilde{J})] où \tilde{I} et \tilde{J} définissent le couple de Vas associées à l’histogramme conjoint ; elles dépendent de T évidemment On sait que [cf Saporta 1990] la variable f(\tilde{J}) qui minimise l’EQM (à T fixé) est l’espérance conditionnelle de \tilde{I} sachant \tilde{J} , notée E[\tilde{I} | \tilde{J} ] La valeur correspondante de l’EQM est appelée variance conditionnelle et notée Var(\tilde{I} | \tilde{J} ) ESIEA 28/11/05

22 Régression non-linéaire aux moindres carrés
intensité en J intensité en I Espace de recherche vectoriel = problème linéaire polynômes, B-splines, fonctions constantes par morceaux... On augmente l’espace de recherche pour faire de la régression non linéaire mais si on se donne une base de fonctions comme espace de recherche on affecte la structure d’espace vectoriel à ce domaine et donc le problème de l’estimation des paramètres de la fonction de correction d’intensité f demeure linéaire (typiquement résolution d’un système linéaire); on peut donc paramétrer cet espace par exemple à partir de polynômes, de B-spliens ou à partir de fonctions constantes par morceaux ESIEA 28/11/05

23 Généralisations du rapport de corrélation
Métrique d’ordre supérieur Métrique robuste (M-estimateur d’échelle) Une extension alors naturelle du coefficient de corrélation aux fonctions non-linéaires est donnée par le rapport de corrélation où l’on peut montrer de façon générale à nouveau le lien avec le rapport des variances mais sans avoir une expression analytique de la projection de Y sur l’espace considéré. Pour ce faire on part de de S(T,f) = \sigma^2(I – f(J\circ T)), où cette fois f est définie dans un espace assez vaste incluant au moins les fonctions constantes il faut que l’espace de recherche de f contienne au minimum les fonctions constantes et si c’est le cas alors en notant S(T) = min_f S(T,f) et S0(T) = min_ {f=C} S(T,f) On obtient trivialement 0<= S(T) <= S0(T), le cas dégénéré se produisant lsq la meilleure approximation de I\fleche par J est une fonction constante Mesure normalisée satisfaisant aux axiomes suivants 1/ g(S,S0) prend ses valeurs entre 0 et 1 2/ A S0 fixé, g(S,S0) est une fonction croissante de S 3/ si S=0 et S0\neq 0 alors g(S,S0) =0 4/ si S=S0 et S0\neq 0 alors g(S,S0) =1 Pour respecter 2/ nous pouvons chercher g comme une fonction affine de S cad g(S,S0) = a(S0) S + b(S0) ; on voit alors que 3/ => b(S0)=0 si S0\neq 0 4/ => a(S0) = 1/S0 si S0\neq 0 Part conséquent g(S,S0) = S/S0 si S0\neq 0; si S0=0 le fait que 0<= S(T) <= S0(T), implique S=0 et l’axiome 4 impose donc g(S,0) = 0 ; l’axiome A1 est alors automatiquement vérifié là encore parce que 0<= S(T) <= S0(T), La mesure normalisée est donc \tilde{S} (T) = \frac{S(T) }{S0(T)} = \frac{min_f S(T,f) }{min_{f=C} S(T,f) } avec Stilde(T) = 1 si S0(T)=0 Donc numérateur : erreur résiduelle de régression non-linéaire On peut choisir ensuite une métrique d’erreur soit d’ordre supérieure définie sur un espace de Sobolev, soit robuste (issue des stasts robuste, cf Rousseeuw 1987, Huber 1981) ; M-estimateur d’échelle Ici par Ex \rho(x)= |x| ou \rho(x)= x^2/(\delta^2+ x^2) potentiel non convexe ; 1/n \sum_k |i_k|/\sigma = Cst => \sigma = Cst \sum_k |i_k| ESIEA 28/11/05

24 Validation: base « Vanderbilt »
8 patients: scanner, TEP, IRM (T1, T2, DP) Recalages rigides IRM {T1, T2, DP} / scanner, TEP « Vérités terrain » connues Patients avec des tumeurs : vérité terrain connue ; base de données mise au point en 1997 ; Recalage rigide IRM /scanner (à gauche) et IRM/TEP (à droite); en IRM 3 types de séquences sont dispo ; contraste T1 ie séquence anat ; contraste T2 (séquence écho de spin) et contraste DP ; Plusr mesures de similarité testées ; IM = information Mutuelle 5 mesures de similarité testées: RC (L2), RC (L1), RC (Geman), IM, Woods ESIEA 28/11/05

25 Résultats recalage : IRM / scanner
Pour le recalage IRM/scanner : C’est l’IM qui gagne surtout pour IRM(T2 et DP) En IRM (T1) le rapport de corrélation notamment en norme L1 (voire Geman et Mc Clure) donne de bons résultats ESIEA 28/11/05

26 Résultats: IRM / TEP ESIEA 28/11/05
Pour le recalage IRM/TEP qui est plus bruitée et à + basse résolution spatiale : C’est le rapport de corrélation notamment en norme L1 qui gagne ESIEA 28/11/05

27 Plan Introduction Méthode du rapport de corrélation
Recalage par inférence statistique Recalage non-rigide multimodal Essayer de définir étant données les modalités et les organes des critères de sélection automatique de la meilleure mesure de similarité ; pour ce faire on va se placer dans un cadre statistique ESIEA 28/11/05

28 Dictionnaire de mesures
Motivation Renverser l’approche classique Construire les mesures de similarité en fonction d'hypothèses de dépendance Dictionnaire de mesures Problème de recalage Renverser l’approche classqiue cad on va faire des hypothèses sur les dépendances entre les images à recaler et en déduire une mesure de similarité adaptée ESIEA 28/11/05

29 Recalage par inférence statistique
Modèle de dépendance inter-images Scène S Modèle d’acquisition Image I Image J Transfo. spatiale A priori anatomique Scène S Modèle d’acquisition Image I Image J Transfo. spatiale A priori anatomique Fonction de vraisemblance Construction d’un modèle de dépendance inter-images dont le but est de décrire à la fois la physique du problème mais aussi le lien anatomique ou fonctionnelle entre les images (au moyen de S) La scène S est une variable cachée dans un problème de recalage, qu’on suppose évidemment indépendante de T la transformation ; l’a priori anatomique qu’on lui attache, p(S), pourrait par exemple correspondre à une image segmentée ; Image I = image source Image J = image cible ; par convention on suppose J alignée avec la scène S donc pas lieu d’intégrer T dans son modèle Modèle : I(x_k) = f( S(T(x_k))) + \epsilon_k f : fonction d’intensité pour l’image I I(y_l) = g( S(y_l)) + \epsilon’_l g : fonction d’intensité pour l’image J T : transfo reliant les repères \Omega_I et \Omega_J la fonction de vraisemblance : calculée en intégrant par rapport à la distribution des scènes ; marginalisation pour s’en débarrasser puisqu’on ne la connaît pas Recherche de la transformation qui maximise cette vraisemblance cad de la transformation qui qui maximise la distribution conjointe des images observées On considère donc que T est donc une VA ; Inférence par maximum de vraisemblance ESIEA 28/11/05

30 Recalage par inférence statistique
Hypothèse: les processus S, I|S et J|S sont Stationnaires Spatialement indépendants Fonction de vraisemblance On suppose que le bruit n’est pas spatialement corrélé : bruit iid dans les 2 images I et J ; indépendant entre les 2 images en plus ; sous ces hypothèses, la probabilité conditionnelle Du couple d’images s’écrit sous la forme simple d’un produit de probabilités ponctuelles : P(I,J|S, T, f,g) = P(I|S,T) P(J|S,T,…) = P(I|S,T) P(J|S) (indépendance conditionnelle) Le fait que le bruit soit spatialement indépendant c’est simpliste dans certaines modalités ; eg images ultrasonores où le scintillement/speckle est spatialement corrélé. A priori sur la scène son spatialement indépendants : pourquoi car c’est celui qui fait le moins d’hypothèses statistiques ; Le caractère stationnaire est aussi discutable dans certaines modalités ; eg biais du champ magnétique en IRM impliquant un biais d’intensité. Le fait que \epsilon (bruit sur I ) et \epsilon’ (bruit sur J) soient indépendants ignore le fait que certains artéfacts dans les images sont corrélés à l’anatomie : c’est typiquement le cas des effets De volume partiel en PET Comment obtenir log L(T° , P(S) champs de Markov e^{-U(s)}/Z S supposée définie comme un champ à valeurs discrètes ; intégale pour calculer P(I,J) = \int P(I,J|S) P(S) dS devient une somme sur l’ensemble des configurations possibles. P(I,J) = \sum_{S} e^{-U(S) } \prod_{x_k\in \Omega_I} \phi(ik – f(sk\fleche) ) \prod_{y_l\in \Omega_J} \psi(jl – g(sl)) \ A = {yl \in \Omega_J tq \exists xk \in \Omega_I, T(x_k) = y_l } ; intersection de A et de \Omega_J définit la zone de recouvrement entre les images \phi pdf du bruit \epsilon sur I \psi pdf du bruit \epsilon’ sur J Ici dans Log L(T) ; on suppose que p la distribution conjointe est connue ; on peut montrer alors que la vraisemblance prend cette forme ; Le premier terme, proportionnelle à l’information mutuelle, correspond à la log-vraisemblance des voxels de la zone de recouvrement alors que les deux derniers sont sans correspondants : dès lors On comprend qu’ils sont pris en compte uniquement par le biais de leur probabilité marginale ; Attention : n dépend de T ; c’est le nb de points de la zone de recouvrement Problème: estimer la distribution conjointe p(i,j) ESIEA 28/11/05

31 Estimation de la densité conjointe
Approche paramétrique: modèle de mélange Approche non-paramétrique: méthode de Parzen Approche semi-paramétrique: ajustement local Différentes techniques d’estimation de la densité conjointe : paramétrique par mélange de gaussienne (comment fixer le nb?) ; MCMC à sauts réversibles ? Ou procédure VCG, Leave One Out ? Technique non-paramétrique par méthode de fenêtre de Parzen, ie d’ajustement local constant par morceaux, qu’on déplace dans l’histogramme conjoint de taille [h1,h2] Approche semi-paramétrique : on conserve la notion d’ajustement local mais avec des formes de noyaux plus compliquées ; par exemple affine par morceaux Ou même quadratique par morceaux (au sens des distributions, ça signifie qu’on va ajuster localement une gaussienne au voisinage de chaque paire (i,j) de l’histogramme conjoint) Approche semi-paramétrique : ajustement local par exemple polynômial sur une fenêtre déplacée dans l’histogramme conjoint Faire aussi remarquer que l’estimation des densités marginales se fait par « sommation » ou marginalisation à partir de la densité conjointe estimée sur l’histogramme conjoint sur un voisinage ESIEA 28/11/05

32 Approche semi-paramétrique
Plus flexible que l’approche paramétrique Meilleur compromis biais/variance que Parzen Continuum de mesures englobant l’existant Coefficient de corrélation: Rapport de corrélation: Information mutuelle: Cadre unificateur quand on fait varier les dimensions de la fenêtre : on retrouve l’ensemble des mesures de similarités précédemment évoquées Retrouver l’information mutuelle lsq on fait tendre les 2 tailles de la fenêtre vers 0 n’a rien de surprenant car on retombe alors sur un Dirac 2D donc sur une estimation non-paramétrique puisque localisée en Chaque point de la grille. Ici h1 est la taille de la fenêtre suivant image I et h2 est la taille de la fenêtre suivant image J Ob retombe sur le coefficient de corrélation lsq on fait tendre les 2 params vers + \infty car dans ce cas on cherche à estimer l’histogramme conjoint global par un «  ajustement local» à une seule gaussienne bivariée (si l’on fait de l’ajustement quadratique) ; en effet il suffit dans L(T) de remplacer p(i,j) par une gaussienne 2D pour trouver que le terme en Information mutuelle devient équivalent au coefficient de corrélation (les pdf marginales p_i et p_j sont encore des gaussiennes mais cette fois 1D) Lsq on fait tendre uniquement h2 vers +\infty cette fois on modélise l’histogramme conjoint par des distributions conditionnelles gaussiennes et si l’on ajoute l’hypothèse que toutes les pdfs ont même variance alors on montre que le terme en information mutuelle est homogène au rapport de corrélation précédemment défini ESIEA 28/11/05

33 Exemple: recalage rigide scanner / IRM
IRM à gauche ; scanner à droite ; discuter IRM T1 ; contraste qui met en blanc la matière blanche car T1 plus court (.75s) donc ça brille plus matière grise en plus foncé car T1 plus long (.9s) ; CSF encore plus noir car T1=2.5 sec En scanner les 2 sont confondus car c’est de la matière molle (même coeff d’absorption des Rayons X); en revanche bon contraste avec le crâne/os qui apparaît en très clair ; la peau est aussi foncée ESIEA 28/11/05

34 Estimation de la densité conjointe
Histogramme conjoint Histogrammes représentés sont ceux calculés une fois les images recalées (par exemple après convergence de l’EM pour maximiser la vraisemblance dans le cas paramétrique) Voici ici le calcul de l’histogramme conjoint dont on rappelle l’expression pour une interpolation par volume partiel (différente d’une interpolation d’intensité ) ; P_{i,j}(T) = 1/n \sum_{k=1}^n \sum_{l=1}^N w_{kl}\fleche K_{a,b} (i-i_k,j_j_l) Ou pour gérer le pb de recouvrement partiel : P_{i,j}(T) = \frac1{n\fleche} \sum_{k\in\Omega_I^\fleche} K_{a,b} (i-i_k,j_j_k^\fleche) Bien dire que l’interpolation VP consiste à considérer l’ensemble des couples (i_1, j), ESIEA 28/11/05

35 Estimation de la densité conjointe
Mélange de gaussiennes Ecrire au tableau ce à quoi correspond un mélange fini de gaussiennes à K classes ; 5 gaussiennes estimées : on voit les centres avec des croix blanches ; la matière grise et la matière blanche, les 2croix dans le rouge, sont indiscernables en CT les autres centres correspondent au fond noir des images (intensité 0) puis CSF (intensité approx 55) ; puis tout en haut crâne/os Identification des paramètres du mélange par algo EM car expression des paramètres est analytique ; mais algo itératif ; ESIEA 28/11/05

36 Estimation de la densité conjointe
L’approche paramétrique permet une segmentation a posteriori Sous-produit de l’approche paramétrique : segmentation des tissus car on peut déterminer la classe la plus probable pour chaque pixel de l’image recalée ESIEA 28/11/05

37 Estimation de la densité conjointe
Ajustement localement quadratique Ici coût d’estimation/d’implantation plus faible par cette technique comparativement à l’approche paramétrique car solution analytique ; pas besoin de procéder en 2 étapes comme avec l’EM ; Le bassin du CSF est moins discernable de même que celui de l’os/crâne ESIEA 28/11/05

38 Estimation de la densité conjointe
Méthode de Parzen Parzen : plus de variance dans l’estimation : distribution moins pincée ESIEA 28/11/05

39 Plan Introduction Méthode du rapport de corrélation
Recalage par inférence statistique Recalage non-rigide multimodal Le vrai problème du recalage c’est le multi modalités multi sujets : du coup non-rigide pour rechercher une transformation au sein d’un espace + vaste ESIEA 28/11/05

40 Recalage iconique non-rigide
S’apparente au flux optique (Horn &Schunk, 81) Nécessité de la régularisation spatiale Formulation classique Recalage iconique (basée sur l’intensité) non-rigide signifie qu’on ne va pas paramétrer la transformation ; on va donc estimer un champ de déformation en chaque pixel de l’image source Évidemment par rapport à une modélisation paramétrique (ie affine ou rigide ) de la transformation, le nb d’inconnues augmente de façon importante ; fondamentalement 3N paramètres à estimer si N voxels dans l’image ie estimation d’un vecteur (en 3D à 3 composantes x y et z) pour chaque voxel qui indique comment va se transformer chaque voxel x_k de l’image de départ. Techniques de flux optique (développée initialement en vision par ordinateur, mouvements dans séquences vidéo) ; résolution d’une EDP jusqu’à obtenir un point fixe pour calculer la solution stationnaire ie optimale Du problème de recalage Nécessité d’ajouter des contraintes et donc de régulariser spatialement le problème car il existe potentiellement un grand nombre de solution du fait du caractère mal posé, notamment sous-déterminé, du problème Pour le recalage monomodal, le terme d’adéquation aux données ie la mesure de similarité peut être une SDC (somme des différences au carré) car on peut supposer une relation affine entre les images Exemple : recalage élastique ; terme linéaire basé sur la norme du gradient. Stabilisateur ESIEA 28/11/05

41 Flux optique monomodal : exemple
Même sujet à gauche et à droite Maladie générant un gonflement des ventricules ; à gauche en rouge on peut visualiser le champ de déformation superposé à l’IRM T1 du sujet ; à droite, 2ème IRM T1 du même sujet mais plus tard dans la maladie ; technique de flux optique ESIEA 28/11/05

42 Recalage multimodal non-rigide
Flux optique multimodal L’estimation semi-paramétrique de la distribution p(i,j) permet de se ramener au flux optique standard Flux optique multimodal : on passe à l’information mutuelle pour l’aspect multimodal car on ne suppose pas la relation fonctionnelle entre I et J ; on estime toujours l’histogramme conjoint Par une technique d’ajustement local ce qui permet de retomber sur l’approche standard du flux optique ; toujours une contrainte de régularisation spatiale de la transformation ESIEA 28/11/05

43 Recalage multimodal non-rigide
Algorithme itératif Image J corrigée Correction d'intensité Ajustement local quadratique Image J Image I Transformation spatiale Combinaison itérative des deux approches : correction d’intensité par ajustement local pour l’aspect multimodalités et estimation de la transformation non-paramétrique T par une technique de flux optique standard pour la partie géométrie ie recalage Flux optique standard ESIEA 28/11/05

44 Exemple: fusion T1/DP inter-sujets
Contours en rouge ; à gauche IRM T1 chez 1 sujet obtenue après recalage affine À droite 2ème sujet et autre modalité ie IRM en densité de protons : inversion d’intensité entre autre IRM-T1 (après recalage affine) IRM-DP ESIEA 28/11/05

45 Fusion inter-sujets + intensité géométrie T1 DP ESIEA 28/11/05
2 étapes : correction de la géométrie par recherche de la meilleure transformation T puis correction d’intensité par ajustement local quadratique de l’histogramme conjoint T1 DP ESIEA 28/11/05

46 Fusion inter-sujets Vue sagitale + intensité géométrie T1 DP
ESIEA 28/11/05

47 Conclusion Méthodologie générale pour le recalage d’images
Algorithmes originaux Méthode du rapport de corrélation Recalage non-rigide multimodal ESIEA 28/11/05