Techniques biomédicales Caroline Petitjean Plan Exemples d’applications Spécificités des méthodes de TIM Segmentation Recalage et fusion d’images En pratique

Techniques biomédicales Caroline Petitjean Recalage : objectifs Comparaison d’instants différents de 2 modalités différentes entre deux patients Peut être effectué avant ou après la segmentation pour un même patient

Techniques biomédicales Caroline Petitjean Objectifs Objectifs Recalage et Fusion Comparer deux images Recalage Recalage Trouver une transformation géométrique permettant de passer d’une image à l’autre

Techniques biomédicales Caroline Petitjean Objectifs Objectifs Recalage et Fusion Comparer deux images Recalage Recalage Trouver une transformation géométrique permettant de passer d’une image à l’autre

Techniques biomédicales Caroline Petitjean Objectifs Objectifs Recalage et Fusion Comparer deux images Recalage Recalage Fusion Fusion Trouver une transformation géométrique permettant de passer d’une image à l’autre Visualiser deux images complémentaires

Techniques biomédicales Caroline Petitjean Imagerie Scanner Imagerie anatomique

Techniques biomédicales Caroline Petitjean Imagerie TEP Tomographie par Emission de Positons Imagerie fonctionnelle

Techniques biomédicales Caroline Petitjean Imagerie PETScan

Techniques biomédicales Caroline Petitjean Fusion

Techniques biomédicales Caroline Petitjean Définition Définition Recalage : Contexte et objectifs Consiste à trouver une transformation spatiale permettant d’aligner une image (source) sur une autre (cible). Applications dans le domaine non-médical Applications dans le domaine non-médical Télédétection, estimation de mouvement, morphing...

Techniques biomédicales Caroline Petitjean Avant recalage Après recalage

Techniques biomédicales Caroline Petitjean 1) Intra-patient, mono-modalité 1) Intra-patient, mono-modalité Recalage : Contexte et objectifs Exemple : évolution de lésions (images IRM d’un patient atteint de sclérose en plaque à quelques mois d’intervalle) Source : Université Louis Pasteur, Strasbourg Source Cible

Techniques biomédicales Caroline Petitjean 1) Intra-patient, mono-modalité 1) Intra-patient, mono-modalité Recalage : Contexte et objectifs Exemple : évolution de lésions (images IRM d’un patient atteint de sclérose en plaque à quelques mois d’intervalle) Source : Université Louis Pasteur, Strasbourg Source Cible Source recalée Différence finale

Techniques biomédicales Caroline Petitjean 2) Intra-patient, multi-modalité 2) Intra-patient, multi-modalité Recalage : Contexte et objectifs Exemple : fusion d’informations provenant de 2 modalités différentes Source (scanner) Cible (TEP) Source : EPFL

Techniques biomédicales Caroline Petitjean 2) Intra-patient, multi-modalité 2) Intra-patient, multi-modalité Recalage : Contexte et objectifs Exemple : fusion d’informations provenant de 2 modalités différentes Source (scanner) Cible (TEP) Source recalée Source : EPFL

Techniques biomédicales Caroline Petitjean 2) Intra-patient, multi-modalité 2) Intra-patient, multi-modalité Recalage : Contexte et objectifs Exemple : fusion d’informations provenant de 2 modalités différentes Source (IRM) Cible (scanner) Source recalée Source : Université de Hambourg

Techniques biomédicales Caroline Petitjean 3) Inter-patient, intra-modalité 3) Inter-patient, intra-modalité Recalage : Contexte et objectifs Exemple : Segmentation à partir d’un atlas anatomique Source : INRIA Source (individu) Source recalée Atlas segmenté et étiqueté Cible (atlas)

Techniques biomédicales Caroline Petitjean Recalage d’images Trouver la transformation permettant de passer d’une image à l’autre Que mettre en correspondance ? –Qq points particuliers ? “Primitives” –Ou tous les pixels de l’image ?

Techniques biomédicales Caroline Petitjean Primitives intrinsèques Trouver une information pertinente présente dans les 2 jeux de données En général, ce sont des points : –Points anatomiques identifiés manuellement par l’opérateur –Points géométriques isolés automatiquement

Techniques biomédicales Caroline Petitjean Primitives intrinsèques Exemple sur images de visages Johnson & Christensen, IPMI, 2001 Exemple sur IRM cérébrales

Techniques biomédicales Caroline Petitjean Primitives extrinsèques Repères externes, visibles dans les 2 modalités –fixées au patient ou à la table d’examen –Invasifs ou non invasifs Avantages : Permet de recaler des données très différentes

Techniques biomédicales Caroline Petitjean Autres primitives Mise en correspondance de courbes :

Techniques biomédicales Caroline Petitjean Caractérisation de l’image Mais tous les organes ne se prêtent pas à une caractérisation par points géométriques Cœur Reins Si pas de primitives particulières dans l’image : Mise en correspondance de tous les pixels

Techniques biomédicales Caroline Petitjean

Techniques biomédicales Caroline Petitjean Recalage : Définition formelle Trouver une transformation T telle que I o T soit similaire à J au sens d’un certain critère. T= arg min E C (I o T, J) On cherche la transformation T: x  T(x) ou le vecteur de déplacement u(x) tel que T(x)=x+u(x) u(x) x Source : Cours D. Sarrut, Univ. Lyon 2

Techniques biomédicales Caroline Petitjean Recalage : Définition formelle Trouver une transformation T telle que I o T soit similaire à J au sens d’un certain critère. T= arg min E C (I o T, J) Nature des primitives à mettre en correspondance  Points, courbes, surfaces  Pixel Critère de similarité Espace E des transformations Méthodes d’optimisation

Techniques biomédicales Caroline Petitjean Recalage : Définition formelle Trouver une transformation T telle que I o T soit similaire à J au sens d’un certain critère. T= arg min E C (I o T, J) Nature des primitives à mettre en correspondance  Points, courbes, surfaces  Pixel Critère de similarité Espace E des transformations Méthodes d’optimisation

Techniques biomédicales Caroline Petitjean Recalage : Définition formelle Trouver une transformation T telle que I o T soit similaire à J au sens d’un certain critère. T= arg min E C (I o T, J) Nature des primitives à mettre en correspondance  Points, courbes, surfaces  Pixel Critère de similarité Espace E des transformations Méthodes d’optimisation

Techniques biomédicales Caroline Petitjean Recalage : Définition formelle Trouver une transformation T telle que I o T soit similaire à J au sens d’un certain critère. T= arg min E C (I o T, J) Nature des primitives à mettre en correspondance  Points, courbes, surfaces  Pixel Critère de similarité Espace E des transformations Méthodes d’optimisation

Techniques biomédicales Caroline Petitjean Critère de similarité Mettre en correspondance tous les pixels de l’image  Les 2 images vont être comparées globalement Comment dire que 2 images sont similaires ? Cas facile Cas difficile !

Techniques biomédicales Caroline Petitjean Critère de similarité Hypothèse : pour tout pixel x IoT(x)=J(x) après recalage (recalage monomodal) Minimiser le critère des moindres carrés (SSD = sum of squared differences ou EQM)

Techniques biomédicales Caroline Petitjean Critère de similarité Hypothèse : pour tout pixel x IoT(x)=a.J(x) + b après recalage (recalage monomodal) Maximiser le coefficient de corrélation normalisé r  [-1, 1] Si IoT et J sont indépendants, alors r = 0 Si IoT et J sont indépendants, alors r = 0 Si IoT et J ont une relation linéaire, alors r =  1 Si IoT et J ont une relation linéaire, alors r =  1

Techniques biomédicales Caroline Petitjean Critère de similarité Utilisé pour le recalage multimodal Utilisé pour le recalage multimodal Pas d’hypothèse particulière Rapport de corrélation PIU Maximiser l’information mutuelle Entropie de I Entropie conjointe de I et J

Techniques biomédicales Caroline Petitjean Critère de similarité Entropie d’une variable aléatoire Ex : loi de Bernoulli. Pile ou face H(X) = -p(P)log(p(P))-p(F)log(p(F)) Si équiprobabilité  H(X) = -0.5*log(0.5) -0.5*log(0.5) = 0.3 Si déséquilibré : p(P)=0.8, p(F) = 0.2  H(X) = 0.21 L’entropie est maximale quand l’incertitude est maximale Rappels théorie de l’information :

Techniques biomédicales Caroline Petitjean Critère de similarité Entropie d’une image H(I) = - Σ i p i log(p i ) Entropie H=2 Entropie H=1.7

Techniques biomédicales Caroline Petitjean Critère de similarité Entropie conjointe de 2 images H(I,J) = - Σ i Σ j p i,j log(p i,j ) Définition d’un histogramme conjoint entre 2 images Entropie conjointe H = 2.5 Source Cible Source Modèle

Techniques biomédicales Caroline Petitjean Critère de similarité Entropie conjointe de 2 images H(I,J) = - Σ i Σ j p i,j log(p i,j ) Définition d’un histogramme conjoint entre 2 images Image1 Image2 Image1 Image P(n image1, m image2 )

Techniques biomédicales Caroline Petitjean Critère de similarité Entropie conjointe de 2 images H(I,J) = - Σ i Σ j p i,j log(p i,j ) Entropie conjointe H = 3.72 Source Cible Source Modèle

Techniques biomédicales Caroline Petitjean Critère de similarité Entropie conjointe de 2 images H(I,J) = - Σ i Σ j p i,j log(p i,j ) Entropie conjointe H = 3.5 Source Cible Source Modèle

Techniques biomédicales Caroline Petitjean Critère de similarité Théorie de l’information très utilisée

Techniques biomédicales Caroline Petitjean Critère de similarité Théorie de l’information très utilisée en recalage multimodal

Techniques biomédicales Caroline Petitjean

Techniques biomédicales Caroline Petitjean Différents types de transformations Original Transformation Rigides (transformation affine) Translations – rotations Conservation des angles et des distances + pour recalage intra-patient / intra modalité X’=RX+T

Techniques biomédicales Caroline Petitjean Non-rigide : élastique –Les droites se transforment en courbes Original Transformation Différents types de transformations X’=f(X)

Techniques biomédicales Caroline Petitjean Recalage rigide ou affine –Erreur de positionnement –Pas de déformations de tissus mous Recalage non-rigide ou élastique –Petites déformations locales Source : szeged.hu/~ssip/2007/lectures/AttilaTanacs-Registration.pdf Résumé des transformations

Techniques biomédicales Caroline Petitjean Mise en correspondance de points Deux étapes :  Placement des points (manuel ou automatique)  Recherche de la transformation effectuant le meilleur appariement Algorithme ICP Algorithme ICP Fonctions splines Fonctions splines Source : Université de Hambourg

Techniques biomédicales Caroline Petitjean Pour tout point Pi dans I, trouver le point Qj le plus proche dans J. Estimer une transformation T affine par une approximation aux moindres carrés. Appliquer la transformation T aux Pi. Itérer jusqu’à ce que les distances soient suffisamment faibles. Algorithme ICP (iterative closest point) Algorithme ICP (iterative closest point) Mise en correspondance de points

Techniques biomédicales Caroline Petitjean Fonctions splines Fonctions splines La spline est une fonction f interpolante telle que T(Pi) = Q i et peut être mise sous la forme : Polynôme (déformations loin des points) Base radiale (déformations locales près des points) Fonctionnelle à minimiser : Mise en correspondance de points

Techniques biomédicales Caroline Petitjean Fonctions splines Fonctions splines La spline est une fonction f interpolante telle que f(Pi) = Q i et peut être mise sous la forme : Polynôme (déformations loin des points) Base radiale (déformations locales près des points) Spline de plaque mince : U(r) = r 2 log(r 2 ) Spline de plaque mince : U(r) = r 2 log(r 2 ) Spline gaussienne : U(r) = exp(-r 2 /  2 ) Spline gaussienne : U(r) = exp(-r 2 /  2 ) Spline volumique... Spline volumique... Mise en correspondance de points

Techniques biomédicales Caroline Petitjean La spline de plaque mince est une fonction qui minimise la fonctionnelle J 0 : Fonctions splines Fonctions splines C’est la spline la plus «lisse». Ensemble de départ Ensemble d’arrivée Mise en correspondance de points

Techniques biomédicales Caroline Petitjean Fonctions splines Fonctions splines Parfois on ne cherche plus à interpoler mais à approximer. Définition d’une nouvelle fonctionnelle : Si = 0 : interpolation Si = 0 : interpolation Si > 0 : approximation Si > 0 : approximation Le paramètre réalise un compromis entre interpolation et approximation Mise en correspondance de points

Techniques biomédicales Caroline Petitjean Applications en médical Applications en médical Source : Université de Hambourg Recalage par spline de plaque mince SourceCible Source recalée par approximation interpolation Mise en correspondance de points

Techniques biomédicales Caroline Petitjean Applications en morphing Applications en morphing Source : Université de Tel-Aviv Générer une expression précise SourceCible Mise en correspondance de points

Techniques biomédicales Caroline Petitjean Applications en morphing Applications en morphing Source : Université de Tel-Aviv Générer une expression précise Fonction gaussienne λ=10 -3 λ= λ=0 SourceCible Mise en correspondance de points

Techniques biomédicales Caroline Petitjean Applications en morphing Applications en morphing Source : Université de Tel-Aviv Générer une expression précise Fonction gaussienne Fonction spline de plaque mince λ=10 -3 λ= λ=0 SourceCible Mise en correspondance de points

Techniques biomédicales Caroline Petitjean Recalage image entière Exemple : recalage inter-patient de mammographies en IRM Source : King’s College, Londres SourceCible Source recalée par transformation affine

Techniques biomédicales Caroline Petitjean Recalage image entière Exemple : recalage inter-patient de mammographies en IRM Source : King’s College, Londres SourceCible Source recalée par transformation élastique

Techniques biomédicales Caroline Petitjean Recalage par chanfrein Recalage rigide nécessitant les contours initiaux Image de référenceImage flottante

Techniques biomédicales Caroline Petitjean Recalage par chanfrein Calcul d’une carte de distance au contour sur l’image de référence Source : Cours O. Coulon, (x,y) d d

Techniques biomédicales Caroline Petitjean Contour de l’image flottante superimposé sur la carte de distance Calcul de la moyenne des valeurs “sous” les pixels (Chamfer Distance) R.M.S. Chamfer Distance = v i = valeur de la distance n = nombre de points Distance de chanfrein = 1.12 Recalage par chanfrein

Techniques biomédicales Caroline Petitjean Recalage par chanfrein Calcul de la distance de Chanfrein sous le contour flottant

Techniques biomédicales Caroline Petitjean Recalage par chanfrein Déplacement du C(flottant) jusqu’à ce que la distance de Chanfrein soit minimum

Techniques biomédicales Caroline Petitjean Recalage par chanfrein Déplacement du C(flottant) jusqu’à ce que la distance de Chanfrein soit minimum

Techniques biomédicales Caroline Petitjean Recalage par chanfrein Déplacement du C(flottant) jusqu’à ce que la distance de Chanfrein soit minimum

Techniques biomédicales Caroline Petitjean Recalage par chanfrein Déplacement du C(flottant) jusqu’à ce que la distance de Chanfrein soit minimum

Techniques biomédicales Caroline Petitjean Recalage par chanfrein Déplacement du C(flottant) jusqu’à ce que la distance de Chanfrein soit minimum

Techniques biomédicales Caroline Petitjean Recalage par chanfrein Application au recalage IRM / TEP Source : Cours O. Coulon, Référence Flottant

Techniques biomédicales Caroline Petitjean Recalage par chanfrein Calcul d’une carte de distance au contour sur l’image de référence Contour sur l’image flottante

Techniques biomédicales Caroline Petitjean Recalage par chanfrein Application du contour sur la carte de distance Déplacement jusqu’à ce que la distance de chanfrein soit minimum Source : Cours O. Coulon,

Techniques biomédicales Caroline Petitjean Méthode de Woods Basée sur le pixel Recalage rigide Zones uniformes  correspondent à des régions anatomiques A une zone uniforme dans une image correspond une zone uniforme dans l’autre image

Techniques biomédicales Caroline Petitjean Méthode de Woods Très utilisé pour le recalage multimodal IRM/TEP L’image des régions IRM est projetée dans l’image TEP Minimisation du critère PIU

Techniques biomédicales Caroline Petitjean Recalage : Plan Critères de similarité Transformations géométriques Préservation de la topologie Estimation de grands déplacements

Techniques biomédicales Caroline Petitjean Préservation de la topologie Dépend de l’application Dépend de l’application Cela dépend de : l’organe étudié Exemple (cerveau) : les noyaux sont identiques les sillons corticaux varient d’un individu à l’autre s’il y a apparition ou disparition de matière. Exemple : détection de lésions, comparaison pré/post opératoire... La conservation des structures est-elle nécessaire ? Préservation de la topologie  T bijective

Techniques biomédicales Caroline Petitjean Préservation de la topologie Estimation du jacobien de la transformation Estimation du jacobien de la transformation Estimation de l’inverse de la transformation Estimation de l’inverse de la transformation Définition du jacobien Jacobien  0  T inversible Si on dispose de l’inverse de T  T inversible T S -1 =T

Techniques biomédicales Caroline Petitjean Estimation de grands déplacements La plupart des méthodes sont basées sur une hypothèse de faible déplacement. Pour estimer les grands déplacements, on utilise le concept de multirésolution. La multirésolution consiste à : - représenter un signal selon différents niveaux de détails (ou résolution), - utiliser la représentation adéquate selon les applications. Application de la multirésolution aux images et à la transformation

Techniques biomédicales Caroline Petitjean Estimation de grands déplacements Sous-échantillonnage + filtrage (gaussien) SourceCible 256x x128 64x64 128x128 64x64 Décomposition pyramidale des images selon différents niveaux de résolution

Techniques biomédicales Caroline Petitjean Estimation de grands déplacements Sur-échantillonnage et projection de la transformation SourceCible 256x x128 64x64 128x128 64x64 Décomposition pyramidale des images selon différents niveaux de résolution Recalage au plus faible niveau de résolution

Techniques biomédicales Caroline Petitjean Estimation de grands déplacements Décomposition hiérarchique de la transformation Décomposition hiérarchique de la transformation La transformation T est estimée à un degré faible (par exemple affine) Le degré est augmenté  Degré du polynôme  Dimension de la base d’ondelettes La transformation est estimée à ce nouveau degré Répéter jusqu’au degré voulu

Techniques biomédicales Caroline Petitjean Applications Estimation des déformations myocardiques Le cœur est un organe mobile. Acquisition de séquences d’IRM et d’IRM taggée

Techniques biomédicales Caroline Petitjean Applications Estimation des déformations myocardiques Estimation de la déformation entre chaque image Obtention d’un champ de déformation

Techniques biomédicales Caroline Petitjean Plan Exemples d’applications Spécificités des méthodes de TIM Segmentation Recalage En pratique

Techniques biomédicales Caroline Petitjean Le format DICOM DICOM : Digital Imaging and Communications in Medicine Désigne 2 choses : –Un standard de communication et d’archivage en imagerie médicale –Un format de fichier des images médicales En-tête dans les fichiers images contenant des informations sur le patient, l’examen, les conditions d’acquisitions

Techniques biomédicales Caroline Petitjean L’en-tête DICOM en IRM cardiaque

Techniques biomédicales Caroline Petitjean Qui embauche des ingénieurs en traitement d’images médicales ? Constructeurs d’imageurs PME proposant des solutions logicielles spécifiques Organismes publics CNRS, INSERM, INRIA, IRISA, Cemagref… Laboratoires universitaires

Techniques biomédicales Caroline Petitjean Architecture d’une étude clinique Acquisition Centralisation Lecture Center 1 Center 2 CD-Roms Résultats envoyés au laboratoire Lecture Acquisition Contrôle qualité Anonymisation

Techniques biomédicales Caroline Petitjean Applications Exemple 1 : estimation de l’épaisseur de la peau en échographie Exemple 2 : estimation de la surface d’une ecchymose (photo)

Techniques biomédicales Caroline Petitjean Projet de recherche : classification d’images Imagerie alvéolaire

Techniques biomédicales Caroline Petitjean Imagerie alvéolaire : cas normal Source : Prof. L. Thiberville, CHU Rouen Projet de recherche : classification d’images

Techniques biomédicales Caroline Petitjean Imagerie alvéolaire : sclérodermie Source : Prof. L. Thiberville, CHU Rouen Projet de recherche : classification d’images

Techniques biomédicales Caroline Petitjean Imagerie alvéolaire : HSP Source : Prof. L. Thiberville, CHU Rouen Projet de recherche : classification d’images

Techniques biomédicales Caroline Petitjean Projet de recherche Imagerie alvéolaire : diagnostic automatique Comment distinguer les cas normaux des cas pathologiques ? Extraction de caractéristiques puis classification

Techniques biomédicales Caroline Petitjean Développement d’application : Protocole Cahier des charges en collaboration avec les médecins experts Développement Validation Test Manuel utilisateur

Techniques biomédicales Caroline Petitjean Critère PIU Critère de similarité