Télécharger la présentation
La présentation est en train de télécharger. S'il vous plaît, attendez
Publié parSarah Lefèvre Modifié depuis plus de 8 années
1
Techniques biomédicales Caroline Petitjean Plan Exemples d’applications Spécificités des méthodes de TIM Segmentation Recalage et fusion d’images En pratique
2
Techniques biomédicales Caroline Petitjean Recalage : objectifs Comparaison d’instants différents de 2 modalités différentes entre deux patients Peut être effectué avant ou après la segmentation pour un même patient
3
Techniques biomédicales Caroline Petitjean Objectifs Objectifs Recalage et Fusion Comparer deux images Recalage Recalage Trouver une transformation géométrique permettant de passer d’une image à l’autre
4
Techniques biomédicales Caroline Petitjean Objectifs Objectifs Recalage et Fusion Comparer deux images Recalage Recalage Trouver une transformation géométrique permettant de passer d’une image à l’autre
5
Techniques biomédicales Caroline Petitjean Objectifs Objectifs Recalage et Fusion Comparer deux images Recalage Recalage Fusion Fusion Trouver une transformation géométrique permettant de passer d’une image à l’autre Visualiser deux images complémentaires
6
Techniques biomédicales Caroline Petitjean http://www.petscan.fr Imagerie Scanner Imagerie anatomique
7
Techniques biomédicales Caroline Petitjean http://www.petscan.fr Imagerie TEP Tomographie par Emission de Positons Imagerie fonctionnelle
8
Techniques biomédicales Caroline Petitjean http://www.petscan.fr Imagerie PETScan
9
Techniques biomédicales Caroline Petitjean Fusion
10
Techniques biomédicales Caroline Petitjean Définition Définition Recalage : Contexte et objectifs Consiste à trouver une transformation spatiale permettant d’aligner une image (source) sur une autre (cible). Applications dans le domaine non-médical Applications dans le domaine non-médical Télédétection, estimation de mouvement, morphing...
11
Techniques biomédicales Caroline Petitjean Avant recalage Après recalage
12
Techniques biomédicales Caroline Petitjean 1) Intra-patient, mono-modalité 1) Intra-patient, mono-modalité Recalage : Contexte et objectifs Exemple : évolution de lésions (images IRM d’un patient atteint de sclérose en plaque à quelques mois d’intervalle) Source : Université Louis Pasteur, Strasbourg Source Cible
13
Techniques biomédicales Caroline Petitjean 1) Intra-patient, mono-modalité 1) Intra-patient, mono-modalité Recalage : Contexte et objectifs Exemple : évolution de lésions (images IRM d’un patient atteint de sclérose en plaque à quelques mois d’intervalle) Source : Université Louis Pasteur, Strasbourg Source Cible Source recalée Différence finale
14
Techniques biomédicales Caroline Petitjean 2) Intra-patient, multi-modalité 2) Intra-patient, multi-modalité Recalage : Contexte et objectifs Exemple : fusion d’informations provenant de 2 modalités différentes Source (scanner) Cible (TEP) Source : EPFL
15
Techniques biomédicales Caroline Petitjean 2) Intra-patient, multi-modalité 2) Intra-patient, multi-modalité Recalage : Contexte et objectifs Exemple : fusion d’informations provenant de 2 modalités différentes Source (scanner) Cible (TEP) Source recalée Source : EPFL
16
Techniques biomédicales Caroline Petitjean 2) Intra-patient, multi-modalité 2) Intra-patient, multi-modalité Recalage : Contexte et objectifs Exemple : fusion d’informations provenant de 2 modalités différentes Source (IRM) Cible (scanner) Source recalée Source : Université de Hambourg
17
Techniques biomédicales Caroline Petitjean 3) Inter-patient, intra-modalité 3) Inter-patient, intra-modalité Recalage : Contexte et objectifs Exemple : Segmentation à partir d’un atlas anatomique Source : INRIA Source (individu) Source recalée Atlas segmenté et étiqueté Cible (atlas)
18
Techniques biomédicales Caroline Petitjean Recalage d’images Trouver la transformation permettant de passer d’une image à l’autre Que mettre en correspondance ? –Qq points particuliers ? “Primitives” –Ou tous les pixels de l’image ?
19
Techniques biomédicales Caroline Petitjean Primitives intrinsèques Trouver une information pertinente présente dans les 2 jeux de données En général, ce sont des points : –Points anatomiques identifiés manuellement par l’opérateur –Points géométriques isolés automatiquement
20
Techniques biomédicales Caroline Petitjean Primitives intrinsèques Exemple sur images de visages Johnson & Christensen, IPMI, 2001 Exemple sur IRM cérébrales
21
Techniques biomédicales Caroline Petitjean Primitives extrinsèques Repères externes, visibles dans les 2 modalités –fixées au patient ou à la table d’examen –Invasifs ou non invasifs Avantages : Permet de recaler des données très différentes
22
Techniques biomédicales Caroline Petitjean Autres primitives Mise en correspondance de courbes :
23
Techniques biomédicales Caroline Petitjean Caractérisation de l’image Mais tous les organes ne se prêtent pas à une caractérisation par points géométriques Cœur Reins Si pas de primitives particulières dans l’image : Mise en correspondance de tous les pixels
24
Techniques biomédicales Caroline Petitjean
25
Techniques biomédicales Caroline Petitjean Recalage : Définition formelle Trouver une transformation T telle que I o T soit similaire à J au sens d’un certain critère. T= arg min E C (I o T, J) On cherche la transformation T: x T(x) ou le vecteur de déplacement u(x) tel que T(x)=x+u(x) u(x) x Source : Cours D. Sarrut, Univ. Lyon 2
26
Techniques biomédicales Caroline Petitjean Recalage : Définition formelle Trouver une transformation T telle que I o T soit similaire à J au sens d’un certain critère. T= arg min E C (I o T, J) Nature des primitives à mettre en correspondance Points, courbes, surfaces Pixel Critère de similarité Espace E des transformations Méthodes d’optimisation
27
Techniques biomédicales Caroline Petitjean Recalage : Définition formelle Trouver une transformation T telle que I o T soit similaire à J au sens d’un certain critère. T= arg min E C (I o T, J) Nature des primitives à mettre en correspondance Points, courbes, surfaces Pixel Critère de similarité Espace E des transformations Méthodes d’optimisation
28
Techniques biomédicales Caroline Petitjean Recalage : Définition formelle Trouver une transformation T telle que I o T soit similaire à J au sens d’un certain critère. T= arg min E C (I o T, J) Nature des primitives à mettre en correspondance Points, courbes, surfaces Pixel Critère de similarité Espace E des transformations Méthodes d’optimisation
29
Techniques biomédicales Caroline Petitjean Recalage : Définition formelle Trouver une transformation T telle que I o T soit similaire à J au sens d’un certain critère. T= arg min E C (I o T, J) Nature des primitives à mettre en correspondance Points, courbes, surfaces Pixel Critère de similarité Espace E des transformations Méthodes d’optimisation
30
Techniques biomédicales Caroline Petitjean Critère de similarité Mettre en correspondance tous les pixels de l’image Les 2 images vont être comparées globalement Comment dire que 2 images sont similaires ? Cas facile Cas difficile !
31
Techniques biomédicales Caroline Petitjean Critère de similarité Hypothèse : pour tout pixel x IoT(x)=J(x) après recalage (recalage monomodal) Minimiser le critère des moindres carrés (SSD = sum of squared differences ou EQM)
32
Techniques biomédicales Caroline Petitjean Critère de similarité Hypothèse : pour tout pixel x IoT(x)=a.J(x) + b après recalage (recalage monomodal) Maximiser le coefficient de corrélation normalisé r [-1, 1] Si IoT et J sont indépendants, alors r = 0 Si IoT et J sont indépendants, alors r = 0 Si IoT et J ont une relation linéaire, alors r = 1 Si IoT et J ont une relation linéaire, alors r = 1
33
Techniques biomédicales Caroline Petitjean Critère de similarité Utilisé pour le recalage multimodal Utilisé pour le recalage multimodal Pas d’hypothèse particulière Rapport de corrélation PIU Maximiser l’information mutuelle Entropie de I Entropie conjointe de I et J
34
Techniques biomédicales Caroline Petitjean Critère de similarité Entropie d’une variable aléatoire Ex : loi de Bernoulli. Pile ou face H(X) = -p(P)log(p(P))-p(F)log(p(F)) Si équiprobabilité H(X) = -0.5*log(0.5) -0.5*log(0.5) = 0.3 Si déséquilibré : p(P)=0.8, p(F) = 0.2 H(X) = 0.21 L’entropie est maximale quand l’incertitude est maximale Rappels théorie de l’information :
35
Techniques biomédicales Caroline Petitjean Critère de similarité Entropie d’une image H(I) = - Σ i p i log(p i ) Entropie H=2 Entropie H=1.7
36
Techniques biomédicales Caroline Petitjean Critère de similarité Entropie conjointe de 2 images H(I,J) = - Σ i Σ j p i,j log(p i,j ) Définition d’un histogramme conjoint entre 2 images Entropie conjointe H = 2.5 Source Cible Source Modèle 0 0 255
37
Techniques biomédicales Caroline Petitjean Critère de similarité Entropie conjointe de 2 images H(I,J) = - Σ i Σ j p i,j log(p i,j ) Définition d’un histogramme conjoint entre 2 images Image1 Image2 Image1 Image2 0 0 255 P(n image1, m image2 )
38
Techniques biomédicales Caroline Petitjean Critère de similarité Entropie conjointe de 2 images H(I,J) = - Σ i Σ j p i,j log(p i,j ) Entropie conjointe H = 3.72 Source Cible Source Modèle 0 0 255
39
Techniques biomédicales Caroline Petitjean Critère de similarité Entropie conjointe de 2 images H(I,J) = - Σ i Σ j p i,j log(p i,j ) Entropie conjointe H = 3.5 Source Cible Source Modèle 0 0 255
40
Techniques biomédicales Caroline Petitjean Critère de similarité Théorie de l’information très utilisée
41
Techniques biomédicales Caroline Petitjean Critère de similarité Théorie de l’information très utilisée en recalage multimodal
42
Techniques biomédicales Caroline Petitjean
43
Techniques biomédicales Caroline Petitjean Différents types de transformations Original Transformation Rigides (transformation affine) Translations – rotations Conservation des angles et des distances + pour recalage intra-patient / intra modalité X’=RX+T
44
Techniques biomédicales Caroline Petitjean Non-rigide : élastique –Les droites se transforment en courbes Original Transformation Différents types de transformations X’=f(X)
45
Techniques biomédicales Caroline Petitjean Recalage rigide ou affine –Erreur de positionnement –Pas de déformations de tissus mous Recalage non-rigide ou élastique –Petites déformations locales Source : http://www.inf.u- szeged.hu/~ssip/2007/lectures/AttilaTanacs-Registration.pdf Résumé des transformations
46
Techniques biomédicales Caroline Petitjean Mise en correspondance de points Deux étapes : Placement des points (manuel ou automatique) Recherche de la transformation effectuant le meilleur appariement Algorithme ICP Algorithme ICP Fonctions splines Fonctions splines Source : Université de Hambourg
47
Techniques biomédicales Caroline Petitjean Pour tout point Pi dans I, trouver le point Qj le plus proche dans J. Estimer une transformation T affine par une approximation aux moindres carrés. Appliquer la transformation T aux Pi. Itérer jusqu’à ce que les distances soient suffisamment faibles. Algorithme ICP (iterative closest point) Algorithme ICP (iterative closest point) Mise en correspondance de points
48
Techniques biomédicales Caroline Petitjean Fonctions splines Fonctions splines La spline est une fonction f interpolante telle que T(Pi) = Q i et peut être mise sous la forme : Polynôme (déformations loin des points) Base radiale (déformations locales près des points) Fonctionnelle à minimiser : Mise en correspondance de points
49
Techniques biomédicales Caroline Petitjean Fonctions splines Fonctions splines La spline est une fonction f interpolante telle que f(Pi) = Q i et peut être mise sous la forme : Polynôme (déformations loin des points) Base radiale (déformations locales près des points) Spline de plaque mince : U(r) = r 2 log(r 2 ) Spline de plaque mince : U(r) = r 2 log(r 2 ) Spline gaussienne : U(r) = exp(-r 2 / 2 ) Spline gaussienne : U(r) = exp(-r 2 / 2 ) Spline volumique... Spline volumique... Mise en correspondance de points
50
Techniques biomédicales Caroline Petitjean La spline de plaque mince est une fonction qui minimise la fonctionnelle J 0 : Fonctions splines Fonctions splines C’est la spline la plus «lisse». Ensemble de départ Ensemble d’arrivée Mise en correspondance de points
51
Techniques biomédicales Caroline Petitjean Fonctions splines Fonctions splines Parfois on ne cherche plus à interpoler mais à approximer. Définition d’une nouvelle fonctionnelle : Si = 0 : interpolation Si = 0 : interpolation Si > 0 : approximation Si > 0 : approximation Le paramètre réalise un compromis entre interpolation et approximation Mise en correspondance de points
52
Techniques biomédicales Caroline Petitjean Applications en médical Applications en médical Source : Université de Hambourg Recalage par spline de plaque mince SourceCible Source recalée par approximation interpolation Mise en correspondance de points
53
Techniques biomédicales Caroline Petitjean Applications en morphing Applications en morphing Source : Université de Tel-Aviv Générer une expression précise SourceCible Mise en correspondance de points
54
Techniques biomédicales Caroline Petitjean Applications en morphing Applications en morphing Source : Université de Tel-Aviv Générer une expression précise Fonction gaussienne λ=10 -3 λ= 10 -4 λ=0 SourceCible Mise en correspondance de points
55
Techniques biomédicales Caroline Petitjean Applications en morphing Applications en morphing Source : Université de Tel-Aviv Générer une expression précise Fonction gaussienne Fonction spline de plaque mince λ=10 -3 λ= 10 -4 λ=0 SourceCible Mise en correspondance de points
56
Techniques biomédicales Caroline Petitjean Recalage image entière Exemple : recalage inter-patient de mammographies en IRM Source : King’s College, Londres SourceCible Source recalée par transformation affine
57
Techniques biomédicales Caroline Petitjean Recalage image entière Exemple : recalage inter-patient de mammographies en IRM Source : King’s College, Londres SourceCible Source recalée par transformation élastique
58
Techniques biomédicales Caroline Petitjean Recalage par chanfrein Recalage rigide nécessitant les contours initiaux Image de référenceImage flottante
59
Techniques biomédicales Caroline Petitjean Recalage par chanfrein Calcul d’une carte de distance au contour sur l’image de référence Source : Cours O. Coulon, www.esil.univ-mrs.fr/~ocoulon (x,y) d d
60
Techniques biomédicales Caroline Petitjean Contour de l’image flottante superimposé sur la carte de distance Calcul de la moyenne des valeurs “sous” les pixels (Chamfer Distance) R.M.S. Chamfer Distance = v i = valeur de la distance n = nombre de points Distance de chanfrein = 1.12 Recalage par chanfrein
61
Techniques biomédicales Caroline Petitjean Recalage par chanfrein Calcul de la distance de Chanfrein sous le contour flottant
62
Techniques biomédicales Caroline Petitjean Recalage par chanfrein Déplacement du C(flottant) jusqu’à ce que la distance de Chanfrein soit minimum
63
Techniques biomédicales Caroline Petitjean Recalage par chanfrein Déplacement du C(flottant) jusqu’à ce que la distance de Chanfrein soit minimum
64
Techniques biomédicales Caroline Petitjean Recalage par chanfrein Déplacement du C(flottant) jusqu’à ce que la distance de Chanfrein soit minimum
65
Techniques biomédicales Caroline Petitjean Recalage par chanfrein Déplacement du C(flottant) jusqu’à ce que la distance de Chanfrein soit minimum
66
Techniques biomédicales Caroline Petitjean Recalage par chanfrein Déplacement du C(flottant) jusqu’à ce que la distance de Chanfrein soit minimum
67
Techniques biomédicales Caroline Petitjean Recalage par chanfrein Application au recalage IRM / TEP Source : Cours O. Coulon, www.esil.univ-mrs.fr/~ocoulon Référence Flottant
68
Techniques biomédicales Caroline Petitjean Recalage par chanfrein Calcul d’une carte de distance au contour sur l’image de référence Contour sur l’image flottante
69
Techniques biomédicales Caroline Petitjean Recalage par chanfrein Application du contour sur la carte de distance Déplacement jusqu’à ce que la distance de chanfrein soit minimum Source : Cours O. Coulon, www.esil.univ-mrs.fr/~ocoulon
70
Techniques biomédicales Caroline Petitjean Méthode de Woods Basée sur le pixel Recalage rigide Zones uniformes correspondent à des régions anatomiques A une zone uniforme dans une image correspond une zone uniforme dans l’autre image
71
Techniques biomédicales Caroline Petitjean Méthode de Woods Très utilisé pour le recalage multimodal IRM/TEP L’image des régions IRM est projetée dans l’image TEP Minimisation du critère PIU
72
Techniques biomédicales Caroline Petitjean Recalage : Plan Critères de similarité Transformations géométriques Préservation de la topologie Estimation de grands déplacements
73
Techniques biomédicales Caroline Petitjean Préservation de la topologie Dépend de l’application Dépend de l’application Cela dépend de : l’organe étudié Exemple (cerveau) : les noyaux sont identiques les sillons corticaux varient d’un individu à l’autre s’il y a apparition ou disparition de matière. Exemple : détection de lésions, comparaison pré/post opératoire... La conservation des structures est-elle nécessaire ? Préservation de la topologie T bijective
74
Techniques biomédicales Caroline Petitjean Préservation de la topologie Estimation du jacobien de la transformation Estimation du jacobien de la transformation Estimation de l’inverse de la transformation Estimation de l’inverse de la transformation Définition du jacobien Jacobien 0 T inversible Si on dispose de l’inverse de T T inversible T S -1 =T
75
Techniques biomédicales Caroline Petitjean Estimation de grands déplacements La plupart des méthodes sont basées sur une hypothèse de faible déplacement. Pour estimer les grands déplacements, on utilise le concept de multirésolution. La multirésolution consiste à : - représenter un signal selon différents niveaux de détails (ou résolution), - utiliser la représentation adéquate selon les applications. Application de la multirésolution aux images et à la transformation
76
Techniques biomédicales Caroline Petitjean Estimation de grands déplacements Sous-échantillonnage + filtrage (gaussien) SourceCible 256x256 128x128 64x64 128x128 64x64 Décomposition pyramidale des images selon différents niveaux de résolution
77
Techniques biomédicales Caroline Petitjean Estimation de grands déplacements Sur-échantillonnage et projection de la transformation SourceCible 256x256 128x128 64x64 128x128 64x64 Décomposition pyramidale des images selon différents niveaux de résolution Recalage au plus faible niveau de résolution
78
Techniques biomédicales Caroline Petitjean Estimation de grands déplacements Décomposition hiérarchique de la transformation Décomposition hiérarchique de la transformation La transformation T est estimée à un degré faible (par exemple affine) Le degré est augmenté Degré du polynôme Dimension de la base d’ondelettes La transformation est estimée à ce nouveau degré Répéter jusqu’au degré voulu
79
Techniques biomédicales Caroline Petitjean Applications Estimation des déformations myocardiques Le cœur est un organe mobile. Acquisition de séquences d’IRM et d’IRM taggée
80
Techniques biomédicales Caroline Petitjean Applications Estimation des déformations myocardiques Estimation de la déformation entre chaque image Obtention d’un champ de déformation
81
Techniques biomédicales Caroline Petitjean Plan Exemples d’applications Spécificités des méthodes de TIM Segmentation Recalage En pratique
82
Techniques biomédicales Caroline Petitjean Le format DICOM DICOM : Digital Imaging and Communications in Medicine Désigne 2 choses : –Un standard de communication et d’archivage en imagerie médicale –Un format de fichier des images médicales En-tête dans les fichiers images contenant des informations sur le patient, l’examen, les conditions d’acquisitions
83
Techniques biomédicales Caroline Petitjean L’en-tête DICOM en IRM cardiaque
84
Techniques biomédicales Caroline Petitjean Qui embauche des ingénieurs en traitement d’images médicales ? Constructeurs d’imageurs PME proposant des solutions logicielles spécifiques Organismes publics CNRS, INSERM, INRIA, IRISA, Cemagref… Laboratoires universitaires
85
Techniques biomédicales Caroline Petitjean Architecture d’une étude clinique Acquisition Centralisation Lecture Center 1 Center 2 CD-Roms Résultats envoyés au laboratoire Lecture Acquisition Contrôle qualité Anonymisation
86
Techniques biomédicales Caroline Petitjean Applications Exemple 1 : estimation de l’épaisseur de la peau en échographie Exemple 2 : estimation de la surface d’une ecchymose (photo)
87
Techniques biomédicales Caroline Petitjean Projet de recherche : classification d’images Imagerie alvéolaire
88
Techniques biomédicales Caroline Petitjean Imagerie alvéolaire : cas normal Source : Prof. L. Thiberville, CHU Rouen Projet de recherche : classification d’images
89
Techniques biomédicales Caroline Petitjean Imagerie alvéolaire : sclérodermie Source : Prof. L. Thiberville, CHU Rouen Projet de recherche : classification d’images
90
Techniques biomédicales Caroline Petitjean Imagerie alvéolaire : HSP Source : Prof. L. Thiberville, CHU Rouen Projet de recherche : classification d’images
91
Techniques biomédicales Caroline Petitjean Projet de recherche Imagerie alvéolaire : diagnostic automatique Comment distinguer les cas normaux des cas pathologiques ? Extraction de caractéristiques puis classification
92
Techniques biomédicales Caroline Petitjean Développement d’application : Protocole Cahier des charges en collaboration avec les médecins experts Développement Validation Test Manuel utilisateur
93
Techniques biomédicales Caroline Petitjean Critère PIU Critère de similarité
Présentations similaires
© 2024 SlidePlayer.fr Inc.
All rights reserved.