Le traitement d’images médicales Techniques biomédicales Le traitement d’images médicales Caroline Petitjean Université de Rouen caroline.petitjean@univ-rouen.fr

Reconnaissance des formes Traitement d’images Prétraitement Résultat : visualisation améliorée Traitement Résultat : mesure de la surface de la tumeur Reconnaissance des formes Résultat : identification des cellules malades et saines saine malade

Objectifs en TIM Amélioration d’image Extraction d’information dans l’image Segmentation Comparer 2 images Reconstruction 3D Recalage & fusion

Plan Exemples d’applications Spécificités des méthodes de TIM Segmentation Recalage et fusion d’images En pratique

Exemples Amélioration du contraste de l’image Image Contraste acquise Radio Fond d’œil Source : Synarc

Exemples Quantification de la densité capillaire Segmentation de la surface du réseau capillaire Densité capillaire Source : [1]

Source : Cours Devaux PCEM Exemples Segmentation de tumeurs Source : Cours Devaux PCEM Caroline Petitjean

Estimation de mouvement Exemples Estimation de la contractilité des ventricules cardiaques en IRM radial Source : Thèse CP Quantification Estimation de mouvement circulaire

Exemples Scanner seul Utilisation de l’imagerie fonctionnelle TEP pour le contourage en radiothérapie Meilleure détection/discrimination des tissus tumoraux Modification de la forme/volume du volume tumoral comparé aux images scanner seules. Scanner + TEP Source : S. Hapdey, CHB, Rouen

Exemples Comparaison d’images avant/après Source : Université Louis Pasteur, Strasbourg

Exemples Comparaison d’images complémentaires IRM Scanner Source : EPFL

Exemples Comparaison d’images complémentaires Scanner TEP Source : EPFL

Exemples Atlas d’organes Source : INRIA http://www.imaios.com/fr/e-Anatomy/Genou-IRM

Pourquoi faire un traitement par ordinateur ? Les logiciels d’aide au diagnostic permettent de : - diminuer la variabilité intra- et inter-expert - réduire le temps passé à des tâches fastidieuses - estimer de nouveaux paramètres

Plan Exemples d’applications Spécificités des méthodes de TIM Segmentation Recalage et fusion d’images En pratique

Spécificités des méthodes de TIM Prise en compte des caractéristiques des images médicales Robuste Rapide (pratique clinique) (Semi-)Automatique Validée

Spécificités des méthodes de TIM Effet de volume partiel dans les modalités tomographiques Chaque coupe a une épaisseur non nulle Source : [2]

Spécificités des méthodes de TIM Rappel : différents types de bruits en vision par ordinateur : Original Salt and pepper (noir et blanc, aléatoire) Gaussien (additif) Speckle (multiplicatif)

Spécificités des méthodes de TIM Images échographiques (US) : bruit “speckle” (multiplicatif) Images IRM : bruit gaussien

Spécificités des méthodes de TIM En IRM : intensité non uniforme (INU) Source : [2] B. Dawant and A. Zijdenbos. Chapter 2: Image Segmentation. Handbook of Medical Imaging. Volume 2: Medical Image Processing and Analysis, SPIE Press: p.71-127, 2000.

Correction de INU en IRM Source : [2]

Spécificités des méthodes de TIM Images scanner (CT) : unités Hounsfield http://www.med.univ-angers.fr/discipline/radiologie/PDFs/DC1_IPDM/Dias_IPDM_TDM.pdf

Plan Exemples d’applications Spécificités des méthodes de TIM Segmentation Recalage et fusion d’images En pratique

Segmentation : objectifs Extraction de points, lignes ou régions Calcul de paramètres régionaux (surfaces...) Peut être effectuée avant ou après recalage Source : [1]

Segmentation Segmentation Recherche de frontières Recherche de régions (approches « contours ») Recherche de régions (approches « régions ») seuillage, region growing… filtrage linéaire, graph, contours actifs… + Segmentation par techniques de classification (clustering) Source : LIRMM

Segmentation : approches régions But : Segmenter l’image en se basant sur des propriétés intrinsèques des régions Seuillage Croissance de régions

Seuillage Très simple au niveau algorithme  très utilisé en routine clinique Seuillage global Originale Histogramme Seuillée Laplacien Source : [3] J. Rogowska. Overview and fundamentals of medical image segmentation. Handbook of medical imaging, Academic Press, p. 69 – 85, 2000.

Seuillage Utilisé tel quel ou associé à : des approches contours, de la croissance de régions

Approches régions Croissance de régions (Region growing) choix d'un germe propagation selon un certain critère Accumulation des voisins vérifiant la propriété Source : LIRMM

Approches régions : application Segmentation de la graisse sous-cutanée et viscérale sur des images scanner acquises chez des patients atteints du VIH Source : [1]

Approches régions : application Segmentation par croissance de région selon un critère de seuillage Choix du seuil : Codage sur 12 bits  4096 valeurs Image CT en unités Hounsfield : [-1024 ; 3071] Air : -1024 HU Eau : 0 HU Graisse : -120 à –60 HU Os : 1000 HU

Approches régions : application Segmentation par croissance de région selon un critère de seuillage A partir du germe : pixel  région si son intensité  [-120,-60] Source : [1]

Segmentation : approches "contours" Approche par filtrage linéaire Technique de graph searching Contours actifs & modèles déformables

Approches contours Utilisation du gradient de l’image Exemple : angiographie Image originale Masque Sobel 3x3 Seuillage Seuil bas (600) Seuillage Seuil haut (1000) Source : [3]

Nécessité de post-traitement très important ! Approches contours Laplacien de l’image Laplacien de l’image Nécessité de post-traitement très important ! Zero crossings Source : [3]

Approches contours Le laplacien est sensible au bruit

Approches contours Laplacian of Gaussian (LoG) Laplacien de l’image +gaussien Zero crossings Zero crossings Source : [3]

Approches contours Laplacien surtout utilisé pour rehausser les contours

Approches contours Autre possibilité pour rehausser les contours (a) Profil idéal (b) Profil observé (flou) (c) Filtré par une gaussienne (encore plus flou) (d) Mise en évidence des contours

Approches contours Différences de gaussiennes (DoG)

Approches contours Utilisation de masques gradient ou laplacien Sensibles au bruit Nécessité de post-traitement + Calcul rapide

Approches contours Technique de “Graph searching” A utiliser lorsqu’on a de la connaissance a priori sur le contour. Ex : Point de début, de fin, connus Ex : Propriétés relatives à la forme du contours Contour lisse (smooth) Courbure faible Contour non lisse Courbure élevée Caroline Petitjean Caroline Petitjean

Approches contours A partir de l’image, on fabrique une matrice de coût, pour passer d’un pixel à l’autre Si zone uniforme : coût élevé Si zone de contour : coût faible Le coût dépend du gradient de l’image et de connaissance a priori sur le contour Un graph : ensemble de points ensemble de liens Segmenter l’image consiste à trouver le chemin de coût minimal dans le graphe

Approches contours Exemple Graph searching : Problème très général NdG C(pq)=M-[I(p)-I(q)] Source : Gonzalez & Wood Graph searching : Problème très général

Approches contours IRM cardiaque Transformation en coordonnées polaires Source : Lalande et al. 1999 Caroline Petitjean

Approches contours Image originale (coord.polaires) Matrice de coût Segmentation finale Source : Lalande et al. 1999

Approches contours Source : Lalande et al. 1999

Contours actifs Définition d’un snake Propriétés intrinsèques Longueur, courbure… Propriétés locales de l’image autour du snake

Exemple IRM cardiaque Source : A. Yezzi, Georgia Tech Univ. Initialisation : courbe assez proche du contour extraire Optimisation itérative : déformations du contour actif de façon ce qu’il atteigne une position d’énergie minimum.

Exemple snake 3D

Energie totale(C) = Eint(C) +Eext(C) Energie d’un snake Formulation paramétrique du contour Energie totale(C) = Eint(C) +Eext(C) Energie interne : mesure la régularité de la courbe Ex de représentation paramétrique X(s) = Rcos(s) Y(s) = Rsin(s) Eint : contrôle l’aspect de la courbe, qui doit être assez lisse Elasticité Rigidité

Energie interne d’un snake Energie élastique Energie de courbure Energie élastiqueComportement: tend à rétrécir le snake, tout en maintenant une répartition homogène des espaces entre les points de contrôle. Forme limite: le point. Energie de courbure : tend àredresser le snakeet àlimiter la courbure (forme limite : cercle)

Energie externe d’un snake Energie externe : reliée au contenu de l’image Si contour : gradient élevé  g ≈ 0 Si zone homogène : gradient faible  g élevé Avec g fonction généralement décroissante de gradient de l’image Ex de représentation paramétrique X(s) = Rcos(s) Y(s) = Rsin(s)

Energie externe d’un snake Zones brillantes ou sombres: Contours en tant que maxima de la norme du gradient: Répulsion d’une zone:

Résolution Comment trouver C qui minimise E = Eint + Eext ? Par l’équation d’Euler Lagrange Dans notre cas : Soit E la fonctionnelle d’énergie Pour que E atteigne un extremum, il faut que v(s) vérifie Equation d’évolution du snake

Conclusions sur les snakes Avantage : calculs numériques rapides Inconvénients Segmentation multi-objets impossible Phase d’initialisation sensible Approche non intrinsèque Contours actifs géodésiques

Résultats de CAG Source : Yezzi et al

Segmentation avec a priori de forme Quand la forme de l’objet à segmenter est connue et ne varie pas (trop) ASM

ASM appliqué en échocardio Contours de 96 points tracés manuellement sur 66 images par des cardiologues

ASM appliqué en échocardio Variation sur les premiers vecteurs propres Variation de la largeur Variation du septum Variation du VG Variation de l’oreillette

ASM appliqué en échocardio Utilisation à des fins de segmentation

ASM appliqué en échocardio Utilisation à des fins de segmentation Initialisation du modèle

ASM appliqué en échocardio Utilisation à des fins de segmentation

ASM appliqué en échocardio Utilisation à des fins de segmentation

ASM : segmentation IRM 114 points, 8 images

Active Appearance Model personalpages.manchester.ac.uk/staff/timothy.f.cootes/

Segmentation par classification La segmentation peut être vue comme un problème de classification : Les régions sont étiquettées Comment trouver l’étiquette d’un pixel ? Différentes techniques : Sans apprentissage : k-means Avec apprentissage : kppv, réseau de neurones… Application : segmentation multimodale

Clustering (k-moyennes) K = nombre de régions (cluster) à trouver Ici K = 2 (Fond + chromosomes) 1) On clique dans l’image pour avoir un représentant de chaque région (=centre de cluster = CC) 2) Pour chaque pixel de l’image, calcul de sa distance à chaque CC : |NdG - Pi| on lui attribue la région de distance minimum Pf = 32, Pc = 217 3) Pour chaque cluster, on calcule le NdG moyen = nouveaux CC. Sont-ils différents des anciens CC ? Si oui, retour à 2) Si non, stop

Exemple : segmentation de la tumeur IRM cérébrale à 2 instants différents (recalage préalable supposé)

Clustering Segmentation en 3 classes Résultat après convergence

Segmentation multimodale Principe : utilisation de plusieurs images de la même scène physique pour la segmentation Hypothèse de recalage préalable Spatiale (classification) : utilisation d’images de différentes modalités à même instant Temporelle : utilisation d’images de la même modalité à des instants différents

Segmentation multimodale Axial Sagittal Coronal Techniques de classification T1 IRM cérébrale T2 Chaque pixel possède 3 valeurs (T1, T2, PD) PD Source : [2]

Segmentation multimodale Distribution des pixels en T1 et T2 Source : [2]

Segmentation multimodale Classification en 4 classes fond (noir), matière blanche (blanc), matière grise (gris clair), liquide céphalo-rachidien (gris foncé) Source : [2]