Le traitement d’images médicales

Présentation au sujet: "Le traitement d’images médicales"— Transcription de la présentation:

1 Le traitement d’images médicales
Techniques biomédicales Le traitement d’images médicales Caroline Petitjean Université de Rouen

2 Reconnaissance des formes
Traitement d’images Prétraitement Résultat : visualisation améliorée Traitement Résultat : mesure de la surface de la tumeur Reconnaissance des formes Résultat : identification des cellules malades et saines saine malade

3 Objectifs en TIM Amélioration d’image Extraction d’information
dans l’image Segmentation Comparer 2 images Reconstruction 3D Recalage & fusion

4 Plan Exemples d’applications Spécificités des méthodes de TIM
Segmentation Recalage et fusion d’images En pratique

5 Exemples Amélioration du contraste de l’image Image Contraste acquise
Radio Fond d’œil Source : Synarc

6 Exemples Quantification de la densité capillaire Segmentation
de la surface du réseau capillaire Densité capillaire Source : [1]

7 Source : Cours Devaux PCEM
Exemples Segmentation de tumeurs Source : Cours Devaux PCEM Caroline Petitjean

8 Estimation de mouvement
Exemples Estimation de la contractilité des ventricules cardiaques en IRM radial Source : Thèse CP Quantification Estimation de mouvement circulaire

9 Exemples Scanner seul Utilisation de l’imagerie fonctionnelle TEP pour le contourage en radiothérapie Meilleure détection/discrimination des tissus tumoraux Modification de la forme/volume du volume tumoral comparé aux images scanner seules. Scanner + TEP Source : S. Hapdey, CHB, Rouen

10 Exemples Comparaison d’images avant/après
Source : Université Louis Pasteur, Strasbourg

11 Exemples Comparaison d’images complémentaires IRM Scanner
Source : EPFL

12 Exemples Comparaison d’images complémentaires Scanner TEP
Source : EPFL

13 Exemples Atlas d’organes Source : INRIA

14 Pourquoi faire un traitement
par ordinateur ? Les logiciels d’aide au diagnostic permettent de : - diminuer la variabilité intra- et inter-expert - réduire le temps passé à des tâches fastidieuses - estimer de nouveaux paramètres

15 Plan Exemples d’applications Spécificités des méthodes de TIM
Segmentation Recalage et fusion d’images En pratique

16 Spécificités des méthodes de TIM
Prise en compte des caractéristiques des images médicales Robuste Rapide (pratique clinique) (Semi-)Automatique Validée

17 Spécificités des méthodes de TIM
Effet de volume partiel dans les modalités tomographiques Chaque coupe a une épaisseur non nulle Source : [2]

18 Spécificités des méthodes de TIM
Rappel : différents types de bruits en vision par ordinateur : Original Salt and pepper (noir et blanc, aléatoire) Gaussien (additif) Speckle (multiplicatif)

19 Spécificités des méthodes de TIM
Images échographiques (US) : bruit “speckle” (multiplicatif) Images IRM : bruit gaussien

20 Spécificités des méthodes de TIM
En IRM : intensité non uniforme (INU) Source : [2] B. Dawant and A. Zijdenbos. Chapter 2: Image Segmentation. Handbook of Medical Imaging. Volume 2: Medical Image Processing and Analysis, SPIE Press: p , 2000.

21 Correction de INU en IRM
Source : [2]

22 Spécificités des méthodes de TIM
Images scanner (CT) : unités Hounsfield

23 Plan Exemples d’applications Spécificités des méthodes de TIM
Segmentation Recalage et fusion d’images En pratique

24 Segmentation : objectifs
Extraction de points, lignes ou régions Calcul de paramètres régionaux (surfaces...) Peut être effectuée avant ou après recalage Source : [1]

25 Segmentation Segmentation Recherche de frontières Recherche de régions
(approches « contours ») Recherche de régions (approches « régions ») seuillage, region growing… filtrage linéaire, graph, contours actifs… + Segmentation par techniques de classification (clustering) Source : LIRMM

26 Segmentation : approches régions
But : Segmenter l’image en se basant sur des propriétés intrinsèques des régions Seuillage Croissance de régions

27 Seuillage Très simple au niveau algorithme  très utilisé en routine clinique Seuillage global Originale Histogramme Seuillée Laplacien Source : [3] J. Rogowska. Overview and fundamentals of medical image segmentation. Handbook of medical imaging, Academic Press, p. 69 – 85, 2000.

28 Seuillage Utilisé tel quel ou associé à : des approches contours,
de la croissance de régions

29 Approches régions Croissance de régions (Region growing)
choix d'un germe propagation selon un certain critère Accumulation des voisins vérifiant la propriété Source : LIRMM

30 Approches régions : application
Segmentation de la graisse sous-cutanée et viscérale sur des images scanner acquises chez des patients atteints du VIH Source : [1]

31 Approches régions : application
Segmentation par croissance de région selon un critère de seuillage Choix du seuil : Codage sur 12 bits  4096 valeurs Image CT en unités Hounsfield : [-1024 ; 3071] Air : HU Eau : 0 HU Graisse : -120 à –60 HU Os : 1000 HU

32 Approches régions : application
Segmentation par croissance de région selon un critère de seuillage A partir du germe : pixel  région si son intensité  [-120,-60] Source : [1]

33 Segmentation : approches "contours"
Approche par filtrage linéaire Technique de graph searching Contours actifs & modèles déformables

34 Approches contours Utilisation du gradient de l’image
Exemple : angiographie Image originale Masque Sobel 3x3 Seuillage Seuil bas (600) Seuillage Seuil haut (1000) Source : [3]

35 Nécessité de post-traitement très important !
Approches contours Laplacien de l’image Laplacien de l’image Nécessité de post-traitement très important ! Zero crossings Source : [3]

36 Approches contours Le laplacien est sensible au bruit

37 Approches contours Laplacian of Gaussian (LoG) Laplacien de l’image
+gaussien Zero crossings Zero crossings Source : [3]

38 Approches contours Laplacien surtout utilisé pour rehausser les contours

39 Approches contours Autre possibilité pour rehausser les contours
(a) Profil idéal (b) Profil observé (flou) (c) Filtré par une gaussienne (encore plus flou) (d) Mise en évidence des contours

40 Approches contours Différences de gaussiennes (DoG)

41 Approches contours Utilisation de masques gradient ou laplacien
Sensibles au bruit Nécessité de post-traitement + Calcul rapide

42 Approches contours Technique de “Graph searching”
A utiliser lorsqu’on a de la connaissance a priori sur le contour. Ex : Point de début, de fin, connus Ex : Propriétés relatives à la forme du contours Contour lisse (smooth) Courbure faible Contour non lisse Courbure élevée Caroline Petitjean Caroline Petitjean

43 Approches contours A partir de l’image, on fabrique une matrice de coût, pour passer d’un pixel à l’autre Si zone uniforme : coût élevé Si zone de contour : coût faible Le coût dépend du gradient de l’image et de connaissance a priori sur le contour Un graph : ensemble de points ensemble de liens Segmenter l’image consiste à trouver le chemin de coût minimal dans le graphe

44 Approches contours Exemple Graph searching : Problème très général NdG
C(pq)=M-[I(p)-I(q)] Source : Gonzalez & Wood Graph searching : Problème très général

45 Approches contours IRM cardiaque Transformation en coordonnées polaires Source : Lalande et al. 1999 Caroline Petitjean

46 Approches contours Image originale (coord.polaires) Matrice de coût
Segmentation finale Source : Lalande et al. 1999

47 Approches contours Source : Lalande et al. 1999

48 Contours actifs Définition d’un snake Propriétés intrinsèques
Longueur, courbure… Propriétés locales de l’image autour du snake

49 Exemple IRM cardiaque Source : A. Yezzi, Georgia Tech Univ. Initialisation : courbe assez proche du contour extraire Optimisation itérative : déformations du contour actif de façon ce qu’il atteigne une position d’énergie minimum.

50 Exemple snake 3D

51 Energie totale(C) = Eint(C) +Eext(C)
Energie d’un snake Formulation paramétrique du contour Energie totale(C) = Eint(C) +Eext(C) Energie interne : mesure la régularité de la courbe Ex de représentation paramétrique X(s) = Rcos(s) Y(s) = Rsin(s) Eint : contrôle l’aspect de la courbe, qui doit être assez lisse Elasticité Rigidité

52 Energie interne d’un snake
Energie élastique Energie de courbure Energie élastiqueComportement: tend à rétrécir le snake, tout en maintenant une répartition homogène des espaces entre les points de contrôle. Forme limite: le point. Energie de courbure : tend àredresser le snakeet àlimiter la courbure (forme limite : cercle)

53 Energie externe d’un snake
Energie externe : reliée au contenu de l’image Si contour : gradient élevé  g ≈ 0 Si zone homogène : gradient faible  g élevé Avec g fonction généralement décroissante de gradient de l’image Ex de représentation paramétrique X(s) = Rcos(s) Y(s) = Rsin(s)

54 Energie externe d’un snake
Zones brillantes ou sombres: Contours en tant que maxima de la norme du gradient: Répulsion d’une zone:

55 Résolution Comment trouver C qui minimise E = Eint + Eext ?
Par l’équation d’Euler Lagrange Dans notre cas : Soit E la fonctionnelle d’énergie Pour que E atteigne un extremum, il faut que v(s) vérifie Equation d’évolution du snake

56 Conclusions sur les snakes
Avantage : calculs numériques rapides Inconvénients Segmentation multi-objets impossible Phase d’initialisation sensible Approche non intrinsèque Contours actifs géodésiques

57 Résultats de CAG Source : Yezzi et al

58 Segmentation avec a priori de forme
Quand la forme de l’objet à segmenter est connue et ne varie pas (trop) ASM

59 ASM appliqué en échocardio
Contours de 96 points tracés manuellement sur 66 images par des cardiologues

60 ASM appliqué en échocardio
Variation sur les premiers vecteurs propres Variation de la largeur Variation du septum Variation du VG Variation de l’oreillette

61 ASM appliqué en échocardio
Utilisation à des fins de segmentation

62 ASM appliqué en échocardio
Utilisation à des fins de segmentation Initialisation du modèle

63 ASM appliqué en échocardio
Utilisation à des fins de segmentation

64 ASM appliqué en échocardio
Utilisation à des fins de segmentation

65 ASM : segmentation IRM 114 points, 8 images

66 Active Appearance Model
personalpages.manchester.ac.uk/staff/timothy.f.cootes/

67 Segmentation par classification
La segmentation peut être vue comme un problème de classification : Les régions sont étiquettées Comment trouver l’étiquette d’un pixel ? Différentes techniques : Sans apprentissage : k-means Avec apprentissage : kppv, réseau de neurones… Application : segmentation multimodale

68 Clustering (k-moyennes)
K = nombre de régions (cluster) à trouver Ici K = 2 (Fond + chromosomes) 1) On clique dans l’image pour avoir un représentant de chaque région (=centre de cluster = CC) 2) Pour chaque pixel de l’image, calcul de sa distance à chaque CC : |NdG - Pi| on lui attribue la région de distance minimum Pf = 32, Pc = 217 3) Pour chaque cluster, on calcule le NdG moyen = nouveaux CC. Sont-ils différents des anciens CC ? Si oui, retour à 2) Si non, stop

69 Exemple : segmentation de la tumeur IRM cérébrale à 2 instants différents (recalage préalable supposé)

70 Clustering Segmentation en 3 classes Résultat après convergence

71 Segmentation multimodale
Principe : utilisation de plusieurs images de la même scène physique pour la segmentation Hypothèse de recalage préalable Spatiale (classification) : utilisation d’images de différentes modalités à même instant Temporelle : utilisation d’images de la même modalité à des instants différents

72 Segmentation multimodale
Axial Sagittal Coronal Techniques de classification T1 IRM cérébrale T2 Chaque pixel possède 3 valeurs (T1, T2, PD) PD Source : [2]

73 Segmentation multimodale
Distribution des pixels en T1 et T2 Source : [2]

74 Segmentation multimodale
Classification en 4 classes fond (noir), matière blanche (blanc), matière grise (gris clair), liquide céphalo-rachidien (gris foncé) Source : [2]