Damien GROSGEORGE Caroline PETITJEAN Su RUAN Segmentation par coupes de graphe multi-labels avec a priori de forme Damien GROSGEORGE Caroline PETITJEAN Su RUAN Litis EA 4108 – Eq. QuantIF RFIA’14 – Rouen – 04 Juillet 2014

Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014 Contexte Minimisation d’une fonctionnelle d’énergie Segmentation, restauration, recalage… Méthode des coupes de graphe (graph cuts, GC) efficace [Boykov et Jolly, 2001] Obtention du minimum global Segmentation multi-labels Méthode flexible En vision par ordinateur, de nombreux problèmes peuvent se mettre sous la forme de la minimisation d’une fonctionnelle d’énergie : segmentation, restauration, recalage. Afin de minimiser cette fonctionnelle, la méthodes des coupes de graphe a suscité un fort intérêt depuis son introduction par Boykov et Jolly pour plusieurs raisons Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014 Contexte Ajout d’un modèle de forme : Compenser le manque d’information Améliorer la précision de la segmentation Deux problèmes : Modéliser la forme à segmenter Intégrer le modèle dans l’algorithme des GC multi-labels Dans certaines applications, où la forme à segmenter est connue a priori, le processus de segmentation peut être guidé par un modèle de forme ou des contraintes sur celle-ci. L’avantage des GC est sa capacité à donner efficacement une solution optimale pour l’utilisation conjointe de différentes informations sur l’image. Peu de travaux dans la littérature à ce sujet car deux problèmes se posent… Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

Plan de la présentation Principe de la méthode des Graph Cuts et intégration d’a priori Notre méthode : Graph Cuts multi-labels avec a priori Comparaison des résultats sur IRM cardiaques : challenge MICCAI’12 Conclusion et perspectives Annoncer le plan… Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

Plan de la présentation Principe de la méthode des Graph Cuts et intégration d’a priori Notre méthode : Graph Cuts multi-labels avec a priori Comparaison des résultats sur IRM cardiaques : challenge MICCAI’12 Conclusion et perspectives Annoncer le plan… Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

Coupes de graphe : principe Segmentation binaire : liens t-links Ajoutons un lien entre les pixels voisins : n-links Coupe de coût minimal : Terme de régularisation : 𝐵 𝑖,𝑗 Terme région 𝑅 𝑖 (𝜔) : attache aux données Considérons le champ d’observation 𝑦 𝑖 Chaque pixel est considéré comme un nœud S (étiquette 𝝎=𝟎) Terme d’attache aux données : 𝑹 𝒊 𝑺 =− 𝐥𝐧 𝐏𝐫 𝒚 𝒊 𝑻 𝑹 𝒊 𝑻 =− 𝐥𝐧 𝐏𝐫 ( 𝒚 𝒊 |𝑺) 𝑹 𝒊 (𝟎) 𝑹(𝟎) Terme de régularisation : 𝑩 𝒊,𝒋 ∝ 𝐞𝐱𝐩 − ( 𝒚 𝒊 − 𝒚 𝒋 )² 𝟐𝝈² Histogrammes de l’objet et du fond Energie d’une coupe (d’un labelling L) : 𝑩 𝒊,𝒋 𝑬 𝑳 = 𝒊 𝑹 𝒊 𝑳 𝒊 +𝝀 𝒊,𝒋∈𝑵 𝑩 𝒊,𝒋 .𝜹( 𝑳 𝒊 ≠ 𝑳 𝒋 ) Renforce les liens en se basant sur l’histogramme de l’objet et du fond : la pondération se réalise par un modèle de ndg de l’objet et du fond Le terme de régularisation est pondéré par un terme décroissant selon la similarité des intensités voisins Partitionnement des nœuds en 2 parties S et T, l’une contenant la source et l’autre le puits. 𝐿 𝑖 ∈{𝑆, 𝑇} Algorithme α-expansion optimisé pour l’image [Boykov & Kolmogorov, 2004] 𝑹(𝟏) 𝑹 𝒊 (𝟏) T (étiquette 𝝎=𝟏)

Incorporation d’a priori Ajout d’un terme d’a priori de forme : forme spécifique contraintes grossières Terme région Terme région Terme région Terme contour Terme contour Terme contour Terme a priori Terme a priori Terme a priori 𝐸 𝐿 = 𝑖 𝑅 𝑖 𝐿 𝑖 +λ 𝑖,𝑗∈𝑁 𝐵 𝑖,𝑗 .𝛿 𝐿 𝑖 ≠ 𝐿 𝑗 + 𝑖 𝐸 𝑠 ( 𝐿 𝑖 ) 𝐸 𝐿 = 𝑖 𝑅 𝑖 𝐿 𝑖 +λ 𝑖,𝑗∈𝑁 𝐵 𝑖,𝑗 .𝛿 𝐿 𝑖 ≠ 𝐿 𝑗 + 𝐸 𝑠 𝐸 𝐿 = 𝑖 𝑅 𝑖 𝐿 𝑖 +λ 𝑖,𝑗∈𝑁 𝐵 𝑖,𝑗 .𝛿 𝐿 𝑖 ≠ 𝐿 𝑗 + 𝑖,𝑗∈𝑁 𝐸 𝑠 ( 𝐿 𝑖 , 𝐿 𝑗 ) 𝐿 𝑖 ∈{𝑆, 𝑇} 𝐿 𝑖 ∈{𝑆, 𝑇} t-links t-links t-links n-links n-links n-links t-links n-links p q 𝐸 𝑠 𝐿 𝑖 =− ln Pr 𝐴 𝐿 𝑖 [Malcolm et al, 2007 ; Song et al, 2006] 𝐸 𝑠 𝐿 𝑖 , 𝐿 𝑗 ∝ 1− cos 𝛼 [Funka-Lea et al, 2006] Dans le cadre des méthodes variationnelles, il est classique d’ajouter un terme Contrainte grossière (compact, convexe, etc.) : n-links Minimisation de l’angle alpha Plus le vecteur pq se rapproche de la normale, plus le wpq est faible Bien définir alpha reflète le lissage du contour Contrainte forte : forme spécifique Parler recalage, itératif !! Nécessité de recalage Procédé itératif : on alterne placement du modèle (recalage) et segmentation par coupes de graphe. Problème : positionner le modèle Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

Incorporation d’a priori Ajout d’a priori à la méthode des graph cuts Relativement peu de travaux But : Intégrer un a priori fort représentant les variabilités de l’objet à segmenter Se dispenser d’un procédé itératif alternant phase de recalage et phase de segmentation par graph cuts Se dispenser d’un procédé itératif alternant phase de recalage et phase de segmentation par graph cuts Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

Plan de la présentation Principe de la méthode des Graph Cuts et intégration d’a priori Notre méthode : Graph Cuts multi-labels avec a priori Comparaison des résultats sur IRM cardiaques : challenge MICCAI’12 Conclusion et perspectives Annoncer le plan… Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

GC multi-labels avec a priori Vue d’ensemble : Atlas Application des transformations aux cartes de labels et d’intensités Construction du modèle de forme par fusion des atlas Labels Recalage rigide et sélection de N atlas Intensités Recalage non-rigide des N atlas Comme précédemment, nous disposons d’un ensemble d’IRM étiquetées. Auparavant, nous utilisions les formes (donc les labels) afin de modéliser les variations. Nous avons ici fait le choix d’utiliser directement les carte d’intensités et de label en tant qu’atlas. Si on considère une image à segmenter… GC multi-labels avec a priori de forme Image à segmenter Segmentation finale Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014 Création du modèle Soient N atlas 𝐴 𝑖 , 𝐿 𝑖 recalés rigidement sur l’image à segmenter 𝐼 Recalage non-rigide des atlas sur l’image : 𝑫 ∗ = 𝐚𝐫𝐠 𝐦𝐢𝐧 𝑫 𝛀 𝑪 𝑰 𝐱 , 𝑨 𝑫 𝐱 𝒅𝐗 + 𝝀 𝒓 𝛀 𝐃(𝐱) 𝒅𝛀 Minimisable par GC multi-labels (α-expansion) Utilisation récente pour le recalage [Tang et Chung, 2007] Nœuds terminaux : vecteurs de déplacement (discrétisation) Critère de similarité : selon application Critère de similarité Régularisation En se plaçant comme précédemment dans le cadre discret, nous avons choisi de minimiser cette énergie par GC Les GC permettent une déformation non paramétrique, ce qui est plus souple en considérant les fortes variations des IRM cardiaques ! L’utilisation des GC pour le recalage est récent… Expérimentalement marche bien avec gradient et intensité Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

Différence d’intensités Création du modèle Fusion locale des atlas recalés (selon voisinage) : 𝑷 𝑳 𝒙 =𝒍| 𝑳 𝒊 𝑫 𝒙+𝜟𝒙 ,𝑰 𝒙 , 𝑨 𝒊 𝑫 (𝒙+𝜟𝒙) = 𝟏 𝟏+𝑫(𝚫𝐱) . 𝟏 𝟐𝝅 𝝈 𝒊 𝐞𝐱𝐩 − 𝑰 𝐱 − 𝑨 𝒊 𝑫 𝐱+𝚫𝐱 𝟐 𝟐 𝝈 𝒊 𝟐 . 𝜹 𝒍, 𝑳 𝒊 𝑫 (𝐱+𝚫𝐱) Utilisation classique : choix du label de score max Normalisation et création d’une carte a priori : 𝑪 𝒍 (𝐱) Distance du voisin Différence d’intensités Pour chaque label Nous avons fait le choix d’une fusion locale des atlas. Le but va être de déterminer un poids pour chaque pixel et pour chaque label en considérant chacun des atlas recalé. Ce poids va dépendre d’une différence d’intensités, entre un pixel de l’image à segmenter et ce même pixel ainsi que ces voisins sur les atlas Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

Segmentation multi-labels Graphe multi-labels : Labels : objets à segmenter Energie du graphe : 𝑬 𝒇 = 𝒑∈𝑷 𝑫 𝒑 𝒇 𝒑 + 𝜸 𝒔 𝑬 𝒔 𝒑 ( 𝒇 𝒑 ) + 𝝀 𝒔 𝒑,𝒒 ∈𝑵 𝑽 𝒑,𝒒 ( 𝒇 𝒑 , 𝒇 𝒒 ) T-links : Attache aux données : défini à partir de la carte a priori 𝑫 𝒑 𝒇 𝒑 =− 𝐥𝐧 𝐏𝐫 𝑰 𝒑 | 𝑪 𝒇 𝒑 𝒑 ≥𝒔 Attache à l’a priori : 𝑬 𝒔 𝒑 𝒇 𝒑 =− 𝐥𝐧 𝑪 𝒇 𝒑 (𝒑) Attache aux données Attache à l’a priori Régularisation

Segmentation multi-labels N-links : ajout d’une contrainte topologique Contrainte GC : 𝑉 𝑝,𝑞 doit être une métrique sur l’espace des labels pour l’α-expansion : 𝑽 𝜶,𝜷 =𝟎 𝜶=𝜷 𝑽 𝜶,𝜷 =𝑽 𝜷,𝜶 ≥𝟎 𝑽 𝜶,𝜷 ≤𝑽 𝜶,𝜸 +𝑽(𝜸,𝜷) Energie proposée : 𝑽 𝒑,𝒒 𝒇 𝒑 , 𝒇 𝒒 = 𝟎 𝚪 𝒑,𝒒 ( 𝒇 𝒑 , 𝒇 𝒒 ) 𝒔𝒊 𝒇 𝒑 = 𝒇 𝒒 𝒔𝒊 𝒇 𝒑 ≠ 𝒇 𝒒 Où : 𝚪 𝒑,𝒒 𝒇 𝒑 , 𝒇 𝒒 = 𝜿 𝒔𝒊 𝒇 𝒑 𝒆𝒕 𝒇 𝒒 𝒑𝒆𝒖𝒗𝒆𝒏𝒕 𝒂𝒗𝒐𝒊𝒓 𝒖𝒏𝒆 𝒇𝒓𝒐𝒏𝒕𝒊è𝒓𝒆 𝒄𝒐𝒎𝒎𝒖𝒏𝒆 𝟐𝜿 𝒔𝒊𝒏𝒐𝒏 Pour pas confondre VD et VG et guider la segmentation Pour deux nœuds voisins, un poids nul signifie que les deux pixels sont de même label De plus, le poids doit être positif et le cout de coupe d’un label alpha beta doit être identique au poids de coupe beta alpha Enfin, le terme de régularisation doit respecter l’inégalité triangulaire Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

Résultats expérimentaux ED ES Recalage non-rigide VD 0.78±0.09 0.59±0.16 VG 0.92±0.04 0.76±0.23 Myocarde 0.74±0.09 0.71±0.21 ED ES Recalage non-rigide VD 0.78±0.09 0.59±0.16 VG 0.92±0.04 0.76±0.23 Myocarde 0.74±0.09 0.71±0.21 Fusion 0.85±0.08 0.66±0.18 0.94±0.04 0.80±0.23 0.81±0.09 0.76±0.21 ED ES Recalage non-rigide VD 0.78±0.09 0.59±0.16 VG 0.92±0.04 0.76±0.23 Myocarde 0.74±0.09 0.71±0.21 Fusion 0.85±0.08 0.66±0.18 0.94±0.04 0.80±0.23 0.81±0.09 0.76±0.21 Segmentation 0.87±0.06 0.73±0.16 0.95±0.03 0.80±0.26 0.81±0.08 0.77±0.19 Base de données de 48 patients : 16 patients pour la construction du modèle 32 patients pour le test Réglage empirique des paramètres Stratégie leave-one-out sur la base d’apprentissage Coefficient de Dice : Tableau petit à petit On peut observer les résultats obtenus sur les différentes coupes d’un patient, permettant de reconstruire le volume Application des transformations aux cartes de labels et d’intensités Construction du modèle de forme par fusion des atlas Labels 𝑫 𝑨,𝑩 = 𝟐 𝑨 𝑩 𝑨 + 𝑩 Recalage rigide et sélection de N atlas Atlas Recalage non-rigide des N atlas GC multi-labels avec a priori de forme Image à segmenter Segmentation finale

Résultats expérimentaux Tableau petit à petit On peut observer les résultats obtenus sur les différentes coupes d’un patient, permettant de reconstruire le volume VD - VG - Myocarde

Plan de la présentation Principe de la méthode des Graph Cuts et intégration d’a priori Notre méthode : Graph Cuts multi-labels avec a priori Comparaison des résultats sur IRM cardiaques : challenge MICCAI’12 Conclusion et perspectives Annoncer le plan… Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014 Comparaison : MICCAI’12 Base de données : 48 patients (CHU de Rouen) 16 patients pour l’apprentissage 16 patients Test1 16 patients Test2 Critères d’évaluation : Techniques : coefficient de Dice et distance de Hausdorff Cliniques : évaluation des volumes et de la fraction d’éjection 𝑭𝑬= 𝑽 𝑬𝑫 − 𝑽 𝑬𝑺 𝑽 𝑬𝑫 Tout d’abord les données, qui sont les mêmes que ceux que nous avons utilisé précédemment Il a fallu définir des critères commun à l’évaluation des différentes méthodes Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

Comparaison : MICCAI’12 4 méthodes automatiques : Equipes Principe de la méthode A/SA Contours CMIC, GB Recalage multi-atlas 2D A Endo+épi NTUST, Taiwan Clustering et mouvement SBIA*, USA Recalage multi-atlas 3D LITIS, France GC multi-labels (GCAF-multi) Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014 Comparaison : MICCAI’12 Performances techniques : Coefficient de Dice et distance de Hausdorff sur 32 patients Equipes A/SA Test1 Test2 Moyenne DM HD (mm) HD CMIC A 0.78±0.23 10.51±9.17 0.73±0.27 12.50±10.95 0.75 11.51 NTUST 0.57±0.33 28.44±23.57 0.61±0.34 22.20±21.74 0.59 25.30 SBIA* 0.55±0.32 23.16±19.86 0.61±0.29 15.08±8.91 0.58 19.09 GCAF-multi 0.79±0.22 12.54±10.74 0.81±0.21 9.69±7.71 0.80 11.10 Pour les besoins du challenge, nous avions besoin de deux bases de test Moyenne réalisée sur les deux volumes ED et ES NTUST : clustering / SBIA : recalage 3D / GEWU correspondance de distribution Transistion : il est également possible d’étudier la distribution statitsique des erreurs Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014 Comparaison : MICCAI’12 Performances cliniques : Paramètres de la régression linéaire et coefficient de corrélation entre volumes automatiques et manuels en ED et ES Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014 Comparaison : MICCAI’12 Performances cliniques : Analyse de Bland-Altman sur la fraction d’éjection Le principe de l’analyse bland altman : on compare la référence de FE par rapport à la différence observée avec celle obtenue par les méthodes de seg. Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014 Comparaison : MICCAI’12 CMIC GCAF-multi Voici un exemple typique. Su cet exemple, on peut observer… Contours automatiques – Contours manuels Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

Conclusion et Perspectives Proposition d’une méthode : Segmentation par GC multi-labels avec a priori : robuste, générique, automatique Bonnes performances au challenge MICCAI’12, sur une tâche difficile de segmentation Perspectives : Sélection d’atlas Ajout de contraintes aux n-links : α-expansion β-Shrink Moves [Schmidt et Alahari, 2011] Extension 3D Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014

Fin… Merci de votre attention Des questions ? Contact: damien.grosgeorge@univ-rouen.fr Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014