Segmentation des tissus et des structures sur les IRM cérébrales : agents markoviens locaux coopératifs et formulation bayésienne. Benoit Scherrer Thèse co-encadrée par Mme Catherine Garbay et M. Michel Dojat Préparée dans les laboratoires TIMC, GIN et LIG Collaboration Florence Forbes, INRIA

Introduction Interprétation automatique des IRM cérébrales : Imagerie par résonance magnétique (IRM) Permet l’observation avec une résolution fine de l’anatomie Modalité d’imagerie médicale peu invasive Met en évidence les tissus mous Adaptée pour l’étude du cerveau Explosion de la quantité d’information générée Interprétation automatique des IRM cérébrales : un enjeu majeur Données brutes (issue des mesures physiques) Reconstruction 3D de l’image Acquisition IRM INTERPRETATION DE L’IMAGE B. Scherrer, 12/12/2008

Introduction : la segmentation Parmi les outils d’interprétation : la segmentation des IRM cérébrales But : attribuer à chaque voxel une étiquette de classe parmi K classes La segmentation : différents buts Segmentation des tissus Description de la matière contenue dans les voxels. matière blanche (MB), matière grise (MG), liquide céphalo-rachidien (LCR) Segmentation des structures Description selon des régions anatomiques connues. Noyaux caudés, putamen, thalamus, hypocampe, amygdale, … IRM Pondérée T1 B. Scherrer, 12/12/2008

Application à l’INSERM U836 Contexte de la thèse : Projet de Cartographie des Aires Visuelles chez l’Homme Segmentation des tissus  Matière grise (MG) Segmentation des structures  différencier MG du cortex et des structures La segmentation : un maillon crucial dans la chaînes d’interprétation Doit être aussi robuste et fiable que possible  Reconstruction fine 3D du Cortex IRM Anatomique 3D  Volume de Voxels Projection des données IRMf Dépliage du Cortex. Cartes Planes. IRM Fonctionnelle B. Scherrer, 12/12/2008

Difficulté de la segmentation d’IRM Images IRM perturbées par de nombreux artéfacts Variation de l’intensité pour un même tissu Inhérent à toute mesure physique Inhomogénéité Bruit Effet de volume partiel, faible contraste, Taille des données (acquisition 256x256x256 : 16 millions de voxels) La segmentation : un problème difficile Nécessite des modèles mathématiques adaptés Enjeux et difficulté d’une segmentation robuste  illustrés par l’intérêt croissant porté sur la segmentation Source : PubMed Requête : medical AND image AND (segmentation OR classification OR labeling) B. Scherrer, 12/12/2008

Segmentation non supervisée Ascendants Ascendants Mélange de lois Champ de Markov Descendants Descendants Explicites (snakes) Implicites (level sets) Paramétrique Non Paramétrique Modèles déformables Probabiliste Classification SEGMENTATION Orientée contours Orientée régions Déterministe “bas niveau” Recalage d’atlas Approches probabilistes Cadre statistique formel bien posé Modélisent l’incertitude dans l’attribution des classes Intègrent naturellement des connaissances a priori (modèles de bruit, d’inhomogénéité, localisation des structures, …) Modélisation de problèmes couplés (distributions jointes) Inférence naturelle et rigoureuse d’algorithmes d’estimation Champs de Markov : robuste au bruit Opérateurs différentiels Approches hybrides K-Mean Morphologie mathématique Fuzzy C-Mean Croissance de région Mean-shift Gradient Morphologique Ligne de partage des eaux Seuillage B. Scherrer, 12/12/2008

La segmentation des IRM Classiquement dans la littérature Segmentation tissus Approche probabiliste : estimation de modèles d’intensités Modélisation globale de l’intensité des tissus Requiert l’estimation d’un champ d’inhomogénéité (biais) Segmentation des structures Les distributions d’intensité se recouvrent largement Requiert l’introduction d’information a priori Recalage d’atlas ou description floue de l’anatomie Méthode par atlas : recalage global en prétraitement Segmentation tissus et structures : des tâches considérées indépendantes Pourtant : une structure est composée d’un tissu B. Scherrer, 12/12/2008

Introduire différent niveaux de régularisation Enjeux de cette thèse Considérer différents a priori pour segmenter les structures Relations spatiales et recalage d’atlas Objet de cette thèse Modélisation markovienne de la segmentation Régulariser l’étiquetage Introduire différent niveaux de régularisation Casser la logique traditionnelle globale du calcul Localité pour mieux refléter les propriétés locales de l’image (estimation des modèles, recalage) Distribuer des processus d’estimation locale autonomes, Introduire des modalités de régulation entre estimations locales Coupler les modèles Segmentation des tissus, segmentation des structures et construction de connaissances anatomiques Régulariser et contraindre les modèles dans leur convergence B. Scherrer, 12/12/2008

Plan Première approche : modélisation multi-agents (LOCUS) Segmentation markovienne Segmentation des tissus Segmentation coopérative des tissus et structures Première approche : modélisation multi-agents (LOCUS) Segmentation markovienne Segmentation des tissus Segmentation coopérative des tissus et structures Seconde approche : formulation bayésienne jointe (LOCUSB) Modélisation couplée Formulation des interactions Estimation du modèle Seconde approche : formulation bayésienne jointe (LOCUSB) Modélisation couplée Formulation des interactions Estimation du modèle Evaluation LOCUS LOCUSB Evaluation LOCUS LOCUSB Conclusion et perspectives Conclusion et perspectives B. Scherrer, 12/12/2008

Segmentation markovienne de l’image La segmentation Observations Etiquettes Segmentation markovienne Par définition : Corrélation spatiale entre les voxels  régularisation  robuste au bruit Réaliser la segmentation : maximiser selon z la probabilité  Utilisation d’algorithmes de type EM (Expectation Maximization) Connaissance a priori Terme de régularisation Terme d’attache aux données, basé sur les intensités Champ externe B. Scherrer, 12/12/2008

Agent markovien local Paradigme multi-agents : (calcul distribué) Agent = processus de calcul qui s’exécute de manière autonome et interagit Situé dans l’image, ancré sur un territoire Estimation coopérative des paramètres d’un champ de markov local Agent markovien local: Définition : Quatre comportements : Coopération : contribution des accointances au modèle local Coordination : agit sur l’enchaînement des comportements B. Scherrer, 12/12/2008

Segmentation des tissus Partitionnement du volume en sous-volumes Définition d’un AML par sous-volume AML spécialisé tissus : AML-T Segmentation en trois classes : LCR, MG, MB Accointances : agents voisins Forces de l’estimation locale modélisée dans un SMA Première force Seconde force Meilleure représentation des distributions d’intensité locales Sous-volumes «faciles» à segmenter : convergence rapide Libère des ressources pour traiter les autres zones Robuste aux inhomogénéités sans modélisation explicite d’un biais B. Scherrer, 12/12/2008

Compromis localité / fiabilité de l’estimation Sous-volumes avec 40x40x40 voxels (64000 voxels) Bonne représentation des classes permettant une estimation fiable des modèles Peu local, sensible aux inhomogénéités Suffisament local (robustesse aux inhomogénéités) Assurer la validité des modèles locaux dans la littérature : validité assurée par redondance d’information Mécanismes de régularisation des modèles locaux Sous-volumes avec 10x10x10 voxels (1000 voxels) Meilleure localité, robuste aux inhomogénéités Sous représentation des classes pour assurer la fiabilité de l’estimation B. Scherrer, 12/12/2008

Segmentation des tissus Mécanismes de coopération  Assurer la cohérence globale des modèles locaux Calcul d’un modèle d’intensité moyen dans le voisinage Model checking Si nécessaire, correction du modèle local  combinaison linéaire du modèle estimé et du modèle moyen Model correction Model interpolation Calcul d’un modèle d’intensité par voxel (splines cubiques, méthode du Krigeage)  Assure des variations lente entre agents voisins  Modélise les inhomogénéités dans les sous-volumes Paradigme multi-agents  Cadre adapté pour réaliser ces mécanismes de coopération B. Scherrer, 12/12/2008

Algorithme EM Local & Coopératif Ensemble d’AML-T Initialisation Agent Global Mode sommeil Model Checking Met à jour les paramètres Model Checking avec le voisinage Met à jour les probabilités Model Correction Model Interpolation Stabilisé ? Diffusion d’information B. Scherrer, 12/12/2008

Segmentation coopérative des tissus et structures Segmentation des structures Définition d’un AML spécialisé structure (AML-S) par structure Segmentation en deux classes structure et non structure Groupes d’accointances D’un AML-T D’un AML-S B. Scherrer, 12/12/2008

Relations spatiales Description de l’anatomie via des relations spatiales floues Relations de distance, d’orientation et de symétrie « Le noyau caudé droit est à moins de 5mm de la corne frontale droite » « le thalamus droit est en dessous de la corne frontale droite» etc… Relations génériques et stables fournies par un anatomiste Traduction de la connaissance via des cartes 3-D floues  Prend en compte la nature générale de cette connaissance EX : Noyau caudé FUSION  Fournie une carte de localisation floue de la structure dans le volume Relation de distance Relation d’orientation B. Scherrer, 12/12/2008

Segmentation coopérative des tissus et structures La carte de localisation floue : Fournit le territoire de l’agent (Localisation dynamique, via un simple seuil) Est intégrée dans le champ de markov local Champ de Markov local à deux classes Ml pour chaque structure l : Intégration d’une connaissance a priori basée sur la CLF Notation Champ externe Champ externe B. Scherrer, 12/12/2008

Segmentation coopérative des tissus et structures LOCUS : Synthèse Régularisation de l’étiquetage Régularisation de l’étiquetage B. Scherrer, 12/12/2008

Plan Première approche : Modélisation multi-agents (LOCUS) Segmentation markovienne Segmentation des tissus Segmentation coopérative des tissus et structures Seconde approche : formulation bayésienne jointe (LOCUSB) Modélisation couplée Formulation des interactions Estimation du modèle Seconde approche : Formulation bayésienne jointe (LOCUSB) Modélisation couplée Formulation des intéractions Estimation du modèle Evaluation LOCUS LOCUSB Evaluation LOCUS LOCUSB Conclusion et perspectives Conclusion et perspectives B. Scherrer, 12/12/2008

Seconde approche proposée Motivations Mécanismes de coopérations «ad-hoc» Intuitifs mais quid de la convergence ? Certain nombre de seuils Relations spatiales : information très générale Difficile de décrire un grand nombre de structures Seconde approche proposée : Cadre théorique formel Coopération exprimée via une modélisation jointe Introduction d’un atlas statistique pour segmenter les structures Recalage de l’atlas pas un prétraitement mais couplé à la segmentation B. Scherrer, 12/12/2008

Composants du modèle Données Données manquantes z (couplées)  N voxels dans le volume, K=3 classes de tissus, L structures  Intensités :  Connaissance a priori sur les structures (atlas probabiliste) Données manquantes z (couplées)  Etiquettes des tissus : dans 3 classes  Etiquettes des structures : dans (L+1) classes (L structures + fond) . Le tissu de la structure l est noté Tl. Paramètres θ  Modèles d’intensités locaux de paramètres Paramètres de recalage . Problème à données manquantes couplées Trouver z=(t, s) en estimant θ=(R,ψ) à partir de y B. Scherrer, 12/12/2008

Estimation d’un problème à données manquantes Formulation fonctionnelle de EM maximisation alternée selon q et θ de : l’ensemble des distributions de probabilité sur z Mise à jour itérative : EM en deux étapes Etape E : Etape M : (Interprétation de EM de type Maximization-Maximization) B. Scherrer, 12/12/2008

Interprétation fonctionnelle de EM Cas d’un problème à données manquantes couplées Structure complexe de z=(t,s) issue du couplage  Etape E non calculable en pratique Approximation de type Variational EM : résolution sur une classe restreinte de distributions de probabilité  Celles qui se factorisent : , Mise à jour itérative : EM en trois étapes Ne fait intervenir que ces probabilités conditionnelles Pas nécessaire de spécifier ou pour segmenter Seulement B. Scherrer, 12/12/2008

Modélisation markovienne & décomposition ? Modélisation markovienne avec : Interactions intra-champ Interactions inter-champs Interactions au niveau du terme d’attache aux données Energie d’un champ de Markov Terme d’attache aux données Décomposition Bayes : Les probabilités conditionnelles , et sont aussi des champs de Markov Formulation des intéractions ? B. Scherrer, 12/12/2008

Formulation des interactions Interactions intra-champ Interactions entre étiquettes Terme classique d’interaction spatiale des champ de Markov Connaissance a priori sur le recalage Amplitudes et orientations «typiques» des déformations Interactions entre modèles d’intensités locaux Interaction markovienne spatiale entre les modèles d’intensité locaux B. Scherrer, 12/12/2008

Formulation des interactions Interactions inter-champs Interactions tissus-structures Favorise l’accord entre information tissu et structure Interactions de t,s avec les paramètres de recalage Favorise les configurations où une structure est alignée sur son atlas (Pohl, 2006) Non utilisé Favorise une structure composée du tissu Favorise le tissu de la structure Interactions via le terme d’attache aux données Traduit l’accord entre les informations tissus et structures dans l’attache aux données Mélange des modèles d’intensité B. Scherrer, 12/12/2008

Recalage et estimation du modèle Nature du recalage de l’atlas Requiert une déformation globalement non linéaire Recalage global élastique : coûteux, grand nombre d’optima locaux Recalage local affine : profite du caractère local de l’information Espace de l’Atlas Espace de l’image Déformation locale Transformations locales affines  Capturent la déformation résiduelle pour chaque structure Transformation globale affine  Alignement approximatif Modélisation du problème Fournit les expressions de , et Estimation dans le cadre Variational EM Fournit l’expression des mises à jour à chaque étape EM en quatre étapes B. Scherrer, 12/12/2008

Estimation du modèle  Implémenté dans le paradigme multi-agents Initialisation M-ψ-Step Mise à jour des modèles d’intensité locaux cohérents E-T-Step Mise à jour les cartes de probabilité tissus M-R-Step Mise à jour des paramètres de recalage affine local E-S-Step Mise à jour les cartes de probabilité structures Maximisation avec une méthode numérique (Powell) Distrib. Gaussienne de moyenne et de précision : Convergence Segmentations  Implémenté dans le paradigme multi-agents B. Scherrer, 12/12/2008

Video B. Scherrer, 12/12/2008

Plan Première approche : modélisation multi-agents (LOCUS) Segmentation markovienne Segmentation des tissus Segmentation coopérative des tissus et structures Seconde approche : formulation bayésienne jointe (LOCUSB) Modélisation couplée Formulation des interactions Estimation du modèle Evaluation LOCUS LOCUSB Evaluation LOCUS LOCUSB Conclusion et perspectives Conclusion et perspectives B. Scherrer, 12/12/2008

Evaluation de LOCUS-T Evaluation quantitative : simulation avec BrainWeb Simulation Bruit, Inhomogénéité Paramètres d’acquisition… Mesure de Similarité Coefficient de Dice : EVALUATION QUANTITATIVE Segmentation B. Scherrer, 12/12/2008

Evaluation quantitative de LOCUS-T Evaluation de LOCUS-T, comparaison à FAST et SPM5 Pour différents niveaux de bruit et d’inhomogénéité Temps moyen de calculs SPM5 ( recalage d’atlas + modèle de bruit + modèle de biais) : ~14min FAST ( champ de Markov + modèle de biais ) : ~ 8min LOCUS-T (champ de Markov locaux + régularisation) : ~4min B. Scherrer, 12/12/2008

Evaluation qualitative de LOCUS-T Image réelle à 3 Tesla SPM5 FAST LOCUS-T Image avec une très forte inhomogénéité (antenne de surface) SPM5 FAST LOCUS-T B. Scherrer, 12/12/2008

Evaluation de LOCUS-T : robustesse Robustesse au paramètre de taille des sous-volumes Image BrainWeb avec 5% de bruit et 40% d’inhomogénéité Robustesse aux paramètres de correction de modèle B. Scherrer, 12/12/2008

Comportements intéressants Proportion moyenne pour différentes positions dans le volume du nombre d’itérations nécessaires à la convergence Calculé sur huit segmentations d’images BrainWeb (bruit: 3%, 5%, 7%, 9% ; inh. : 20%, 40%)  Interprétation Faible nombre d’itérations à la périphérie  Classes sous-représentées ; correction de modèle  Grand nombre d’itérations entre 40mm et 80mm  Région du cortex, zone de faible contraste avec volume partiel S’adapte à la complexité locale de l’image B. Scherrer, 12/12/2008

Evaluation de LOCUS-TS  Segmentation des structures : évaluation quantitative Trois structures segmentées manuellement sur BrainWeb par trois experts Utilisation de STAPLE pour calculer une référence  Evaluation pour différents niveaux de bruit et d’inhomogénéité Amélioration relative entre première et dernière convergence Coefficient de Dice B. Scherrer, 12/12/2008

Evaluation de LOCUS-TS Evaluation qualitative sur images réelles Illustration de la coopération tissus - structures B. Scherrer, 12/12/2008

Evaluation de la seconde approche LOCUSB Evaluation de LOCUSB-T Approximativement équivalent à LOCUS-T (temps, performances) Focalise sur l’évaluation de LOCUSB-TS et LOCUSB-TSR Evaluation quantitative sur BrainWeb - LOCUSB-TS et LOCUSB-TSR Avec la référence de trois structures segmentées manuellement LOCUSB-TS LOCUSB-TSR Amélioration relative B. Scherrer, 12/12/2008

Evaluation quantitative de LOCUSB Illustration pour le noyau caudé Le recalage de l’atlas s’améliore localement avec LOCUSB-TSR. B. Scherrer, 12/12/2008

Evaluation quantitative de LOCUSB Evaluation quantitative sur IBSR v2 Comparaison Nécessite l’introduction d’un a priori H(R) sur le recalage ? B. Scherrer, 12/12/2008

Evaluation qualitative de LOCUSB Comparaison LOCUSB-T, LOCUSB-TS, LOCUSB-TSR LOCUSB-T LOCUSB-TS LOCUSB-TSR B. Scherrer, 12/12/2008

Evaluation qualitative de LOCUSB Recalage initial artificiellement perturbé (LOCUSB-TSR) Evolution du recalage et de la segmentation des structures : Atlas Segmentation B. Scherrer, 12/12/2008

Evaluation qualitative de LOCUSB Image pathologique Habituellement : approche locale fortement perturbée Cas particulier : LOCUSB-TS LOCUSB-TSR B. Scherrer, 12/12/2008

Plan Première approche : modélisation multi-agents (LOCUS) Segmentation markovienne Segmentation des tissus Segmentation coopérative des tissus et structures Seconde approche : formulation bayésienne jointe (LOCUSB) Modélisation couplée Formulation des interactions Estimation du modèle Evaluation LOCUS LOCUSB Evaluation LOCUS LOCUSB Conclusion et perspectives Conclusion et perspectives B. Scherrer, 12/12/2008

Publications scientifiques Articles de conférence avec comité de lecture B. Scherrer, M. Dojat, F. Forbes, C. Garbay, Fully Joint Bayesian Model for MR Brain Scan Tissue and Subcortical Structure Segmentation, MICCAI 2008 « Young Scientist Award » dans la catégorie Segmentation B. Scherrer, M. Dojat, F. Forbes, C. Garbay, LOCUS: LOcal Cooperative Unified Segmentation of MRI Brain Scans, MICCAI 2007, Brisbane, Springer-Verlag Berlin, 2007, 219-227 B. Scherrer, M. Dojat, F. Forbes, C. Garbay, MRF Agent Based Segmentation: Application to MRI Brain Scans, AIME 2007, Amsterdam, Springer-Verlag Berlin, 2007, 13-23 Y.Kabir, M.Dojat, B.Scherrer, F.Forbes, C.Garbay, Multimodal MRI segmentation of ischemic stroke lesions, in the Proceedings of the 29th Annual International Conference of the IEEE Engineering in Medicine and biology Society (EMBC), Lyon, 2007 B. Scherrer, M. Dojat, F. Forbes, C. Garbay, Une Approche SMA pour la Segmentation Markovienne des Tissus et Structures Présents dans les IRM Cérébrales, JETIM, Alger, Novembre 2006 B. Scherrer, M. Dojat, F. Forbes, C. Garbay, Segmentation Markovienne Distribuée et Coopérative des Tissus et Structures Présents dans des IRM Cérébrales, RFIA, Tours, 2006 B. Scherrer, 12/12/2008

Publications scientifiques Articles de journaux B. Scherrer, M. Dojat, F. Forbes, C. Garbay, Agentification of Markov Model Based Segmentation: Application to MRI Brain Scans, Artificial Intelligence in Medicine (AIM) Article pour IEEE Transactions on Medical Imaging en période de revue Article sur les travaux plus récent (modèle couplé dans le cadre bayésien) à soumettre Résumés  B. Scherrer, M. Dojat, F. Forbes, C. Garbay, Distributed and Cooperative Markovian Segmentation of Tissues and Structures in MRI Brain Scans, Human Brain Mapping, Florence, 2006 Autres Workshop GDR STIC-Santé, Intégration d’informations anatomiques a priori dans un cadre Markovien : Application aux IRM cérébrales, Paris, Mai 2007, B. Scherrer, 12/12/2008

Conclusion Première approche LOCUS Pose les bases de l’approche locale distribuée et coopérative Localité et régularisation Estimation locale : mécanismes de régularisation des modèles locaux  Robuste aux inhomogénéités sans modélisation d’un terme de biais Limite l’introduction d’a priori trop contraignant Modélisation multi-agents : comportement opportuniste des agents Segmentation markovienne robuste au bruit et temps de calcul faible  S’adapte à la complexité locale de l’image Coopérations tissus – structures et régularisation Coopération des segmentations tissus et structures intuitive  Régularisation des niveaux de connaissance Utilisation des relations spatiales pour décrire les structures Fonctionne pour neuf structures, mais information trop générale ? B. Scherrer, 12/12/2008

Conclusion Seconde approche LOCUSB Véritable couplage Définition d’un cadre statistique unifié élégant Modélisation via une unique distribution jointe Modélisation markovienne et décomposition permettant d’identifier explicitement les interactions Véritable couplage segmentation des tissus – segmentation des structures – recalage – correction des modèles d’intensités locaux Soucis de localité Estimation locale des modèles d’intensité Régularisation des modèles locaux via modélisation markovienne Recalage local affine de l’atlas de structures Estimation guidée par le modèle Cadre bayésien rigoureux Algorithme EM en quatre étapes B. Scherrer, 12/12/2008

Conclusion et perspectives Evaluation Tissus : comparables aux meilleurs outils, faibles temps de calcul Structures : segmentation de 17 structures, bonnes performances Apport du couplage segmentation – régularisation – recalage Force du cadre unifié mis en place : nombreuses possibilités d’extensions Introduction d’un a priori sur le recalage Prise en compte du volume partiel [Santago et Gage, 1993] Extension à la multi-modalité Partitionnement adapté du volume Estimation de la taille des sous-volumes cubiques, ou partitionnement non cubique Couplage : ajout de nouvelles variables Extraction du cerveau, segmentation des lignes de sillons, dépliage du cortex Extension aux données pathologiques Problème de la représentation spatiale de la classe « lésion » Estimation du nombre de classes dans chaque sous-volume (critère BIC) Estimation couplées « tissus sains » et « lésion » Cadre rigoureux très ouvert pour de futurs travaux B. Scherrer, 12/12/2008

Merci de votre attention, B. Scherrer, 12/12/2008

Conclusion Local combined tissue and structure segmentation via a fully bayesian joint model Several levels of interactions 1) Spatial dependencies between labels  robustness to noise 2) Spatial dependencies between local models  robustness to nonuniformity without any bias field modeling 3) Relationships (cooperation) between tissues and structures labels  A way to take into account nonuniformity due to tissue properties Time efficient Future work Includes combined EM local affine atlas registration Adaptive partitioning of the volume Local approach for pathological MRI ? B. Scherrer, 12/12/2008 1 – 2 – 3 – 4 – 5 – 6 – 7 – 8 – 9 – 10 – 11

Demonstration 1 Bayes 2-variables case: Bayes This result can be extend to the n-variables case B. Scherrer, 12/12/2008

BrainWeb Gold Standard B. Scherrer, 12/12/2008

IBSR V1 B. Scherrer, 12/12/2008

IBSR V1 B. Scherrer, 12/12/2008

IBSR V2 B. Scherrer, 12/12/2008

IBSR V2 B. Scherrer, 12/12/2008

Recalage local affine (erreur manuscrit eq 5.22 p.86) B. Scherrer, 12/12/2008

BrainWeb Gold Standard B. Scherrer, 12/12/2008

Spatial relations B. Scherrer, 12/12/2008

Comportements intéressants S’adapte à la complexité locale de l’image Nombre d’itérations pour chaque agent Comportement : Agent 4 : Convergence assez rapide mais prise en compte de la modification des voisins Agent 3 : modèle local et modèle moyen en compétition  trouve un compromis Agent 2 : Peu de voxels  une correction de modèle puis convergence rapide Agent 1 : Bonne représentation des classes  n’a pas besoin de corriger son modèle B. Scherrer, 12/12/2008

Bayesian joint modeling Relations between the 3 MRFs : Introduction of a priori knowledge of a statistical atlas External Field t MRF on tissue labels For a voxel of a structure l, favor the tissue composing l External Field Modeling of tissue intensity models & feedback Modeling of structure intensity models MRF on structures labels s MRF on local parameters θ Modeling of structure intensity models & feedback B. Scherrer, 12/12/2008 1 – 2 – 3 – 4 – 5 – 6 – 7 – 8 – 9 – 10 – 11 - 12

titre B. Scherrer, 12/12/2008

La segmentation des IRM : applications Applications cliniques Calcul du volume des structures  suivi de l’évolution de maladie dégénératives (Parkinson, Alzeimer, Huntington, …) Reconstruction 3D  planification d’interventions neurochirurgicales, simulation, aide per-opératoire… Différenciation des tissus  insérer des connaissances spécifiques dans les modèles biomécaniques Applications en neurosciences Comparaison des segmentations  mise en évidence de différences anatomiques (Voxel Based Morphometry) Reconstruction 3D du cortex  support pour la projection des activations de l’IRM fonctionnelle. Un maillon crucial dans de nombreuses chaînes d’interprétation Doit être aussi robuste et fiable que possible B. Scherrer, 12/12/2008

Introduction : la segmentation des IRM La segmentation : différents buts Segmentation des tissus Description de la matière contenue dans les voxels. matière blanche (MB), matière grise (MG), liquide céphalo-rachidien (LCR) Segmentation des structures Description selon des régions anatomiques connues. Noyaux caudés, putamen, thalamus, hypocampe, amygdale, … IRM Pondérée T1 Segmentation de lésions Description des voxels appartenant à des lésions. Sclérose en plaque, accident vasculaire cérébral, tumeur, … IRM pathologiques : B. Scherrer, 12/12/2008

Segmentation coopérative des tissus et structures Mécanismes de coopération Modèles d’intensités des structures fournis par les tissus Retour de la segmentation des structures sur les tissus Segmentation des tissus et des structures sont couplées S’améliorent mutuellement Mécanismes de coordination Initialisation : système ventriculaire segmentée avec morphologie mathématiques Mise à jour de la segmentation d’une structure  mise à jour des agents de Convergence d’un agent structure  Activation des agents de Convergence d’un agent tissu  Activation des agents de B. Scherrer, 12/12/2008

Formulation des interactions Interactions intra-champs Interactions entre étiquettes Terme classique d’interaction spatiale des champ de Markov Interactions entre modèles d’intensités locaux Interaction markovienne spatiale entre les modèles d’intensité locaux (seulement sur les moyennes) Connaissance a priori sur le recalage Amplitudes et orientations «typiques» des déformations Travaux actuels : pas de base d’apprentissage  B. Scherrer, 12/12/2008

Formulation des interactions Interactions inter-champs Interactions tissus – structures Favorise l’accord entre information tissu et structure Interactions de t, s avec les paramètres de recalage Favorise la configuration ou une segmentation structure est alignée sur son atlas Autre terme : B. Scherrer, 12/12/2008

Formulation des interactions Interactions via le terme d’attache aux données Traduit l’accord entre les informations tissus et structures Si alors pas d’information structure  Si tissu et tissu de la structure en accord  Sinon, si désaccord  Equivalent à : B. Scherrer, 12/12/2008

Estimation du modèle Estimation dans le cadre Variational EM  Fournit l’expression des mises à jour des paramètres des Gaussiennes  Fournit l’expression des mises à jour des paramètres de recalage B. Scherrer, 12/12/2008

Estimation du modèle B. Scherrer, 12/12/2008

Segmentation des tissus Comportements d’un AML-T et mécanismes de coordinations Estimation coopérative des paramètres du champ de Markov local Calcul d’un premier modèle d’intensité local Construit une connaissance issue des structures Mode sommeil B. Scherrer, 12/12/2008

Segmentation des tissus Mécanismes de coordination au démarrage  Ordonnancement non synchrone des agents Paradigme multi-agents  Cadre adapté pour réaliser ces mécanismes de coordination B. Scherrer, 12/12/2008

Evaluation qualitative de LOCUSB Comparaison LOCUSB-T, LOCUSB-TS, LOCUSB-TSR Evolution de la segmentation des structures : LOCUSB-TS LOCUSB-TSR LOCUSB-TSR Segmentation finale de LOCUSB-TS vs LOCUSB-TSR B. Scherrer, 12/12/2008

Modélisation markovienne & décomposition Synthèse de la décomposition A priori markovien sur les paramètres locaux d’intensité Assure la cohérence spatiale entre modèles voisins A priori markovien sur les étiquettes structures Comment s est distribué selon t et θ A priori markovien sur les étiquettes tissus Comment t est distribué selon s et θ B. Scherrer, 12/12/2008

Estimation du modèle Modélisation du problème Fournit les expressions de , et Estimation dans le cadre Variational EM Fournit l’expression des mises à jour à chaque étape : Après calcul…  décomposition standard d’un champ de Markov dépendant de l’itération précédente (champ externe + correlation + attache aux données)  Fournit l’expression des mises à jour des paramètres des Gaussiennes  Fournit l’expression des mises à jour des paramètres de recalage B. Scherrer, 12/12/2008