Morgan MADEC Vendredi 10 novembre 2006 Soutenance de thèse pour l’obtention du grade de docteur de l’ULP Spécialité : Électronique, Électrotechnique et Automatique Morgan MADEC Vendredi 10 novembre 2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales Jury Pr. Olivier BONNAUD Rapporteur externe Pr. Pierre AMBS Rapporteur externe Pr. Fabrice HEITZ Rapporteur interne Dr. HDR Yannick HERVE Directeur de thèse Dr. Wilfried UHRING Examinateur Dr. Jean-Baptiste FASQUEL Examinateur Dr. Pascal JOFFRE Membre invité Merci Monsieur le Président, Bonjour à tous. Je vous remercie pour votre présence à cette soutenance de thèse pour de l’obtention du grade de docteur de l’université Louis Pasteur. Je tiens également à remercier les membres du jury pour avoir accepté de juger ce travail. La présentation est un bilan de mon travail de thèse ayant pour but la conception, la simulation et la réalisation d’un processeur optique pour la reconstruction d’images médicales.

Sommaire Contexte du projet et motivations Les processeurs optiques Aspect matériel Applications Conclusions Je commencerais en exposant le contexte du projet. Après une introduction sur les architectures optiques de calcul, ceux-ci seront abordé sous l’aspect matériel, puis applicatif. En dernier lieu, je dresserais un bilan de l’étude. Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Contexte Projet POEME PARTENARIAT CIFRE Électronique Aspect matériel Modélisation système Instrumentation optique Mecatronique Initiative / Coordination Applicatifs médicaux Photonique Traitement optique de l’information La thèse s’est déroulée dans le cadre du projet POEME (explication poeme) dont l’objectif est d’accélération un certain nombre de calculs de traitement d’image en utilisant des architectures de calcul par voie optique. Les partenaires du projet sont … Le projet a pu également compter sur la collaboration de Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Contexte Motivations & Perspectives Besoin : Vitesse de reconstruction Exemple : Assistance à l’acte chirurgical - Robotique Illustration : Fréquence des mouvements « humains » : 0-10 Hz Asservissement efficace si fréquence de commande > 50 Hz. Images 512² x 10  500 coupes/sec Temps de reconstruction 2 coupes/sec (2003) Contraintes matérielles Robustesse Précision Autonomie Réactivité Contraintes logicielles Acquisition d’images durant l’intervention Reconstruction rapide Post-traitement rapide Calcul des commandes Les travaux dans le cadre de ce projet ciblent les nouvelles applications dans le domaine médicale exigeant de gros besoin en terme de vitesse de traitement d’images. C’est le cas en particulier des applications d’assistance à l’acte chirurgical, et en particulier la robotique peropératoire. L’utilisation de ces automate aucours de l’acte chirirgical impose de fortes contraintes : Réactivité. L’image volumique est souvent utilisée par les systèmes automatisés pour se repérer. Cela engendre d’importantes contraintes d’un point de vue logicielle. Acquisition rapide, reconsruction, post-traitemet, Calcul de la commande. L’objectif du travail concerne la reonstruction. A titre d’exemple, si l’on considère que le les mouvements du patients occupent la bande de fréquence allant jusqu’à 10 Hz, il faut pouvoir générér des images à au moins 50 Hz pour obtenir un asservissmeent efficace, c’est-à-dire la génération de 500 coupes par secondes (si l’on travail avec des images volumiques de 512*512*10 voxels). A titre de comparaison, en 2003, l’électronique embarquée dans les imageurs médicaux était limité à 2 reconstructions/secondes. Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Contexte Motivations & Perspectives Pr. Russel H. Taylor (2003 – John Hopkins U) Prospective vers des solutions alternatives Traitement optique de l’information « La robotique chirurgicale est à l’heure actuelle au même point que la robotique industrielle en 1972 » Potentiel d’évolution de la robotique chirurgicale Potentiel d’évolution de l’électronique classique >> La robotique chirirgicale est un domaine dont le potentiel d’évolution est énorme, comme en témoigne cette phrase du processeur Russel Taylor « … » Il semble notamment nettement supérieur à celui de l’électronique dans les prochaines années. La thèse s’inscrit donc dans un travail de prospective afoin d’identifier des solutions alternatives, et en particulièer le traitement optique de l’infirmation. Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Sommaire Contexte du projet et motivations Les processeurs optiques Aspect matériel Applications Conclusions Maintenant que le décor est planté, entrons dans le vif du sujet avec une présentation générale des processeurs optiques. Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Les processeurs optiques Principe de fonctionnement Traitement optique de l’information = Tirer partie des avantages des propriétés de l’optique Vitesse de calcul Parallélisme massif Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Les processeurs optiques Principe de fonctionnement SYSTEME D’AFFICHAGE SYSTEME OPTIQUE DE SYSTEME SOURCE TRAITEMENT D’ACQUISITION Un processeur optique est composé d’une source de lumière Afficheur (interface d’entrée) Système optique de traitement Acquisition (interface de sortie) Comme pour un processeur numérique, Le tout est piloté par un contrôleur CONTRÔLEUR Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Les processeurs optiques Principe de fonctionnement Un exemple Corrélateur optique de Vander Lugt Ne pas animer Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Les processeurs optiques Principe de fonctionnement Un exemple Corrélateur optique de Vander Lugt Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Les processeurs optiques Principe de fonctionnement Un exemple Corrélateur optique de Vander Lugt Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Les processeurs optiques Principe de fonctionnement Un exemple Corrélateur optique de Vander Lugt Lentille + transfromée de Fourier Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Les processeurs optiques Principe de fonctionnement Un exemple Corrélateur optique de Vander Lugt Garder la lentille Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Les processeurs optiques Principe de fonctionnement Un exemple Corrélateur optique de Vander Lugt Garder la lentille Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Les processeurs optiques Potentiel RAPIDITE DE CALCUL Avantage Gain apporté en temps de calcul Exemple : Processeur optique de filtrage d’images 1024² @ 1 khZ (pour des filtrages nécessitant le passage à la TF). Avantage augmente avec la taille des images Type Matériel Accélération PC classique Power G5 DC 125 DSP « float » Tiger Sharc 66 FPGA « fixed » Stratix II 20 Supercalculateur BlueGene 0,001 Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Les processeurs optiques Potentiel PERTE DE QUALITE Défauts Qualité de traitement Bruit propre au traitement Quantification des données Acquisition quadratique Bruits optiques  Analyse en simulation Manque de souplesse Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Les processeurs optiques Potentiel Facteur de mérite Refaire Renfoircer le couleure Facteur de merite Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Sommaire Contexte du projet et motivations Les processeurs optiques Aspect matériel Applications Conclusions Transition On a vu que pour faire un processeur optique, il faut …… Nous allons étudier ces points là Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Aspect Matériel Sources de lumière non-cohérentes Sources cohérentes Laser Diode Laser Polychrom. Monochrom. LED Spectre large / étroite  A vérigier Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Aspect Matériel Systèmes d’acquisition Caméras rapides à base de capteur CMOS Fort marché Capteurs et systèmes complets en plein essor Performances adaptées Matériel standard et bon marché (~1000 €) Dvlp d’une caméra à écriture directe Capteur CMOS rapide 1280x1024 – 12µm 1000 fps DAC 10 bits Electronic True SNAP Shutter Architecture à écriture direct dans la mémoire Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Aspect Matériel Systèmes d’affichage Afficheurs rapides Peu de systèmes commerciaux qui conviennent Marché restreint Plusieurs technologies LED ou OLED Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Aspect Matériel Systèmes d’affichage Travaux sur les systèmes d’affichage à FLC Caractérisation d’un FLC-A commercial Mise en évidence de limitations importantes (non-uniformité, non-linéarité, rémanence, …) Dynamique réelle < 5 bits. ~ 20000 € Etude des techniques d’augmentation de dynamique Problèmes en lumière cohérente Fortes limitations Prototypage virtuel d’un modulateur analogique rapide à base de FLC-B Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Aspect Matériel Modèle de FLC-B Géométrie d’une cellule FLC stabilisée en surface Position des molécules contrôlées par E Axe rapide  Axe lent Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Aspect Matériel Modèle de FLC-B Modèle du SSFLC-B en VHDL-AMS Basé sur le modèle physique Complété par des modèles comportementaux Comportement optique Température Comportement électronique Transport d’ions Validation « expérimentalement » : littérature Modèles descriptifs valides par nature Référence boblio Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Aspect Matériel Modèle de FLC-B Résultats de simulations Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Aspect Matériel Prototypage virtuel d’une commande Principe de la commande Tension Tb Temps Angle azimutal FLC Cellule Temps Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Aspect Matériel Prototypage virtuel d’une commande Signal de positionnement : 10 V - 500 à 600 µs. Signal de maintien : ± 1 V à 1 MHz. Temps Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Aspect Matériel Prototypage virtuel d’une commande Même signal de commande Température varie de 20° à 25° La sortie varie du noir au blanc Calibration ou asservissement 25° 20° Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Sommaire Contexte du projet et motivations Les processeurs optiques Aspect matériel Applications Conclusions Si on devait faire le bilan concernant l’aspect matériel, je dirais qu’à l’exception des afficheurs pour lesquels il reste un peu de travail, les performances des systèmes à l’heures actuels semblent suffisantes pour envisager l’utilisation de processeurs optique pour des applications dans le domaine de la reconstruction optique. Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Principe de la tomographie Système d’acquisition (2D) Données acquises Atténuation du faisceau par l’objet Exp de la transformée de Radon de l’objet Avant de présenter le travail à proprement parler, je vais introduire quelques notions de tomographie, en me limitant, dans un premier temps, aux systèmes d’acquisition les plus simples, c’est-à-dire, à 2D et à faisceaux parallèles. Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Principe de la reconstruction Inversion de la transformée de Radon Rétroprojections filtrées (FBP) Complexité de calcul Filtrage : O(N2) Rétroprojection : O(N3) Implémentation optique Filtrage Rétroprojection Algorithme FBP Filtrage de chacune des projections (à angle constant) Rétroprojection Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Rétroprojection optique - Principe Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Filtrage optique des projections Montage de type Vander Lugt Problèmes liés à l’acquisition quadratique Filtre passe-bas pour la dérivation Calcul d’une racine carrée  non-linéarité Problèmes liés à la quantification Problèmes liés à la lumière cohérente Résultat expérimental de reconstruction Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Rétroprojection optique - Principe Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Rétroprojection optique - Principe Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Rétroprojection optique - Principe Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Rétroprojection optique - Principe Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Rétroprojection optique - Principe Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Rétroprojection optique - Principe Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Rétroprojection optique - Potentiel Accélération apportée par le calcul optique Déplacer avant résultats de simu Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Rétroprojection optique - Simulation Modèle complet du rétroprojecteur optique Problèmes de quantification Quantification à l’affichage Quantification à l’acquisition Alignement géométrique Positionnement du prisme Alignement du prisme Evaluation de la qualité Comparaison avec l’image reconstruite numériquement Critères statistiques / adaptés à l’image Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Rétroprojection optique - Simulation Effet de la quantification Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Rétroprojection optique - Simulation Accumulation de k images soit Sur le capteur Par post-traitement Compromis : nombre d’acquisitions / reconstruction (NACQ) Temps de calcul Dynamique de l’image en sortie Temps de calcul donné par le maximum entre le temps d’affichage, rotation, acquoisition Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Rétroprojection optique - Simulation Alignements Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Rétroprojection optique - Simulation Résultats de simulations Effets premier ordre pour tous les bruits. Pour avoir un SNR de 30 dB Alignements radiaux ~ 1 pixel Alignements angulaires ~ 0.1° Exemple de déformation Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Rétroprojection optique - Prototype Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Rétroprojection optique - Résultats Fantôme 5% d’erreur de classification Précision des paramètres des ellipses > 90% Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Rétroprojection optique - Résultats Images Visuellement Détails présents Effet « flou » SNR > 10 dB + Slide pour les Images Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Cas pratique de reconstruction En réalité, systèmes d’acquisition plus complexes  Scanners hélicoïdaux Deux grandes différences par rapport à avant : Faisceau conique Acquisition hélicoïdal Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Cas pratique – Algorithme ASSR Méthode ASSR Transformation du jeu d’acquisitions 3D en série de jeux 2D Utilisation de plans inclinés interpolant la trajectoire de la source  Reconstruction planaire  Utilisation d’un processeur optique Après cette opération : reconstruction planaire Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Cas pratique – Algorithme ASSR Recombinaison Algorithme FBP Filtrage de chacune des projections (à angle constant) Reconstruction dans chaque plan Rétroprojection Interpolation Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Cas pratique – Implémentation hybride Mémoire Scanner Mémoire Locale Acquisitions utiles Unité de recombinaison Unité de filtrage Tampon Sinogrammes // Unité de rétroprojection Unité d’interpolation Tampon Coupes obliques Tampon Coupes transversales Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Cas pratique – Implémentation hybride Coprocesseur de recombinaison (FSM) Mémoire locale contenant les acquisitions utiles Unité de contrôle Mémoire adresse X Mémoire correct. Mémoire tampon contenant les sinogrammes parallèles Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Cas pratique – Implémentation hybride Coprocesseur de reconstruction planaire Système 100% optique Processeur optique de filtrage Processeur optique de rétroprojection Système hybride Processeur numérique de filtrage (DSP) Coprocesseur d’interpolation Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Cas pratique – Implémentation hybride Bilan des performances Filtrage numérique limitant  Filtrage optique  DSP en // Gain ~ 30. Besoin : 500 coupes/sec Optique à moins d’un ordre de grandeur Simplifier les tableuax en virant le filtrage optique En parler ici du filtrage optique Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Application Cas pratique – Implémentation hybride Résultats expérimentaux (images Siemens) Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Conclusions Bilan sur l’aspect matériel Interfaces optoélectroniques critiques Cadence  Vitesse de traitement Qualité  Qualité de traitement Caméra rapide OK Afficheur rapide Non-cohérent  Matrices à LEDS Cohérent  SLM à développer Performances actuelles confirment le potentiel Profiter du développement de l’électronique pour évoluer Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Conclusions Bilan sur l’aspect applicatif Filtrage par voie optique : incompatible avec l’application Rétroprojection optique Résultats très encourageants Conditions expérimentales à améliorer Système hybride Réduction du temps de calcul Brevet n° 06/08361 du 22/09/2006 Matériel standard Perspectives médicales intéressantes Matrice de LED Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Conclusions Perspectives Prototype Affichage adapté à nos besoins Système optique dans des conditions optimales (solid state optic, intégration, …) Validation : système d’assistance peropératoire Veille technologique : optique vs numérique Transfert technologique On envisage d'étudier la pertinence d'un transfert de cette architecture dans un contexte industriel (industrie de l'imagerie médicale), ceci passant par la réalisation d'un prototype optimisé et un partenariat fort avec un industriel Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales

Merci pour votre attention … ? PUCES DISTRIBUER DES IMAGES DE QUALITE SUR PAPIER Morgan MADEC 10/11/2006 Conception, simulation et réalisation d’un processeur optique pour la reconstruction d’images médicales