Sophia Antipolis WEIZMANN INSTITUTE OF SCIENCE DeMiTri : Déconvolution aveugle en microscopie biologique tridimensionnelle Hi, my name is Nicolas Dey. I'm a Post-doctoral fellow in Image Processing in the Ariana Team, at INRIA in Sophia Antipolis (French Riviera). We collaborate with Institut Pasteur in Paris (especially with Dr. Olivo-Marin presiding this session) and with Weizmann Institute of technology in Israel (with Pr. Zvi Kam). Our common researches are to implement a new "deconvolution method for confocal microscopy". You already know that is a well-known the subject in the literature, and the most famous works are about iterative algorithms with different kind of regularizations (to ensure the convergence of the algorithm to an acceptable solution). I present here an iterative deconvolution for 3D confocal microscopy with a total variation regularization.

L’équipe Jean-Christophe Olivo-Marin - Christophe Zimmer - Pascal Roux Josiane Zerubia - Laure Blanc-Féraud + Nicolas Dey (Post-doctorant) – Gemma Pons (stagiaire DEA) Zvi Kam Sophia Antipolis WEIZMANN INSTITUTE OF SCIENCE ARC DEMITRI – 17 dec. 2004

Présentation L’acquisition en microscopie confocale La restauration : problème mal posé méthodes monoéchelles : itératives + terme régularisation [Geman & McClure 85, Charbonnier 97, …] [Ricardson-Lucy …] Algorithme de déconvolution par Richardson-Lucy régularisé méthodes multiéchelles : ondelettes réelles + régularisation par seuillage des coefficients [Mallat 89, Bijaoui 94, …] Algorithme de déconvolution par la Transformée en Ondelettes Complexes 3D et seuillage. Bilan et perspectives - Ce travail est un projet de recherche dans le cadre de l ’ARC DeMiTri en collaboration avec Institut Pasteur et l ’Institut Weizman. Le but a été de proposer des nouvelles méthodes de déconvolution pour les images confocales fluorescentes. - La reconstruction d ’une image à partir d ’une observation floue et bruitée est un problème mal posé. Un simple inversion entraîne une amplification inacceptable du bruit. C ’est pourquoi le problème est souvent régularise lors de l ’inversion, en imposant une contrainte de lissage a la solution recherchée. - On peut distinguer deux types de méthodes différentes: les méthodes monoéchelles par exemple sont très utilisés les algorithmes itératives que introduisent un terme de régularisation; ou bien les méthodes multiéchelles, cette approche consiste à représenter une image a différents niveaux de résolution. Cette méthode utilise normalement la transformée en ondelettes réelle puis une régularisation par seuillage des coefficients. - L ’objectif de ce travail a été de proposé une nouvelle méthode de déconvolution sur les images biologiques 3D prises par un microscope confocal en utilisant la CWT 3D. ARC DEMITRI – 17 dec. 2004

Microscopie optique en biologie Fluorophores (GFP, CFP, YFP, RFP…)  marquage de composants cellulaires spécifiques Lasers monochromatiques Filtres spécifiques Observation de cellules vivantes, processus dynamiques Microscopie confocale: sections optiques de haute qualité (3D) Plateforme d’Imagerie Dynamique, Institut Pasteur: 8 microscopes, dont 4 confocaux ARC DEMITRI – 17 dec. 2004

Microscopie confocale: principe [Minsky 57] objectif miroir semi-réfléchissant specimen z laser diaphragme Détecteur (photomultiplicateur) plan focal We also need a PSF model. In a few words, the excitation light is emitted by a laser through the objective, that focuses the beam on a "point" (red ray on the scheme). We model it as the red part of the formula, "WF" meaning widefield microscopy (conventional fluorescence microscopy). If the illuminated point contains some fluorescent dye, the dye is excited and reemit some light in every direction, in another wavelength (green on the scheme). One part of the excitation light goes back through the objective to the detector. This gives another part of the formula, the green part. We suppose that the pinhole is infinitely small, so, the final PSF model depends only on the emission and excitation light, giving this final equation. We are using this PSF to artificially blur our simulated data, and we also use it for deconvolution. Le diaphragme rejette la lumière émise hors du plan focal Balayage du specimen et reconstruction de l’image par ordinateur (3D= piles d’images 2D) ARC DEMITRI – 17 dec. 2004

Microscopie à champ large Microscopie confocale Rendu surfacique ARC DEMITRI – 17 dec. 2004

Microscopie confocale: Limites Diaphragme réduit le rapport photons détectés/ photons émis Photo-toxicité et photo-blanchiment  intensité du laser doit être modérée  faible flux de photons ( bruit de Poisson) Augmenter le diamètre  du diaphragme  le signal augmente, mais aussi la fluorescence parasite émise hors plan focal (compromis typique:  = tâche d’Airy) Même pour =0, l’image est floue à cause de la limite de diffraction ARC DEMITRI – 17 dec. 2004

PSF d’un microscope confocal Modèle de PSF théorique [Sheppard & Cogswell 1990] Hypothèses: PSF invariante par translation ex = em , pas d’aberrations optiques, valable pour   0. Limite de résolution importante pour la biologie cellulaire Ex: cellule de levure:  = 1 m  Amélioration possible par déconvolution PSF confocale theorique (=0) 3 m 0.5 m ARC DEMITRI – 17 dec. 2004

Acquisitions d’images tests Objets de géométrie connue pour évaluer les résultats de déconvolution Billes fluorescentes calibrées (FocalCheck): Immobilisees dans gel d’agarose Microscopie: Zeiss Axiovert 200M confocal/bi-photon, grossissement interne 3.3x. Objectif d’huile à immersion, grossissement 63x, ouverture numérique 1.4. Laser: ex =520 nm, em =488 nm; diaphragme  = 1 Airy Echantillonnage: dx = dy = 89 nm, dz = 230 nm 6 m 15 m 0.5-0.7 m ARC DEMITRI – 17 dec. 2004

Équation d’observation Les images observées sont dégradées : o f Bruit de Poisson Image observée Noyau de convolution (PSF connue) Image originale - Le modèle d ’image observée est le suivant: - L ’image qu’on observe est dégradée par le microscope. Le noyau de convolution représente les caractéristiques du microscope que dans notre cas est la PSF, et finalement il existe un bruit de Poisson multiplicatif. Néanmoins, dans notre travail on a fait l ’hypothèse d ’un bruit additif blanc gaussien. - Par la suite, notre modèle d ’observation est cela et on suppose qu’on connaît la PSF. Donc, on ne vas pas réaliser des déconvolutions aveugle. - L ’idée de la deconvolution est donc de reconstruire le plus idéalement possible les données de départ a l ’aide d ’un système numérique. La déconvolution permet de restaurer les données Y pour obtenir une image plus fiel de X0. ARC DEMITRI – 17 dec. 2004

Modèle Probabiliste Formation de l’image : Probabilité de vraisemblance Probabilité d’observer o sachantf (et h) trouver f qui maximise cette probabilité o f Even if confocal microscopes are able to produce 3D high quality images, there still be degradations such as blur and noise. We want to remove these degradations with deconvolution. Here, we present the well-known Richardson-Lucy algorithm, but using the new approach of the total variation regularization. Total variation is often related to Rudin-Osher-Fatemi who introduced it. First, we will describe the image statistic and then the model of PSF we are using. ARC DEMITRI – 17 dec. 2004

Algorithme standard Minimiser -log[ p(o/f) ] Fonctionnelle à minimiser Richardson-Lucy: algorithme itératif multiplicatif de gradient [Richardson74] [Lucy72] Even if confocal microscopes are able to produce 3D high quality images, there still be degradations such as blur and noise. We want to remove these degradations with deconvolution. Here, we present the well-known Richardson-Lucy algorithm, but using the new approach of the total variation regularization. Total variation is often related to Rudin-Osher-Fatemi who introduced it. First, we will describe the image statistic and then the model of PSF we are using. ARC DEMITRI – 17 dec. 2004

Algorithme de déconvolution Pourquoi Richardson-Lucy (astronomie et confocal) ? adapté au bruit de Poisson Contrainte de positivité Limitations amplification du bruit au cours des itérations Régularisation : arrêt des itérations Incorporer une régularisation Even if confocal microscopes are able to produce 3D high quality images, there still be degradations such as blur and noise. We want to remove these degradations with deconvolution. Here, we present the well-known Richardson-Lucy algorithm, but using the new approach of the total variation regularization. Total variation is often related to Rudin-Osher-Fatemi who introduced it. First, we will describe the image statistic and then the model of PSF we are using. ARC DEMITRI – 17 dec. 2004

Régularisation Méthodes mono-échelle [Tikhonov, Geman & McClure, Charbonnier, …] Régularisation + préservation des contours On cherche f qui minimise J(f) : J(j) = ||o-h*f||2 / 2s2 + F(f) Attache aux données Terme de régularisation Méthodes multi-échelle [Mallat, Bijaoui, …] Analyse multirésolution  ondelettes Inversion puis seuillage des coefficients en ondelettes Régularisation des méthodes itératives classiques (par seuillage d’une transformée en ondelettes) ARC DEMITRI – 17 dec. 2004

Modèle Probabiliste Probabilité a posteriori p(f/o) Appliquer un modèle sur l’objet à reconstruire p(f) est le terme de régularisation Régularisation quadratique [Tikhonov63] [v.Kempen & v.Vliet97] [v.d.Voort & Strasters95] o f ~ Even if confocal microscopes are able to produce 3D high quality images, there still be degradations such as blur and noise. We want to remove these degradations with deconvolution. Here, we present the well-known Richardson-Lucy algorithm, but using the new approach of the total variation regularization. Total variation is often related to Rudin-Osher-Fatemi who introduced it. First, we will describe the image statistic and then the model of PSF we are using. ARC DEMITRI – 17 dec. 2004

Régulariser et préserver les contours Min f On cherche f qui minimise J(f) : Régularisation par Variation Totale (TV) [Rudin92, Charbonnier94,…] ARC DEMITRI – 17 dec. 2004

Régularisation Fonctionnelle à minimiser Algorithme de Richardson-Lucy régularisé A common approach to image restoration uses a probabilistic framework. We model the degraded O image (observation) using a Poisson distribution, and we have to find which image F maximizes the probability of observing O. We suppose that we know the PSF H. Using Bayes' rule, the problem yields to maximizing the probability p(O/F). In confocal microscopy, it is convenient to model an acquired image as a Poisson process. We suppose that the noise is independent from one pixel to another. We can express this probability as … [[See diapo]] We maximize this probability and we add a total variation functional. After several manipulations we obtain the regularized RL algorithm. [[See diapo…]] The letter k represents the iterations. This is a multiplicative gradient-based algorithm. The contribution of the regularization parameter is [[See diapo…]]. The weight of the regularization parameter is driven by the parameter lambda (around 10-3 in our experiments). ARC DEMITRI – 17 dec. 2004

Résultats comparer entre RL standard et RL régularisé par TV Données simulées et données réelles acquises à l’institut Pasteur Critères numériques de qualité [Csiszar91] EQM I-divergence A common approach to image restoration uses a probabilistic framework. We model the degraded O image (observation) using a Poisson distribution, and we have to find which image F maximizes the probability of observing O. We suppose that we know the PSF H. Using Bayes' rule, the problem yields to maximizing the probability p(O/F). In confocal microscopy, it is convenient to model an acquired image as a Poisson process. We suppose that the noise is independent from one pixel to another. We can express this probability as … [[See diapo]] We maximize this probability and we add a total variation functional. After several manipulations we obtain the regularized RL algorithm. [[See diapo…]] The letter k represents the iterations. This is a multiplicative gradient-based algorithm. The contribution of the regularization parameter is [[See diapo…]]. The weight of the regularization parameter is driven by the parameter lambda (around 10-3 in our experiments). ARC DEMITRI – 17 dec. 2004

Objet simulé 3D même échelle en X et Y, mais différente en Z y x z x We are presenting results on 3D simulated data. We have modeled 3 different objects: 1. A cylinder 2. A compounded object 3. A sphere Each column represents one object. The first row is the lateral (XY) image corresponding approximately to the center of the image sequence. We have the same scale in X and Y. The second row represents an axial (Z) cut of the preceding stack. Dot lines <CLIC> show approximately where this XZ cut is taken. In the Z direction, we do not take the same scale as XY. [[Most of the real data are taken that way]] ARC DEMITRI – 17 dec. 2004

Données dégradées Dégradations par du flou et du bruit simulés Flou 3D : modèle de PSF d’un microscope confocal bruit: simulation d’un bruit de Poisson Here are our simulated objects before any degradations. To simulate the degradations on the images, we blur each object with the 3D PSF model (to simulate the degradations of the optical system), and we introduce some Poisson noise (to simulate the degradations of the photomultiplier and of the detector). We can notice that the degradations occur in 3D. Now that we have some degraded data, we can apply our deconvolution algorithms on them, as long as we can compare them to initial undegraded images. ARC DEMITRI – 17 dec. 2004

Déconvolution RL Richardson-Lucy sans régularisation itérations: arrêt avant l’amplification du bruit oscillations dans l’image restaurée Les bords des objets restent flous (en XY) Les objets sont plus fins qu’en réalité (en XZ) First, we are using RL alone. As we already said, the algorithm is non-convergent and we have to stop it before it diverges. The results are taken that way. We then stop the iterations when the quality measure reaches a minimum. That is the I-Divergence, a criterion introduced by Csiszar that fits very well for non-negative images. On deconvolved images, we can still see some oscillations in the image. These are due to noise. We can notice that the borders are still blurred, and that the deconvolved objects appear thinner than they are in reality. We need a regularization term to obtain the convergence of the algorithm. ARC DEMITRI – 17 dec. 2004

Déconvolution RL avec régularisation TV Richardson-Lucy avec régularisation TV Pas d’amplification du bruit Pas d’oscillations d’intensité bords francs (en XY) épaisseur originale des objets (en XZ) With a regularization term, the algorithm is convergent, and we can wait until it converges. We use here total variation regularization : it smoothes homogeneous areas, and respects the contours. It is often use for 2D image denoising and gives very good results for objects with homogeneous areas. On the regularized deconvolution results, we can see that there is no more intensity oscillations, and that we have sharp borders. On XZ images, we can notice that the height of the objects is closer to the former non-degraded objects. Quantitatively, the I-divergence and MSE criterions gives very high improvement values, between RL and regularized RL methods. We have 50 to 70% improvement for regularized RL, compared to non-regularized RL. It depends on the kind of object. ARC DEMITRI – 17 dec. 2004

Comparaison des résultats originale dégradée RL RL+TV ARC DEMITRI – 17 dec. 2004

Résultat : Image 3D de microscopie confocale Coquille sphérique algo. RL algo. RL + VT @Pasteur Épaisseur mesurée de l’anneau: ~500 nm en réalité , ~900 nm image dégradée, ~ 400nm surRL, ~500nm sur RL+TV ARC DEMITRI – 17 dec. 2004

Résultats sur données réelles Profil d’une image rouge: données brutes vert: restauration RL rouge: données brutes vert: RL+TV ARC DEMITRI – 17 dec. 2004

Conclusion Qualitativement: bonne restauration coin arrondis Reste localement un peu de flou (diagonales) Pas adapté aux textures et petits objets Quantitativement : amélioration de la I-divergence et de l’EQM: de 1 (RL) à [0.30  0.50] (RL+TV) Nombre de compte non conservé As a conclusion, we have proposed a deconvolution method for 3D confocal images, that gives very good results on simulated data. We have proposed to use a new regularization term based on total variation. Compare to non-regularized RL algorithm, the results are improved both qualitatively and quantitatively on simulated data. The deconvolution was tested on several simulated data, with known degradations. But we have to speak about the limitations of the method: we notice that the regularization smoothes the corners (instead of edges), and does not deconvolve very fine structure very well (instead of large areas). One of the greatest limitation of total variation denoising, in 2D image processing, is that it cannot restore the textures [Malgouyre02]. We have to take all of these limitations into account because we are now testing this method on real data. As a future work, we are also planning to improve the PSF model to use it on real data. ARC DEMITRI – 17 dec. 2004

La restauration par Transformées en ondelettes Représentation dans le domaine des ondelettes représentation compacte du signal, bonne représentation des textures. Choix de la base Représentation de l’image sur peu de coefficients de valeurs fortes Le bruit est réparti sur tous les coefficients Seuillage des coefficients en ondelettes efficace pour le débruitage [Donoho & Johnstone 92] Déconvolution : Méthode directe [Mallat & Kalifa 99] Méthodes itératives [Stark & Bijaoui 94… ] As a conclusion, we have proposed a deconvolution method for 3D confocal images, that gives very good results on simulated data. We have proposed to use a new regularization term based on total variation. Compare to non-regularized RL algorithm, the results are improved both qualitatively and quantitatively on simulated data. The deconvolution was tested on several simulated data, with known degradations. But we have to speak about the limitations of the method: we notice that the regularization smoothes the corners (instead of edges), and does not deconvolve very fine structure very well (instead of large areas). One of the greatest limitation of total variation denoising, in 2D image processing, is that it cannot restore the textures [Malgouyre02]. We have to take all of these limitations into account because we are now testing this method on real data. As a future work, we are also planning to improve the PSF model to use it on real data. ARC DEMITRI – 17 dec. 2004

filtres décalés d’½ pixel entre les arbres Ondelettes Complexes  Invariance par translation et rotation  Sélectivité directionnelle  Reconstruction parfaite  Algorithme rapide O(N)  Redondance 2m:1, m = dim Propriétés : quad-arbre en 2D (4 arbres d’ondelettes parallèles) [Kingsbury 98] filtres décalés d’½ pixel entre les arbres combinaison des arbres  coefficients complexes ondelettes biorthogonales ARC DEMITRI – 17 dec. 2004

Transformée non décimée Quad-arbre : 1er niveau a1 d21 d11 d31 Transformée non décimée Arbres parallèles ABCD a1A d21A d11A d31A A a1B d21B d11B d31B B a0 (image) a1C d21C d11C d31C C a1D d21D d11D d31D D Reconstruction parfaite : moyenne (A+B+C+D)/4 A B C D - Il s ’agit d ’une série de convolutions successives par des filtres discrets, passe-haut ou passe-bas, réalisant une implantation optimale des opérateurs de changement de base associes aux ondelettes. Cette analyse n ’est que rarement utilisée seule, elle est souvent associée a une synthèse, consistant a reconstituer l ’image de départ a partir des coefficients de son analyse. - En réordenant les coefficients pairs et impairs (selon les lignes et les colonnes) nous avons 4 arbres A, B, C, D. L ’invariance par translation est ensuite approchée aux niveaux inférieurs à 1. ARC DEMITRI – 17 dec. 2004

Coefficients complexes dkj,A dkj,B dkj,C dkj,D Zkj+ Zkj- 2 sous-bandes complexes symétriques 4 sous-bandes réelles Z + = (A - D) + i (B + C) Z - = (A + D) + i (B - C) ! L’ondelette continue n’est pas une fonction complexe. Ce ne sont pas exactement des ondelettes complexes ! ARC DEMITRI – 17 dec. 2004

Comparaison avec les ondelettes réelles Pas d’invariance par translation  artefacts (moyenne sur translations) Pas d’invariance par rotation Directions privilégiées : horizontale / verticale mauvaise représentation des textures orientées (diagonales) - Décaler le signal d ’entrée ne peut pas produire une translation simple des coefficients transformées, à moins que la translation soit un multiple de chacun de facteurs de sous-échantillonnage. - Néanmoins, il est possible d ’obtenir une invariance par translation si toute l ’information représente par la sous bande reste dans la sous-bande quand le signal est décalé. Une condition nécessaire et suffisante est le critère de Nyquist. - Cette transformée (CWT) est construite de manière à conserver l énergie dans une sous bande quand l ’entrée est translatée. Les coefficients ne sont pas invariants par translation, ils sont translatés d ’une fraction de pixels quand l ’entrée est translatée d ’un nombre entier de pixels, mais leur amplitude n ’oscille pas auteur de zéro comme les coefficients des ondelettes réelles. - La séparation directionnelle est possible en utilisant des filtres dont la réponse impulsionnelle supprime la pluplart des fréquences négatives. Réponses asymétriques - La DWT: ca réponse est symétrique par rapport aux deux aces, ce qui interdit la séparation des fréquences positives et négatives. ARC DEMITRI – 17 dec. 2004

Ondelettes 3D réelles hhg d14 ghg d15 y x z hhh a1 (x,y,z) ghh d11 a0 volume hgg d16 ggg d17 hgh d12 ggh d13 Transformée 1er niveau ARC DEMITRI – 17 dec. 2004

Ondelettes complexes 3D 8 Arbres parallèles ABCDEFGH ARC DEMITRI – 17 dec. 2004

Coefficients complexes 3D dkj,A dkj,B dkj,C dkj,D dkj,E dkj,F dkj,G dkj,H 8 sous-bandes réelles Zkj,1+ Zkj,2- 4 sous-bandes complexes symétriques Z 1+ = (A - D - F - G) + i (B + C + E - H) Z 1- = (A + D + F + G) + i (B + C - E + H) Z 2+ = (A + D + F - G) + i ( - B + C + E + H) Z 2- = (A + D - F + G) + i (B - C + E + H) ARC DEMITRI – 17 dec. 2004

Ondelettes 3D complexes ... Re Im Z1+ Z2+ Z1- Z2- 1 2 3 4 5 6 7 8 hgg d16 hhg d14 ghg d15 ggg d17 hgh d12 ggh d13 ghh d11 y x z hhh a1 (x,y,z) a0 volume Transformée 1er niveau 4 sous-bandes /détail * 7 détails/niveau = 28 sous-bandes complexes/niveau ARC DEMITRI – 17 dec. 2004

Algorithme de débruitage par Ondelettes Transformée directe seuillage inverse Choix de la base : compacité reconstruction propriétés d’invariance Choix de la fonction de seuillage Valeur optimale du seuil ? - Algorithme de débruitage en utilisant CWT ou DWT - On se pose d ’abord un objectif plus simple, ou l ’image est seulement dégradé par du bruit blanc gaussien. Et on essai de débruiter l ’image dégradée. - Choix de la fonction de seuillage : parmi les 3 propositions de Donoho et Johnstone (seuillage doux, dur et Oracle) - et on se pose aussi la question de quel est le seuil optimale à utiliser ARC DEMITRI – 17 dec. 2004

Comparaison CWT - DWT 3D a) b) c) d) a) Image originale 128x128x64 b) Image bruitée, bruit gaussien de variance 900 c) Débruitage par la CWT d) Débruitage par la DWT CWT: Zones plus lisses Contours plus clairs Moins d ’oscillations c) Débruitage par la CWT : contours plus nets moins d’oscillations ARC DEMITRI – 17 dec. 2004

Comparaison CWT - DWT 3D ~ 2 dB ~ 2 dB ~ 2 dB Seuillage doux ~ 2 dB CWT DWT Seuillage Oracle ~ 2 dB CWT DWT Seuillage dur - Expliquer SNR, calcul automatique - On fait varier la variance du bruit gaussien (hypothèse) - algorithme rapide car no itératif Les trois seuillages proposés par Donoho et Johnston - CWT - avantages: Gain de 2 dB par rapport à DWT Meilleure fonction de seuillage : 1 - doux, 2- oracle, 3- dur Nombre d ’échelles de décomposition qu’il faut faire est j=3 CWT meilleure de ~2 dB par rapport à DWT Le seuillage doux donne les meilleurs résultats ARC DEMITRI – 17 dec. 2004

Résultat image réelle Débruitage de l’image des billes acquises à l’Institut Pasteur (256x256x128). Seuillage des coefficients complexes 3D (T=1.6sk). ARC DEMITRI – 17 dec. 2004

Débruitage image réelle Image réelle (156x156x30) : embryon de drosophile en train de réaliser la fermeture dorsale (coupe). Laboratoire biologie cellulaire UNSA/CNRS Débruitée par seuillage de la transformée en ondelettes complexes. ARC DEMITRI – 17 dec. 2004

Algorithme de déconvolution par Ondelettes brutale Transformée directe seuillage inverse Mais il y a des zéros dans le spectre de la PSF Transformée directe seuillage inverse Déconvolution - Nous avons étendu au 3D et à l ’imagerie biologique une méthode de déconvolution initialement dédiée à l ’imagerie satellitaire (travail d ’André Jalobeanu). - Nous proposons un nouvel algorithme de déconvolution qui s ’appelle 3D- TOCSE 2. Images tridimensionnelles, Transformée en Ondelettes Complexes Seuillage deuxième version de mon programme. - Si on calcule la solution inverse généralisée, elle est très fortement bruitee. - Il s ’agit donc, de débruiter les coefficients de la transformée de l ’inverse généralisée. Pour cela, il est nécessaire de choisir une base qui decorrele autant que possible le bruit deconvolue. La base choisie doit presque diagonaliser la matrice de covariance de ce bruit. Ainsi, on pourra être traite comme du bruit blanc, en filtrant les coefficients séparément. - Un seuillage non linéaire est défini, par exemple les fonctions de seuillage doux ou dur, ou le choix du seuil T est adapte a l ’écart-type du bruit. - le paramètre 1.6 est optimisé par Kalifa Déconvolution par RL + TV ARC DEMITRI – 17 dec. 2004

Résultat image synthétique Image floue Débruitée par TOC + RLTV TOC + RLTV et bruitée TOC 25 itérations convergence (l=2.10-3) (l=2.10-3) ARC DEMITRI – 17 dec. 2004

Comparaison des résultats Image floue TOC + RL+TV Image floue RL+TV et bruitée convergence et bruitée convergence (Gaussien 100) (l=2.10-3) Poisson (l=2.10-3) ARC DEMITRI – 17 dec. 2004

Résultat image réelle Image floue Débruitée par et bruitée TOC TOC + RLTV TOC + RLTV 25 itérations convergence (l=2.10-4) ARC DEMITRI – 17 dec. 2004

Conclusion Tenir compte de la statistique du bruit : loi de Poisson Anisotropie en Z Transformée en paquets d’ondelettes : CWP? Méthodes hybrides : déconvolution itérative + débruitage par CWT [Bijaoui 95, Malgouyres02,Stark 04,Bect 04] - Les ondelettes ne sont bien adaptées aux déconvolutions non inversibles, c ’est à dire avec une OTF avec des zéros. Car toutes les fréquences qu ’on a perdue on n ’est peut pas les récupérer. Donc, dans ce cas est moins performante. - Les ondelettes sont très efficientes pour le débruitage car elle concentrent l ’énergie de l ’image dans très peu coefficients. - Tandis que la VT est très bien adaptée, car la VT par interpolation permet de reconstruire les fréquences perdues. - VT pénalise les textures mais préserve les contours forts. QUESTIONS : - CWP : on décompose aussi les hautes fréquences, et avec le seuillage on sera capable d ’éliminer aussi le bruit qu ’il y a dans les hautes fréquences, fortement coloré par la déconvolution (filtre inverse). - Dans le domaine de l ’astrophysique Albert Bijaoui a déjà utilisé la transformée en ondelettes avec la transformée Anscombe pour estabiliser la variance des sous-bandes. Qui adapte les ondelettes au bruit de Poisson. Travail de Jammal et Bijaoui (DeQuant), dans laquelle une transformée en ondelettes classique est utilisée pour la restauration d ’images dégradées par du bruit poissonien. Ici, la deconvolution n ’est pas effectuée par un filtre inverse, mais par une méthode itérative fondée sur l ’algorithme de Richardson Lucy. - Méthodes hybrides : Julien Bect, Albert Bijaoui, Malgouyres, Aline Martin, Durand et Froment. Pendant une itération on minimise les ondelettes complexes et dans la prochain itération on minimise par exemple la VT. ARC DEMITRI – 17 dec. 2004

Bilan de l’ARC Demitri Collaboration entre les équipes : Publications Nombreux longs séjours de Nicolas Dey à l’Institut Pasteur (2 à 4 semaines par séjour) Visites régulières d’Ariana à Pasteur (JZ et LBF, 3 à 4 par an) et de Pasteur à Ariana (2 à 3 par an). Une visite par an de Zvi Kam en France (une semaine à l’Institut Pasteur, une semaine chez Ariana) et une visite de 10 jours de N. Dey à l’Institut Weizmann en juillet 2004. Publications ISBI 04, SSIAB 04 (papiers invités), ICASSP 05 Rapports de recherches : un paru (N. Dey et al. juil.04) et un à paraître (G. Pons et al.). Un article en préparation pour Microscopy Research and Technique ARC DEMITRI – 17 dec. 2004

Perspectives Par rapport à l’ARC Demitri Collaborations futures Débruitage et déconvolution… encore des recherches à mener (CWP, anisotropie en Z pour les ondelettes, méthodes itératives avec ondelettes). Validation (pb d’optique) du modèle de réponse impulsionnelle (PSF) Déconvolution aveugle : à faire Collaborations futures Thèse de Bo Zhang 04/07, financement BDI CNRS Math/Stic 04/05 : Ariana, Dieudonné, Pasteur (financement CNRS) Proposition Franco-Israëlienne: Ariana, Pasteur Technion, Weizmann (réponse fin décembre 04) Projet Européen NEST : PI Pasteur, Ariana, Weizmann, EPFL, Université de Delft (réponse début 2005) Proposition ACI NIM 04 à resoumettre en 05 : Ariana, Dieudonné, CMAPX, Pasteur. Comité IEEE BISP : JZ élue pour 05/07, candidature de JCOM proposée pour 06/08. ARC DEMITRI – 17 dec. 2004