Compensention de défaut (p. ex. flou de mise au point, bougé) Flou de mise au point : amplifier les hautes fréquences PB : amplification du bruit : il faut un compromis Stratégie : autoriser l’amplification dans les régions où les fluctuations sont assez importantes et modifier le moins possible les régions « lisses » essayer de définir un critère de qualité (local) qui dépend des pixels voisins et faire des modifications qui maximisent ce critère

compensation de défaut : flou, bougé, écho bruit additif inconnu déformation (modélisée par un filtre linéaire image mesurée scène = image « parfaite » inconnue (convolution inconnue H(z)) evaluation du bruit afin de le soustraire compensation nécessité de prendre en compte les caractéristiques statistiques de l’image p.ex. régions lisses, zones de contours (convolution inverse 1/H(z)) réponse impulsionnelle longue modèle de filtre récursif : problème de conditions initiales d’instabilité

g(x,y)=f(x,y)*h(x,y)+b(x,y) compensation de défaut : flou, bougé, écho caractéristiques du bruit b(x,y) image mesurée g(x,y) h(x,y) f(x,y) filtre estimé scène estimée différence image déformée mesurée bruit de mesure g(x,y)=f(x,y)*h(x,y)+b(x,y) convolution par une déformation réponse impulsionnelle h inconnue scène théorique inconnue

Compensation du bougé : Appliquer le filtre inverse Dans le domaine spatial : Filtre récursif bidimensionnel PB : gérer la stabilité et les conditions aux bords Dans le domaine fréquentiel : gérer les divisions par des amplitudes petites Apparition d’oscillations parasites Stratégie : modifier (lissage du spectre qui est moins informatif) rechercher les régions lisses et forcer leur conservation

Réponse impulsionnelle estimée du « bougé » Module de la Réponse en fréquence

2. Filtre récursif sans déphasage Application dans le domaine des fréquences avec atténuation des oscillations parasites 1. filtre compensateur RIF filtre « bougé » RIF car

convolution et addition de bruit dans le domaine des fréquences

si on a une estimation de h(H) et de W filtre recursif non causal FIR h(-x,-y) comment estimer H et W ?

reconstruction de la scène par filtrage inverse le filtre inverse n’est pas stable ; dépendance très forte des conditions aux limites exemple à une dimension défaut de bougé : filtre à réponse impulsionnelle finie reconstruction filtrage inverse récursif http://www.cse.cuhk.edu.hk/~leojia/projects/motion_deblurring/index.html

réponse impulsionnelle réponse en fréquence (échelle logarithmique)

le filtre RIF « bougé » peut avoir des zéros ; le filtre inverse amplifie considérablement les composantes du bruit à ces fréquences

Amplification de certaines composantes fréquentielles Apparition d’artefacts

v analyse dans le domaine des fréquences Déphasage Qu’il faut compenser u

trouver un filtre qui compense (de manière pertinente) les zéros analyse dans le domaine des fréquences (suite) v u trouver un filtre qui compense (de manière pertinente) les zéros de la réponse en fréquence du bougé

limitations du modèle « filtre linéaire » bougé : rotation ou translation ; pb de l’invariance spatiale l’effet n’est pas tout à fait le même sur un objet lointain (cf. vision stéréo) problèmes liés à la quantification de l’image par exemple la saturation cas du flou de mise au point : filtre à réponse impulsionnelle symétrique ; pas de déphasage (possibilité de saut de phase de pi) : il n’y a qu’un rehaussement sélectif de composantes fréquentielles

approche probabiliste fondée sur la règles de Bayes (probabilités conditionnelles et prise en compte de l’indépendance) probabilité de la réponse impulsionnelle du bougé probabilité du bruit sur l’image cas le plus simple bruit blanc gaussien probabilité de la scène photographiée approche efficace dans de nombreux types d’applications (p. ex. Markov)

augmenter le nb de pixels où le gradient est faible, et là où il est fort réduire le nombre de ceux où il est moyen (en particulier pour renforcer le gradient dans un pixel voisin) MAIS TENIR COMPTE DU VOISINAGE ! http://www.cs.unc.edu/~lazebnik/research/fall08/lec05_deblurring.pdf

approche nécessitant une analyse locale fine quels sont les pixels où on veut amincir le contour ? quelle direction de contour faut il conserver ? dans quelles parties de l’image faut il éviter d’augmenter les fluctuations (régions très lisses ou texturées)

autres éléments plus ou moins pris en compte : il y a plus de hautes fréquences, les contours étant mieux marqués

attention aux effets indésirables ! le fait d’augmenter les hautes fréquences à des effets contreproductifs dans certaines régions de l’image

estimer la réponse impulsionnelle du filtre modélisant le bougé on a une estimation de la scène f(x,y) minimisation de l’écart entre les deux images l’image mesurée l’image bougée prédite

estimer la réponse impulsionnelle du filtre modélisant la déformation « h(x,y) » coupe

High-quality Motion Deblurring from a Single Image Qi Shan, Jiaya Jia, and Aseem Agarwala http://www.cse.cuhk.edu.hk/~leojia/projects/motion_deblurring/index.html

reconstruction de la scène par filtrage inverse le filtre inverse n’est pas stable ; dépendance très forte des conditions aux limites « forcer » les conditions aux limites afin de limiter les défauts dans les régions où le gradient est faible, il n’y a pas lieu de modifier l’image ; on fait l’hypothèse que le bruit présente des caractéristiques différentes dans les deux types de régions http://www.cse.cuhk.edu.hk/~leojia/projects/motion_deblurring/index.html

Et quand on ne connaît pas la réponse impulsionnelle du bougé ? Définir un critère dont l’optimisation conduira à l’amincissement des contours où le gradient est important sans modifier les régions lisses Partir d’une estimation de cette réponse impulsionnelle (approche interactive) Et optimiser le critère

High-quality Motion Deblurring from a Single Image Qi Shan, Jiaya Jia, and Aseem Agarwala g(x,y)=f(x,y)*h(x,y)+b(x,y) image déformée mesurée bruit de mesure image théorique inconnue convolution par une déformation réponse impulsionnelle h inconnue

critère à minimiser 1 2 3 4 sommation pour tous les échantillons |écarts pondérés entre les dérivées spatiales (ordre 1 et 2) de f*h et de g| 2 +|h| (importance du bougé) + terme de pénalisation fonction du gradient de l’image f en chaque pixel (caractérisant le modèle de bruit sur l’image) 3 4 + dans les régions « lisses » où h n’a pas d’effet |écarts entre les dérivées spatiales (ordre 1) de f et g| cf : régularisation de Tikhonov

approche itérative nouvelle estimation de f(x,y) par filtrage inverse prenant en compte les caractéristiques statistiques du bruit, de la scène à reconstruire et de la réponse impulsionnelle du bougé (critère max de vraisemblance); nouvelle estimation du filtre h(x,y) minimisant l’écart entre l’image bougée et sa prédiction domaine où il faut trouver les bonnes conditions initiales pour effectuer le filtrage inverse taille du filtre modélidant le bougé

zones de contours : augmenter le contraste régions d’intensité constante : lisser le plus possible http://www.cse.cuhk.edu.hk/~leojia/projects/motion_deblurring/index.html

approche simplifiée lorsque l’image peut être modélisée en régions d’intensité fluctuant lentement et convoluée avec la réponse impulsionnelle du bougé

Image floue Comment représenter cette image comme d’une image nette filtrée par un bougé Régions d’intensités lentement variables et au contours nets bougé

On ne cherche pas un processus automatique mais supervisé : Estimer une première approximation du bougé tenter de repérer des régions uniforme, constantes ou d’intensité variant lentement par exemple ici le fond, les touches, les signes et les marquer manuellement Faire une première découpe d’une estimation de l’image ‘nette’ en régions

Image nette La réponse impulsionnelle approximative du bougé L’image floue captée Un aperçu de la décomposition en régions de l’image nette

La fonction est une fonction linéaire Bougé caractérisé par sa réponse impulsionnelle Image nette modélisée convolution Image floue Modélisation : Décomposition de l’image nette en régions 2. Dans chaque région l’image nette est représentée par un modèle paramétrique (commutativité de la convolution) Dans l’image nette Comme son nom l’indique Les contours sont bien marqués La fonction est une fonction linéaire des composantes de

On dispose d’une estimation de la réponse impulsionnelle du bougé et d’un modèle paramétrique des régions de l’image nette Modification des paramètres des régions Estimation de l’image nette Réassignation aux régions des pixels sur les frontières entre régions Bougé caractérisé par sa réponse impulsionnelle Estimation du bougé Image nette modélisée convolution Écart Image floue Les modifications ont pour Objectif de réduire l’écart Entre l’image nette bougée Et l’image floue mesurée

Modification of the regions parameters Estimation of the source image Modification of the regions contours Blur characterized by its impulse response Estimation of the blur Source image model convolution Discrepancy Measured blurred Image The object of the different modification Is to reduce the discrepancy between The Source image convolved by The blur impulse response And the measured blurred image

Réactualisation du bougé Réactualisation de l’image nette Modification des paramètres des régions Réassignation aux régions des pixels sur les frontières entre régions Critère quadratique et modèles linéaires de l’imageNette et du Bougé

Blur Impulse response update Source Image update Region parameters Update Regions contours update Blurred image prediction based on linear filtering of the source image by the blur impulse response and quadratic criterion minimization

Update of the intensity of the regions 1. Selection of the regions k where the intensity is to be improved The intensity function in region k is a linear combination of basis function The blurred image includes the subtraction of the blurring due to the regions that will not be modified at this stage of the procedure 2. Computation of the blur due to the basis function (convolution of by the blur 3. Computation of the covariance matrix and of the vector 4. Solution of

Update of the blur 1. Computation of the source image (including all the regions) 2. Computation of the covariance matrix and of the vector The summations performed on all the pixels where the effect of the blur is taken into account 3. Solution of

Modification of the regions supports (under control of the supervisor) 1.Computation of the optimal intensity of one pixel in the source image after the subtraction in of all the blur due to the other pixels of the source image 2.1. Either Possible assignation of the pixel to the neighbouring region where the intensity is close to it 2.2. Or creation of a new regions with its own parameters (A similar form of modification can be applied to the blur function)

Remarques Certaines régions peuvent se réduire à un seul pixel (transitions, bruit …) Mais il faut tout de même qu’il y ait des régions faciles à modéliser par une représentation paramétrique et limitées par des frontières nettes Interdire ou (mieux … cf Shannon/Gibbs) pénaliser les pixels d’intensité négative dans la réponse impulsionnelle du flou et éventuellement dans l’image nette

Compensation de bougé Image bougée (astronome amateur) Estimation du bougé déconvolution

les points vus dans le cours 2. filtrage, convolution, analyse en fréquence sinusoïdes 2D, propriétés de la TF, échantillonnage les bases 3.1. contours 3.2.régions transformée de hough morpho math k-means contours actifs 4. imagerie en biomédical tomographie irm : analyse en fréquence + échographie propagation d’ondes, stéréovision, interférométrie 5. reconnaissance de formes statistique et structurelle reconnaissance de visages + point approfondi théorie de la décision survol de quelques types d’applications 6. traitement d’images en télédétection champs de Markov, textures, analyse fréquentielle 7. amélioration d’images problèmes de filtrage inverse nécessité de régularisation omission : compression d’images (option VIM)