Compensention de défaut (p. ex. flou de mise au point, bougé)

Présentation au sujet: "Compensention de défaut (p. ex. flou de mise au point, bougé)"— Transcription de la présentation:

1 Compensention de défaut (p. ex. flou de mise au point, bougé)
Flou de mise au point : amplifier les hautes fréquences PB : amplification du bruit : il faut un compromis Stratégie : autoriser l’amplification dans les régions où les fluctuations sont assez importantes et modifier le moins possible les régions « lisses » essayer de définir un critère de qualité (local) qui dépend des pixels voisins et faire des modifications qui maximisent ce critère

2

3 compensation de défaut : flou, bougé, écho
bruit additif inconnu déformation (modélisée par un filtre linéaire image mesurée scène = image « parfaite » inconnue (convolution inconnue H(z)) evaluation du bruit afin de le soustraire compensation nécessité de prendre en compte les caractéristiques statistiques de l’image p.ex. régions lisses, zones de contours (convolution inverse 1/H(z)) réponse impulsionnelle longue modèle de filtre récursif : problème de conditions initiales d’instabilité

4 g(x,y)=f(x,y)*h(x,y)+b(x,y)
compensation de défaut : flou, bougé, écho caractéristiques du bruit b(x,y) image mesurée g(x,y) h(x,y) f(x,y) filtre estimé scène estimée différence image déformée mesurée bruit de mesure g(x,y)=f(x,y)*h(x,y)+b(x,y) convolution par une déformation réponse impulsionnelle h inconnue scène théorique inconnue

5 Compensation du bougé : Appliquer le filtre inverse
Dans le domaine spatial : Filtre récursif bidimensionnel PB : gérer la stabilité et les conditions aux bords Dans le domaine fréquentiel : gérer les divisions par des amplitudes petites Apparition d’oscillations parasites Stratégie : modifier (lissage du spectre qui est moins informatif) rechercher les régions lisses et forcer leur conservation

6 Réponse impulsionnelle
estimée du « bougé » Module de la Réponse en fréquence

7 2. Filtre récursif sans déphasage Application dans le domaine des fréquences avec atténuation des oscillations parasites 1. filtre compensateur RIF filtre « bougé » RIF car

8 convolution et addition de bruit
dans le domaine des fréquences

9 si on a une estimation de h(H) et de W
filtre recursif non causal FIR h(-x,-y) comment estimer H et W ?

10 reconstruction de la scène par filtrage inverse
le filtre inverse n’est pas stable ; dépendance très forte des conditions aux limites exemple à une dimension défaut de bougé : filtre à réponse impulsionnelle finie reconstruction filtrage inverse récursif

11

12

13 réponse impulsionnelle réponse en fréquence (échelle logarithmique)

14

15

16 le filtre RIF « bougé » peut avoir des zéros ; le filtre inverse amplifie
considérablement les composantes du bruit à ces fréquences

17 Amplification de certaines composantes fréquentielles
Apparition d’artefacts

18 v analyse dans le domaine des fréquences Déphasage Qu’il faut compenser u

19 trouver un filtre qui compense (de manière pertinente) les zéros
analyse dans le domaine des fréquences (suite) v u trouver un filtre qui compense (de manière pertinente) les zéros de la réponse en fréquence du bougé

20 limitations du modèle « filtre linéaire »
bougé : rotation ou translation ; pb de l’invariance spatiale l’effet n’est pas tout à fait le même sur un objet lointain (cf. vision stéréo) problèmes liés à la quantification de l’image par exemple la saturation cas du flou de mise au point : filtre à réponse impulsionnelle symétrique ; pas de déphasage (possibilité de saut de phase de pi) : il n’y a qu’un rehaussement sélectif de composantes fréquentielles

21 approche probabiliste fondée sur la règles de Bayes
(probabilités conditionnelles et prise en compte de l’indépendance) probabilité de la réponse impulsionnelle du bougé probabilité du bruit sur l’image cas le plus simple bruit blanc gaussien probabilité de la scène photographiée approche efficace dans de nombreux types d’applications (p. ex. Markov)

22 augmenter le nb de pixels où le gradient est faible, et là où il
est fort réduire le nombre de ceux où il est moyen (en particulier pour renforcer le gradient dans un pixel voisin) MAIS TENIR COMPTE DU VOISINAGE !

23 approche nécessitant une analyse locale fine
quels sont les pixels où on veut amincir le contour ? quelle direction de contour faut il conserver ? dans quelles parties de l’image faut il éviter d’augmenter les fluctuations (régions très lisses ou texturées)

24 autres éléments plus ou moins pris en compte :
il y a plus de hautes fréquences, les contours étant mieux marqués

25 attention aux effets indésirables !
le fait d’augmenter les hautes fréquences à des effets contreproductifs dans certaines régions de l’image

26 estimer la réponse impulsionnelle du filtre modélisant le bougé
on a une estimation de la scène f(x,y) minimisation de l’écart entre les deux images l’image mesurée l’image bougée prédite

27 estimer la réponse impulsionnelle
du filtre modélisant la déformation « h(x,y) » coupe

28 High-quality Motion Deblurring from a Single Image
Qi Shan, Jiaya Jia, and Aseem Agarwala

29 reconstruction de la scène par filtrage inverse
le filtre inverse n’est pas stable ; dépendance très forte des conditions aux limites « forcer » les conditions aux limites afin de limiter les défauts dans les régions où le gradient est faible, il n’y a pas lieu de modifier l’image ; on fait l’hypothèse que le bruit présente des caractéristiques différentes dans les deux types de régions

30 Et quand on ne connaît pas la réponse impulsionnelle du bougé ?
Définir un critère dont l’optimisation conduira à l’amincissement des contours où le gradient est important sans modifier les régions lisses Partir d’une estimation de cette réponse impulsionnelle (approche interactive) Et optimiser le critère

31 High-quality Motion Deblurring from a Single Image
Qi Shan, Jiaya Jia, and Aseem Agarwala g(x,y)=f(x,y)*h(x,y)+b(x,y) image déformée mesurée bruit de mesure image théorique inconnue convolution par une déformation réponse impulsionnelle h inconnue

32 critère à minimiser 1 2 3 4 sommation pour tous les échantillons
|écarts pondérés entre les dérivées spatiales (ordre 1 et 2) de f*h et de g| 2 +|h| (importance du bougé) + terme de pénalisation fonction du gradient de l’image f en chaque pixel (caractérisant le modèle de bruit sur l’image) 3 4 + dans les régions « lisses » où h n’a pas d’effet |écarts entre les dérivées spatiales (ordre 1) de f et g| cf : régularisation de Tikhonov

33 approche itérative nouvelle estimation de f(x,y) par filtrage inverse prenant en compte les caractéristiques statistiques du bruit, de la scène à reconstruire et de la réponse impulsionnelle du bougé (critère max de vraisemblance); nouvelle estimation du filtre h(x,y) minimisant l’écart entre l’image bougée et sa prédiction domaine où il faut trouver les bonnes conditions initiales pour effectuer le filtrage inverse taille du filtre modélidant le bougé

34 zones de contours : augmenter le contraste
régions d’intensité constante : lisser le plus possible

35 approche simplifiée lorsque l’image peut être modélisée en régions d’intensité fluctuant lentement et convoluée avec la réponse impulsionnelle du bougé

36 Image floue Comment représenter cette image comme d’une image nette filtrée par un bougé Régions d’intensités lentement variables et au contours nets bougé

37 On ne cherche pas un processus automatique mais supervisé :
Estimer une première approximation du bougé tenter de repérer des régions uniforme, constantes ou d’intensité variant lentement par exemple ici le fond, les touches, les signes et les marquer manuellement Faire une première découpe d’une estimation de l’image ‘nette’ en régions

38 Image nette La réponse impulsionnelle approximative du bougé L’image floue captée Un aperçu de la décomposition en régions de l’image nette

39 La fonction est une fonction linéaire
Bougé caractérisé par sa réponse impulsionnelle Image nette modélisée convolution Image floue Modélisation : Décomposition de l’image nette en régions 2. Dans chaque région l’image nette est représentée par un modèle paramétrique (commutativité de la convolution) Dans l’image nette Comme son nom l’indique Les contours sont bien marqués La fonction est une fonction linéaire des composantes de

40 On dispose d’une estimation de la réponse impulsionnelle du bougé
et d’un modèle paramétrique des régions de l’image nette Modification des paramètres des régions Estimation de l’image nette Réassignation aux régions des pixels sur les frontières entre régions Bougé caractérisé par sa réponse impulsionnelle Estimation du bougé Image nette modélisée convolution Écart Image floue Les modifications ont pour Objectif de réduire l’écart Entre l’image nette bougée Et l’image floue mesurée

41 Modification of the regions
parameters Estimation of the source image Modification of the regions contours Blur characterized by its impulse response Estimation of the blur Source image model convolution Discrepancy Measured blurred Image The object of the different modification Is to reduce the discrepancy between The Source image convolved by The blur impulse response And the measured blurred image

42 Réactualisation du bougé
Réactualisation de l’image nette Modification des paramètres des régions Réassignation aux régions des pixels sur les frontières entre régions Critère quadratique et modèles linéaires de l’imageNette et du Bougé

43 Blur Impulse response update
Source Image update Region parameters Update Regions contours update Blurred image prediction based on linear filtering of the source image by the blur impulse response and quadratic criterion minimization

44 Update of the intensity of the regions
1. Selection of the regions k where the intensity is to be improved The intensity function in region k is a linear combination of basis function The blurred image includes the subtraction of the blurring due to the regions that will not be modified at this stage of the procedure 2. Computation of the blur due to the basis function (convolution of by the blur 3. Computation of the covariance matrix and of the vector 4. Solution of

45 Update of the blur 1. Computation of the source image (including all the regions) 2. Computation of the covariance matrix and of the vector The summations performed on all the pixels where the effect of the blur is taken into account 3. Solution of

46 Modification of the regions supports (under control of the supervisor)
1.Computation of the optimal intensity of one pixel in the source image after the subtraction in of all the blur due to the other pixels of the source image 2.1. Either Possible assignation of the pixel to the neighbouring region where the intensity is close to it 2.2. Or creation of a new regions with its own parameters (A similar form of modification can be applied to the blur function)

47 Remarques Certaines régions peuvent se réduire à un seul pixel (transitions, bruit …) Mais il faut tout de même qu’il y ait des régions faciles à modéliser par une représentation paramétrique et limitées par des frontières nettes Interdire ou (mieux … cf Shannon/Gibbs) pénaliser les pixels d’intensité négative dans la réponse impulsionnelle du flou et éventuellement dans l’image nette

48 Compensation de bougé Image bougée (astronome amateur) Estimation du bougé déconvolution

49 les points vus dans le cours
2. filtrage, convolution, analyse en fréquence sinusoïdes 2D, propriétés de la TF, échantillonnage les bases 3.1. contours 3.2.régions transformée de hough morpho math k-means contours actifs 4. imagerie en biomédical tomographie irm : analyse en fréquence + échographie propagation d’ondes, stéréovision, interférométrie 5. reconnaissance de formes statistique et structurelle reconnaissance de visages + point approfondi théorie de la décision survol de quelques types d’applications 6. traitement d’images en télédétection champs de Markov, textures, analyse fréquentielle 7. amélioration d’images problèmes de filtrage inverse nécessité de régularisation omission : compression d’images (option VIM)