Applications du filtrage

Présentation au sujet: "Applications du filtrage"— Transcription de la présentation:

1 Applications du filtrage
GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde Merci à D. Hoiem, A. Efros, S. Lazebnik, S. Seitz

2 Gradient Le gradient d’une image:
Pointe dans la direction du changement le plus rapide en intensité La direction est donnée par: quel est le lien avec la direction de l’arête? La “force” du gradient est la magnitude:

3 Bruit Analysons une seule ligne dans l’image Où est l’arête?
Affiche l’intensité en fonction de la coordonnée x Comment calculer le gradient (la dérivée?) Où est l’arête?

4 Solution: adoucir! (filtrer!)
Où est l’arête? Chercher maximums:

5 Théorème sur la dérivée de la convolution
On sauve une étape:

6 Laplacien d’une gaussienne
Laplacian of Gaussian operator Où est l’arête? Où le graphe du bas croise 0

7 Détection d’arête en 2-D
Laplacien d’une gaussienne Gaussienne dérivée d’une gaussienne How many 2nd derivative filters are there? There are four 2nd partial derivative filters. In practice, it’s handy to define a single 2nd derivative filter—the Laplacian est l’opérateur Laplacien:

8 Correspondance de modèles
But: trouver dans l’image Défi: Comment devrait-on comparer le modèle avec l’image? Derek Hoiem

9 Filtrer pour trouver les correspondances
But: trouver dans l’image Méthode 0: filtrer l’image avec l’oeil f = image g = filtre Qu’est-ce qui se passe? Problème: la réponse est plus forte pour les régions de l’image qui sont plus brillantes. Image Image filtrée Derek Hoiem

10 Filtrer pour trouver les correspondances
But: trouver dans l’image Méthode 1: filtrer l’image avec l’oeil (normalisé) moyenne de g Bonnes détections Problèmes: pixels proche de la moyenne ont peu d’effet (proche de 0) sensible au contraste: encourage l’appariement des pixels qui ont une valeur différente de la moyenne Fausses détections Image Image filtrée Seuil Derek Hoiem

11 Filtrer pour trouver les correspondances
But: trouver dans l’image Méthode 2: somme des différences au carré Bonnes détections Super, non? Image 1- sqrt(SSD) Seuil Derek Hoiem

12 Est-ce qu’on peut implémenter la somme des différences au carré avec un (ou des) filtre(s) linéaire(s)? Et ainsi calculer la réponse avec une convolution? — faire au tableau! Derek Hoiem

13 Filtrer pour trouver les correspondances
But: trouver dans l’image Méthode 2: somme des différences au carré Problème? Image 1- sqrt(SSD) Derek Hoiem

14 Filtrer pour trouver les correspondances
But: trouver dans l’image Méthode 3: corrélation croisée normalisée moyenne de la partie de l’image moyenne du filtre Invariant to mean and scale of intensity Dans matlab: C = normxcorr2(template, A) Derek Hoiem

15 Filtrer pour trouver les correspondances
But: trouver dans l’image Méthode 3: corrélation croisée normalisée Bonnes détections Image résultat Seuil Derek Hoiem

16 Filtrer pour trouver les correspondances
But: trouver dans l’image Méthode 3: corrélation croisée normalisée Bonnes détections Image résultat Seuil Derek Hoiem

17 Quelle est la meilleure méthode?
Ça dépend! Filtre normalisé très rapide, mais pas très bon Somme des différences au carré assez rapide, sensible aux variations d’intensité Corrélation croisée-normalisée plus lente, mais robuste aux variations d’intensité Derek Hoiem

18 Atténuation du bruit Filtre gaussien Bruit additif gaussien

19 Atténuer le bruit gaussien
En augmentant la variance, on réduit le bruit, mais on rend l’image floue! Source: S. Lazebnik

20 Bruit “poivre et sel” Filtre gaussien 3x3 5x5 7x7 poivre et sel: rajoute blanc ou noir aléatoirement (typique sur les images) Qu’est-ce qui ne va pas?

21 Idée alternative: filtre médian
Un filtre médian calcule la médiane de l’image sur une fenêtre Malheureusement ça n’est pas linéaire! On ne peut pas convoluer. Est-ce que c’est linéaire? Source: K. Grauman

22 Filtre médian robuste aux aberrations
Quels sont les avantages du filtre médian sur le filtre gaussien? Signal Filtre médian robuste aux aberrations préserve mieux les discontinuités Filtre gaussien Source: K. Grauman

23 MATLAB: medfilt2(image, [h w])
Filtre médian Bruit “poivre et sel” Filtre médian MATLAB: medfilt2(image, [h w]) Source: M. Hebert

24 Filtre Médian vs. gaussien
3x3 5x5 7x7 Gaussien Médian

25 Compression (JPEG) DCT: comme DFT mais seulement avec des nombres réels (pas complexes — pas de phase).

26 La DCT dans la compression JPEG
Le premier coefficient B(0,0) est la composante DC (l’intensité moyenne) Les coefficients en haut à gauche représentent les basses fréquences, et en bas à droite les hautes

27 La DCT dans la compression JPEG
Quantification Plus approximatif pour les hautes fréquences (qui sont plus faibles de façon naturelle) Plusieurs d’entre elles seront 0! Encodage Décodage avec la DCT inverse Réponse des filtres Table de quantification Valeurs quantifiées

28 Compression JPG Diviser l’image en blocs (8x8), enlever 128
Pour chaque bloc Calculer les coefficients DCT Quantification Coefficients des hautes fréquences deviendront 0 Encodage (e.g., avec l’encodage Huffman)

29 Taille des blocs petit grand 8x8 dans le standard JPEG rapide!
corrélation existe entre blocs adjacents (compression moins efficace) grand meilleure compression 8x8 dans le standard JPEG

30 Comparaison 89k 12k

31 À retenir Souvent plus intuitif de penser en termes de fréquences
transformée de Fourier Plus rapide de filtrer avec la FFT pour les grosses images (N logN vs. N2) Les images ont plus d’énergie dans les basses fréquences Compression? Souvenez-vous de filtrer avant d'échantillonner

32 Question à emporter Associez l’image à la transformée de Fourier 1 2 3
4 5 A B C D E

33 A Gentle Introduction to Bilateral Filtering and its Applications
“Fixing the Gaussian Blur”: the Bilateral Filter Sylvain Paris – MIT CSAIL

34 Blur Comes from Averaging across Edges
* input output * * Same Gaussian kernel everywhere.

35 Bilateral Filter No Averaging across Edges
[Aurich 95, Smith 97, Tomasi 98] * input output * * The kernel shape depends on the image content.

36 Bilateral Filter Definition: an Additional Edge Term
Same idea: weighted average of pixels. normalization factor new space weight not new range weight I new

37 Illustration a 1D Image 1D image = line of pixels
Better visualized as a plot pixel intensity pixel position

38 Gaussian Blur and Bilateral Filter
p q space space Bilateral filter [Aurich 95, Smith 97, Tomasi 98] p range q space range normalization space

39 Bilateral Filter on a Height Field
output input reproduced from [Durand 02]

40 Space and Range Parameters
space σs : spatial extent of the kernel, size of the considered neighborhood. range σr : “minimum” amplitude of an edge

41 Influence of Pixels Only pixels close in space and in range are considered. space range p

42 Exploring the Parameter Space
σr = ∞ (Gaussian blur) σr = 0.1 σr = 0.25 input σs = 2 σs = 6 σs = 18

43 Varying the Range Parameter
σr = ∞ (Gaussian blur) σr = 0.1 σr = 0.25 input σs = 2 σs = 6 σs = 18

44 input

45 σr = 0.1

46 σr = 0.25

47 σr = ∞ (Gaussian blur)

48 Varying the Space Parameter
σr = ∞ (Gaussian blur) σr = 0.1 σr = 0.25 input σs = 2 σs = 6 σs = 18

49 input

50 σs = 2

51 σs = 6

52 σs = 18