Traitement de base d'une image (partie 1) Références utiles: Sonka et al : 3.1, 3.2 jusqu’à 3.2.5, 3.3, 5.3.1, 13.1 à 13.4 Patrick Hébert, dernière révision octobre 2008 Vision numérique H2002 - P. Hébert

Traitement des images Se situe aux premières étapes du processus de vision Les opérations se font au niveau des pixels. On ne tente aucune interprétation de haut niveau Objectifs : Restaurer (Ex. : Atténuation du bruit) Rehausser (Ex. : Faire ressortir les contours) Compresser (Éliminer l'information redondante) Le Filtrage : Méthode permettant d'effectuer plusieurs types de traitement

Objectifs Bruit dans une image Filtrage Détection de caractéristiques Linéaire Filtre uniforme Filtre gaussien Design d'un filtre gaussien Non-Linéaire Filtre médian Filtre bilatéral Opérations morphologiques Détection de caractéristiques

Le bruit dans une image Nous avons vu différentes sources de bruit pour une caméra lors du premier thème abordé dans ce cours. L'objectif est maintenant de traiter les images pour amoindrir les effets du bruit. Qu'est-ce que le bruit? C'est fondamentalement tout ce que l'on ne peut modéliser de façon déterministe. On peut cependant caractériser le bruit par des modèles stochastiques. Vision numérique H2002 - P. Hébert

Modélisation stochastique simple ex: prendre plusieurs images d'une même scène statique et examiner la distribution temporelle de chacun des pixels (Attention à l'éclairage néon si la fréquence d'acquisition est différente!) On peut calculer les deux premiers moments de la distribution en chacun des pixels. La corrélation s’obtient en divisant la covariance par le produit des écart-types des 2 distributions considérées. Pour les programmeurs: sachez que pour calculer la covariance ou la variance d’un ensemble de valeurs, il n’est pas nécessaire de traiter deux fois l’ensemble des valeurs (1 fois pour calculer la moyenne puis une fois pour la variance ou la covariance). En développant l’expression, on démontre facilement qu’une Seule passe est nécessaire. il est aussi possible de calculer une corrélation locale du bruit inter-pixel (basée sur la covariance entre 2 pixels). Vision numérique H2002 - P. Hébert

Types de bruit hypothèse générale: bruit additif il existe aussi du bruit multiplicatif Ê(i,j) = E(i,j).n(i,j)

Exemples de bruit dans une image Bruit gaussien Bruit impulsionnel *tirée de Trucco et Verri

Bruit impulsionnel une valeur isolée très différente (ex: sel et poivre) peut causer la saturation

Bruit d'échantillonnage Bruit de quantification les niveaux d'illuminance (8, 10, 12 bits!) Résolution spatiale : Affecte les contours dans l'image "Aliasing" (recouvrement spectral) (une analyse intéressante sur l'aliasing dans Forsyth) Nyquist : On peut reconstruire un signal échantillonné si la fréquence maximale d'un signal < fs/2. Sinon "Aliasing"

Bruit : hypothèse typique Bruit blanc Le bruit est indépendant d'un pixel à l'autre (espace) et d'une image à l'autre (temps). Distribution gaussienne de moyenne nulle

Filtrage But: éliminer le bruit sans trop altérer le signal filtres linéaires et non-linéaires propriétés d'un filtre linéaire invariance à la position: le résultat dépend du voisinage et non de la position dans l’image échelle et superposition f(ax+by) = af(x)+bf(y) le filtrage de l'addition de deux images est équivalent à la somme des deux images filtrées. L’invariance à la position n’est pas respectée en pratique s’il y a de la distorsion radiale par exemple. Vision numérique H2002 - P. Hébert

Filtre linéaire Intuition : la moyenne des échantillons devrait réduire le bruit

Filtre linéaire Convolution de l'image avec un masque (noyau) fixe La convolution est une opération linéaire symétrique A * E = E * A associative A * (B * E) = (A * B) * E Exemple de masque Équation de convolution* *Pour des masques asymétriques, le résultat sera différent de la corrélation.

Exemple: un filtre uniforme 3 x 3 Chaque pixel prend comme valeur la moyenne des pixels voisins. lobes Atténuation des hautes fréquences

Inconvénients du filtre uniforme on perd les fortes transitions le bruit impulsionnel est diffusé et non éliminé Pour le cas #3, la figure 7.1 de Forsyth est intéressante. les lobes de la transformée de Fourier du filtre laissent du bruit (et créent de l'aliasing) Vision numérique H2002 - P. Hébert

Filtrage linéaire : Attention aux effets de bord ! les ignorer  image résultat plus petite on peut ajouter des valeurs constantes sur les bords mais … on peut considérer l'image comme étant périodique mais … on peut considérer le bord de l'image comme un miroir mais …

Le filtrage gaussien Forme du filtre Au niveau performance: le filtre gaussien est aussi séparable, i.e. Avantage par rapport au filtre uniforme : Élimine l'inconvénient #3 car la transformée de Fourier d'une gaussienne est une gaussienne et n'a donc pas de lobes secondaires (en théorie). G(h,k) = G1(h) * G2(k) EF = (E * G1) * G2 On filtre les lignes, puis on filtre les colonnes du résultat. Pour un filtre 5 x 5, il faut 5 x 5 multiplications et 24 additions par pixel. En séparant le filtre, il faut 5 x 2 multiplications et 4 x 2 additions par pixel!

Analyse fréquentielle des filtres gaussien et uniforme *tirée de Trucco et Verri

Construire un filtre gaussien Choisir une taille impaire pour le masque Pour que le masque couvre environ 98,76% de l'aire sous la courbe, on choisit en général Taille= w = 5 * s (où s est en pixels) On échantillonne la fonction

Design d'un filtre gaussien le calcul pourrait être plus efficace si les valeurs des poids étaient entières on fixe le plus petit poids à 1 on applique le facteur multiplicatif aux autres et on arrondit après avoir calculé la somme des pi*E, on divise par la somme des poids pour conserver un gain de 1 conserver à l'esprit que ce n'est qu'une approximation d'une gaussienne s = 1 x G poids(pi) 0 1 7 1 0,6 4 2 0,14 1 Exemple :

Estimation d'un filtre gaussien *tirée de Trucco et Verri

Complément:Filtrage répété pour simuler de larges filtres gaussiens Au lieu de passer un filtre gaussien très large, on peut appliquer le théorème de la limite centrale et convoluer un masque 3x3 plusieurs fois. On peut exploiter la séparabilité en plus mais attention, il faut répéter Gx * Gy n fois plutôt que Gx n fois suivis de Gy n fois.

Filtrage non-linéaire: a) filtrage médian élimine le bruit impulsionnel préserve mieux les discontinuités plus coûteux en calculs** 1- trier les valeurs 64 64 64 64 64 64 255 255 255 2- extraire la médiane *tirée de Efford **S. Perreault et P. Hébert, IEEE Trans. On Image Proc., Vol. 16, No. 9, 2007 proposent une implantation en temps constant. (utilisée dans OpenCV)

Remarquez l'effet sur le fond *tirée de Efford

Filtrage non-linéaire: b) filtrage bilatéral Repenser le filtrage gaussien Hypothèse du filtrage gaussien (ou uniforme) spatial: L’image varie lentement dans l’espace. Puisque les pixels qui sont près les uns des autres devraient être semblables, il convient d’appliquer une moyenne. Inconvénient On détruit les discontinuités Solution Le filtrage bilatéral est une solution relativement simple et non-itérative pour préserver les discontinuités tout en filtrant les zones semblables.

Filtrage bilatéral: l’idée Appliquer à l’ensemble image d’une fonction ce qu’on appliquerait au domaine Deux pixels peuvent être près dans l’espace ou peuvent avoir des valeurs similaires (près dans l’ensemble image) Revoyons d’abord le filtre passe-bas typique dans une nouvelle notation:

L’idée (suite) On rajoute un facteur multiplicatif qui dépend de la différence de niveau de gris On remplace donc un pixel par une moyenne des pixels voisins de valeur semblable

Exemple

Exemple (suite) Tomasi et Manduchi, ICCV 98

Tomasi et Manduchi, ICCV 98

Autre exemple en couleur Nous étudierons la couleur bientôt. Weiss, Siggraph 2006

Filtrage non-linéaire: c) les opérateurs morphologiques min-max élément structurant (s: forme du filtre) érosion (min) et dilatation (max) ouverture (une érosion suivie d'une dilatation): f o s fermeture (une dilatation suivie d'une érosion): f s images binaires et en niveaux de gris chapeau haut-de-forme f – (f o s): détecte les pics et les crêtes

Exemple d’une fermeture 1D a) choix de l'élément structurant: signal: b) dilatation c) érosion

Ouverture et fermeture sur une image binaire *tirée de Efford

*tirée de Efford et modifiée

Références C. Tomasi and R. Manduchi, "Bilateral Filtering for Gray and Color Images", Proceedings of the 1998 IEEE International Conference on Computer Vision, Bombay, India. B. Weiss, "Fast Median and Bilateral Filtering", Siggraph 2006, Boston, USA.