La couleur! Références: Sonka et al: section 2.4 Digital Image processing, Gonzalez et Woods, chap. 6 Tirées de Shapiro & Stockman vision numérique A2008 – P. Hébert

Introduction Intérêt de la couleur : reconnaissance plus performante La couleur qu’on perçoit dépend de la nature de la lumière réfléchie par l’objet observé. Elle dépend de la source et de l’objet – sa BDRF (et éventuellement du milieu de propagation). Exemple: un objet vert ne réfléchit que la lumière verte et absorbe le reste.

Aspects physiques Vitesse de la lumière dans le vide: 3 x 108 m/s Une onde bleue: 2500 périodes/mm ou 0.75 x 1015 cycles par sec La fréquence des rayons X est 1000 fois plus grande La fréquence des ondes radio est 109 fois plus petite. La lumière blanche inclut toutes les fréquences du spectre visible. Bien que la longueur d’onde dépende du milieu, ce n’est pas le cas pour la fréquence des photons. F. Lambda = C

La couleur Le spectre du visible s’étend de 400 à 700 nm environ. *Tirée de G&W

Images multi-spectrales Chaque pixel enregistre l'information issue d'une bande spectrale. On obtient des images couleur à partir, par exemple, de 3 bandes dans le spectre visible. On peut construire des appareils (ex: spectromètres) tels que les bandes sont hors du visible (rayons X, infrarouge, ondes radio)

Cas particulier: la vision humaine Chez l'humain, la couleur est perçue via les 6 à 7 millions de cônes. Il y en a 3 types correspondant aux 3 couleurs primaires (R V B). Il est plus rigoureux de parler des cônes L, M et S. (Low-Medium-Supra frequency) Proportion: L:65%-M:33%-S:2% Le type S est toutefois plus sensible. Voir le principe d’univariance dans Forsyth p. 104 Les photorécepteurs humains n’indiquent pas la fréquence des photons qui les atteignent. Ils répondent de façon presque binaire (activation). Deux faisceaux de lumière seront confondus s’ils produisent la même réponse (indépendamment de leur radiance spectrale).

Absorbtion par les cônes M L Courbes connues en 1965 *Tirée de G&W

Remarque importante On voit que les capteurs « rouges » (ou les autres couleurs) ne perçoivent pas une longueur d’onde unique. On ne peut générer toutes les couleurs à partir des 3 couleurs primaires en faisant varier simplement leur intensité respective. Il faudrait aussi faire varier les longueurs d’onde.

La perception joue pour beaucoup En 1931, la CIE (Commission Internationale de l’Éclairage) a établi des standards dont R = 700 nm V = 546.1 nm B = 435.8 nm Aux trois couleurs primaires, s’ajoutent 3 couleurs secondaires: cyan-magenta-jaune Rappel: les courbes de réponse de l’œil sont disponibles en 1965 d’où la différence

Couleurs additives et soustractives Pour la transmission (ex: un écran de télé ou un moniteur), les couleurs sont additives; i.e. les longueurs d’ondes s’unissent. Pour l’impression, les couleurs sont soustractives; les pigments absorbent la lumière et ne réfléchissent que la couleur désirée. La combinaison de plusieurs couleurs tendra vers le noir. Les trois couleurs primaires sont les couleurs secondaires des couleurs additives (et vice versa)

Couleurs primaires et secondaires Lumière: additives On obtient du blanc en mélangeant 3 Primaires ou une secondaire et la primaire opposée Pigments: soustractives *Tirée de G&W

Distinction des couleurs 3 éléments: L’intensité chromatique (brightness) La couleur dominante, i.e. la longueur d’onde (hue) La saturation, i.e. la pureté ou l’absence de blanc (saturation) Une couleur se caractérise par sa chromaticité (h et s) ainsi que par son intensité (b)

CIE et perception tristimulus On caractérise une couleur par sa quantité relative des 3 couleurs primaires R,G,B -> X,Y,Z On peut n’expliciter que x et y puisque x+y+z=1

Diagramme de chromaticité CIE B *Tirée de G&W

observations X: rouge; y: vert Sur la frontière, les couleurs sont pleinement saturées (A) Point d’énergies équivalentes (B) Une droite entre le point d’énergies équivalentes et une frontière, donne tous les tons d’une couleur en variant la saturation (C) Un segment de droite entre deux couleurs définit les variations qu’on peut obtenir par une combinaison additive (l’intérêt du diagramme) (D) On peut étendre cette observation à un triangle Un triangle ne peut produire toutes les couleurs

Le gamut (plage) des couleurs représentables par un appareil *Tirée de G&W

Espaces des couleurs En général, on représente la couleur à l'aide de 3 valeurs  Espace en 3 dimensions RGB: pour moniteurs et caméras CMY et CMYK: pour les imprimantes HSI: plus prêt de l’interprétation humaine car cet espace découple le niveau de gris de la couleur YIQ, YUV, YCrCb, YCC, etc (Luminance-Chrominance) Utilisé pour la transmission d'image vidéo (NTSC, PAL) Espace approprié pour la compression (JPEG)

Représentation RGB (RVB) L'espace le plus connu est RGB (Rouge, Vert, Bleu) Teintes de gris  R=G=B le long de la diagonale Les couleurs complémentaires sont sur les 3 autres coins La forme RGB est additive. Elle est intéressante pour les couleurs "transmises" (ex. les moniteurs) Les couleurs pures de base sont dans les coins. (Tout comme les couleurs complémentaires) La représentation basée sur 3 couleurs est issue de la perception humaine basée sur 3 types de cônes. *Tirée de G&W

Représentations d'une image couleur numérique (RGB) Typiquement: 3*8 bits = 24 bits pour un moniteur Ce qui fait 16 777 216 couleurs possibles.

Génération d’une image couleur RGB Les faces du cube *Tirée de G&W

Remarque « safe colors » On peut définir un sous-ensemble (> 256) de couleurs qui paraissent bien sur une vaste gamme de périphériques Utile pour le choix de couleurs des informations sur le web

Représentation CMY(K) Espace CMY[K] Cyan, Magenta, Yellow [K]  Noir Couleurs soustractives Utilisé pour l'imprimerie _ on ajoute le noir pour obtenir un noir de bonne qualité, ce qui n’est pas nécessaire en théorie. CMY (Cyan-Magenta-Yellow) = 1 – RGB K : le noir On soustrait du blanc au lieu d’ajouter au noir comme en RGB! Cyan: absorbe le rouge Magenta: absorbe le vert Jaune: absorbe le bleu (absorber = soustraire) Le noir devient 255,255,255 Le jaune: 0,0,255 YIQ: on sépare la luminance (Y) de la chrominance (I, Q) Y est utilisé parles TV N&B. On utilise plus de bits pour encoder Y que I et Q car l’œil humain est plus sensible à Y. Variante: YUV utile pour compression JPEG et MPEG Les conversions RGB2YIQ et RGB2YUV sont linéaires. Une simple matrice de poids. Ex: Y = 0.3R + 0.59G + 0.11B I = 0.6R - 0.28G - 0.32B Q = 0.21R – 0.52G + 0.31B

Représentation HSI (HSL-HSV) HSL  Teinte (H), Saturation (S), Illuminance (L) Séparation de l'intensité de la teinte et de la saturation Plus intuitif pour identifier et spécifier les couleurs Traitement des ombrages plus facile lors de la segmentation Ombrage  même couleur mais intensité différente. L: Lightness (illuminance) I=(R + V + B) / 3 La couleur est contenue dans H (Hue) : un angle (0  360°) S (Saturation): un rayon entre 0 et 1 (pureté) S = 0 -> gris S = 1 -> couleur pure! Variantes : HSI ou HSV (on utilisera HSI) Exemple: Rouge intense: RGB(255,0,0) CMY(0,255,255) HSL(0.,1.,0.5) (voir site www.easyrgb.com pour formule exacte)

Exemple (gauche) Image originale; Tirée de Stockman et Shapiro (gauche) Image originale; (centre) diminution de 20% de la saturation (droite) augmentation de 40% de la saturation

Conversion RGB->HSI Passage RGB [0,1] HSI Rotation du cube de l'espace RGB tel que la diagonale est alignée avec l'axe Z et la composante R est dans le plan XZ La rotation est telle que : Source : http://www.netnam.vn/unescocourse/computervision/12.htm

Il y a un problème: la projection du cube effets: la saturation dépend de I et le cube se projette en un hexagone au lieu d'un cercle Pour H, on peut utiliser phi ou l'obtenir plus directement: y C M Le cône hexagonal définit HSV. HSI est un cylindre. *tirée (et modifiée) de Castleman H peut ensuite être normalisé [0,1]

Représentations graphiques *Tirée de G&W

Traitement d’images couleur On peut traiter les composantes individuellement ou traiter plus rigoureusement le vecteur (RGB ou HSI). Ex: filtre passe-bas ou passe-haut On peut traiter les 3 composantes RGB indépendamment Pour le filtrage bilatéral, on peut utiliser le CIE LAB (std + récent) On ne peut filtrer que la composante I dans HSI Détection d’arêtes Bien qu’il soit plus rigoureux (et plus complexe) de traiter le vecteur comme un tout, on obtiendra généralement de bons résultats en combinant le résultat des 3 canaux par un « ou » logique.

Segmentation de régions En HSI On définit un intervalle sur H (pour une région ou pour chaque pixel dans le temps) On impose au moins 10% de saturation sans quoi la valeur H ne veut rien dire En RGB On peut définir un cube d’intérêt (intervalle sur chacune des 3 composantes) On peut fixer un maximum sur la distance euclidienne On peut utiliser la distance de Mahalanobis

Représentation graphique des distances 1- dist. Euclidienne 2- dist. de Mahalanobis 3- intervalle cubique *Tirée de G&W

Éclairage et ombres

Histogramme des couleurs (variable H de HSI) Exemple Histogramme des couleurs (variable H de HSI)