Représentation des Images Partie 1 : Images et perception visuelle Pierre Courtellemont L3i – Université de La Rochelle pcourtel@univ-lr.fr

Représentation des Images De la difficulté de définir une image… Qu’est ce qu’une image ? « reproduction ou représentation d’une chose » Ce concept recouvre des types d’images très variées que l’on peut classer par exemple selon leur nature, physique ou mathématique : - images « physiques », avec une réalité matérielle : images visibles ou non suivant les longueurs d’onde considérées, ou non visibles directement (fichiers images), - images « mathématiques » , de nature immatérielle et non visibles par nature : fonction de 2 variables, matrices, images calculées par ordinateur (images vectorielles ou géométriques - synthèse d’images). A tout phénomène physique, biologique ou économique, mais de nature bidimensionnelle*, on peut associer une image par extension (« images latentes »). Le mot « image » s’applique à des grandeurs volatiles (images optiques, ou électro-optiques (écrans)) comme à des grandeurs permanentes « pictures » (clichés, peintures, documents…) * : le plus souvent

Représentation des Images Une autre classification oppose images analogiques – à notre échelle - et images numériques. images « physiques » images « mathématiques » Cartes de t°, de pression… tout phénomène physique à 2 dimensions au moins F(x,y) modèles analogiques d’images Scènes, Photos, dessins, Vues IR, UV… Images vidéo-cassettes… analogiques Fij Modèles numériques d’images Images de synthèse numériques Images numérisées en mémoire ou sur autre support numérique

Représentation des Images Différentes exploitations des images : - acquisition/numérisation scène analogique -> image numérique - mémorisation image volatile -> image permanente - traitement produit une autre image de sortie, éventuellement d’autres grandeurs de plus haut niveau (analyse d’images) - visualisation ou restitution -> sous forme analogique le plus souvent

Représentation des Images D’une manière générale, nous pouvons donc considérer une image comme une représentation - le plus souvent - planaire d’une scène ou d’un objet situé dans un espace à 3 dimensions (+ la dimension temporelle). Elaborer une image : volonté de proposer une entité observable* par l’œil humain avec donc comme maillon final notre système visuel. * : par un dispositif lui aussi presque toujours planaire Cadre du cours : Images numériques, 2D, sous la forme d’un tableau appelé bitmap (ou mieux, pixelmap) de n x m pixels*. Ces images sont encore appelées raster par opposition aux images vectorielles ou géométriques. Le cours s’attachera aux problèmes liés à la numérisation et la restitution. * : l’extension à la 3D du mot pixel (picture element) est voxel (volume element).

Représentation des Images On peut distinguer (cas particuliers intéressants) : - les images monochromes ou niveaux de gris, quand elles peuvent être représentées par une fonction f(x,y) qui traduit une certaine grandeur (intensité lumineuse par exemple) du point (x,y). L’image numérisée correspondante sera constituée d’un unique tableau de nombres fij. Un cas particulier correspond aux images binaires pour lesquelles 2 valeurs seulement sont permises pour fij, souvent 0 et 1. - les images trichromes (ou images couleur) Une image couleur est en pratique trichrome et est représentée par 3 fonctions f1ij, f2ij, et f3ij (par exemple R,V,B). - les images multi-spectrales : généralisation du cas précédent, conduisant à n tableaux de nombres. Pour la restitution, on peut visualiser chaque composante en monochrome (ou en fausses couleurs, soit 3 composantes pour 1 seule), soit en utilisant m couleurs, soit encore en n’en représentant que 3 simultanément.

Représentation des Images Objectifs du cours Nous voyons que l’acquisition, le traitement et la restitution d’une image s’apparente à une chaîne de traitement (traitement d’un signal) avec toutes ses problématiques : capteur (numériseur) : filtrage spatial passe-bas -> échantillonnage, quantification. Ces notions sont soumises aux lois qui régissent le traitement numérique des signaux (ici bidimensionnels). Leur étude est indissociable de celle de la perception visuelle (en terme de résolution spatiale, quantification, perception des couleurs…)

Représentation des Images Cette chaîne de traitement est soumise à un certain nombre de décisions : - Résolution spatiale ou échantillonnage (théorème de Nyquist) / taille des images, des traitements - Tessellation : Forme des pixels ? - Quantification : Combien de niveaux discrets (en bits) sont nécessaires ? Quel type de quantification (linéaire ou non, scalaire ou vectorielle…) ? D’autre part, selon la nature binaire, monochrome ou couleur d’une image, d’autres représentations peuvent être utilisées, associées à la répartition globale (propriétés statistiques, histogrammes) ou spatiale des grandeurs (histogrammes, connectivité, voisinage…) faisant intervenir des fonctions telles que des distances entre pixels.

Représentation des Images Exemples de questions à se poser : - liens entre quantification et précision attendue du filtrage (du fait de la quantification induite des coefficients) - choix de l’espace colorimétrique : systèmes RVB, systèmes perceptuels, systèmes uniformes Les algorithmes de la RDF utilise la notion de distance : quels espaces le permettent ? Distance dans cet espace = distance perceptuelle ? (penser à l’instabilité de la teinte pour certaines valeurs des autres composantes…) - quantification et perception : quelle quantification adopter ? Que devient une quantification uniforme en RVB après transformation non linéaire (Lab)….

Représentation des Images On retiendra qu’au bout du compte, une image n’est qu’une représentation imparfaite d’une scène et élaborer une image correspond à la volonté de proposer une entité observable par l’œil humain. Ä en premier lieu, il faut connaître notre système visuel pour tenir compte de ses faiblesses et utiliser ses capacités. Traitement d’image : à partir des informations initiales, on cherchera souvent à extraire des informations plus pertinentes, et à les interpréter. On distingue ainsi des pré-traitements, des traitements « bas-niveau » (appliqués aux pixels, sans leur donner de signification) et « haut-niveau » : analyse et interprétation. La Couleur tient un grand rôle dans l’interprétation que nous faisons d’une image (Cf exemple documents couleur).

Représentation des Images Couleur : Un des éléments fondamentaux de la perception visuelle. En contraste avec les images en niveaux de gris, les images couleur n’exige pas de transposition intellectuelle pour être interprétées. La couleur utilise la gamme complète de nos récepteurs sensoriels. La perception de la couleur est un phénomène neuro et psycho-physiologique complexe qui fait intervenir d’abord la composition spectrale de l’éclairage, la structure moléculaire de l’objet réfléchissant (ou modifiant) cette lumière mais aussi les récepteurs et les interpréteurs de l’information lumineuse que sont nos yeux et notre cerveau.

Représentation des Images 1. Couleur et perception visuelle 1.1. Sensibilité spectrale de l’œil humain   La couleur d’un objet est fonction de la composition de la lumière incidente aussi bien que de la nature de l’objet. Les corps paraissent colorés car ils absorbent* une partie de la lumière et renvoie une autre partie. La définition de la couleur passe donc par celle de la lumière visible. * : d’autres principes physiques que l’absorption sont à l’origine des phénomènes colorés. Ils seront exposés dans la partie 2 du cours.

Représentation des Images La couleur est une notion subjective, qui diffère donc d’un individu à l’autre. Il n’existe probablement pas 2 personnes ayant la même perception (il est d’ailleurs impossible d’imaginer ce que voit un autre observateur) Mais on pourra toujours définir un observateur standard, un observateur de référence parfaitement connu. C’est la base de la colorimétrie qui repose sur des statistiques obtenues sur des gens « normaux », et également de la possibilité pour chaque observateur, de comparer 2 sensations lumineuses (expériences d’égalisation).

Représentation des Images La réponse de l’œil à une lumière monochromatique a été mesurée en fonction de la longueur d’onde. La CIE (Commission Internationale de l’Eclairage) a admis une réponse type correspondant à un observateur moyen. Cette réponse est représentée ici pour 2 types de visions, diurne (photopique), et pré-nocturne (scotopique). Cette courbe représente la sensibilité (fonction d’efficacité lumineuse relative spectrale) de l’œil humain et est généralement notée V(l). Elle a été définie en 1924 par la CIE en vision photopique. La mesure des grandeurs radiométriques (radiométrie) par rapport à l’organe de vision constitue la photométrie.

Représentation des Images La fonction V(l) a été mesurée pour différents observateurs humains représentés par un observateur moyen dit observateur de référence photométrique. Cette fonction est normalisée à 1 en son maximum qui correspond à la longueur d’onde de 555 (ou 560) nm (couleur verte). Ce n’est qu’en 1951 que la CIE propose cette fonction pour la vision scotopique. D’une manière générale, les grandeurs photométriques se déduisent de grandeurs radiométriques en pondérant la distribution spectrale du rayonnement par l’efficacité lumineuse relative spectrale de l’œil humain. Des unités sont donc propres à la photométrie. Pour en savoir plus : unités

Représentation des Images 1.2. Le système visuel humain La fonction optique de l’oeil est de focaliser un stimulus de couleur sur sa partie photosensible, la rétine. – La cornée est une membrane transparente et résistante située sur la face avant de l’oeil. – L’iris est une membrane colorée qui fonctionne comme un diaphragme en contrôlant la quantité de lumière qui pénètre dans l’oeil. Son ouverture centrale est la pupille. – Le cristallin est une lentille biconvexe molle qui permet de focaliser le stimulus grâce à sa capacité à modifier sa courbure. – Le corps vitré est un liquide continuellement sécrété et absorbé, dont le rôle est d’assurer la structure autonome de l’œil.

Représentation des Images Lorsque notre regard fixe un objet, les rayons lumineux réfléchis par cet objet se focalisent sur une zone particulière de la rétine, la fovea qui est située au centre de la macula, région jaunâtre proche du centre de la rétine, mais légèrement décalée par rapport à l’axe optique de l’œil. La fovea correspond à la zone d’acuité maximale de l’œil.

Représentation des Images Cônes et bâtonnets  La rétine possède environ 4 millions de cônes pour un peu plus de 100 millions de bâtonnets. La fovea se distingue par une concentration maximale de cônes pour une très faible concentration en bâtonnets. Il existe même une zone au centre de la fovea dans laquelle il n’y a que des cônes, la foveola.

Représentation des Images Peu nombreux, les cônes sont responsables de la vision haute résolution. A cet effet leur densité est importante dans la fovéa. Moins sensibles à la lumière que les bâtonnets, ils fonctionnent en vision photopique mais peuvent s’adapter très rapidement à des changements d’intensité. Les bâtonnets sont très nombreux et plus sensibles à la lumière que les cônes. Ils sont responsables de la vision scotopique, leur temps d’adaptation aux changements de conditions est par contre beaucoup plus long. Avec un seul type de pigment, ils ne peuvent distinguer les couleurs. De par leur répartition hors de la fovéa, ils sont responsables de notre vision périphérique.

Représentation des Images Cônes et bâtonnets sont pourvus au niveau supérieur d’un segment externe » qui absorbe la lumière et produit le signal électrique, et au niveau inférieur, d’une terminaison synaptique, qui transmet l’information aux autres couches de la rétine. Les segments externes contiennent une membrane photosensible garnie de pigments, qui sont des molécules capables d’absorber la lumière. Les bâtonnets contiennent un pigment rouge (la rhodopsine) mais qui blanchit à la lumière du jour. Les cônes contiennent un pigment parmi 3 types possibles (cyanolabe, chlorolabe et erythrolabe ), dont le maximum d’absorption se situe dans des valeurs différentes du spectre visible. bâtonnets cônes à la fovea à la périphérie

Représentation des Images On distingue ainsi 3 types de cônes : les cônes S sensibles à des longueurs d’onde courtes (short), les cônes M sensibles à des longueurs d’onde moyennes (medium) et les cônes L sensibles à des longueurs d’onde longues (long). C’est là l’origine de l’aspect trichromatique de la vision des couleurs. Les cônes L sont sensibles au jaune-vert à rouge, les cônes M au vert et les cônes S au bleu. Les cônes S sont les moins nombreux  : 64 % L, 32 % M et seulement 2% S, bleus. Les pigments (des protéines) des cônes sont appelés cyanolabe, chlorolabe et erythrolabe dans les cônes S, M et L respectivement. Les cônes pigmentés bleus sont particuliers. Ils sont plus sensibles à la lumière, peu nombreux à la fovea: ils sont responsables de certains phénomènes d’aberration chromatique.

Représentation des Images Il est possible de mesurer le signal électrique produit par un bâtonnet lorsqu’il absorbe 1 photon ! Toutefois, même en pleine obscurité, on observe un signal électrique comparable à un bruit thermique. La sensibilité du bâtonnet est limitée par ce phénomène. A l’inverse, en vision diurne, les bâtonnets sont saturés. Les mouvements ou les variations rapides de luminance sont détectés par les cônes : la réponse d’un cône est 4 fois plus rapide que celle d’un bâtonnet. Mais le signal produit par l’absorption des photons par un cône est environ 100 fois plus faible que par un bâtonnet. Notre système visuel fait ainsi un compromis entre sensibilité et résolution temporelle. (penser au passage du jour l’été à une pièce sombre)

Représentation des Images Toutes les cellules réceptrices contiennent donc des pigments qui sont des protéines : rhodopsine dans les bâtonnets, cyanolabe, chlorolabe et erythrolabe dans les cônes S, M et L respectivement. Quand un photon de longueur d’onde correcte est capté, il se produit une série de transformations qui font passer la protéine dans un état actif qui va augmenter le potentiel électrique de la cellule. Ce signal se propage jusqu’aux synapses de type électrique, donc très rapides. Si un photon est absorbé, la réponse électrique ne dépend pas de sa longueur d’onde. C’est le nombre moyen de photons absorbés qui varie avec la longueur d’onde selon des courbes de sensibilité propres à chaque type de cône.

Représentation des Images Les chemins du système visuel

Représentation des Images Cellules de la rétine : Les cellules photoréceptrices sont connectées aux cellules bipolaires, qui à leur tour, sont connectées aux cellules ganglionnaires dont les axones se prolongent dans le nerf optique. Dans des liaisons parallèles, les cellules horizontales établissent des connections synaptiques avec les cellules photoréceptrices et bipolaires. Des cellules amacrines reçoivent des synapses des cellules bipolaires et agissent sur les cellules bipolaires et ganglionnaires. Il existe donc des boucles de contre-réaction. LIGHT

Représentation des Images

Représentation des Images Propagation du signal optique : cellules bipolaires : assurent des liaisons « série » cellules horizontales et cellules amacrines : liaisons « série » et « parallèle » permettant des boucles de contre-réaction. On observe une diminution du nombre de cellules vers l’intérieur : il y a compression de l’information et prétraitement tenant compte de la proximité (notion de champ réceptif). Il n’y a que quelques cônes reliés à une même fibre nerveuse, d’où la bonne résolution spatiale des cônes. Les cellules ganglionnaires assurent une conversion tension-fréquence : le nerf optique transmet des informations sous forme de trains d’impulsions modulés en fréquence. Ce sont essentiellement des différences qui sont prises en compte, et non leur valeur absolue. Ceci explique les phénomènes d’inhibition latérale et en partie (car intervient aussi le cortex), l’adaptation chromatique ou aux luminances.

Représentation des Images Une cellule qui reçoit des signaux de plusieurs cellules les combine en un nouveau message qui tient compte de chaque signal d’entrée. Il faut ainsi introduire la notion de champ réceptif : il s’agit de la région de la rétine à partir de laquelle on peut influencer un neurone. Grâce aux boucles de contre-réaction et les connections parallèles, un champ réceptif est divisé en régions. Un champ peut être excitant au centre et inhibant au bord, ou l’inverse. Au niveau des cellules ganglionnaires, le traitement est indépendant de l’orientation. Un petit spot lumineux (dizièmes de mm) peut couvrir plusieurs champs réceptifs avec des actions opposées : au niveau de la fovea, les champs réceptifs sont les plus petits (haute acuité visuelle).

Représentation des Images Les liaisons latérales sont à l’origine du phénomène étudié par le physicien allemand E . Mach.

Représentation des Images Illusions d’optique liées à l’inhibition latérale :

Représentation des Images Toutes ces illusions d’optique sont liées à l’inhibition latérale : l’illusion de la grille d’Hermann s’explique par le fait que les intersections étant moins entourées de noir que le reste des bandes, elles paraissent plus sombres. Les mêmes phénomènes rendent plus sombre un carré gris entouré d’une zone claire que l’inverse.

Représentation des Images Corps Genouillé latéral : Il effectue des traitements intermédiaires invariants par rotation selon des champs réceptifs semblables à ceux des cellules ganglionnaires. C’est à ce niveau que se précise en particulier les combinaisons entre les signaux des trois types de cônes, combinaisons déjà amorcées aux niveaux des cellules de la rétine. Cortex Visuel : L’analyse du cortex visuel montre que les quelque 1010 neurones qui le constituent possèdent un arrangement hiérarchique bien défini avec quelques types de neurones. Ces neurones sont répertoriés comme simples, complexes, hypercomplexes et hypercomplexes d’ordre élevé, avec des propriétés définies selon leur champ réceptif.

Représentation des Images Cellule simple : le champ réceptif est de forme allongée, avec un centre entouré de 2 régions antagonistes. Le stimulus le plus efficace est alors une barrette orientée dans le même sens que le champ réceptif. Elles sont donc sensibles à l’orientation mais comme la réponse n’est pas invariante par translation, elles sont aussi sensibles à la position. Les cellules complexes sont sensibles à l’orientation mais pas à la position de l’excitation dans le champ visuel : elles signalent l’orientation indépendamment de la position. (le nombre approximatif de directions quantifiées doit être de 30).

Représentation des Images Les cellules hypercomplexes répondent à des discontinuités comme la fin d’une ligne, un coin, un angle droit éclairé d’un coté et sombre de l’autre… Il n’y a réponse que pour une orientation et une discontinuité (fin de ligne, angle…) spécifiques : elles permettent la perception des formes. Donc : 3 types de cellules : S (simple), C (complexe) et H (hypercomplexe) • Sensibles à l’orientation (toutes) • Sensibles à la position (S, H) • Sensibles à des caractéristiques particulières (H) … représentation mentale d’une image ?

Représentation des Images 1.3. Modèles de la perception humaine de la couleur   Nos connaissances dans la physiologie de notre système visuel va permettre de proposer différents modèles (modèle du tri-stimulus, modèle des couleurs antagonistes…). Les résultats objectifs se trouvent dans les représentations de la couleur au moyen d’espaces tridimensionnels : il suffit de 3 variables indépendantes pour décrire raisonnablement bien l’espace des couleurs. Les recherches concernant l’interprétation humaine du stimulus couleur est en évolution. Néanmoins, différents modèles peuvent être présentés : ü modèle du tri-stimulus (comportement au niveau de la rétine) jusqu’au ü modèle des couleurs antagonistes (corroboré par résultats plus récents sur le corps genouillé).

Représentation des Images Modèle du tri-stimulus : Qui s’explique par les 3 types de pigments des cônes : érythroblades, chloroblades et cyanoblades, respectivement responsables des 3 canaux (L), (M) et (S). L’action de ces 3 filtres sur un stimulus d’entrée décrit par son spectre E(l) se modélise selon les relations suivantes : où S(l), M(l) et L(l) représentent les sensibilités spectrales des cônes S, M, L. Ces équations décrivent le phénomène d’absorption des photons par les cônes, qui sera soumis à une relation non linéaire (loi de Weber) : Ci= a Log Ai + b avec i=L, M ou S

Représentation des Images Parmi les modèles proposés, le modèle de Von Kries permet de tenir compte du mécanisme de l’adaptation chromatique (les feuillages restent verts même au soleil couchant) : l’œil effectue une balance des couleurs en fonction d’un blanc de référence. Par exemple :

Représentation des Images Combinaisons : On sait que des combinaisons de cellules se produisent au niveau de la rétine et du corps genouillé. Par exemple, il a été proposé : DL = CL -> luminance DM = CM – CL= a Log(AM/AL) -> chrominance DS = CS – CL = a Log(AS/AL) -> chrominance Les 2 derniers signaux sont des signaux de « chrominance » qui sont à la base des sensations de teinte et de saturation, attributs perceptuels, indépendants de la luminance.

Représentation des Images Modèle des couleurs antagonistes : Des expérimentations ont montré que les cellules du corps genouillé latéral répondent plutôt aux compositions suivantes : C1 = +/-(L-M) C2 = +/- (L+M-S) A = +/- (L+M+S)   La composante chromatique C1 décrit la réponse de cellules spectralement opposées rouge-vert, (jaune-bleu pour C2). La composante A est achromatique et est représentative des variations de l’intensité lumineuse. Ce modèle correspond au modèle des couleurs opposées proposé par Hering en 1875. Ce modèle explique qu’il nous est impossible de décrire une couleur par des termes comme rouge-vert ou bleu-jaune.

Représentation des Images Ce modèle ne s’oppose pas au modèle du tri-stimulus mais le complète pour décrire des phénomènes ayant lieu successivement dans la rétine puis dans le corps genouillé latéral. Il est illustré par ce type de schéma :

Représentation des Images Illusions classiques (rémanence des couleurs) :

Représentation des Images Illusions classiques (rémanence des couleurs) :

Représentation des Images Une fois admise l’hypothèse des couleurs antagonistes proposée par le psychologue allemand du 19ème siècle Ewald Hering, l'explication des rémanences colorées devient relativement simple.  Comme dans d'autres types de rémanences négatives, quand un stimulus rouge est regardé fixement, les cellules signalant la présence d’un stimulus rouge finissent par réduire leur activité. Ainsi, quand on regarde ensuite l'écran gris, ces cellules restent quelques temps peu actives. Cependant, parce qu'ils codent normalement par leur activité la présence de stimuli rouges ou l'absence de verts, la réduction de leur activité est interprétée par le cerveau comme la présence de vert. Les illusions précédentes reposent sur les phénomènes de contraste successif (un gris perçu après un vert, se teinte du rouge complémentaire, ou en fermant les yeux…) ou de contraste simultané (le gris apparaît rougeâtre sur un fond vert…)

Représentation des Images Un autre modèle possible reposant sur des couleurs antagonistes :

Représentation des Images Attributs perceptuels : La perception humaine de la couleur est donc une réaction subjective qui peut être caractérisée en termes de luminosité, de teinte et de saturation. üLa luminosité correspond à une sensation traduite par des vocables comme clair, foncé, lumineux, sombre… et caractérise le niveau lumineux d’un stimulus de couleur. Le concept de luminosité a un sens ici large et beaucoup de grandeurs physiques qui y sont rattachées permettent de la quantifier (intensité, éclairement, luminance, ... ) üLa teinte ou tonalité chromatique correspond aux dénominations telles que rouge, vert, bleu, ... Elle correspond à la longueur d’onde dominante d’une couleur, c’est-à-dire pour laquelle l’énergie correspondante est la plus élevée. Le blanc, le noir ou les gris sont dites neutres ou achromatiques. üLa saturation est une grandeur estimant le niveau de coloration d’une teinte indépendamment de la luminosité. Elle représente la pureté de la couleur perçue comme vive, pâle, terne, ...

Représentation des Images Attributs perceptuels : Le vocabulaire dépend surtout ici de la discipline dans lequel il est employé. La colorimétrie repose sur des grandeurs objectives et utilise les notions : de longueur d’onde (de la couleur pure se rapprochant le plus). Elle correspond aux termes de teinte (langage courant) ou tonalité (psychométrie), de pureté d’excitation, exprimant de combien se rapproche la couleur de la couleur pure correspondante, correspondant aux termes pureté (langage courant) et saturation (psychométrie), Le facteur de luminance, énergie globale réfléchie par une surface, correspondant aux termes du langage courant luminosité et clarté ou leucie en psychométrie. On définit dans les différents espaces colorimétriques, des notions différentes utilisant également ces termes.

Représentation des Images Attributs perceptuels : D’une manière générale, l’aspect coloré d’une surface ou d’une lumière est le résultat de sa teinte et de sa saturation. Ces deux caractéristiques sont regroupées sous le terme de chromaticité. En psychométrie (qui étend la mesure colorimétrique au domaine du « sensible » ) ou pour l’artiste ou le coloriste, on exprime également des ordres de grandeur de la clarté et de la saturation à l’aide d’un seul terme : Claire + saturée = « vive » Claire + lavée = « pâle » Foncée + saturée = « profonde » Foncée + lavée = « rabattue »

Représentation des Images Détente : illusion « échiquier » illusion « ambulance »