Christine Fernandez-Maloigne Quaternions et algèbres géométriques de nouveaux outils pour les images numériques couleur Patrice Denis Direction : Christine Fernandez-Maloigne Philippe Carré Merci Monsieur le président, je vais donc vous présenter aujourd’hui mes travaux de thèse intitulés « Quaternions et algèbres géométriques de nouveaux outils pour les images numériques couleur ». Ces travaux, financés par la Région Poitou Charentes, ont été effectués au sein du laboratoire Signal Image et Communication de l’Université de Poitiers sous la direction conjointe de Christine Fernandez Maloigne et Philippe Carré. 13 Décembre 2007

Problématique Formalisme mathématique pour les images couleur Le but premier de nos travaux a été de chercher une représentation des images couleur utilisant des formalismes mathématiques. Les images couleur sont représentées par une grille discrète dont chacun des pixels permet de décrire l’information vectorielle couleur contenue sur trois composantes comme le rouge, le vert et le bleu par exemple.

ouverture marginale (taille 7) Problématique Traitement des images numériques couleur 2 grandes méthodes : traitements en niveaux de gris marginalement sur 3 composantes ; problème : apparition de fausses couleurs De manière générale, pour effectuer des traitements sur les images couleur il existe plusieurs solutions. La première appelée méthode marginale, consiste à effectuer des traitements numériques du domaine des images en niveaux de gris sur chacune des composantes et de les fusionner afin d’obtenir un résultat couleur. L’un des principaux inconvénients de ce genre de traitements est qu’il peut entrainer l’apparition de fausses couleurs. Un exemple est donné avec ces images prêtées par Patrick Lambert, où une opération de morphologie mathématique marginale fait apparaître des couleurs n’existant pas dans l’image d’origine. image originale ouverture marginale (taille 7)

filtre médian vectoriel Problématique Traitement des images numériques couleur 2 grandes méthodes : traitements vectoriels : besoin définition de relations d’ordre entre couleurs La deuxième grande famille est celle des méthodes vectorielles. Dans ces méthodes, les couleurs sont considérées comme des vecteurs et le traitement est effectué de manière globale. Le point clé, ici, réside dans la définition d’une relation d’ordre entre les couleurs. Prenons l’exemple du filtre médian : dans la fenêtre d’analyse suivante les couleurs c1 et c2 ont a priori le même ordre. La difficulté consiste alors à les ordonner de façon perceptuelle. filtre médian vectoriel C’1 C’2 C’3 C’4 C’5 C’6 C’7 C’8 C’9 problème : ordre total n’existe pas Exemple (couleurs en rvb) : c1 = (255,0,30) c2 = (255,30,0) c1 c2 c3 c4 c5 c6 c7 c8 c9 c2 c1

Objectifs 2 objectifs de manipulation des images couleur analyse : transformée de Fourier traitement : manipulation par filtrage spatial 2 représentations algébriques permettant de modéliser les couleurs : Quaternions Algèbres géométriques Dans cette thèse, nous avons essayé de formuler le problème de l’analyse et du traitement des images numériques couleur d’une manière différente. Les deux formalismes mathématiques proposés, à savoir, les quaternions et les algèbres géométriques, permettent de manipuler les couleurs simplement comme des nombres d’une algèbre au moyen de simples sommes et/ou produits. 5

Plan Problématique Définitions et généralités sur les quaternions et algèbres géométriques Approches fréquentielles Approches spatiales Conclusions et perspectives Dans cet exposé, je décrirai tout d’abord brièvement ces deux formalismes avant de m’intéresser à leurs applications aux images couleurs par des approches fréquentielles et spatiales. Enfin, je conclurai et donnerai quelques unes des perspectives que j’aimerai développer à la suite de ces travaux.

Quaternions - vocabulaire Quaternion : q = a + b i + c j + d k R(q) = a : partie réelle I(q) = b i + c j + d k : partie imaginaire q = a – b i – c j – d k : conjugué |q| = : module groupe des quaternions purs : groupe des quaternions unitaires : ¯ Tout d’abord, nous nous sommes intéressés aux quaternions, découverts par Hamilton, qui sont une généralisation des nombres complexes. En effet, là où un nombre complexe possède une partie réelle et une partie imaginaire, le quaternion possède trois parties imaginaires associées aux nombres imaginaires i,j et k qui élevés au carré valent -1. Le vocabulaire associé aux quaternions est proche de celui des nombres complexes avec la définition des parties réelles et imaginaires, des notions de conjugué et de module. On peut aussi définir l’ensemble des quaternions purs, autrement dit l’ensemble des quaternions dont la partie réelle est nulle et l’ensemble des quaternions unitaires dont la norme est égale à 1.

Quaternions - représentations Cartésienne : [Hamilton] q = a + b i + c j + d k Vectorielle : q = S(q) + V(q) Idée : une couleur = un vecteur de R3 image codée sur les 3 parties imaginaires : f[m,n] = r[m,n] i + v[m,n] j + b[m,n] k [Sangwine] Les quaternions peuvent être décrits en utilisant différentes représentations. Celle donnée à l’instant et par Hamilton s’appelle la représentation cartésienne. La représentation vectorielle sépare le quaternion en une partie « Scalaire » qui est la partie réelle du quaternions et une partie « Vectorielle » qui est sa partie imaginaire. Remarquons qu’il devient alors possible de coder un vecteur de R3 sur la partie vectorielle d’un quaternion. Sangwine à proposé de coder les trois composantes couleur (rouge, vert et bleu) du pixel de coordonnées (m,n) d’une image f avec un quaternion pur. i j k f[m,n] m et n : coordonnées spatiales

Quaternions – représentations (2) Symplectique : [Ell] q = q1 + q2 μ2 avec q1 = a’ + b’ μ1 et q2 = c’ + d’ μ1 et (1, μ1, μ2, μ1μ2) une base orthonormée exemple : q[m,n] = q1 + q2 μ2 avec q1 = a + b μgris et q2 = c + d μgris La représentation symplectique permet de décomposer un quaternion dans une base différente de (1,i,j,k). Ici la base est donnée par (1, mu, mu2, et mu mu2). Le quaternion se sépare en une partie « simplexe » ou « parallèle » et une partie « perplexe » ou « perpendiculaire » à l’axe donné par le quaternion mu. … μgris μ2 μgrisμ2 q = +

Algèbres géométriques Extension des quaternions Distinction entre : objets manipulés : couleurs opérations de manipulations ¯ Nous nous sommes ensuite intéresser aux AG qui sont une extension des quaternions. L’un des principaux avantages des AG par rapport aux quaternions est qu’ils ne sont pas limités en terme de dimension là où les quaternions ne possèdent que 4 composantes. De plus, avec les AG on distingue les objets manipulés des opérations qu’on effectue sur ces objets. Nous allons donc présenter brièvement ce formalisme.

Algèbres géométriques - définition Connues aussi comme « Algèbres de Clifford » Manipuler des entités géométriques, « multivecteur », comme des nombres d’une algèbre Exemple dans G3 : M = e0 + 5 e1 + e3 - 3 e23 + 2 e123 dimension représentation base v 1D 2D 3D Les AG sont aussi connues sous le nom d’« A de Clifford ». Le principe est de manipuler des entités appelées multivecteurs au moyen d’opérations algébriques. La notion de multivecteur représente une portion d’espace orienté. On connaît tous la notion de vecteur en 1 dimension qui est un segment possédant une origine et une direction. En dimension 2, un bi-vecteur est une portion de plan orientée, et en dimension trois, un trivecteur est une portion d’espace orientée. Un multivecteur quelconque est une combinaison linéaire des éléments de base de l’algèbre géométrique utilisée. Nous nous limiterons à la dimension 3 car nous coderons les couleurs par des 1-vecteurs dans l’algèbre G3.

Représentation des images couleur Idée : une couleur = un vecteur des R3 G3 sur les 3 parties vectorielles : f[m,n] = r[m,n] e1 + v[m,n] e2 + b[m,n] e3 e1 e2 e3 f[m,n] On associera donc la composante rouge à la première partie vectorielle, … m et n : coordonnées spatiales 12

Algèbres géométriques – vocabulaire 4 produits : interne , externe , scalaire , géométrique Réversion : correspond au conjugué des quaternions Norme Inverse Dualité Propriété des 1-vecteurs : La manipulation des multivecteur dans l’agèbre se fait par l’utilisation de 4 produits : le produit interne, externe, … Inverse est donné pour lorsqu’il existe en effet tout multivecteur de l’algebre ne possede pas un inverse. Expliquer notion dual: exemple le dual du bivecteur formé par le produit extérieur a ^ b est le 1-vecteur qui correspond au produit en croix obtenu par la règle de la main droite en géométrie vectorielle. Une propriété très intéressante que nous verrons par la suite concernant les 1-vecteurs est que leur produit géométrique est équivalent à la somme de leur produit interne et de leur produit externe. Cette propriété nous servira notamment lorsque nous définirons le schéma de filtrage spatial, présenté par la suite, en utilisant les couleurs comme des 1-vecteurs de G3.

Objectifs 2 représentations algébriques permettant de modéliser les couleurs : Quaternions Algèbres géométriques 2 objectifs de manipulation des images couleur analyse : transformée de Fourier traitement local : manipulation par filtrage spatial Maintenant que nous possédons les bases concernant les quaternions et les algèbres géométriques, nous allons les appliquer à notre problématique, à savoir leur utilisation avec les images couleur. Nous nous intéresserons donc tout d’abord à l’analyse des images couleur au travers leur caractérisation fréquentielle. Ensuite nous montrerons comment profiter de la facilité de manipulation géométriques des couleurs avec ces formalismes pour effectuer des traitements dans le domaine spatial.

Plan Problématique Définitions et généralités sur les quaternions et algèbres géométriques Approches fréquentielles Approches spatiales Conclusions et perspectives Tout d’abord donc intéressons nous à la caractérisation fréquentielle.

Représentation fréquentielle des images numériques Transformée de Fourier : Signal fréquentiel (2D) Signal spatial (2D) TF La TF permet de représenter l’information que l’on connaît d’une image sous une autre forme décrite dans un espace transformé : l’espace fréquentiel. Nous allons donc maintenant voir comment les quaternions et les AG peuvent être utilisés pour effectuer une analyse fréquentielle sur des images.

Représentation fréquentielle des images numériques Images en niveaux de gris : Transformée de Fourier quaternionique (TFQ) [Bülow] Permet : Séparation de l’information suivant les directions horizontales (i) et verticales (j) symétries axiales dans le spectre (horizontale ou verticale) Notion d’amplitude et de phase instantanées 2D Tout d’abord les quaternions ont été utilisés par Thomas Bulow dans sa thèse pour l’analyse fréquentielle des images en niveaux de gris. Sa transformée de Fourier est définie ainsi. On se rend compte que cette transformée de Fourier possède deux noyaux répartis autour de f[m,n]. La définition de cette transformée de Fourier a permis à Bulow de mettre en évidence des symétries axiales dans le spectre qui sont dûes à la séparation de l’information sur la direction horizontale par le noyau associé à « i » et des infos vert. par le noyau associé à « j ». Cette transformée de Fourier, en introduisant les concept d’amplitude et de phase instantanées, permet donc une caractérisation fréquentielle intrinsèquement 2D là où la transformée de Fourier classique ne permet l’analyse fine que de signaux 1D.

Représentation fréquentielle des images numériques Images en niveaux de gris : Transformée de Fourier utilisant G3 ou transformée de Fourier Cliffordienne (TFC) [Felsberg] Permet : Généralisation de la transformée de Bülow également symétries 2D dans le spectre Felsberg, dans sa thèse à généraliser l’approche de Bullow en utilisant les AG. On remarque que le noyau de la TF possède l’élément e12 qui est le bivecteur associé au plan d’analyse d’une image. En effet, comme la direction horizontale est associé au 1-vecteur e1 tandis que la direction vecticale l’est à e2. L’analyse fréquentielle sur le plan représenté par le bivecteur e12 permet à Felsberg de mettre en évidence d’autres type de symétries dans le spectre afin d’analyser l’information spectrale des images en niveaux de gris. 18

Représentation fréquentielle des images numériques Images couleur : Transformée de Fourier quaternionique [Sangwine et Ell] Interprétation avec les notions de module, phase et axe Notre approche est différente puisqu’elle consiste à analyser l’information spectrale obtenue par une TF sur une image couleur. Les premiers travaux proposés dans ce sens le furent par Sangwine et Ell dont la TF appliquée aux images couleurs finit par être définie de la sorte. On remarque ici que le « i » de la transformée de Fourier classique a été remplacé par l’élément « mu ». Cet élément est un quaternion unitaire pur et représente la « direction » de la TFQ. Une fois cette TF définie, il a fallu donner un sens à l’information spectrale obtenue par celle-ci. Une première approche a été d’analyser le spectre avec les notions de module, phase et axe.

Représentation fréquentielle des images numériques Représentation exponentielle [Bulow] Euler : q = |q|evφ = |q| [cos(φ) + v sin(φ)] Problème : difficulté d’interprétation de l’information spectrale module de la TFQ TFQ image d’origine phase de la TFQ axe de la TFQ |q| v φ Ces notions sont obtenues par la représentation exponentielle des quaternions définie par Bulow dans sa thèse. Il indique que tout quaternion peut être représenté dans sa forme exponentielle en généralisant les formules d’Euler aux quaternions. Le module correspond à la notion d’énergie dans le spectre, elle est semblable à la notion de module que nous connaissons dans les TF classiques, ensuite cette TF possède aussi la notion de phase mais elle possède de plus la notion d’axe qui correspond à une direction. Malheureusement l’interprétation du spectre quaternionique en utilisant cette représentation ne nous a pas semblé évidente ni aux auteurs (Sangwine et Ell) d’ailleurs. 20

Représentation fréquentielle des images numériques Décomposition sympliciale avec base (1, μgris, μ2, μgris μ2) Interprétation avec direction = μgris [Ell & Sangwine] : Partie parallèle : information de luminosité : phase de la partie luminosité : amplitude Partie perpendiculaire information chromatique : angle initial de μ2 : amplitude de la rotation autour de μ μgris μ2 21

Représentation fréquentielle des images numériques Images couleur Interprétation avec direction variable Approche différente Problème Propriétés sur quaternion en entrée ? Notre approche pour la compréhension de l’information fréquentielle obtenue par cette TFQ a été complètement différente. Nous avons, en effet, cherché à définir numériquement le domaine fréquentiel quaternionique. Pour cela, nous avons développé le calcul de la TF inverse et avons cherché les propriétés du spectre qui permettent l’obtention d’une partie réelle nulle dans le domaine spatial. TFQI entrée sortie quaternion qcq quaternion pur « pixel image »

Représentation fréquentielle des images numériques Annuler la partie réelle : Propriétés de symétries du spectre : Fr [-o,-p] = - Fr[o,p] Fi [-o,-p] = Fi[o,p] Fj [-o,-p] = Fj[o,p] Fk [-o,-p] = Fk[o,p] Fr la partie réelle du quaternion F Fi, Fj, Fk les parties imaginaires de F Initialisation spectrale sur F[o0,p0] et F[-o0,-p0] en respectant les symétries. La partie réelle se décompose en deux parties : La première associe la partie réelle du spectre à un cosinus, et la seconde la partie imaginaire à un sinus. Une des solutions permettant l’obtention de la partie réelle nulle après TFQI est donc celle-ci : … On remarque que ces propriétés de symétrie font apparaître comme une symétrie anti-hermitienne. Ensuite nous avons voulu interpréter le contenu spectral en analysant l’influence d’un élément simple dans le domaine freq sur le domaine spatial, nous avons donc initialisé le spectre avec deux impulsions respectant les conditions de symétrie. symétrie anti-hermitienne

Représentation fréquentielle des images numériques 1er cas de figure : exemple : Initialisation composante(s) imaginaire Direction µ de la TFQ quelconque TFQI entrée sortie Variation paire sur composante(s) d’initialisation Deux cas de figure se distinguent : Dans le premier cas on initialise le spectre sur une composante imaginaire.

Représentation fréquentielle des images numériques 2ie cas de figure : exemple avec e = i, j et k Initialisation composante réelle Direction µ de la TFQ TFQI entrée sortie Variation impaire sur composante(s) fonction(s) de µ 25

Représentation fréquentielle des images numériques

Bilan quaternions Fourier analyse fréquentielle quaternionique difficile dépend de la direction donnée à la TF de Fourier direction : axe de gris séparation information chromatique et achromatique direction quelconque analyse par initialisation spectrale composante imaginaire : variations paires composante réelle : variations impaires dépendant de la direction analyse fréquentielle utilisant les algèbres géométriques 27

Représentation fréquentielle des images numériques Image couleur codée sur G2 f[m,n] = r[m,n] e0 + v[m,n] e1 + b[m,n] e2 Transformée de Fourier utilisant G2 [Brackx] Symétries du spectre F1 et F2 quelconques F0[o,p]=F0[-o,-p] F12[o,p] =-F12 [-o,-p] Clin d’œil berthier

Représentation fréquentielle des images numériques Problème d’interprétation du spectre car la même importance n’est pas donnée pour chacune des composantes couleur (grade) Clin d’œil berthier 29

Représentation fréquentielle des images numériques Image couleur codée sur G3 f[m,n] = r[m,n] e1 + v[m,n] e2 + b[m,n] e3 Transformée de Fourier utilisant G3

Représentation fréquentielle des images numériques Initialisation de l’espace fréquentiel sur 2 points F[o0,p0] et F[-o0,-p0] en respectant les symétries suivantes: F0 [-o0,-p0] = - F0[o0,p0] = F123 [-o0,-p0] = F123[o0,p0] = 0 F1 [-o0,-p0] = F1[o0,p0] F2 [-o0,-p0] = F2[o0,p0] F3 [-o0,-p0] = F3[o0,p0] F23 [-o0,-p0] = -F23[o0,p0] F31 [-o0,-p0] = -F31[o0,p0] F12 [-o0,-p0] = -F12[o0,p0] F0 et F123 les parties scalaire et pseudo-scalaire du multivecteur F F1 ,F2 et F3 les parties 1-vectorielles de F F11 ,F23 et F31 les parties 2-vectorielles de F

Représentation fréquentielle des images numériques 2 cas de figures : Initialisation composante(s) 1-vectorielle TFCI entrée sortie Variation paire sur composante(s) d’initialisation Initialisation composante(s) 2-vectorielle TFCI entrée sortie Variation impaire sur composante(s) 1-vectorielle complémentaire

Bilan AG Fourier Analyse G2 impossible Analyse G3 équivalente approche marginale Application filtrage fréquentiel couleur 33

Plan Problématique Définitions et généralités sur les quaternions et algèbres géométriques Approches fréquentielles Approches spatiales Conclusions et perspectives

Transformations géométriques Un vecteur v de R3 est représenté par le quaternion pur q ou le 1-vecteur m v1 v2 vproj vrefl vrej Quaternions Réflexion : Projection : Réjection : Algèbres géométriques Réflexion : Projection : Réjection :

Transformations géométriques Un vecteur v de R3 est représenté par le quaternion pur q ou le 1-vecteur m v1 v2 vt Quaternions Translation : Rotation : Algèbres géométriques Translation : Rotation : d2 d1 v θ/2 vrot d d1 Λ d2 θ

Quaternions - transformations couleur Teinte : T, Saturation : S, et Luminosité : L Teinte : T Saturation : S Luminosité : L µ q ν A partir de travaux menés depuis certaines année dans l’équipe, nous avons pu passer de l’information rgb vers TLS µ = µgris : axe des niveaux de gris ν : vecteur de référence pour T = 0°

G3 - transformations couleur Teinte : T, Saturation : S, et Luminosité : L Teinte : T Saturation : S Luminosité : L µ m ν Au cours de cette thèse nous avons généraliser cette idée au moyen des AG. Généralisation de ces formules au moyen de G3 De plus on peut ainsi exprimer une couleur en fonction de sa teinte luminosité et saturation µ = µgris : axe des niveaux de gris ν : vecteur de référence pour T = 0°

G3 - transformations couleur Teinte : T, Saturation : S, et Luminosité : L Teinte : T Saturation : S Luminosité : L µ m ν L’opération inverse a été aussi possible en appliquant les opératino géométrique permettant d’obtenir rgv en fonction de TLS. µ = µgris : axe des niveaux de gris ν : vecteur de référence pour T = 0°

G3 - transformations couleur Passage de RVB vers TLS Permet d’effectuer des transformations couleur de base sur des images. L’opération inverse a été aussi possible en appliquant les opératino géométrique permettant d’obtenir rgv en fonction de TLS. 40

G3 - transformations couleur Modification de teinte μ m m’ m┴ ν T θ avant après

G3 - transformations couleur Modification de saturation μ m m’ m┴ ν avant après

G3 - transformations couleur Modification de luminosité avant après μ αμ m m’

Approches spatiales Traitement des images couleur par filtrage spatial

Détection de contours Q = e µπ/2 = µ µ = µgris Approche Sangwine : filtrage de Prewitt sur l’image par convolution Q = e µπ/2 = µ µ = µgris µ q2 q4 + µq3µ q4 µq3µ q3 Les deux vecteurs q1 et q2 (resp. q3 et q4) sont éloignés (resp. proches) du point de vue colorimétrique, la somme obtenue (vecteurs oranges) aura une forte (resp. faible) saturation. q2 + µq1µ q1 µq1µ

Détection de contours [Sangwine] Image d’origine Image filtrée Inconvénient : résultats différents suivant le sens d’application du filtre

Détection de contours Approche proposée (quaternions) : Détecteur de Sangwine généralisé Calcul distance vecteur couleur résultat / μ (S1 et S2) Résultat : gradient quaternionique vectoriel

Détection de contours Inconvénient : non détection des contours achromatiques car approche basée sur différence de saturation

Détection de contours Inconvénient : non détection des contours achromatiques car approche basée sur différence de saturation 49

Détection de contours Approche généralisée à G3 Amélioration avec produit géométrique : 50

Détection de contours Norme de la partie bivectorielle

Détection de contours Partie scalaire 52

Détection de contours Filtrage de Prewitt sur partie scalaire Pondération par la norme de la partie bivectorielle Parler d’intensité plutôt que de luminosité 53

Bilan de détection de contours Résumé de la méthode : Produit géométrique de chaque pixel avec μgris Calcul de la norme de la partie bivectorielle Filtrage de Prewitt sur partie scalaire Pondération par la norme de la partie bivectorielle Combinaison avec le gradient de saturation 54

Détection de contours Résultats

Détection de contours comparaison Image originale Méthode marginale Di Zenzo Carron Depuis gradient de saturation quaternionique Depuis gradient géométrique proposé

Plan Problématique Définitions et généralités sur les quaternions et algèbres géométriques Approches fréquentielles Approches spatiales Conclusions et perspectives

Conclusions Caractérisation fréquentielle Quaternion : TFQ AG : TFC Influence spectrale Partie réelle : variations suivant direction μ Parties imaginaires : variations indépendantes de μ AG : TFC G2 incompatibilité avec besoins couleur G3 équivalent traitement marginal

Conclusions Caractérisation spatiale Opérations entre espace RVB et représentation Teinte, Saturation et Luminosité Transformation de base des images couleur Définition d’un schéma de filtrage Basé sur distance de saturation avec quaternions Amélioré avec propriétés du produit géométrique des AG

Perspectives Association AG et images couleur débutant donc nombreuses perspectives : Filtrage spatial avec produit géométrique union, intersection : détection de mouvements, morphologie mathématique couleur ; extension dimension supérieures,… f1[m,n] f2[m,n] f2[m,n] f1[m,n] f1[m,n] f2[m,n]