Les treillis Pilotes Jean Serra UPE LIGM A3SI ESIEE

But Structurer les données spatio-temporelles multivariées en vue de traitements morphologiques. Il peut s'agir d'imagerie couleur, satellitaire, ou de données composites. le cas des images en couleur, et de leurs treillis, est un excellent paradigme, très visuel, des situations multi- dimensionnelles.

Ordres totaux finis On peut toujours engendrer un treillis couleur comme produit de ses composantes scalaires. Mais le sup et linf de deux valeurs peut n’être aucune d’entre elles. Plus précisément: Proposition 1: Dans un ensemble ordonné, toute famille finie admet un supremum et un infimum qui sont eux-mêmes éléments de la famille si et seulement si l'ordre de T est total. Contre-exemples : Famille : [-1,1[ È {2} Ordre total, mais le sup de [0,1[ égale 2 y 2 2 2 x

Image couleur résultante Représentation RGB Canal rouge Canal vert Canal bleu Image couleur résultante

Problème: fausses couleurs Dilatation carrée de chaque canal A partir de quatre couleurs, la dilatation en produit cinq de plus ! L’effet est plus sensible près des contours et autour des coins.

Représentation polaire cylindrique Comme les énergies sont additives il est légitime de modéliser les intensités lumineuses r,g,b, comme éléments d'un espace vectoriel. On a 3c = (2r - g - b ; 2g - b - r ; 2b - r - g ) 3l = ( r + g + b  ; r + g + b ; r + g + b ) Axe des gris Plan chromatique b x l c g r

Image couleur initiale Représentation polaire cylindrique Image couleur initiale Canal M1 Canal H Canal S1

fausses couleurs il n’y a plus de fausse teinte; Dilatation carrée de chaque composante polaire il n’y a plus de fausse teinte; mais des variations de l’intensité et de la saturation; en revanche l’ordre de priorité des teintes est (trop!) arbitraire.

fausses couleurs il n’y a plus de fausse teinte; Dilatation R,G,B Dilatation H,L,S En norme L1 Image initiale il n’y a plus de fausse teinte; mais des variations de l’intensité et de la saturation; en revanche l’ordre de priorité des teintes est (trop!) arbitraire.

Plan Ce qui précède nous conduit à trois questions: Pour ne pas créer de nouvelles valeurs, faut-il un treillis fini ? Jusqu’à quel point est-il important de ne pas créer de nouvelles valeurs ? Comment échapper à l’arbitraire de l’origine du cercle (de la suface de la sphère, du tore, etc…) ? Enfin, nous appliquerons les réponses à ces questions à des exemples autres que la couleur, comme les composantes principales des images satellites.

treillis de parties finies ? 1ère partie treillis finis ou treillis de parties finies ?

Treillis de parties finies Réquisit : il faut des ensembles finis et qui le restent après toutes les opérations qu'on leur applique (prop.1). Solution I : prendre les sous ensembles d’un ensemble fini; Faiblesse : on perd l’invariance par translation, donc l’addition de Minkowski, le gradient, etc.. De plus, quand on parle de trame carrée, de grille de fusion parfaite, etc… on se situe dans Z2, (ou Zn) Solution II : treillis de parties finies.

Treillis de parties finies Solution II Soit E un ensemble, et X′ la classe de ses parties finies. L'ensemble X = X′ ~ E forme un treillis complet pour l'ordre de l'inclusion, où pour toute famille {Xi , XÎX, iÎI}, éventuellement infinie, l'infimum et le supremum sont donnés par les formules: Ù Xi = ∩ Xi , Ú Xi = ~ Xi , si ~ Xi est majorée par une élément de X′ , Ú Xi = E sinon. Prendre E dénombrable ? Dans ce cas: - l’ensemble des partitions sur E n’est pas dénombrable, - et celui des fonctions E→{0,1}, dont le nombre vaut 2N, a la puissance du continu.

Passage au numérique T est une famille de nombres réels, de bornes universelles M0 et M1. On lui associe le treillis fini T tel que pour toute famille {fj , jÎJ} dans T: (þ{tj , jÎJ}) (x) = Ù tj(x) si card J fini, et M0 sinon; (ÿ{tj , jÎJ}) (x) = Ú tj(x) si card J fini, et M1 sinon; F’ est la classe des fonctions f: E→T à supremum et à support finis, i.e. 1/ f(x) < M1 et 2/ f(x) ¹ M0 ssi xÎ~ X 5 X′, puis F’ = F’ ~M1

Fonctions à supremum et supports finis Proposition 2 : La classe F des fonctions f: E→T à supremum et à support finis forme un treillis complet pour l'ordre numérique usuel. L'infimum þ et le supremum ÿ d'une famille {fj , jÎJ} dans F, finie ou non, sont donnés par les expressions (þ{fj , jÎJ}) (x) = Ù fj(x) si xÎ∩Xj , et card J fini, (þ{fj , jÎJ}) (x) = M0 sinon; (ÿ{fj , jÎJ}) (x) = Ú fj(x) si xÎ~ Xj 5 X′, et card J fini, (ÿ{fj , jÎJ}) (x) = M1 sinon.

Un petit piège de l’infini Faire attention au côté parties finies…Exemple de l'espace S×H, de bornes (smax , smin ) et (hmax , hmin ) et d’ordre lexicographique : (s, h) ≤ (s’, h’) Û s < s’ ou s = s’ et h < h’. Le treillis de parties finies associé a pour supremum ssup = Ú {sj , jÎJ} hsup = Ú {hj , jÎJ} si J1 ¹ Æ , et hsup = hmin si J1 = Æ où J1 est la famille telle que jÎ J1 entraîne ssup = sj Preuve : Si la classe J1 est vide, alors ssup = smax n'est pas atteint par les sj , et tout doublet (smax , h) est supérieur aux (sj , hj). Le doublet supremum vaut donc (smax , hmin) !

2ème partie Fausses couleurs et treillis pilotes

Ordre marginal, ordre lexique Exemple de deux situations extrêmes : l'ordre marginal = produit des ordres totaux de chaque composante. Quand la famille J est finie, chaque composante du supremum est supremum pour son ordre, mais prise à un point j qui peut être différent pour chaque composante. l'ordre lexicographique = une première variable prioritaire, puis une seconde, etc… L'ordre ici étant total, le supremum d'une famille finie J est l'un des éléments de la famille, avec toutes ses composantes .

Treillis pilote Proposition 3 : Soit T(n) un espace multi-numérique, et soit une partition {T(n)(s), 1≤s≤k} de T(n) en k sous-espaces complémentaires, avec k ≤ n <∞. Lorsque chaque sous-espace T(n)(s) est doté d'un ordre total Os le produit O1 Ä O2 ... ÄOk qui en résulte définit un ordre, dit pilote, sur T(n). De même, tout ensemble de treillis à supremum et support finis Ts associés à chacun des ordres Os induit par passage au produit un treillis pilote Ts Ä Ts Ä …Ä Ts sur T(n). Le cas marginal est obtenu pour k = n, et l'ordre total pour k = 1. En dehors du cas marginal, le sup et l'inf de toute famille ont toujours plusieurs composantes d'un même élément de la famille.

Ordre total, ordre lexicographique Un ordre total peut n'être pas lexicographique. Exemple : On part de l'espace S×H, d’une bijection μ du produit S×H dans un espace S*×H* où on construit un ordre lexicographique, puis on en prend l'image inverse. avec μ : (s, h) ® (s, sh) et les trois doublets a,b,c suivants: a b c s 1 2 4 h 8 4 1 sh 8 8 4 l'ordre lexicographique s’écrit: - dans S×H, avec s prioritaire Þ c ³ b ³ a, - dans S×S.H, avec sh prioritaire Þ b ³ a ³ c (qui n’est pas lexicographique dans S×H)

3ème partie Ordre total et Polyèdres de Voronoï

Cas du cercle unité E. Aptoula et S. Lefèvre associent plusieurs origines aux teintes, qui dépendent de l’image traitée. On remarque que l’histogramme des teintes présente souvent quelques modes bien nets.

Autres exemples

Voronoï sur le cercle On note h ÷ h’ l’angle aigu entre h et h’ sur le cercle unité Donnons nous k modes principaux hj , 1 £ i £ k. h est dit plus grand que h′ si h est plus proche du mode de la zone où il se trouve que h′ du mode de la sienne, i.e. si mini {h ÷ hj } < minj {h’ ÷ hj } 1 £ i, j £ k. ou si h ÷ hi0= mini {h ÷ hj } = h ÷ hj0 = mini {h’ ÷ hj } et i0 < j0 Les teintes sont classées selon une propriété de ressemblance à des références préalables.

Trois ordres pour la teinte d1 = | h(a) - h(p1) | h(a) d1 d2 a a p1 a p1 p2 c) a) b) Trois ordres totaux, et trois treillis, pour la teinte : a) la teinte (varie de 0 à 255) ; b) la distance d1 au pôle p1 ; avec priorité au sens trigonométrique c) inf des distances aux pôles p1 et p2 ; (même priorité qu’avant). Segmentons ces trois fonctions par sauts de 35, et fusion des cc > 5

Cheval Hue Hue standard 10 53 Hue pole 10 Hue pole 53

Cheval Hue Hue pole 10 10 53 Hue pole 53 Hue bi-pole 10 et 53

Cheval hue´sat Hue ´ saturation ´ 4 Hue 8 60 saturation

Cheval hue´sat Hue ´ saturation ´ 4 Hue ´ saturation ´ 4 8 60 Hue.sat.4 pole 8 Hue.sat.4 pole 60

Cheval hue´sat Hue ´ saturation ´ 4 Hue.sat.4 pole 8 Seuillage 0-35

Champignon 35 83 Hue Hue pole 35 Hue pole 83

Champignon Hue pole 35 seuil 0-35 N.B. : les images seuillées sont disjointes Hue pole 83 seuil 0-35

Champignon Luminance Y seuil 100-255 Intersection avec pôle 35

Champignon teinte´sat Hue ´ saturation ´ 6 (vert) Hue Hue ´ saturation ´ 6 Hue.sat pole 18 Hue.sat pole 56

Champignon teinte´sat Hue.sat pole 18 Seuil 0-35 Hue.sat pole 56 Seuil 0-35

Segmentations en télédétection premières composantes principales. 4ème partie Segmentations en télédétection à partir des trois premières composantes principales.

Télédétection et couleur La télédétection optique fonctionne sur un double mode: Les canaux d’entrée (visible, infra-rouge), similaires au R, G, B de la couleur; Les composantes principales, qui ne sont pas similaires à une représentation polaire de la couleur. Ces dernières forment un « RGB » à trois ou quatre dimensions où l’on peut construire une représentation polaire. Elles ont des variances différentes, qu’on peut introduire comme poids dans l’expression de la luminance

Composantes principales de « Pavie » 1 2 3 4

Analyse tri-chrome Dans une première analyse, nous nous concentrons sur les trois premières composantes, avec CP 1 ® Vert CP 2 ® Rouge CP 3 ® bleu On passe de R, G, B à la représentation Y, H, S où Y = [22 R + 63 G + 8 B] / 93 S = max (R,G,B) – min (R,G,B) NB: les poids des CP de Y sont proportionnels à leurs variances dans l’ACP.

Composantes principales de « Pavie » 1 2 3

« Pavie » en H, L, S H L S

Connexion par sauts La première segmentation par sauts de f part de ses minima Puis l’ensemble de ses singletons est segmenté de la même manière, etc… On peut aussi travailler sur les minima et maxima et progresser vers le haut et vers le bas en parallèle.

Différences entre sauts itérés et LPE On travaille sur la fonction et non sur sa dérivée (moins de bruit); Un même bassin versant peut être scindé en plusieurs régions pour les sauts; Un e famille de bassins versants peut être regroupée pour les sauts.

Exemple de connexion par sauts a) Image initiale : section polie de grains d’alumine b) connexion par sauts taille 12 c) Skiz de la réunion des points sombres de l’ image b)

Exemple de connexion par sauts a) Image initiale : section polie de grains d’alumine b) connexion par sauts taille 16 c) Skiz de la réunion des points sombres de l’ image b)

Saturation Lissage gaussien 3x3 de la saturation et histogramme régularisé. On prend le seuil s =100 sur l’image régularisée. S = 100

Teinte 240 160 Histogramme. Pôles: principal à 240 - secondaire à 160

Trois treillis pour la teinte d1 = | h(a) - h(p1) | h(a) d1 d2 a a p1 a p1 p2 c) a) b) Les trois treillis sont numériques : a) la teinte (varie de 0 à 255) ; b) la distance d1 au pôle p1 ; avec priorité au sens trigonométrique c) inf des distances aux pôles p1 et p2 ; (même priorité qu’avant). Segmentons ces trois fonctions par sauts de 35, et fusion des cc > 5

Trois segmentations pour la teinte c) a) b)

Segmentation de la luminance initial segmenté contours

Segmentation de la luminance

Segmentation composite Segmentons maintenant l’image couleur YHS des trois premières composantes. Pour cela: Prenons les trois segmentations ci-dessus de la teinte; Effectuons la segmentation de la luminance Y par sauts itérés ( h=25) et fusion (aire >5); Combinons les deux partitions en prenant celle de la teinte quand la saturation (lissée) >100 de la luminance sinon.

Segmentation composite Exemple de partition de l’image couleur avec usage de la clé saturation sur la connexion par sauts + fusion de regions h=20, Aire <50 L H Su = 45 S mosaïque XS

Composite: luminance /teinte standard

Composite: luminance /teinte 1 pôle

Composite: luminance /teinte 2 pôles

Segmentations en télédétection premières composantes principales. 5ème partie Segmentations en télédétection à partir des quatre premières composantes principales.

Composantes principales 4 et 5 CP 4 CP 5

Analyse quadri-chrome Au point x de R4 le vecteur multi-spectral a pour coordonnées cp1(x), cp2(x), cp3(x), cp4(x) variant entre 0 et 255 Le vecteur luminance s’écrit Y = (cp1,0,0,0) . Soit Cp la composante vectorielle ^ Y . C’est le vecteur de R3 de coordonnées cp2(x), cp3(x), cp4(x)

Analyse quadri-chrome La saturation et les teintes sont les coordonnées sphériques du vecteur (cp2, cp3, cp4) de R3 i.e. saturation = ρ = √(cp2², cp3², cp4²) les teintes θ et ψ sont la co-latitude et la longitude par rapport l'axe 0cp4, avec : cosθ = (cp4/ρ), cosψ=(cp2/(ρsinθ)), sinψ=(cp3/(ρsinθ)),

Teintes dans cp2 cp3 cp4 Pour segmenter les teintes (par LPE ou par sauts) il faut un ordre total sur la sphère unité. Voici les 2D-histogrammes (θ,ψ) On prend : pour pôle, le point θ = 159 ψ = 162 indiqué en noir sur l’histogramme; et pour distance la somme des distances en θ et en ψ. ψ θ

Distances θ et ψ Distance θ au pôle 159 Distance ψ au pôle 162

Somme des distances θ et ψ d(θ,ψ) = d(θ) + d(ψ)

Fonction de saturation r Image de r et son histogramme (seuil 180).

Système "H,L,S" H= d(θ,ψ) L S = r

segmentation de d(θ,ψ) d(θ,ψ) Contours segmentés. sauts 25 aires > 5 d(θ,ψ)

segmentation de CP 1 Contours segmentés. sauts 25 Luminance aires > 5 Luminance = CP 1

Segmentation mixte de cp1 et d(θ,ψ) Contours segmentés. Pondération par r seuillé à 180 Luminance = CP 1

Comparaison des segmentations mixtes Un pôle dans R3 Un pôle dans R4

Comparaison des segmentations mixtes Un pôle dans R3 Luminance Un pôle dans R4

Conclusions Les segmentations par sauts et par LPE ont les avantages (et des défauts) différents. Les représentation polaires dans R3 , R4 (ou plus) permettent des segmentation mixtes qui combinent les partitions des variables scalaires. De plus, dans Rn r est une mesure de la dissemblance, en chaque pixel, entre la première composante et l’ensemble des autres. Ce qui peut aider dans des analyses locales. Il serait intéressant de tester les performances de la norme L1 pour construire des ACP. (la somme des modules des canaux a plus des sens physique que la somme des carrés, car réflectances sont des énergies, i.e. des grandeurs additives).