Segmentation : principes Objectif : décomposer l’image X en un ensemble de sous-parties connexes formant une partition Notations : #R : nbre de régions, Ri région n°i, Segmentation vérifie : i[1,#R], Ri est connexe Suppose 1 connexité Rappel : application du théorème de Jordan sur la trame carrée : la 4 et la 8 connexité sont duale (région n-connexe  courbe (12-n) connexe

Segmentation : principes Recherche de zones possédant des attributs similaires Approche duale de la détection de contours Prédicats de base : La région Ri est homogène i[1,#R], H(Ri) vrai La région Ri est distincte de ses voisines  segmentation maximale (i,j)[1,#R]2, H(RiRj) faux segmentation en 8 régions 4-connexes  non maximale en 8-connexité Ex : Segmentations maximales : 4-connexité → 8 régions, 8-connexité → 6 régions, 12-connexité → 4 régions

Méthodes de segmentation : par classification par transformation de régions (croissance de régions, split&merge, graphe de régions) par analyse d’une image de gradient (ligne de partage des eaux) par méthode variationnelle (Mumford & Shah)

Segmentation à partir d’1 classification Classification → partition en c classes homogènes (du point de vue de la loi supposée) ayant chacune 1 ou plus composantes connexes Etiquetage en composantes connexes des c classes → segmentation Ex.

Segmentation à partir d’1 classification algorithme : Initialisations : k=0, sS, zs=0 Pour chaque classe wi Créer l’image binaire B de la classe (bs=1  xs=wi) Pour tout pixel sS : Si bs=1 et zs=0, alors : Calcul de la composante connexe CC{s} de s dans B (par exemple selon 1 des algo. d’étiquetage en composantes connexes donnés) k=k+1 tCC{s}, zt=k #R=k

Étiquetage en composantes connexes Algo. 1 : Calcul de la composante connexe CC{s} de s dans B initialisation de la pile avec s et de la composante connexe à 0 tant que la pile n’est pas vide extraire t de la pile mettre t à 1 dans la composante connexe pour tout r voisin de t non déjà traité (ni déjà dans la pile) si xr=wi rajouter r dans la pile Algo. 2 : Etiquetage de l’ensemble de l’image en 1 passe initialiser l’image des étiquettes Z à 0 balayer l’image, soit s le pixel courant soit l1 et l2 les 2 étiquettes des voisins de s (masque causal 2-connexité) si (l1=l2) ou (li 0 et l3-i=0, i{1,2}), affecter li à s dans Z si (l1l2), affecter min(l1,l2) à s dans Z, et mettre à jour la table d’équivalence entre les étiquettes : l1l2 si (l1=l2=0), créer une nouvelle étiquette l et affecter l à s dans Z balayer l’image pour uniformiser les étiquettes selon la table d’équivalence

Segmentation à partir d’1 classification Exemple : #cl = 2, clas. aveugle #cl = 3, clas. aveugle #cl = 3, clas. MRF Chaque pixel est classé selon sa valeur indépendamment de ses voisins #R = 6 #R = 32 !!!!!! #R = 21 Markov Random Field → chaque pixel est classé en tenant compte de sa valeur (attache aux données) ET des labels de ses voisins (a priori sur le champ des labels, e.g. régulier)

Croissance de région (region growing) À partir de pixels-germes (généralement sélectionnés à partir de l’histogramme), on fait croître les régions en ‘agglomérant’ les pixels ou régions connexes tels que l’union vérifie le prédicat d’homogénéité Pb du choix des germes : Dans le cas général, la croissance de région s’arrête avant d’avoir obtenu une segmentation : Si on part de la segmentation triviale (chaque pixel est un germe), dépendance à l’ordre de fusion des régions

Critères d’homogénéité d’1 région Exemples de critères globaux à la région Contraste : H(Ri) vrai  Variance : H(Ri) vrai  Distance interquartiles : H(Ri) vrai  Entropie : H(Ri) vrai  Exemples de critères locaux à la région Distance avec pixels voisins : H(Ri{s}) vrai 

Sélection de germes sur histogramme Algorithme k=0 tant que  pixels non labelisés Calcul de l’histogramme Hres des pixels non labelisés xval = mode de Hres, s_germe / xs_germe= xval k=k+1 Croissance de région à partir de s_germe : zs_germe=k Tant que  t connexe à Rk et Rk{t} vérifie prédicat d’homogénéïté, Rk ← Rk{t} tRk, zt=k #R=k

Croissance de régions Exemple : Cmax = 100 → #R = 6 Cmax = 80 → #R = 6 Sélection de germes sur histogramme ≠ ≠ ≠ Cmax = 100 → #R = 6 Cmax = 80 → #R = 5 Cmax = 70 → #R = 12 Sélection de germes aléatoire

Pyramide du Quadtree Construction du quadtree par parcours de Peano : 1 2 3 00 01 02 03 10 11 12 13 000 001 002 003 010 011 012 013 100 101 102 103 110 111 112 113 020 021 022 023 030 031 032 033 120 121 122 123 130 131 132 133 20 21 22 23 30 31 32 33 200 201 202 203 210 211 212 213 300 301 302 303 310 311 312 313 220 221 222 223 230 231 232 233 320 321 322 323 330 331 332 333 Clé de Peano : Pixel de coordonnées-image (i,j) Ex. : (2,3)  13 (6,2)  44 i7 i6 i5 i4 i3 i2 i1 i0 j7 j6 j5 j4 j3 j2 j1 j0 + i7 j7 i6 j6 i5 j5 i4 j4 i3 j3 i2 j2 i1 j1 i0 j0

Partage / réunion de régions region splitting : soit Ri / H(Ri) faux, alors diviser Ri region merging : soit Ri , Rj connexes / H(RiRj) vrai, alors Ri=RiRj, supprimer Rj Application à la structure du quadtree (image NxN) Initialisations : l0 niveau de départ dans la pyramide, t0=N/2l0 , n=4l0 Fusion : j=l0, t=t0 , k=1 Tant que j>0 Pour i variant de 0 à n-1 par pas de 4l0-j+1 Si les 4 blocs i, i+k, i+2k, i+3k sont de taille t, et si le critère d’homogénéité est vérifié pour l’union des 4 blocs, alors Les fusionner : mise à jour des tailles et caractéristiques des blocs (on ne garde que le bloc n°i) Passage au niveau supérieur de la pyramide : j=j-1, t=2t, k=4k Division : j=l0 Pour i variant de 0 à n-1 Si la taille du bloc i est ≤t0 et >0 Tant que le critère d’homogénéité n’est pas vérifié pour le bloc i subdiviser le bloc i en 4 blocs : mettre à jour les paramètres de i à partir du sous-bloc et créer les 3 autres sous-blocs indicés n+1, n+2, n+3, et actualiser n à n+3

Exemple de segmentation contrainte par le quadtree À partir du niveau 1 de la pyramide Fusion de sous-blocs d’1 même bloc de niveau 1 Labellisation des blocs Scission de blocs de niveau 1 en 4 blocs de niveau 0 Fusion de 4 blocs de niveau 1 en 1 bloc de niveau 2 Fusion de sous-blocs d’1 même bloc de niveau 2

Réunion de régions Tests statistiques entre deux régions à fusionner Hyp. : bruit gaussien sur une image assimilée à une fonction 2D constante par morceau Test du c2 d’homogénéité  v.a. qui suit 1 loi du c2 à m-1 degrés de liberté ? Test de Student d’égalité des espérances  intervalle de confiance de l’estimateur de l’espérance m d’une loi normale dont la variance est inconnue avec Test de Fisher-Snedecor d’égalité des moyennes et des variances… Test de Wilcoxon : soit (somme pour chaque pixel de R1 du # de pixels de R2 de valeur inférieure) : on teste si U suit 1 loi normale N(n1n2/2, n1n2(n1+n2+1)/12)

Fusion de régions dans un graphe Le graphe est constitué de : Une liste de sommets LS : chaque région Ri est représentée par 1 sommet s auquel sont associés : les caract. de Ri, la liste des pixels de Ri, le # et la liste des arrêtes impliquant s Une liste d’arrêtes LA : chaque arrête a est caractérisée par les 2 sommets qu’elle relie, son coût ct(a), un indicateur de validité Exemple de construction du graphe d’adjacence : 1 2 3 5 6 7 8 4 1 2 3 5 6 7 8 4

Fusion de régions dans un graphe Exemple d’algorithme : Initialisations : # de régions = # pixels, initialisation de LS et LA Tant que # de régions > # de régions voulu Sélection des arrêtes a0 de moindre coût par accord mutuel (a0 relie si et sj et j=argmink{ct(a)/a=(si,sk)} et i=argmink{ct(a)/a=(sj,sk)} Fusion des régions associées aux arrêtes a0 : mise à jour de la liste des sommets (liste des arrêtes associées, liste des pixels, caractéristiques de la région représentée) Mise à jour de la liste des arrêtes (validité, coût, sommets associés) Mise à jour du # de régions = # sommets Création de l’image des régions (d’après liste de pixels des sommets)

Segmentation maximale à partir du résultat contraint par le quadtree À partir du résultat ‘quadtree’ Hypothèses : 4-connexité, coût d’1 arête / ct(Ri,Rj) = |RiRj| si contraste(RiRj)=0, ct(Ri,Rj)=+ sinon

Fusion de régions dans un graphe Exemple : #R = 4 #R = 5 #R = 8 #R = 12 #R = 16 #R = 20

Ligne de partage des eaux : définition Postulat : image = une surface topographique / niveau de gris = altitude 2 1 5 4 7 6 9 3 8 2 1 5 4 7 6 9 3 8 2 1 5 4 7 6 9 3 8 Cas ‘facile’ Cas ‘difficile’

Ligne de partage des eaux : définition Ligne de partage des eaux (LPE) par immersion  à partir des minima régionaux mi, faire croître niveau des eaux progressivement de sorte que : (i) A chaque fois que la hauteur de l’eau atteint l’altitude d’un minimum régional, un nouveau bassin versant est créé (ii) A chaque fois que deux bassins se rencontrent, on empêche leur fusion en construisant une “digue”.  LPE = ensemble des digues.

LPE par immersion : algorithme On note B(i) l’image binaire des valeurs ys (de Y) ≤ i Initialisation : W-1= Pour i variant de 0 à imax {mi} = {x : x B(i), x CC{mi-1}} = W(i) = IZB(i)(W(i-1))  {mi} LPE = Calcul de IZ géodésique : IZX(Y) Initialiser IZX(Y) à Y Initialiser la liste L à X-Y Tant que L non vide et |L| varie : Pour tout pixel de L : calculer s’il peut se rattacher à IZX(Y) par épaississement si oui, mettre sa valeur à 1 dans IZX(Y) et le retirer de L Les mj sont les nouveaux minima apparus à l’itération i Zones d’influence géodésiques des bassins versants obtenus à l’it. précédente dans l’image bin. courante des valeurs  i

LPE : exemple (© Course on Math. Morphology, J. Serra) Ligne de partage des eaux superposée à l’image initiale W(1) B(2)-W(1) W(2) : zones d’influence géod. de W(1) dans B(2) minima pour i=0, B(0)=W(0) ; B(1)-B(0) W(1) : minima apparus à i=1  zones d’influence géodésiques de W(0) dans B(1) Image initiale : 4 niveaux de gris

LPE : Application à la segmentation d’une image en niveaux de gris Utiliser l’image de la norme du gradients Risque de sur-segmentation discrétiser les valeurs entre 0 et imax (#régions) filtrer PB l’image du gradient (e.g. ouverture, fermeture)

Ligne de partage des eaux Exemple : Gradient morphologique, boule 33 8-connexité Fermeture sur gradient morphologique Ouverture sur gradient morphologique #R = 25 #R = 15 #R = 15

LPE : Application à la segmentation Cas d’objets binaires  circulaires : utiliser image des distances inverses mais risque de sur-segmentation  utiliser la reconstruction de l’image des distances diminuée d’une faible valeur sous l’image des distances (rq: SKIZ positionne mal les frontières pour objets de tailles différentes) Cas d’1 image en niveaux de gris : utiliser l’image des gradients mais risque de sur-segmentation  utiliser la technique du swamping pour imposer les minima locaux à considérer (et seulement ceux-là) Autres cas d’1 image en niveaux de gris : utiliser image top-hat / top-hat conjugué

LPE : exemple 1 (© I. Bloch ENST) Image binaire initiale Image des distances (fausses couleurs) LPE sur image des distances inversée LPE sur image reconstruite de la distance -2 sous la distance

LPE : exemple 2 (© I. Bloch ENST) Image du gradient après fermeture LPE correspondante Image du gradient après reconstruction par swamping LPE correspondante

Approches variationnelles (I) Energie de Gibbs (Geman & Geman, 1984) → 1ère méthode variationnelle Pb : estimer x (champ des labels) connaissant y (champ des observations)  définir : (i) un modèle ‘d’attache aux données’, i.e. reliant X et Y, ET (ii) un modèle a priori pour X, i.e. favorisant certains types de solutions Ex. : modèles ‘réguliers’ i.e. favorise pixels voisins de même label Solution du Maximum A Posteriori (MAP) : Cas d’un champ de Markov caché (X,Y) avec W|S| l’espace des états de X P(X = x,Y = y) = P(Y = y / X = x).P(X = x) Hypothèses supplémentaires :  avec P(Y=y / X=x) = sS P(Ys=ys / Xs=xs) (indép. cond. à X) sS, P(Ys=ys / Xs=xs) > 0  U0,s (xs,ys)=-ln(P(ys /xs)) Constante de normalisation issue de la distribution a priori Somme des potentiels des cliques sur le voisinage

Approches variationnelles (II) Exemple de distribution a posteriori Y gaussien conditio. aux classes  Loi a priori = modèle de Potts b(i,j) = b  P(X=x / Y=y) = P(Y=y / X=x).P(X=x)/P(Y=y)  Cas plus général : avec ‘processus ligne’ Énergie à minimiser : où hs et vs {0,1} indiquent les bords horizontaux et verticaux, et Z est l’image des moyennes des classes :

Approches variationnelles (III) Principes : Il existe une méthode de détection des frontières qui soit universelle (indépendante du type d’image) La précédente détection doit présenter une invariance spatiale et d’échelle Les résultats doivent pouvoir être comparés quantitativement (valeurs des énergies respectives) Fonctionnelle d’énergie comprend des termes : D’autosimilarité des régions (pour le type d’image considéré : canaux fréquentiels, paramètres de texture…) La taille, la régularité et la localisation des frontières de régions

Fonctionnelle de Mumford & Shah (I) Cadre fonctionnel : soit W  R2 un ouvert rectangulaire, soient les images u0 (observation) et u (restauration), de W → [0,1], et soit K un ensemble fermé définissant les contours de u, alors Conjecture :  (u,K) minimiseur de EMS tel que u  C1(W) K est une union finie d’arcs réguliers tels que au plus 3 arcs se rencontrent en 1 point triple tel que les angles entre chacun d’eux soient 2p/3 Au plus 1 arc peut rencontrer dW en 1 point et perpendiculairement

Fonctionnelle de Mumford & Shah (II) Cas particulier : u est constante sur chaque région : sRi, u(x,y)=gi=cst Connaissant K, u est donné  E(u,K)=E(K) La régularisation repose entièrement sur la minimisation des longueur de contours Paramètre n définit l’échelle de perception de l’image  croissance de région : absence de critère sur contours génère régions irrégulières, étroites, petites… n faible  segmentation ‘fine’ n croit  segmentation devient de + en + ‘grossière’

#régions voisines de Ri Propriétés de Segmentation 1-maximale  pas de frontière interne à 1 région Soit K 1 seg. 1-maximale / #R>1   2 régions R1 et R2 / (R1,R2) est 1 courbe de Jordan ((s,s’)]0,1[, ss‘  c(s)c(s’) ) Soit K 1 seg. 1-maximale / #R=a  K est l’union de a -1 courbes de Jordan sans segment commun Soit K 1 seg. 1-maximale / #R=a, #courbes géométriques=b, #croissements géométriques=g  (i) : g2.(a-1) et (ii) : b3.(a-1)-2 Segmentation 2-maximale 0E(K’)-E(K)= |R| a une borne inférieure et l(R) a une borne supérieure |R|1/2  Cste.l(R)  élimination des régions trop étroites K est n-maximale si pour tout n-upplet de régions, la segmentation K’ obtenue par fusion de ces n régions vérifie E(K’)>E(K) Preuve : Preuve : (i) soit 1 courbe c1 de K et K1 la seg. obtenue en supprimant c1 (K1 est 1-maximale) ; c1 contient au max 2 intersections avec K1 (ses extrémités si c’est 1 courbe de Jordan ouverte). (ii) Si c1 est fermée, c’est la seule courbe qui disparaît, sinon s’il y a intersection de 3 courbes, les 2 autres courbes fusionnent. #régions voisines de Ri Preuve : Preuve :  augmenter n permet d’éliminer les petites régions

Résolution multiéchelle de Koepfler Préliminaires : soit Ri et Rj disjointes |RiRj|m(RiRj)= |Ri|m(Ri)+ |Rj|m(Rj) |RiRj|s2(RiRj)=|Ri|s2(Ri)+|Rj|s2(Rj)+ |Rj|.|Ri|/(|Rj|+|Ri|)(m(Ri)+m(Rj))2 Algorithme Soit la segmentation triviale : #R=|S|, soit e0 Tant que #R>nbre de régions souhaité Pour i[1,#R] Pour chaque région Rj adjacente à Ri, calculer njj=|Rj|.|Ri|/(|Rj|+|Ri|)||gi-gj||2/l((Ri,Rj)) n = minjj(njj)+e Parcourir la liste des régions, et fusionner celles telles que E(K\(Ri,Rj)-E(K)<0 Actualiser #R

Approche variationnelle Exemple : #R = 4 #R = 5 #R = 8 #R = 12 #R = 16 #R = 20