La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Segmentation : principes Objectif : décomposer limage X en un ensemble de sous-parties connexes formant une partition Notations : #R : nbre de régions,

Présentations similaires


Présentation au sujet: "Segmentation : principes Objectif : décomposer limage X en un ensemble de sous-parties connexes formant une partition Notations : #R : nbre de régions,"— Transcription de la présentation:

1 Segmentation : principes Objectif : décomposer limage X en un ensemble de sous-parties connexes formant une partition Notations : #R : nbre de régions, R i région n°i, Segmentation vérifie : – – – i [1,#R], R i est connexe Rappel : application du th é or è me de Jordan sur la trame carr é e : la 4 et la 8 connexit é sont duale (r é gion n-connexe courbe (12-n) connexe Suppose 1 connexit é

2 Segmentation : principes Prédicats de base : –La région R i est homogène i [1,#R], H(R i ) vrai –La région R i est distincte de ses voisines segmentation maximale (i,j) [1,#R] 2, H(R i R j ) faux Segmentations maximales : 4-connexit é 8 r é gions, 8-connexit é 6 r é gions, 12-connexit é 4 r é gions Ex : segmentation en 8 r é gions 4- connexes non maximale en 8-connexit é Recherche de zones poss é dant des attributs similaires Approche duale de la d é tection de contours

3 Méthodes de segmentation : par classification par transformation de régions (croissance de régions, split&merge, graphe de régions) par analyse dune image de gradient (ligne de partage des eaux) par méthode variationnelle (Mumford & Shah)

4 Segmentation à partir d1 classification Classification partition en c classes homogènes (du point de vue de la loi supposée) ayant chacune 1 ou plus composantes connexes Etiquetage en composantes connexes des c classes segmentation Ex.

5 Segmentation à partir d1 classification algorithme : –Initialisations : k=0, s S, z s =0 –Pour chaque classe i Créer limage binaire B de la classe (b s =1 x s = i ) Pour tout pixel s S : –Si b s =1 et z s =0, alors : »Calcul de la composante connexe CC{s} de s dans B (par exemple selon 1 des algo. détiquetage en composantes connexes donnés) »k=k+1 » t CC{s}, z t =k –#R=k–#R=k

6 Étiquetage en composantes connexes Algo. 1 : Calcul de la composante connexe CC{s} de s dans B initialisation de la pile avec s et de la composante connexe à 0 tant que la pile nest pas vide –extraire t de la pile –mettre t à 1 dans la composante connexe –pour tout r voisin de t non déjà traité (ni déjà dans la pile) »si x r = i rajouter r dans la pile Algo. 2 : Etiquetage de lensemble de limage en 1 passe initialiser limage des étiquettes Z à 0 balayer limage, soit s le pixel courant –soit l 1 et l 2 les 2 étiquettes des voisins de s (masque causal 2-connexité) –si (l 1 =l 2 ) ou (l i 0 et l 3-i =0, i {1,2}), affecter l i à s dans Z –si (l 1 l 2 ), affecter min(l 1,l 2 ) à s dans Z, et mettre à jour la table déquivalence entre les étiquettes : l 1 l 2 –si (l 1 =l 2 =0), créer une nouvelle étiquette l et affecter l à s dans Z balayer limage pour uniformiser les étiquettes selon la table déquivalence

7 Segmentation à partir d1 classification Exemple : #cl = 2, clas. aveugle#cl = 3, clas. aveugle#cl = 3, clas. MRF #R = 6#R = 32 !!!!!!#R = 21 Chaque pixel est class é selon sa valeur ind é pendamment de ses voisins Markov Random Field chaque pixel est class é en tenant compte de sa valeur (attache aux donn é es) ET des labels de ses voisins (a priori sur le champ des labels, e.g. r é gulier)

8 Croissance de région (region growing) À partir de pixels-germes (généralement sélectionnés à partir de lhistogramme), on fait croître les régions en agglomérant les pixels ou régions connexes tels que lunion vérifie le prédicat dhomogénéité Pb du choix des germes : –Dans le cas général, la croissance de région sarrête avant davoir obtenu une segmentation : –Si on part de la segmentation triviale (chaque pixel est un germe), dépendance à lordre de fusion des régions

9 Critères dhomogénéité d1 région Exemples de critères globaux à la région –Contraste : H(R i ) vrai –Variance : H(R i ) vrai –Distance interquartiles : H(R i ) vrai –Entropie : H(R i ) vrai Exemples de critères locaux à la région –Distance avec pixels voisins : H(R i {s}) vrai

10 Sélection de germes sur histogramme Algorithme –k=0 –tant que pixels non labelisés Calcul de lhistogramme H res des pixels non labelisés x val = mode de H res, s_germe / x s_germe = x val k=k+1 Croissance de région à partir de s_germe : –z s_germe =k –Tant que t connexe à R k et R k {t} vérifie prédicat dhomogénéïté, R k R k {t} – t R k, z t =k –#R=k–#R=k

11 Croissance de régions Exemple : C max = 80 #R = 6C max = 70 #R = 17C max = 100 #R = 6 C max = 80 #R = 5C max = 70 #R = 12 S é lection de germes sur histogramme S é lection de germes al é atoire

12 Pyramide du Quadtree Construction du quadtree par parcours de Peano : Clé de Peano : Pixel de coordonnées-image (i,j) i7j7i6j6i5j5i4j4 i3j3i2j2i1j1i0j0 i7i6i5i4i3i2i1i0i7i6i5i4i3i2i1i0j7j6j5j4j3j2j1j0j7j6j5j4j3j2j1j0 + Ex. : (2,3) 13 (6,2)

13 Partage / réunion de régions region splitting : soit R i / H(R i ) faux, alors diviser R i region merging : soit R i, R j connexes / H(R i R j ) vrai, alors R i =R i R j, supprimer R j Application à la structure du quadtree (image NxN) –Initialisations : l 0 niveau de départ dans la pyramide, t 0 =N/2 l0, n=4 l0 –Fusion : j=l 0, t=t 0, k=1 Tant que j>0 –Pour i variant de 0 à n-1 par pas de 4 l0-j+1 »Si les 4 blocs i, i+k, i+2k, i+3k sont de taille t, et si le critère dhomogénéité est vérifié pour lunion des 4 blocs, alors Les fusionner : mise à jour des tailles et caractéristiques des blocs (on ne garde que le bloc n°i) –Passage au niveau supérieur de la pyramide : j=j-1, t=2t, k=4k –Division : j=l 0 Pour i variant de 0 à n-1 –Si la taille du bloc i est t 0 et >0 »Tant que le critère dhomogénéité nest pas vérifié pour le bloc i subdiviser le bloc i en 4 blocs : mettre à jour les paramètres de i à partir du sous-bloc et créer les 3 autres sous-blocs indicés n+1, n+2, n+3, et actualiser n à n+3

14 Exemple de segmentation contrainte par le quadtree À partir du niveau 1 de la pyramide Fusion de 4 blocs de niveau 1 en 1 bloc de niveau 2 Scission de blocs de niveau 1 en 4 blocs de niveau 0 Fusion de sous-blocs d 1 même bloc de niveau 2 Fusion de sous-blocs d 1 même bloc de niveau 1 Labellisation des blocs

15 Réunion de régions Tests statistiques entre deux régions à fusionner Hyp. : bruit gaussien sur une image assimilée à une fonction 2D constante par morceau –Test du 2 dhomogénéité v.a. qui suit 1 loi du 2 à m-1 degrés de liberté ? –Test de Student dégalité des espérances intervalle de confiance de lestimateur de lespérance dune loi normale dont la variance est inconnue avec –Test de Fisher-Snedecor dégalité des moyennes et des variances… –Test de Wilcoxon : soit (somme pour chaque pixel de R 1 du # de pixels de R 2 de valeur inférieure) : on teste si U suit 1 loi normale N (n 1 n 2 /2, n 1 n 2 (n 1 +n 2 +1)/12)

16 Fusion de régions dans un graphe Le graphe est constitué de : –Une liste de sommets L S : chaque région R i est représentée par 1 sommet s auquel sont associés : les caract. de R i, la liste des pixels de R i, le # et la liste des arrêtes impliquant s –Une liste darrêtes L A : chaque arrête a est caractérisée par les 2 sommets quelle relie, son coût ct(a), un indicateur de validité Exemple de construction du graphe dadjacence :

17 Fusion de régions dans un graphe Exemple dalgorithme : –Initialisations : # de régions = # pixels, initialisation de L S et L A –Tant que # de régions > # de régions voulu Sélection des arrêtes a 0 de moindre coût par accord mutuel (a 0 relie s i et s j et j=argmin k {ct(a)/a=(s i,s k )} et i=argmin k {ct(a)/a=(s j,s k )} Fusion des régions associées aux arrêtes a 0 : –mise à jour de la liste des sommets (liste des arrêtes associées, liste des pixels, caractéristiques de la région représentée) –Mise à jour de la liste des arrêtes (validité, coût, sommets associés) Mise à jour du # de régions = # sommets –Création de limage des régions (daprès liste de pixels des sommets)

18 Segmentation maximale à partir du résultat contraint par le quadtree À partir du r é sultat quadtree Hypoth è ses : 4-connexit é, co û t d 1 arête / ct(R i,R j ) = |R i R j | si contraste(R i R j )=0, ct(Ri,Rj)=+ sinon

19 Fusion de régions dans un graphe Exemple : #R = 5#R = 8#R = 4#R = 12#R = 16#R = 20

20 Ligne de partage des eaux : définition Postulat : image = une surface topographique / niveau de gris = altitude Cas facileCas difficile

21 Ligne de partage des eaux : définition Ligne de partage des eaux (LPE) par immersion à partir des minima régionaux m i, faire croître niveau des eaux progressivement de sorte que : (i) A chaque fois que la hauteur de leau atteint laltitude dun minimum régional, un nouveau bassin versant est créé (ii) A chaque fois que deux bassins se rencontrent, on empêche leur fusion en construisant une digue. LPE = ensemble des digues.

22 LPE par immersion : algorithme Algorithme : –On note B(i) limage binaire des valeurs y s (de Y) i –Initialisation : W -1 = –Pour i variant de 0 à i max {m i } = {x : x B(i), x CC{m i-1 }} = W(i) = IZ B(i) (W(i-1)) {m i } – LPE = Calcul de IZ géodésique : IZ X (Y) –Initialiser IZ X (Y) à Y –Initialiser la liste L à X-Y –Tant que L non vide et |L| varie : Pour tout pixel de L : –calculer sil peut se rattacher à IZ X (Y) par épaississement –si oui, mettre sa valeur à 1 dans IZ X (Y) et le retirer de L Les m j sont les nouveaux minima apparus à litération i Zones dinfluence géodésiques des bassins versants obtenus à lit. précédente dans limage bin. courante des valeurs i

23 LPE : exemple (© Course on Math. Morphology, J. Serra) Image initiale : 4 niveaux de gris 1.minima pour i=0, B(0)=W(0) ; 2.B(1)-B(0) W(1) : minima apparus à i=1 zones dinfluence géodésiques de W(0) dans B(1) 1. W(1) 2. B(2)-W(1) W(2) : zones dinfluence géod. de W(1) dans B(2) Ligne de partage des eaux superposée à limage initiale

24 LPE : Application à la segmentation dune image en niveaux de gris Utiliser limage de la norme du gradients Risque de sur-segmentation discrétiser les valeurs entre 0 et imax ( #régions) filtrer PB limage du gradient (e.g. ouverture, fermeture)

25 Ligne de partage des eaux Exemple : Fermeture sur gradient morphologique Ouverture sur gradient morphologique Gradient morphologique, boule connexit é #R = 25#R = 15

26 LPE : Application à la segmentation Cas dobjets binaires circulaires : utiliser image des distances inverses mais risque de sur-segmentation utiliser la reconstruction de limage des distances diminuée dune faible valeur sous limage des distances (rq: SKIZ positionne mal les frontières pour objets de tailles différentes) Cas d1 image en niveaux de gris : utiliser limage des gradients mais risque de sur-segmentation utiliser la technique du swamping pour imposer les minima locaux à considérer (et seulement ceux-là) Autres cas d1 image en niveaux de gris : utiliser image top-hat / top-hat conjugué

27 LPE : exemple 1 (© I. Bloch ENST) Image binaire initiale Image des distances (fausses couleurs) LPE sur image des distances inversée LPE sur image reconstruite de la distance -2 sous la distance

28 Image du gradient après fermeture LPE correspondante LPE : exemple 2 (© I. Bloch ENST) Image du gradient après reconstruction par swamping LPE correspondante

29 Approches variationnelles (I) Energie de Gibbs (Geman & Geman, 1984) 1 ère méthode variationnelle Pb : estimer x (champ des labels) connaissant y (champ des observations) définir : (i) un modèle dattache aux données, i.e. reliant X et Y, ET(ii) un modèle a priori pour X, i.e. favorisant certains types de solutions Ex. : modèles réguliers i.e. favorise pixels voisins de même label Solution du Maximum A Posteriori (MAP) : Somme des potentiels des cliques sur le voisinage Cas dun champ de Markov caché (X,Y) avec |S| lespace des états de X P(X = x,Y = y) = P(Y = y / X = x).P(X = x) Hypothèses supplémentaires : avec Constante de normalisation issue de la distribution a priori P(Y=y / X=x) = s S P(Y s =y s / X s =x s ) (ind é p. cond. à X) s S, P(Y s =y s / X s =x s ) > 0 U 0, s (x s,y s )=-ln(P(y s /x s ))

30 Approches variationnelles (II) Exemple de distribution a posteriori –Y gaussien conditio. aux classes –Loi a priori = modèle de Potts (i,j) = P(X=x / Y=y) = P(Y=y / X=x).P(X=x)/P(Y=y) Cas plus général : avec processus ligne Énergie à minimiser : où h s et v s {0,1} indiquent les bords horizontaux et verticaux, et Z est limage des moyennes des classes :

31 Approches variationnelles (III) Principes : –Il existe une méthode de détection des frontières qui soit universelle (indépendante du type dimage) –La précédente détection doit présenter une invariance spatiale et déchelle –Les résultats doivent pouvoir être comparés quantitativement (valeurs des énergies respectives) Fonctionnelle dénergie comprend des termes : –Dautosimilarité des régions (pour le type dimage considéré : canaux fréquentiels, paramètres de texture…) –La taille, la régularité et la localisation des frontières de régions

32 Fonctionnelle de Mumford & Shah (I) Cadre fonctionnel : soit R 2 un ouvert rectangulaire, soient les images u 0 (observation) et u (restauration), de [0,1], et soit K un ensemble fermé définissant les contours de u, alors Conjecture : (u, K ) minimiseur de E MS tel que 1.u C 1 ( ) 2.K est une union finie darcs réguliers tels que au plus 3 arcs se rencontrent en 1 point triple tel que les angles entre chacun deux soient 2 /3 Au plus 1 arc peut rencontrer en 1 point et perpendiculairement

33 Fonctionnelle de Mumford & Shah (II) Cas particulier : –u est constante sur chaque région : s R i, u(x,y)=g i =cst Connaissant K, u est donné E(u,K)=E(K) La régularisation repose entièrement sur la minimisation des longueur de contours Paramètre définit léchelle de perception de limage croissance de r é gion : absence de crit è re sur contours g é n è re r é gions irr é guli è res, é troites, petites … faible segmentation fine croit segmentation devient de + en + grossi è re

34 Preuve : (i) soit 1 courbe c 1 de K et K 1 la seg. obtenue en supprimant c 1 (K 1 est 1-maximale) ; c 1 contient au max 2 intersections avec K 1 (ses extr é mit é s si c est 1 courbe de Jordan ouverte). (ii) Si c 1 est ferm é e, c est la seule courbe qui dispara î t, sinon s il y a intersection de 3 courbes, les 2 autres courbes fusionnent. Propriétés de Segmentation 1-maximale pas de frontière interne à 1 région Soit K 1 seg. 1-maximale / #R>1 2 régions R 1 et R 2 / (R 1,R 2 ) est 1 courbe de Jordan ( (s,s) ]0,1[, s s c(s) c(s) ) Soit K 1 seg. 1-maximale / #R= K est lunion de -1 courbes de Jordan sans segment commun Soit K 1 seg. 1-maximale / #R=, #courbes géométriques=, #croissements géométriques= (i) : 2.( -1) et (ii) : 3.( -1)-2 Segmentation 2-maximale 0 E(K)-E(K)= |R| a une borne inférieure et l( R) a une borne supérieure |R| 1/2 C ste.l( R) élimination des régions trop étroites K est n-maximale si pour tout n-upplet de r é gions, la segmentation K obtenue par fusion de ces n r é gions v é rifie E(K )>E(K) #r é gions voisines de R i Preuve : augmenter n permet d é liminer les petites r é gions Preuve :

35 Résolution multiéchelle de Koepfler Algorithme –Soit la segmentation triviale : #R=|S|, soit 0 –Tant que #R>nbre de régions souhaité Pour i [1,#R] –Pour chaque région R j adjacente à R i, calculer jj =|R j |.|R i |/(|R j |+|R i |) ||g i -g j || 2 /l( (R i,R j )) = min jj ( jj )+ Parcourir la liste des régions, et fusionner celles telles que E(K\ (R i,R j )-E(K)<0 Actualiser #R Préliminaires : soit R i et R j disjointes |R i R j | (R i R j )= |R i | (R i )+ |R j | (R j ) |R i R j | 2 (R i R j )=|R i | 2 (R i )+|R j | 2 (R j )+ |R j |.|R i |/(|R j |+|R i |) ( (R i )+ (R j )) 2

36 Approche variationnelle Exemple : #R = 5#R = 8#R = 4 #R = 12#R = 16#R = 20


Télécharger ppt "Segmentation : principes Objectif : décomposer limage X en un ensemble de sous-parties connexes formant une partition Notations : #R : nbre de régions,"

Présentations similaires


Annonces Google