Segmentation par analyse d’une image de gradient (ligne de partage des eaux) par fusion de régions dans un graphe par méthode variationnelle (Mumford & Shah)

Segmentation : principes Objectif : décomposer l’image X en un ensemble de sous-parties connexes formant une partition Notations : NR = nbre de régions, Ri = région n°i, Segmentation vérifie : i[1, NR ], Ri connexe Rappel : application du théorème de Jordan sur la trame carrée : la 4 et la 8 connexité sont duales (région n-connexe  courbe (12-n) connexe Prédicats de base : La région Ri est homogène i[1, NR], H(Ri) vrai La région Ri est distincte de ses voisines  segmentation maximale (i,j)[1, NR]2, H(RiRj) faux Recherche de zones possédant des attributs similaires

Critères d’homogénéité d’1 région Exemples de critères globaux à la région Contraste : H(Ri) vrai  Variance : H(Ri) vrai  Distance interquartiles : H(Ri) vrai  Entropie : H(Ri) vrai  Exemples de critères locaux à la région Distance avec pixels voisins : H(Ri{s}) vrai 

Réunion de régions Tests statistiques entre deux régions à fusionner Hyp. : bruit gaussien sur une image assimilée à une fonction 2D constante par morceau Test du c2 d’homogénéité  v.a. qui suit 1 loi du c2 à m-1 degrés de liberté ? Test de Student d’égalité des espérances  intervalle de confiance de l’estimateur de l’espérance m d’une loi normale dont la variance est inconnue avec Test de Fisher-Snedecor d’égalité des moyennes et des variances… Test de Wilcoxon : soit (somme pour chaque pixel de R1 du nbre de pixels de R2 de valeur inférieure) : on teste si U suit 1 loi normale N(n1n2/2, n1n2(n1+n2+1)/12) Comparaison des histo. des régions : nj et nj’ nb pixels du ‘bin’ j dans chaque histo.

Fusion de régions dans un graphe Le graphe est constitué de : Une liste de sommets LS : chaque région Ri est représentée par 1 sommet s auquel sont associés : les caract. de Ri, la liste des pixels de Ri, le nbre et la liste des arrêtes impliquant s Une liste d’arrêtes LA : chaque arrête a est caractérisée par les 2 sommets qu’elle relie, son coût ct(a), un indicateur de validité Exemple de construction du graphe d’adjacence : 1 2 3 5 6 7 8 4 1 2 3 5 6 7 8 4

Fusion de régions dans un graphe Exemple d’algorithme : Initialisations : nbre de régions = nbre pixels, initialisation de LS et LA Tant que nbre de régions > nbre de régions voulu Sélection des arrêtes a0 de moindre coût par accord mutuel (a0 relie si et sj et j=argmink{ct(a)/a=(si,sk)} et i=argmink{ct(a)/a=(sk,sj)} Fusion des régions associées aux arrêtes a0 : mise à jour de la liste des sommets (liste des arrêtes associées, liste des pixels, caractéristiques de la région représentée) Mise à jour de la liste des arrêtes (validité, coût, sommets associés) Mise à jour du nbre de régions = nbre sommets Création de l’image des régions (d’après liste de pixels des sommets)

Fusion de régions dans un graphe Exemple : NR = 4 NR = 5 NR = 8 NR = 12 NR = 16 NR = 20

Fusion de régions dans un graphe NR = 20 NR = 30

Approches variationnelles Principes :  méthode de segmentation valable pour tout type d’image (universalité) Cette méthode est robuste par rapport aux translations spatiales et au paramètre d’échelle (invariance) La qualité d’une segmentation est quantifiable (définition d’une fonction d’énergie) Fonctionnelle d’énergie comprend des termes : D’autosimilarité des régions (canaux fréquentiels, paramètres de texture…) Mesurant la taille, la régularité et la localisation des frontières de régions

Fonctionnelle de Mumford & Shah (I) Cadre fonctionnel : soit W  R2 un ouvert rectangulaire, soient les images u0 (observation) et u (restauration), de W → [0,1], et soit K un ensemble fermé définissant les contours de u, alors avec s = (i,j), hs {0,1} et vs {0,1} indicateurs des bords horizontaux et verticaux Conjecture :  (u,K) minimisant EMS tel que u  C1(W) K est une union finie d’arcs réguliers tels que au plus 3 arcs se rencontrent en 1 point triple tel que les angles entre chacun d’eux soient 2p/3 ; au plus 1 arc peut rencontrer dW (bord de l’image) en 1 point et ce perpendiculairement.

Fonctionnelle de Mumford & Shah (II) Cas particulier : u est constante sur chaque région : sRi, u(x,y)=gi=cst Connaissant K, u est donné  E(u,K)=E(K) La régularisation repose entièrement sur la minimisation des longueurs de contours Paramètre n définit l’échelle de perception de l’image  croissance de région : absence de critère sur contours génère régions irrégulières, étroites, petites… Meilleur estimateur = moyenne n faible  segmentation ‘fine’ n croit  segmentation devient de + en + ‘grossière’

Propriétés de Segmentation 1-maximale  pas de frontière interne à 1 région Soit K 1 seg. 1-maximale / NR=a, nbre de courbes géométriques=b, nbre de croissements géométriques=g , alors (i) g2.(a-1) et (ii) b3.(a-1)-2 Segmentation 2-maximale 0E(K’)-E(K)= le nombre N(Ri) de régions vois. d’1 région Ri est borné inf.: le nombre de régions est borné sup.: la taille d’une région est bornée inf.: |R| a une borne inférieure et l(R) a une borne supérieure |R|1/2  Cste.l(R)  K est l’union de a -1 courbes simples sans segment commun a=5, b=6, g=6 a=4, b=5, g=4 a=3, b=2, g=4 C cste isopérimétrique ( e.g. p24pa) (|S| nbre de pixels)  augmenter n permet d’éliminer les petites régions  élimination des régions trop étroites

Résolution multiéchelle de Koepfler Préliminaires : soit Ri et Rj disjointes, alors Algorithme Soit la segmentation triviale : NR=|S|, soit e0 Tant que NR >nbre de régions souhaité Pour i[1,NR] Pour chaque région Rj adjacente à Ri, calculer n = minij(nij)+e Parcourir la liste des régions et fusionner celles où E(K\(Ri,Rj)-E(K)<0 Actualiser NR

Approche variationnelle Exemple : NR = 4 NR = 5 NR = 8 NR = 12 NR = 16 NR = 20

Contrôle de la taille des régions Segmentation par graphe NR = 20 Absence de toutes petites régions NR = 30 Absence de toutes petites régions NR = 30 Pertinence accrue des régions Segmentation variationnelle

Comparaison d’algorithmes de segmentation : croissance de région Image en entrée (disparité) crois. rég. (germes selon histo) crois. rég. (germes aléatoires)

Comparaison d’algorithmes : LPE Image en entrée (disparité) Gradient Gradient reconstruit (/image +12) Gradient reconstruit quantifié (/2) LPE Suppression des régions <20 pixels

Comparaison d’algo. : seg. variationnelle NR =12 NR =6 NR =3 NR =10 NR =4 NR =2 NR =8