Jianbo Shi & Jitendra Malik Présenté par Ph. BIELA ENBERG & J.BOONAERT Coupes Normalisées et Segmentation d’Images (« Normalized Cuts & Image Segmentations » - IEEE Transactions on Pattern Analysis & Machine Intelligence, Vol 22, n°8 August 2000). Jianbo Shi & Jitendra Malik Présenté par Ph. BIELA ENBERG & J.BOONAERT

Coupes Normalisées et Segmentation d’images Plan: Introduction. Groupement et partition de graphe. Présentation de l’algorithme de groupement. Expérimentation: application à la segmentation d’image. Interprétation physique. Lien avec d’autres théories basées sur les graphes appliquées à la segmentation d’images. Conclusion. 14/11/2018

Introduction Wertheimer (il y a 75 ans) isole des concepts clefs dans le processus de vision: Groupement perceptuel. organisation Facteurs « clefs » associés: Similarité. Proximité. « bon prolongement ». Beaucoup de problèmes mis en évidence à l’époque demeurent jusqu’ici sans solution. Cet article présente un cadre global destiné à fournir une réponse satisfaisante. 14/11/2018

Groupement et partition de graphes sommet i sommet 1 sommet 2 sommet j sommet n wi,1 wi,2 wi,j wi,n Groupe 1 Groupe 2 Groupe 3 sommet arc Représentation des connexions du sommet i avec ses n voisins. Objectif : trouver la « meilleure » partition possible d’un graphe G(V,E). 14/11/2018

Groupement et partition de graphes Quantifie le poids relatif des « connexions » de A vers B. A B Quantifie la « cohésion» des groupes A et B. A Tous les autres sommets du graphe 14/11/2018

Présentation de l’algorithme de coalescence Calcul d’une partition optimale d’un graphe en deux sous-graphes (nommés A et B). On construit un vecteur x, de dimension N (nombre de sommets dans le graphe). La ième composante vaut 1 si le sommet appartient à A, -1 sinon. On pose d(i) la somme des poids des connexions arrivant au sommet i: On construit une matrice diagonale D, telle que D(k,k) = d(k). On pose On aboutit au problème de minimisation équivalent suivant: (matrice de similarité) (1) (quotient de Rayleigh) 14/11/2018

Présentation de l’algorithme de coalescence Si on contraint y à prendre des valeurs réelles, (1) peut être minimisé en résolvant le système suivant: On montre que la partition optimale est alors obtenue pour le vecteur propre associé à la seconde des plus petites valeurs propres (noté ici v2) Cas idéal: les composantes de v2 prennent deux valeurs discrètes (-1 ou +1). Cas réels: les valeurs de composantes peuvent être distribuées entre ces deux bornes. fournit un indicateur (étude de l’histogramme des composantes de v2). graphe initial En réitérant ce procédé de façon récursive, on peut structurer le graphe sous la forme d’un arbre binaire: dendogramme première partition 14/11/2018

Expérimentation: application à la segmentation d’images. Image de départ (niveaux de gris) On construit un graphe exprimant la connexité entre les pixels de l’image (expression des poids). Ce poids peut intégrer: La distance entre les pixels. L’intensité (niveaux de gris). La couleur (RGB, HSV, etc). La réponse à des filtres permettant d’isoler la texture locale, l’orientation, etc. Exemple: position du pixel i distance Euclidienne position du pixel j Intensité du pixel i 14/11/2018 Intensité du pixel j

Expérimentation: application à la segmentation d’images. Valeurs propres (abscisse = indice de la valeur propre): Vecteurs propres (remis en forme pour correspondre à l’image): Image de départ 14/11/2018

Expérimentation: application à la segmentation d’images. Partition obtenue: Niveaux intermédiaires du dendogramme non représentés Segmentation finale 14/11/2018

Expérimentation: application à la segmentation d’images. La partition peut être réalisée: De façon récursive (cas représenté). En « simultané »: Utilisation des n vecteurs propres pour attribuer un vecteur de caractéristiques à chaque sommet (ici pixel): avec la ième composante du kème vecteur propre. L’article est cependant focalisé sur la méthode récursive (jugée plus stable numériquement). Considérations autour du temps de calcul. On manipule des vecteurs de grandes dimensions. La structure de la matrice (D-W), symétrique, permet l’utilisation d’algorithmes « optimisés » pour la calcul des éléments propres (Lanczos en particulier). Complexité O(m.n). 14/11/2018

Interprétation Physique Système de masses interconnectées par des ressorts. Soumis à une sollicitation, les parties présentant un mouvement homogène oscillant correspondent aux partitions formées par l’algorithme. Ensemble de masses affichant un mouvement cohérent. Application d’un sollicitation extérieure. 14/11/2018

Lien avec d’autres théories basées sur les graphes appliquées à la segmentation d’images. 14/11/2018

Conclusion Méthode permettant d’extraire des « impressions globales » (groupement perceptuel). Description hiérarchique (dendogramme). Permet de séparer le graphe en obtenant des sous-graphes successifs homogènes. 14/11/2018

Impressions De notre point de vue, cette méthode présente les intérêts suivants: Approche générale, applicable à de nombreux problèmes Réseaux de Neurones Artificiels (analyse structurelle des cartes de type Kohonen); Systèmes mécaniques (analyse des « couplages », représentation par E.F). Réseau informatique (optimisation des infrastructures). Indexation de masses de données multimédia. etc ! Analyse « descendante »: Permet de représenter une « structuration » des données dans sa globalité. Séparation entre l’analyse de la structure et le couplage entre les sommets du graphe (possibilté de choisir wij en fonction de l’application sans remettre en cause la méthode). Introduction de nouvelles mesures (indicateurs): « Coupe Normaliséee » :Ncut. « Association Normalisée »: Nassoc. 14/11/2018