Jianbo Shi & Jitendra Malik Présenté par Ph. BIELA ENBERG & J.BOONAERT

Présentation au sujet: "Jianbo Shi & Jitendra Malik Présenté par Ph. BIELA ENBERG & J.BOONAERT"— Transcription de la présentation:

1 Jianbo Shi & Jitendra Malik Présenté par Ph. BIELA ENBERG & J.BOONAERT
Coupes Normalisées et Segmentation d’Images (« Normalized Cuts & Image Segmentations » - IEEE Transactions on Pattern Analysis & Machine Intelligence, Vol 22, n°8 August 2000). Jianbo Shi & Jitendra Malik Présenté par Ph. BIELA ENBERG & J.BOONAERT

2 Coupes Normalisées et Segmentation d’images
Plan: Introduction. Groupement et partition de graphe. Présentation de l’algorithme de groupement. Expérimentation: application à la segmentation d’image. Interprétation physique. Lien avec d’autres théories basées sur les graphes appliquées à la segmentation d’images. Conclusion. 14/11/2018

3 Introduction Wertheimer (il y a 75 ans) isole des concepts clefs dans le processus de vision: Groupement perceptuel. organisation Facteurs « clefs » associés: Similarité. Proximité. « bon prolongement ». Beaucoup de problèmes mis en évidence à l’époque demeurent jusqu’ici sans solution. Cet article présente un cadre global destiné à fournir une réponse satisfaisante. 14/11/2018

4 Groupement et partition de graphes
sommet i sommet 1 sommet 2 sommet j sommet n wi,1 wi,2 wi,j wi,n Groupe 1 Groupe 2 Groupe 3 sommet arc Représentation des connexions du sommet i avec ses n voisins. Objectif : trouver la « meilleure » partition possible d’un graphe G(V,E). 14/11/2018

5 Groupement et partition de graphes
Quantifie le poids relatif des « connexions » de A vers B. A B Quantifie la « cohésion» des groupes A et B. A Tous les autres sommets du graphe 14/11/2018

6 Présentation de l’algorithme de coalescence
Calcul d’une partition optimale d’un graphe en deux sous-graphes (nommés A et B). On construit un vecteur x, de dimension N (nombre de sommets dans le graphe). La ième composante vaut 1 si le sommet appartient à A, -1 sinon. On pose d(i) la somme des poids des connexions arrivant au sommet i: On construit une matrice diagonale D, telle que D(k,k) = d(k). On pose On aboutit au problème de minimisation équivalent suivant: (matrice de similarité) (1) (quotient de Rayleigh) 14/11/2018

7 Présentation de l’algorithme de coalescence
Si on contraint y à prendre des valeurs réelles, (1) peut être minimisé en résolvant le système suivant: On montre que la partition optimale est alors obtenue pour le vecteur propre associé à la seconde des plus petites valeurs propres (noté ici v2) Cas idéal: les composantes de v2 prennent deux valeurs discrètes (-1 ou +1). Cas réels: les valeurs de composantes peuvent être distribuées entre ces deux bornes. fournit un indicateur (étude de l’histogramme des composantes de v2). graphe initial En réitérant ce procédé de façon récursive, on peut structurer le graphe sous la forme d’un arbre binaire: dendogramme première partition 14/11/2018

8 Expérimentation: application à la segmentation d’images.
Image de départ (niveaux de gris) On construit un graphe exprimant la connexité entre les pixels de l’image (expression des poids). Ce poids peut intégrer: La distance entre les pixels. L’intensité (niveaux de gris). La couleur (RGB, HSV, etc). La réponse à des filtres permettant d’isoler la texture locale, l’orientation, etc. Exemple: position du pixel i distance Euclidienne position du pixel j Intensité du pixel i 14/11/2018 Intensité du pixel j

9 Expérimentation: application à la segmentation d’images.
Valeurs propres (abscisse = indice de la valeur propre): Vecteurs propres (remis en forme pour correspondre à l’image): Image de départ 14/11/2018

10 Expérimentation: application à la segmentation d’images.
Partition obtenue: Niveaux intermédiaires du dendogramme non représentés Segmentation finale 14/11/2018

11 Expérimentation: application à la segmentation d’images.
La partition peut être réalisée: De façon récursive (cas représenté). En « simultané »: Utilisation des n vecteurs propres pour attribuer un vecteur de caractéristiques à chaque sommet (ici pixel): avec la ième composante du kème vecteur propre. L’article est cependant focalisé sur la méthode récursive (jugée plus stable numériquement). Considérations autour du temps de calcul. On manipule des vecteurs de grandes dimensions. La structure de la matrice (D-W), symétrique, permet l’utilisation d’algorithmes « optimisés » pour la calcul des éléments propres (Lanczos en particulier). Complexité O(m.n). 14/11/2018

12 Interprétation Physique
Système de masses interconnectées par des ressorts. Soumis à une sollicitation, les parties présentant un mouvement homogène oscillant correspondent aux partitions formées par l’algorithme. Ensemble de masses affichant un mouvement cohérent. Application d’un sollicitation extérieure. 14/11/2018

13 Lien avec d’autres théories basées sur les graphes appliquées à la segmentation d’images.
14/11/2018

14 Conclusion Méthode permettant d’extraire des « impressions globales » (groupement perceptuel). Description hiérarchique (dendogramme). Permet de séparer le graphe en obtenant des sous-graphes successifs homogènes. 14/11/2018

15 Impressions De notre point de vue, cette méthode présente les intérêts suivants: Approche générale, applicable à de nombreux problèmes Réseaux de Neurones Artificiels (analyse structurelle des cartes de type Kohonen); Systèmes mécaniques (analyse des « couplages », représentation par E.F). Réseau informatique (optimisation des infrastructures). Indexation de masses de données multimédia. etc ! Analyse « descendante »: Permet de représenter une « structuration » des données dans sa globalité. Séparation entre l’analyse de la structure et le couplage entre les sommets du graphe (possibilté de choisir wij en fonction de l’application sans remettre en cause la méthode). Introduction de nouvelles mesures (indicateurs): « Coupe Normaliséee » :Ncut. « Association Normalisée »: Nassoc. 14/11/2018