La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 1/31 Cours de Segmentation PLAN Introduction Segmentation.

Présentations similaires


Présentation au sujet: "SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 1/31 Cours de Segmentation PLAN Introduction Segmentation."— Transcription de la présentation:

1 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 1/31 Cours de Segmentation PLAN Introduction Segmentation par histogrammes (RHS) Region growing Split & Merge Algorithme CSC Contours Actifs (Snakes) Conclusion

2 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 2/31 Introduction Segmenter une image? Partitionner limage en zone homogènes selon un critère déterminé: couleur, texture, niveau de gris, indice,…

3 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 3/31 Introduction Pourquoi les algorithmes présentés dans ce cours ne marchent-ils pas? Pas de données contextuelles Traitement global de limage: pas de traitement actif, localisé dans limage (voir cours Vision Active) Pas dexploitation explicite de la continuité spatio-temporelle (tracking) Un problème difficile.

4 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 4/31 Introduction Plusieurs approches: En labsence de contexte particuliers, les meilleurs résultats sont obtenus avec les méthodes hybrides. Approches GLOBALES: histogrammes Approches LOCALES: region growing, contours Approches HYBRIDES: split & merge, CSC

5 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 5/31 Histogrammes Idée: Idée: Si les objets présents dans limage ont des couleurs bien distinctes et uniformes, ils vont apparaître comme des pics dans lhistogramme. Zone « vert » teinte nbr de pixels => Segmentation dans un espace dérivé de limage

6 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 6/31 Recursive Histogram Splitting (RHS) Ohlander (1975); Ohta, Kanade,Sakai (1980) Chaque pixel est décrit selon certains channels: R,G,B,H,S,V,… => Lalgorithme travaille sur plusieurs histogrammes, un par channel … HRHR HGHG HBHB MAX voisinage Réinjection des régions de taille suffisante Suppression de la région extraite Retroprojection de la fenêtre de lhistogramme Image initiale

7 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 7/31 Recursive Histogram Splitting (RHS) AVANTAGES Méthode très rapide Peu sensible au bruit INCONVENIENTS Méthode globale: ignore les informations de proximité qui permettent dutiliser des seuils variables locaux. Que se passe-t-il si deux objets ont la même couleur? => Nécessite en général un Region Growing pour détacher les composantes connexes.

8 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 8/31 Croissance de région (Region Growing) Idée: Idée: On part dun point amorce (seed) et lon létend en ajoutant les points de la frontières qui satisfont le critère dhomogénéité amorcecroissancerégion finale Le point amorce peut être choisi soit par un humain, soit de manière automatique en évitant les zones de fort contraste (gradient important) => méthode par amorce. Si le critère dhomogénéité est local (comparaison de la valeur du pixel candidat et du pixel de la frontière) => méthode linéaire.

9 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 9/31 Croissance de région (Region Growing) Méthode linéaire (complexité 2n) 1 Seuil S: P 1 == P 2 ssi Diff(Col(P 1 ),Col(P 2 )) < S val=?y x x==y:val = x x<>y:mettre à jour lindex Extremité(x) y val=?y x val = y val=?y x val = Z (nouvel index) … 3 1 while (swap[x]!=x) x = swap[x];

10 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 10/31 Croissance de région (Region Growing) Méthode par amorce (complexité O(n)) On définit une zone R qui contient la région à extraire. Initialement, R contient lamorce. On utilise une file FIFO (First In, First Out) S qui contient les points frontière Initialement, S contient le voisinage de lamorce. On retire p dans S homogène si p est homogène avec R, on ajoute p à R et on ajoute à S les points du voisinage de p qui ne sont pas dans R et qui ne sont pas incompatibles. sinon, on marque p comme incompatible. On recommence tant que S nest pas vide. Test local (pixels voisins) ou statistique global (calcul sur la couleur moyenne de R)

11 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 11/31 AVANTAGES Méthode rapide Conceptuellement très simple INCONVENIENTS Méthode locale: aucune vision globale du problème. En pratique, il y a presque toujours un chemin continu de points connexes de couleur proche qui relie deux points dune image… Problème du gradient: Tenir compte de lhomogénéité globale donne un algorithme sensible à lordre de parcours des points (méthode par amorce) Algorithme très sensible au bruit, peu stable. Croissance de région (Region Growing)

12 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 12/31 Split & Merge Horowitz, Pavlidis (1976), Dubuisson, Jain (1993) Idée: Idée: Plutôt que de regrouper des pixels dans le region growing, pourquoi ne pas regrouper des zones homogènes pré-calculées sur limage? Phase 1 : Créer les zones homogènes = SPLIT Phase 2 : Les regrouper = MERGE SPLIT: Limage est stockée dans un arbre. Initialement, arbre racine = image complète Récursivement, chaque feuille F est subdivisée en quatre si elle nest pas assez homogène, et les quatre sous images sont ajoutée en tant que feuilles de F. Lalgorithme poursuit tant quil reste des feuilles non homogènes à diviser.

13 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 13/31 Split & Merge Example Image initiale Split 1 Split 2 Split 3 Homogénéité = critère sur la variance

14 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 14/31 Split & Merge Construction du RAG Region Adjacancy Graph Quadtree RAG Connecte les régions adjacentes Arrêtes = mesures de différence dhomogénéité

15 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 15/31 Split & Merge MERGE: Chaque nœud du Region Adjacency Graph est examiné. Si un des voisins de ce nœud est à une distance inférieure à un seuil de regroupement, les deux nœuds fusionnent dans le RAG. Lorsque plus aucun nœud ne peut fusionner avec lun de ses voisins, STOP. La distance en terme dhomogénéité de régions est portée par larrête valuée qui les relie dans le RAG

16 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 16/31 Split & Merge AVANTAGES Méthode hybride locale/globale: permet de contrer le problème du gradient. INCONVENIENTS Méthode assez complexe Découpage un peu « carré », dû à la topologie des quadtrees Original Split & Merge

17 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 17/31 Algorithme CSC (Color Structure Code) Rehrmann (1994) Idée: Idée: Regrouper des structures de pixels qui se chevauchent et découper ensuite les zones communes par une descente récursive. Lalgorithme CSC est un algorithme Merge & Split basé sur une topologie hiérarchique hexagonale avec recouvrements. shift Ilot niveau 1 pixel

18 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 18/31 Algorithme CSC (Color Structure Code) Pixel Ilot de niveau 0 Ilot de niveau 1 Ilot de niveau 2 Structure sous-jacente: arbre

19 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 19/31 Algorithme CSC (Color Structure Code) PHASE 1 : INITIALISATION Localement pour chaque îlot de niveau 0, on construit une partition en éléments (de niveau 0). élement = région de couleur homogène pixel élement (niveau 0) îlot (niveau 0)

20 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 20/31 Algorithme CSC (Color Structure Code) PHASE 2 : REGROUPEMENT Élément niveau 1 (n+1) Élément niveau 0 (n) On se place dans un ilôt de niveau n+1 (ici n=0, pour lexemple) Îlot de niveau 1 (n+1) On considère les éléments de niveau n contenus dans les îlots de niveau n Les éléments de niveau n sont regroupés en éléments de niveau n+1 si: Ils sont de couleur proche Ils se touchent Propriété: deux éléments de niveau n se touchent ssi ils possèdent au moins un élément de niveau n-1 en commun.

21 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 21/31 Algorithme CSC (Color Structure Code) PHASE 2 : REGROUPEMENT Les éléments sont structurés sous forme darbre, tout comme les îlots Elements de niveau n:Elements de niveau n+1:

22 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 22/31 PHASE 2bis : DECOUPAGE Le problème du chaînage déléments localement identiques nest pas résolu à ce stade (Problème du gradient) Lalgorithme CSC permet de gérer ce problème dans la phase de découpage, qui a lieu en parallèle de la phase de regroupement. Découpage: Que se passe-t-il dans la phase de regroupement lorsque deux éléments de niveau n sont connectés mais de couleurs incompatibles? ? Algorithme CSC (Color Structure Code)

23 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 23/31 élément E1 (n+1) élément E2 (n+1) îlot niveau n+1 îlot niveau n élément S (n) S attribué à E1 ou E2? Attribution à celui dont la couleur est la plus proche (ici E2) élément S2 (n) élément S1 (n) S nest pas encore complètement séparé de E1 car il reste une intersection avec S1 et S2 => découpage récursif Algorithme CSC (Color Structure Code) S appartient à la fois à E1 et E2 (sont existence est garantie par les propriétés du réseau de recouvrement hexagonal) DECOUPAGE

24 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 24/31 Algorithme CSC (Color Structure Code) AVANTAGES Méthode hybride locale/globale: permet de contrer le problème du gradient. Excellente découpe des frontières de zone Multi-échelle Intrinsèquement parallèle INCONVENIENTS Méthode très complexe Original Split & MergeAlgorithme CSC

25 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 25/31 Contours Actifs (snakes) Kass, Witkin, Terzopoulos (1987) Idée: Idée: Utiliser des courbes déformables qui sont « attirées » par les formes recherchées dans limage. Analogie avec la physique: fonction dénergie à minimiser. Un exemple classique Le « snake » se contracte et sadapte à la forme de lhorloge

26 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 26/31 Contours Actifs (snakes) Quest ce quun snake? P1P1 P2P2 P3P3 P4P4 P5P5 P6P6 P7P7 P8P8 P9P9 P 10 P 11 Propriétés intrinsèques Longueur, courbure… Propriétés locales de limage autour du snake

27 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 27/31 Contours Actifs (snakes) Comportement dynamique du snake? Minimiser lénergie totale (interne + externe) Calculer les forces à appliquer à chaque point de contrôle de telle sorte que lénergie soit minimisée

28 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 28/31 Contours Actifs (snakes) Exemple dénergie INTERNE:Energie élastique Comportement: tend à rétrécir le snake, tout en maintenant une répartition homogène des espaces entre les points de contrôle. Forme limite: le point. Force élastique sur le point de contrôle i

29 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 29/31 Contours Actifs (snakes) Exemple dénergie EXTERNE (Image): Contours en tant que maxima de la norme du gradient: Zones brillantes ou sombres: Répulsion dune zone: Exemple dénergie INTERNE:Energie de courbure Tend à redresser le snake et à limiter la courbure. Forme limite: le cercle

30 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 30/31 Contours Actifs (snakes) Energie élastique Energie de courbure Illustrations Zones brillantes

31 SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 31/31 Conclusion Existe-t-il une meilleure technique de segmentation? Non, tout dépend du contexte, de lapplication Dans sa catégorie (segmentation région selon couleur à base de merge/split), CSC est souvent le meilleur Mais le cerveau obtient de bien meilleurs résultats? Quelle est le secret? Problème difficile Pistes crédibles: - utilisation du contexte, vision liée aux objectifs, apprentissage, énorme bibliothèque dalgorithme spécifiques (reco visages par exemple) VISION ACTIVE Existe-t-il une « super technique », peut être encore inconnue, qui obtienne de très bon résultats en segmentation? Non, en labsence de contexte, la quantité dinformation disponible est limitée. Les algorithmes du type CSC ne sont probablement pas loin de loptimum.


Télécharger ppt "SEGMENTATION SEGMENTATION ES322 – Traitement dImages et Vision Artificielle Jean-Christophe Baillie 1/31 Cours de Segmentation PLAN Introduction Segmentation."

Présentations similaires


Annonces Google