Modèles Mathématiques et représentation discrètes pour la description des images couleur Luc Brun.

Présentation au sujet: "Modèles Mathématiques et représentation discrètes pour la description des images couleur Luc Brun."— Transcription de la présentation:

1 Modèles Mathématiques et représentation discrètes pour la description des images couleur Luc Brun

2 De quoi allons nous parler ? Définitions (Image, partition …) La segmentation Les structures de données Un modèle combinant des informations géométriques et topologiques

3 De quoi ne parlerons nous pas ? Structures de données hiérarchiques Algorithmes de segmentation

4 Définitions: Image

5

6 Image Définitions Grille discrète 2D Pixel Voisinage 02345671 0 1 2 4 3 5 6

7 Région Définitions Région : –Ensemble 4 ou 8 connexe de pixels * P Q

8 Partition Définitions Partition : Composante connexe : 02345671 0 1 2 4 3 5 6 02345671 0 1 2 4 3 5 6 Ensemble de régions adjacentes inclues dans une autre région.

9 Définitions / Segmentation Questions ? Image Région Partition Composante connexe

10 La segmentation {S 1,…, S n } segmentation de X ssi :

11 La segmentation {S 1,…, S 5 } segmentation de X ssi : –P : couleur identique S1S1 S3S3 S5S5 S4S4 S2S2

12 Les méthodes de segmentation Détection de contours (P. Lambert ) Régions –agrégation et fusion (L. Macaire) –Découpes –Découpes et fusions

13 Détection de contours Caractériser la frontière entre les régions

14 Détection de contours Seuil Fermeture de contours

15 Les méthodes d ’agrégation et fusion Effectuer une sur-segmentation Fusionner toutes les régions dont l’union reste homogène.

16 Les méthodes d ’agrégation et fusion Agrégation : Régions initiales d ’un pixel Fusion : Région initiales quelconques Sensible à la stratégie de fusion Union-find (agrégation)

17 Les méthodes de découpe Effectuer une sous-segmentation Découper toutes les régions non-homogènes.

18 Les méthodes de découpe Création de couple de région dont l ’union reste homogène.

19 Les méthodes de découpe et fusion Segmentation initiale quelconque –Découper toutes les régions non homogènes –Fusionner toute les régions adjacentes dont l’union reste homogène.

20 Exemple de découpe-fusion Alternance de découpes et fusions

21 Segmentation/Structures de données Questions ? Détection de contours Agrégation Fusion Découpe Découpe-Fusion

22 Stocker la partition Accès à deux types d’informations : –Informations Géométriques –Informations Topologiques

23 Informations géométriques Ensemble des pixels d’une région. Région englobant un pixel Frontière d’une région

24 Informations Topologiques Ensemble des voisins d’une région Frontière entre deux régions Composantes connexes incluses Région englobante

25 Structures Géométriques

26 Tableau de labels Numéroter les pixels : L

27 Tableaux de labels

28 Tableau de labels Avantages –Extrêmement simple –Accès à la majorité des informations géométriques Inconvénients –Pas d’information de frontière –Pas compacte

29 Quadtree Décomposition récursive de l’image

30 Quadtree Avantages –Accès efficace aux informations géométriques –Possibilité de Multi-résolution Inconvénients –Restreint les découpes et les fusions

31 Codage par plages (Run Length encoding) Ne coder que les extrémités des segments 0 1 2 3 4 5 6 76543210 3 4 5 1256 16 16

32 Codage par plages Avantages –Compression d ’informations –Parcourt aisé de l’ensemble des pixels Inconvénients –Pas d’information de frontière

33 Transformation par axe médian (MAT) BB-MAT (ou DB-MAT) plus grand carré (ou disque) inclus dans la région.

34 Transformation par axe médian (MAT) BB-MAT (ou DB-MAT) plus grand carré (ou disque) inclus dans la région.

35 Transformation par axe médian Avantages –Représentation compacte –Axe médian : Informations sur la forme de la région  Reconnaissance de formes Inconvénients –Pas adapté aux découpes et fusions

36 Représentation par frontière Ne coder que les points frontières

37 Représentation par frontière Avantages –Informations de frontières Inconvénients –Ambiguïté sur la localisation de la frontière –Pas d’informations topologiques

38 Structures Topologiques

39 Graphe d ’adjacence de régions (RAG) Graphe : G=(V,E) –Un nœud par région –Une arête par relation d ’adjacence entre régions

40 Graphe d’adjacence de régions Avantages –Codage compact de nombreuses propriétés topologiques Inconvénients –Difficultés de mises à jour lors des découpes –Ne code pas la frontière d’une région

41 Graphes duaux Deux graphes codant les adjacences de régions et les relations entre segments.

42 Graphes duaux Deux graphes codant les adjacences de régions et les relations entre segments.

43 Graphes duaux Avantages –Codage des adjacences de régions –Codage de la frontières des régions Inconvénients –Codage et maintenance de deux structures –Pas d’informations géométriques

44 Les structures de données Structures de données de base –enrichies –combinées Dédiées à la Géométrie ou la Topologie

45 Les structures de données Accès rapide à peu d’informations –Agrégation : Tableaux de labels –Fusions : Graphe d’adjacence de régions –Découpe-Fusions : Quadtrees

46 Structures de données / Modèle Questions ? Tableau de labels Quadtrees Codage par plages Axe médian Graphe d ’adjacence Graphes duaux

47 Le modèle Combiner des informations : –Géométrique Forme des régions Frontières –Topologiques Voisinage Inclusions

48 Niveau Géométrique Chemins inter-pixels : –Placer les frontières en dehors de l’image Points de coordonnées demis-entières -0.5 1.5 -0.5 1.5 2.5 3.5 4.5 5.5 6.5 0.5 2.53.54.55.56.50.57.5

49 Niveau Géométrique Chemins inter-pixels :

50 Niveau géométrique Les segments et les nœuds –segment : Chemin maximum entre deux régions –nœud : intersection de plusieurs segments g d h b -0.5 1.5 2.5 3.5 4.5 5.5 6.5 0.5 2.5 3.54.55.56.5 -0.5 7.50.5 1.5

51 Niveau géométrique Les segments et les nœuds –segment : Chemin maximum entre deux régions –nœud : intersection de plusieurs segments S1S1 S3S3 S2S2 S4S4 S5S5 S6S6

52 Chemins inter-pixels Avantages –Informations de frontières –Codage compact –Pas d’ambiguïté sur le placement des frontières Inconvénients –Pas d’informations topologiques

53 Cartes Combinatoires / graphes duaux S1S1 S3S3 S2S2 S4S4 S5S5 S6S6

54 Cartes Combinatoires Une seule structure pour coder les deux graphes. S1S1 S3S3 S2S2 S4S4 S5S5 S6S6 3 -3 4 -4 5 -5 -2 6 -6 12

55 Cartes Combinatoires Définitions de base Ensemble D Permutation : application bijective de D dans D –Orbite de b  D suivant  :  * (b) = {b,  (b),  2 (b),  3 (b),  4 (b),  5 (b),…} –Décomposition en cycles  =  * (b 1 )  * (b 2 )  * (b 3 )  * (b 4 )...

56 Cartes Combinatoires Exemple de permutation Permutation  : Orbites :  * (1) = {1,3,6}  * (2)={2,10,9,8,5}  * (4)={4},  *(7)={7} Cycles :

57 Cartes Combinatoires Définition G=(V,E)  G=(D, ,  ) –Décomposer chaque arête en deux demi- arêtes(brin) : 2 3 -3 4 -4 5 -5 -2 6 -6 1 -  : Codage des arêtes. D ={-6,…,-1,1,…,6}

58 Cartes Combinatoires Définition G=(D, ,  ) –  : Codage des sommets  * (1)=(1,  * (1)=(1,3  * (1)=(1,3,2) 12 3 -3 4 -4 5 -5 -2 6 -6

59 Cartes Combinatoires Définition Récapitulatif : G=(D, ,  ) –Elément de base : demi-arête (brin) –Chaque brin appartient à un sommet –Arêtes définies par les orbites de  –Sommets définis par les orbites de 

60 Cartes Combinatoires Propriétés Passage au dual : –G=(D, ,  )  G=(D,  =   ,  )  * (-1)=(-1,  * (-1)=(-1,3  * (-1)=(-1,3,4  * (-1)=(-1,3,4,6) 1 2 3 -3 4 -4 5 -5 -2 6 -6

61 Cartes Combinatoires Propriétés Chaque brin appartient à un seul sommet (cycle de  ) Chaque brin appartient à une seule face (cycle de  )

62 Cartes Combinatoires Propriétés Dual : G=(D,  =   ,  ) –Tous les brins d’une orbite « voient » leurs face associées à main droite. 1 2 3 -3 4 -4 5 -5 -2 6 -6

63 Cartes Combinatoires Propriétés Dual : G=(D,  =   ,  ) –Toutes les faces sauf une, sont parcourues dans le sens négatif (horaire). –La face orientée dans le sens positif est appelée la face infinie : f  Extérieur Composante connexe 1 2 3 -3 4 -4 5 -5 -2 6 -6 f  =(1,-2)

64 Cartes Combinatoires Propriétés Exemple de face infinie : f1f1 f2f2 f3f3 f4f4

65 Cartes Combinatoires G=(D, ,  ) –Codage des arêtes :  –Codage des sommets :  –Codage des faces :  =    Codage implicite  Fonctions d ’étiquetage

66 Cartes Combinatoires Fonctions d’étiquetage Etiquette de face : Une face  une orbite de   constante sur chaque orbite  { {{ { (1) (-1) (-6) (5) 3 -3 4 -4 5 -5 -2 6 -6 12

67 Cartes Combinatoires Fonctions d’étiquetage Les fonctions d’étiquetage: 3 -3 4 -4 5 -5 -2 6 -6 12

68 Implémentation Niveau Topologique Stockage par des tableaux d ’entiers -5 6 -4 6 4 -6 -2 3 1 2 5 -3 -6 -5 -4 -3 -2 1 2 3 4 5  6 4 -6 -5 -4 -3 -2 1 2 3 4 5 3 1 4 1 4 2 2 1 4 1 3 1 2 3 4 -6 -4 -2

69 Le modèle Liaison géométrie-topologie –Nœuds et sommets –Segments et arêtes –Régions et faces 1 2 3 -3 4 -4 5 -5 -2 6 -6

70 Gestion des relations d’inclusions 1 2 3 -3 4 -4 5 -5 -2 6 -6

71 Gestion des relations d’inclusions 1 2 -2

72 Gestion des relations d’inclusions Ensemble des composantes connexes incluses : la fonction fille f f1f1 f2f2 f3f3 f4f4 fille(f) = { f 1 , f 2 , f 3 , f 4  }

73 Gestion des relations d’inclusions Région englobant une composante connexe : la fonction mère ff f mère(f  )= f

74 Gestion des relations d ’inclusions –mère : face finie incluant une composante connexe –fille : ensemble des composantes connexes incluses 1 2 -2

75 Modèle : Définition / Utilisation Questions ? Chemins inter-pixels Nœuds, segments Brins Permutations , ,  Fonctions, -1 Fonctions mère, fille

76 Informations Géométriques Frontière : 1 2 3 -3 4 -4 5 -5 -2 6 -6 f fS -6, S -5, S -3, S 2 S -6 S2S2 S -3 S -5

77 Informations Géométriques Ensemble des pixels d’une région –Parcourir la frontière –Positionner des drapeaux  Codage par plage -0.5 1.5 -0.5 1.5 2.5 3.5 4.5 5.5 6.5 0.5 2.53.54.55.56.50.57.5

78 Informations Géométriques Intersection de deux régions : 1 2 3 -3 4 -4 5 -5 -2 6 -6 f1f1 f2f2 f1f1 f2f2 S 6 et S 3 6 et 3

79 Informations Géométriques Région englobant un pixel -0.5 1.5 -0.5 1.5 2.5 3.5 4.5 5.5 6.5 0.5 2.53.54.55.56.50.57.5 1) Lancer une sonde 2) Suivre le segment 1 2 3 -3 4 -4 5 -5 -2 6 -6 3) Nœud-Sommet 4) Segment-brin 5) brin-face (-1)

80 Informations Topologiques Voisinage extérieur –Deux faces sont adjacentes ssi elles ont une arête en commun : 3 -3 4 -4 5 -5 -2 6 -6 f1f1 f2f2 f3f3 ff

81 Informations Topologiques Voisinage extérieur 1 2 3 -3 4 -4 5 -5 -2 6 -6 f1f1 f2f2 1 -3 -4 -6 f3f3 ff (1) (-3) (-4) (-6) ff f2f2 f3f3 V ext (f 1 )=

82 Informations Topologiques Voisinage extérieur f

83 Informations Topologiques Voisinage général f

84 Informations Topologiques Remarque : Les voisinages extérieurs et généralisés peuvent être utilisés pour définir des bases de voisinages fondamentaux  Topologies

85 Modifications de la partition Découpe 1 2 -2 1) Tracer le segment 3 -3 2) Insérer les sommets 3) Insérer l ’arête

86 Modifications de la partition Fusion 1 2 -2 3 -3

87 Modifications de la partition Fusion 1 2 -2 1) Supprimer le segment 3 -3

88 Modifications de la partition Fusion 1 2 -2 1) Supprimer le segment 2) Supprimer l ’arête

89 Modifications de la partition Fusion 1) Supprimer le segment 2) Supprimer l ’arête 3) Supprimer le sommet

90 Modifications de la partition Simplifications : –Gestion des faces infinies –Gestions des relations d’inclusions –Gestion des labels

91 Utilisation du Modèle / Segmentation Questions ? Frontière d ’une région Ensemble des pixels Intersection de deux régions Région englobante Voisinages extérieur / général Modifications de la partition

92 Algorithme de segmentation en Régions Agrégation Fusion Découpe Découpe-Fusion

93 Interactions : Modèle / Segmentation en régions –Sélection d’une région Association point / région Fonctions de Labels Voisinages –Découpe Fonctions de parcourt Mise à jour du modèle –Fusions: Voisinages Calculs ou mise à jour d ’attributs Mise à jour du modèle

94 Choix de la structure de données Difficulté sur –Le prédicat P Déterminer les opérations les plus courantes Choisir une structure de données « classique » – Algorithmique Structure de données complexe

95 Difficultés de la segmentation Prédicat P non universel

96 Deux approches « classiques » de la segmentation Segmentation non supervisée. –Sémantique incorporée à l’algorithme Segmentation supervisée (classification) –Sémantique induite par l’apprentissage Segmentation

97 Propriétés des approches supervisés et non supervisées Pré-compilation du prédicat P –Rapides –Bons résultats –Classe d ’image réduite

98 Segmentation Interactive L ’utilisateur désigne : –La région à travailler (association point-région) –L ’algorithme de Découpe Fusion Découpe-fusion

99 Exemple de session Image originale Découpe Fusion SélectionDécoupeFusionSélection Découpe-Fusion Edition Suppression/Sélection Découpe Edition Découpe Edition Découpe-Fusion Edition