La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Modélisation d'images par des graphes plans Émilie Samuel, Colin de la Higuera, Jean-Christophe Janodet.

Présentations similaires


Présentation au sujet: "1 Modélisation d'images par des graphes plans Émilie Samuel, Colin de la Higuera, Jean-Christophe Janodet."— Transcription de la présentation:

1 1 Modélisation d'images par des graphes plans Émilie Samuel, Colin de la Higuera, Jean-Christophe Janodet

2 SATTIC, juillet Plan 1. Enjeux 2. Méthode 3. Définitions 4. Les sommets du graphe 5. Les arêtes du graphe 6. Du graphe à limage 7. Résultats expérimentaux 8. Questions ouvertes

3 SATTIC, juillet Enjeux et objectifs Extraire des graphes à partir des images Graphes plans Autres possibilités ?

4 SATTIC, juillet Pourquoi des graphes ? Plus grande richesse de représentation que les mots et les arbres Plus grande complexité algorithmique

5 SATTIC, juillet Quelques alternatives (1) Les sommets sont les centres (?) de zones (de segmentation ?) et les arêtes signifient « frontière commune »

6 SATTIC, juillet Quelques alternatives (2) Les sommets sont des points dintérêt et les arêtes sont obtenues par triangulation

7 SATTIC, juillet Limage originale

8 SATTIC, juillet Quelques alternatives (3) On segmente. Les sommets sont des points dintersection et les arêtes sont obtenues par suivi des frontières Même graphe

9 SATTIC, juillet Graphes plans Travaux de Damiand, de la Higuera, Janodet, Samuel & Solnon Intérêt : les problèmes disomorphisme et de sous-isomorphisme deviennent solvables en temps polynomial

10 SATTIC, juillet Enjeux Extraire des graphes plans sémantiquement intéressants et robustes Sémantiquement intéressants= Le graphe « ressemble à limage » Le graphe permet une compression de limage

11 SATTIC, juillet Méthode 1. Segmenter une image 2. Extraire des pixels dintérêt 3. Convertir ces pixels en pointels 4. Choisir des arêtes correspondant aux lignels 5. Ajouter des arêtes par triangulation dans chaque zone

12 SATTIC, juillet Quelques définitions Pointels et lignels Graphes plans Perte

13 SATTIC, juillet

14 SATTIC, juillet Graphes plans a c d b e f g k j h i l a c b g j h i l

15 SATTIC, juillet p(I,i,j) : le pixel en position i, j de limage I d p (p 1,p 2 ): la différence entre les pixels p 1 et p 2 perte(I 1, I 2 ) = i,j d p (p(I 1, i, j), p(I 2, i, j)) n m Les images sont de taille n*m

16 SATTIC, juillet Choix des sommets Utilisation dun extracteur de pixels dintérêt Mais sur des images segmentées Convertir les pixels dintérêt en pointels dintérêt

17 SATTIC, juillet Le pingouin Le bruit influe Donc dabord segmenter ce qui contribue à lisser limage

18 SATTIC, juillet Segmentation ?? px Image segmentée, 7 régions)

19 SATTIC, juillet Autre segmentation autre image du contour d'une segmentation du manchot (10 régions)

20 SATTIC, juillet Extraction de pixels dintérêt sur les images segmentées 50 sommets 200 sommets 100 sommets

21 SATTIC, juillet Sur image originale

22 SATTIC, juillet Comparaison (100 pixels) Image segmentéeImage originale

23 SATTIC, juillet Des pixels aux pointels Enjeu: travailler dans R Quel(s) pointels associer à un pixel? Algorithme 1. Compléter les pixels par les pixels de coins 2. Ajouter les pixels dintersection 3. Pour chaque pixel prendre les pointels qui font « coin »

24 SATTIC, juillet Choix des pointels associés à un pixel

25 SATTIC, juillet Exemple

26 SATTIC, juillet Points dintérêt extraits

27 SATTIC, juillet Ajouts de pixels supplémentaires

28 SATTIC, juillet Pixels en pointels

29 SATTIC, juillet Pointels retenus

30 SATTIC, juillet Résumé Illustration des pixels extraits automatiquement, ajoutés aux pointels d'intersection, aux coins, et aux pixels non retenus

31 SATTIC, juillet Choix des arêtes On dispose dun ensemble de sommets, comment choisir les arêtes ? De façon à « retrouver » limage De façon à ce que les arêtes consolident limage (triangulation)

32 SATTIC, juillet Pointels retenus

33 SATTIC, juillet Suivi de frontière

34 SATTIC, juillet Sur le pingouin 81 sommets 145 sommets

35 SATTIC, juillet Pourquoi ajouter les pointels dintersection Avec Sans

36 SATTIC, juillet Deux graphes plans isomorphes Mais qui cessent de lêtre si on triangule

37 SATTIC, juillet Triangulation

38 SATTIC, juillet Du graphe à limage Pour pouvoir vérifier la qualité de notre graphe, il faut pouvoir reconstruire une image derrière Attention : il sagit de graphes enrichis avec 2 informations : Position des sommets Couleurs des zones Im(G,C,P)

39 SATTIC, juillet Du graphe à limage principe de la reconstruction d'une image à partir d'un graphe : pour les pixels non traversés par une ou des arêtes, il s'agit de la moyenne des couleurs des pixels de la région. Pour les pixels traversés, on considère chaque pointel. Chaque pointel a une couleur égale à la moyenne des 4 couleur de ses 4 pixels adjacents (couleur de la segmentation). Le pixel a alors comme couleur la moyenne des couleurs de ses 4 pointels.

40 SATTIC, juillet Segmentation 145 sommets 81 sommets Segmentation de base

41 SATTIC, juillet Résultats expérimentaux Berkeley Segmentation Dataset 300 images (481x321 RGB) du Corel Dataset 1633 segmentations différentes Nombre de régions de 2 à 20 D. Martin, C. Fowlkes, D. Tal, and J. Malik. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics. In Proc. 8th Int. Conf. Computer Vision, volume 2, pages 416–423. /CS/vision/grouping/segbench/.

42 SATTIC, juillet La base I IkIk

43 SATTIC, juillet Perte en fonction de la segmentation perte de l'image d'origine à l'image segmentée, en fonction du nombre de régions de la segmentation, et écarts-types.

44 SATTIC, juillet Comparaison avec lextraction directe Comparaison des valeurs des pertes avec notre méthode (bleu) ou une extraction directe des points sur l'image d'origine (rouge)

45 SATTIC, juillet Pertes relatives perte( I, I k ) et perte(G(I k,s), I k ) perte(, ) et perte(, ) s = nombre de pixels extraits k = nombre de régions de segmentation G(I k,s) Image correspondant au graphe obtenu en extrayant s pixels sur Ik

46 SATTIC, juillet sk|V| perte(I,I k ))perte(I k,G(I k,s)) For one image, losses corresponding to different levels of segmentation.

47 SATTIC, juillet Pour 2 images A et B sk|V|Perte(I,I k )Perte(I k,G(I k,s))Perte(I,G(I k,s)) A B

48 SATTIC, juillet Perte en fonction du nombre de pixels extraits Perte de l'image segmentée à l'image du graphe, en fonction du nombre de pixels d'intérêt extraits (et écarts-types)

49 SATTIC, juillet Combien de pointels pour un pixel ?

50 SATTIC, juillet Combien de pixels choisir ? Influence du nombre de régions sur le nombre de pointels, en fonction du nombre de pixels extraits

51 SATTIC, juillet Un mot sur les tailles I est limage (n.m) Im(G,C,P) est limage reconstruite à partir du graphe G à |V| sommets, du vecteur de couleurs C et du vecteur de positions P InmK I(G,C,P)|V|(log n+log m+3+K)

52 SATTIC, juillet Questions ouvertes Comment mesurer la robustesse de la construction ? Distance (dédition) entre graphes (triangulés) plans ? Pourquoi ajouter des pixels dintersection (et de coin) plutôt que des pointels ? ~samuel/extracting_plane_graphs/ ~samuel/extracting_plane_graphs/

53 SATTIC, juillet Bibliographie Extracting Plane Graphs from Images. A. Rosenfeld. Adjacency in digital pictures. Infor. and Control, 26(1):24–33, M. D. Santo, P. Foggia, C. Sansone, and M. Vento. A large database of graphs and its use for benchmarking graph isomorphism algorithms. Pattern Recognition Letters, 24(8):1067–1079, W. Tutte. A census of planar maps. Canad. J. Math., 15:249–271, 1963.

54 SATTIC, juillet S. Bres and J.-M. Jolion. Detection of interest points for image indexation. In Proc. VISUAL99, pages 427–434. LNCS 1614, D. Conte, P. Foggia, C. Sansone, and M. Vento. Thirty years of graph matching in pattern recognition. Pattern Recogn. and Artificial Intell., 18(3):265–298, G. Damiand, C. de la Higuera, J.-C. Janodet, E. Samuel, and C. Solnon. A polynomial algorithm for submap isomorphism: Application to searching patterns in images. In Proc. GbRPR09, pages 102–112. LNCS 5534, C. de la Higuera, J. Janodet, E. Samuel, G. Damiand, and C. Solnon. Polynomial algorithm for open plane graph and subgraph isomorphism. Work in progress. I. Fary. On straight-line representation of planar graphs. Acta Scientiarum Mathematicarum, 11:229–233, A. M. Finch, R. C.Wilson, and E. R. Hancock. Matching delaunay graphs. Pattern Recognition, 30(1):123–140, C. Harris and M. Stephens. A combined corner and edge detection. In Proceedings of the Fourth Alvey Vision Conference, pages 147–151, X. Jiang and H. Bunke. Optimal quadratic-time isomorphism of ordered graphs.Pattern Recognition, 32(7):1273–1283, 1999.

55 SATTIC, juillet W. Kropatsch and H. Macho. Finding the structure of connected components using dual irregular pyramids. In Proc. DGCI95, pages 147–158, ISBN P. Lienhardt. Topological models for boundary representation: a comparison with n-dimensional generalized maps. Computer-Aided Design, 23(1):59–82, D. G. Lowe. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 60(2):91–110, M. A. Lozano and F. Escolano. Protein classification by matching and clustering surface graphs. Pattern Recognition, 39(4):539–551, K. Riesen and H. Bunke. IAM graph database repository for graph based pattern recognition and machine learning. In Proc. S+SSPR08, pages 287– 297. LNCS 5342, K. Riesen and H. Bunke. Approximate graph edit distance computation by means of bipartite graph matching. Image Vision Comput., 27(7):950–959, 2009.


Télécharger ppt "1 Modélisation d'images par des graphes plans Émilie Samuel, Colin de la Higuera, Jean-Christophe Janodet."

Présentations similaires


Annonces Google