1 Modélisation d'images par des graphes plans Émilie Samuel, Colin de la Higuera, Jean-Christophe Janodet.

Présentation au sujet: "1 Modélisation d'images par des graphes plans Émilie Samuel, Colin de la Higuera, Jean-Christophe Janodet."— Transcription de la présentation:

1 1 Modélisation d'images par des graphes plans Émilie Samuel, Colin de la Higuera, Jean-Christophe Janodet

2 SATTIC, juillet 2010 2 Plan 1. Enjeux 2. Méthode 3. Définitions 4. Les sommets du graphe 5. Les arêtes du graphe 6. Du graphe à limage 7. Résultats expérimentaux 8. Questions ouvertes

3 SATTIC, juillet 2010 3 1 Enjeux et objectifs Extraire des graphes à partir des images Graphes plans Autres possibilités ?

4 SATTIC, juillet 2010 4 Pourquoi des graphes ? Plus grande richesse de représentation que les mots et les arbres Plus grande complexité algorithmique

5 SATTIC, juillet 2010 5 Quelques alternatives (1) Les sommets sont les centres (?) de zones (de segmentation ?) et les arêtes signifient « frontière commune »

6 SATTIC, juillet 2010 6 Quelques alternatives (2) Les sommets sont des points dintérêt et les arêtes sont obtenues par triangulation

7 SATTIC, juillet 2010 7 Limage originale

8 SATTIC, juillet 2010 8 Quelques alternatives (3) On segmente. Les sommets sont des points dintersection et les arêtes sont obtenues par suivi des frontières Même graphe

9 SATTIC, juillet 2010 9 Graphes plans Travaux de Damiand, de la Higuera, Janodet, Samuel & Solnon Intérêt : les problèmes disomorphisme et de sous-isomorphisme deviennent solvables en temps polynomial

10 SATTIC, juillet 2010 10 Enjeux Extraire des graphes plans sémantiquement intéressants et robustes Sémantiquement intéressants= Le graphe « ressemble à limage » Le graphe permet une compression de limage

11 SATTIC, juillet 2010 11 2 Méthode 1. Segmenter une image 2. Extraire des pixels dintérêt 3. Convertir ces pixels en pointels 4. Choisir des arêtes correspondant aux lignels 5. Ajouter des arêtes par triangulation dans chaque zone

12 SATTIC, juillet 2010 12 3 Quelques définitions Pointels et lignels Graphes plans Perte

13 SATTIC, juillet 2010 13

14 SATTIC, juillet 2010 14 Graphes plans a c d b e f g k j h i l a c b g j h i l

15 SATTIC, juillet 2010 15 p(I,i,j) : le pixel en position i, j de limage I d p (p 1,p 2 ): la différence entre les pixels p 1 et p 2 perte(I 1, I 2 ) = i,j d p (p(I 1, i, j), p(I 2, i, j)) n m Les images sont de taille n*m

16 SATTIC, juillet 2010 16 4 Choix des sommets Utilisation dun extracteur de pixels dintérêt Mais sur des images segmentées Convertir les pixels dintérêt en pointels dintérêt

17 SATTIC, juillet 2010 17 Le pingouin Le bruit influe Donc dabord segmenter ce qui contribue à lisser limage

18 SATTIC, juillet 2010 18 Segmentation ?? px Image segmentée, 7 régions)

19 SATTIC, juillet 2010 19 Autre segmentation autre image du contour d'une segmentation du manchot (10 régions)

20 SATTIC, juillet 2010 20 Extraction de pixels dintérêt sur les images segmentées 50 sommets 200 sommets 100 sommets

21 SATTIC, juillet 2010 21 Sur image originale

22 SATTIC, juillet 2010 22 Comparaison (100 pixels) Image segmentéeImage originale

23 SATTIC, juillet 2010 23 Des pixels aux pointels Enjeu: travailler dans R Quel(s) pointels associer à un pixel? Algorithme 1. Compléter les pixels par les pixels de coins 2. Ajouter les pixels dintersection 3. Pour chaque pixel prendre les pointels qui font « coin »

24 SATTIC, juillet 2010 24 Choix des pointels associés à un pixel

25 SATTIC, juillet 2010 25 Exemple

26 SATTIC, juillet 2010 26 Points dintérêt extraits

27 SATTIC, juillet 2010 27 Ajouts de pixels supplémentaires

28 SATTIC, juillet 2010 28 Pixels en pointels

29 SATTIC, juillet 2010 29 Pointels retenus

30 SATTIC, juillet 2010 30 Résumé Illustration des pixels extraits automatiquement, ajoutés aux pointels d'intersection, aux coins, et aux pixels non retenus

31 SATTIC, juillet 2010 31 5 Choix des arêtes On dispose dun ensemble de sommets, comment choisir les arêtes ? De façon à « retrouver » limage De façon à ce que les arêtes consolident limage (triangulation)

32 SATTIC, juillet 2010 32 Pointels retenus

33 SATTIC, juillet 2010 33 Suivi de frontière

34 SATTIC, juillet 2010 34 Sur le pingouin 81 sommets 145 sommets

35 SATTIC, juillet 2010 35 Pourquoi ajouter les pointels dintersection Avec Sans

36 SATTIC, juillet 2010 36 Deux graphes plans isomorphes Mais qui cessent de lêtre si on triangule

37 SATTIC, juillet 2010 37 Triangulation

38 SATTIC, juillet 2010 38 6 Du graphe à limage Pour pouvoir vérifier la qualité de notre graphe, il faut pouvoir reconstruire une image derrière Attention : il sagit de graphes enrichis avec 2 informations : Position des sommets Couleurs des zones Im(G,C,P)

39 SATTIC, juillet 2010 39 Du graphe à limage principe de la reconstruction d'une image à partir d'un graphe : pour les pixels non traversés par une ou des arêtes, il s'agit de la moyenne des couleurs des pixels de la région. Pour les pixels traversés, on considère chaque pointel. Chaque pointel a une couleur égale à la moyenne des 4 couleur de ses 4 pixels adjacents (couleur de la segmentation). Le pixel a alors comme couleur la moyenne des couleurs de ses 4 pointels.

40 SATTIC, juillet 2010 40 Segmentation 145 sommets 81 sommets Segmentation de base

41 SATTIC, juillet 2010 41 7 Résultats expérimentaux Berkeley Segmentation Dataset 300 images (481x321 RGB) du Corel Dataset 1633 segmentations différentes Nombre de régions de 2 à 20 D. Martin, C. Fowlkes, D. Tal, and J. Malik. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics. In Proc. 8th Int. Conf. Computer Vision, volume 2, pages 416–423. http://www.eecs.berkeley.edu/Research/Projects /CS/vision/grouping/segbench/.

42 SATTIC, juillet 2010 42 7.1 La base I IkIk

43 SATTIC, juillet 2010 43 Perte en fonction de la segmentation perte de l'image d'origine à l'image segmentée, en fonction du nombre de régions de la segmentation, et écarts-types.

44 SATTIC, juillet 2010 44 7.2 Comparaison avec lextraction directe Comparaison des valeurs des pertes avec notre méthode (bleu) ou une extraction directe des points sur l'image d'origine (rouge)

45 SATTIC, juillet 2010 45 7.3 Pertes relatives perte( I, I k ) et perte(G(I k,s), I k ) perte(, ) et perte(, ) s = nombre de pixels extraits k = nombre de régions de segmentation G(I k,s) Image correspondant au graphe obtenu en extrayant s pixels sur Ik

46 SATTIC, juillet 2010 46 sk|V| perte(I,I k ))perte(I k,G(I k,s)) 5031040.0840.006 5071230.0840.005 5091750.0840.006 50131490.0840.007 50202070.0830.007 For one image, losses corresponding to different levels of segmentation.

47 SATTIC, juillet 2010 47 Pour 2 images A et B sk|V|Perte(I,I k )Perte(I k,G(I k,s))Perte(I,G(I k,s)) A 8071820.0840.0040.088 20181880.0760.0230.098 B 80111460.1660.0090.175 20251450.1660.0220.188

48 SATTIC, juillet 2010 48 7.4 Perte en fonction du nombre de pixels extraits Perte de l'image segmentée à l'image du graphe, en fonction du nombre de pixels d'intérêt extraits (et écarts-types)

49 SATTIC, juillet 2010 49 Combien de pointels pour un pixel ?

50 SATTIC, juillet 2010 50 Combien de pixels choisir ? Influence du nombre de régions sur le nombre de pointels, en fonction du nombre de pixels extraits

51 SATTIC, juillet 2010 51 Un mot sur les tailles I est limage (n.m) Im(G,C,P) est limage reconstruite à partir du graphe G à |V| sommets, du vecteur de couleurs C et du vecteur de positions P InmK I(G,C,P)|V|(log n+log m+3+K)

52 SATTIC, juillet 2010 52 8 Questions ouvertes Comment mesurer la robustesse de la construction ? Distance (dédition) entre graphes (triangulés) plans ? Pourquoi ajouter des pixels dintersection (et de coin) plutôt que des pointels ? http://labh-curien.univ-st-etienne.fr/ ~samuel/extracting_plane_graphs/ http://labh-curien.univ-st-etienne.fr/ ~samuel/extracting_plane_graphs/

53 SATTIC, juillet 2010 53 Bibliographie Extracting Plane Graphs from Images. A. Rosenfeld. Adjacency in digital pictures. Infor. and Control, 26(1):24–33, 1974. M. D. Santo, P. Foggia, C. Sansone, and M. Vento. A large database of graphs and its use for benchmarking graph isomorphism algorithms. Pattern Recognition Letters, 24(8):1067–1079, 2003. W. Tutte. A census of planar maps. Canad. J. Math., 15:249–271, 1963.

54 SATTIC, juillet 2010 54 S. Bres and J.-M. Jolion. Detection of interest points for image indexation. In Proc. VISUAL99, pages 427–434. LNCS 1614, 1999. D. Conte, P. Foggia, C. Sansone, and M. Vento. Thirty years of graph matching in pattern recognition. Pattern Recogn. and Artificial Intell., 18(3):265–298, 2004. G. Damiand, C. de la Higuera, J.-C. Janodet, E. Samuel, and C. Solnon. A polynomial algorithm for submap isomorphism: Application to searching patterns in images. In Proc. GbRPR09, pages 102–112. LNCS 5534, 2009. C. de la Higuera, J. Janodet, E. Samuel, G. Damiand, and C. Solnon. Polynomial algorithm for open plane graph and subgraph isomorphism. Work in progress. I. Fary. On straight-line representation of planar graphs. Acta Scientiarum Mathematicarum, 11:229–233, 1948. A. M. Finch, R. C.Wilson, and E. R. Hancock. Matching delaunay graphs. Pattern Recognition, 30(1):123–140, 1997. C. Harris and M. Stephens. A combined corner and edge detection. In Proceedings of the Fourth Alvey Vision Conference, pages 147–151, 1988. X. Jiang and H. Bunke. Optimal quadratic-time isomorphism of ordered graphs.Pattern Recognition, 32(7):1273–1283, 1999.

55 SATTIC, juillet 2010 55 W. Kropatsch and H. Macho. Finding the structure of connected components using dual irregular pyramids. In Proc. DGCI95, pages 147–158, 1995. ISBN 2-87663-040-0. P. Lienhardt. Topological models for boundary representation: a comparison with n-dimensional generalized maps. Computer-Aided Design, 23(1):59–82, 1991. D. G. Lowe. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 60(2):91–110, 2004. M. A. Lozano and F. Escolano. Protein classification by matching and clustering surface graphs. Pattern Recognition, 39(4):539–551, 2006. K. Riesen and H. Bunke. IAM graph database repository for graph based pattern recognition and machine learning. In Proc. S+SSPR08, pages 287– 297. LNCS 5342, 2008. K. Riesen and H. Bunke. Approximate graph edit distance computation by means of bipartite graph matching. Image Vision Comput., 27(7):950–959, 2009.