The City Scanning Project : Validation et Calcul Parallèle Olivier Koch Tuteur : Seth Teller.

Présentation au sujet: "The City Scanning Project : Validation et Calcul Parallèle Olivier Koch Tuteur : Seth Teller."— Transcription de la présentation:

1 The City Scanning Project : Validation et Calcul Parallèle Olivier Koch Tuteur : Seth Teller

2 Sommaire 1/ Présentation du projet 2/ Validation du code 3/ Calcul parallèle 4/ Quelques idées 5/ Calibration de caméras The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu

3 The City Scanning Project The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Reconstruction d’un modèle 3D d’environnement urbain à partir de photographies calibrées. Argus Technology Square

4 The City Scanning Project The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Noeuds

5 The City Scanning Project The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Détection d’arêtes

6 The City Scanning Project The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement Centre de la caméra Plan du sol Plan de la caméra arête

7 The City Scanning Project The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Centre de la caméra Plan du sol Plan de la caméra arête supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement

8 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Centre de la caméra Plan du sol Plan de la caméra arête supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement The City Scanning Project

9 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Centre de la caméra Plan du sol Plan de la caméra Plan horizontal supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement The City Scanning Project

10 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Centre de la caméra Plan du sol Plan de la caméra Plan horizontal Ligne horizontale supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement The City Scanning Project

11 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Centre de la caméra Plan du sol Plan de la caméra Plan horizontal Ligne horizontale supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement The City Scanning Project

12 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Centre de la caméra Plan du sol Plan de la caméra Plan horizontal Ligne horizontale supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement The City Scanning Project

13 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Centre de la caméra Plan du sol Plan de la caméra Plan horizontal Ligne horizontale supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement The City Scanning Project

14 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Centre de la caméra Plan du sol Ligne horizontale supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement The City Scanning Project

15 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Plan du sol Ligne horizontale supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement The City Scanning Project

16 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Plan du sol Ligne horizontale X Y Z   = azimuth de l’arête 3D supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement The City Scanning Project

17 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Les arêtes détectées … The City Scanning Project

18 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Les arêtes détectées… ont maintenant un azimuth ! azimuth codé par couleur. The City Scanning Project

19 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu histogramme des arêtes 0360 azimuth poids Orientation par rapport à l’Est The City Scanning Project

20 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu histogramme des arêtes 0360 azimuth poids The City Scanning Project

21 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu histogramme des arêtes 0360 azimuth poids The City Scanning Project

22 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu conserve les orientations supportées par 3 noeuds au moins 0360 azimuth poids  The City Scanning Project

23 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu détermine les arêtes correspondantes 0360 azimuth poids  The City Scanning Project

24 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu From : Extracting Textured Vertical Facades from Controlled Close-Range Imagery, S. Teller, S. Coorg in Proc. CVPR, pp. 625-632, June 1999. The City Scanning Project

25 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu cellule corrélation arêtes projetées Valeur de corrélation calculée axe Delta Delta The City Scanning Project

26 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu pas utilisé pour le parcours cellule corrélation axe Delta sommet The City Scanning Project

27 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu pas utilisé pour le parcours cellule corrélation axe Delta sommet The City Scanning Project

28 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu cellule corrélation axe Delta sommet The City Scanning Project

29 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu The City Scanning Project

30 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu The City Scanning Project

31 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu The City Scanning Project

32 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu The City Scanning Project

33 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu 1 1 1 1 1 1 2 2 2 The City Scanning Project

34 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu The City Scanning Project

35 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu The City Scanning Project

36 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu The City Scanning Project

37 Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu The City Scanning Project

38 Sommaire The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu 1/ Présentation du projet 2/ Validation du code 3/ Calcul parallèle 4/ Quelques idées 5/ Calibration de caméras

39 Validation du code The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu amélioration de la détection d’arêtes détection automatiquedétection manuelle

40 Code validation The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu amélioration de la détection d’arêtes détection automatique détection manuelle Validation du code

41 Code validation The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu filtre de polygones : supprime les polygones sans supports. Sans filtreAvec filtre Validation du code

42 Code validation The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu debuggage ALERTES BUGS Rational Purify CVD Fichiers de logs, constructeurs, … Validation du code

43 Sommaire The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu 1/ Présentation du projet 2/ Validation du code 3/ Calcul parallèle 4/ Quelques idées 5/ Calibration de caméras

44 Calcul parallèle The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu pourquoi paralléliser ? Non traité En cours de traitement traité machine IRIX cellules de la grille

45 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu pourquoi paralléliser ? Non traité En cours de traitement traité machine IRIX Calcul parallèle

46 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu pourquoi paralléliser ? Non traité En cours de traitement traité machine IRIX Calcul parallèle

47 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu pourquoi paralléliser ? Non traité En cours de traitement traité > 7 heures sur IRIX mono-processeur = Calcul parallèle

48 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Machine 1 Machine 2 Machine 3 Machine 5 Machine 4 Calcul parallèle première méthode

49 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu première méthode le CPU varie selon les machines le temps de traitement d’une cellule n’est pas constant Problème d’optimisation difficile… turpentine ray trace mosaic acetone hue panorama orange 2285 sec. 2678 2443 2131 2711 2342 1755 1939 Temps de calcul : 45 min. Ecart-type : 3.4 % Allocation statique Calcul parallèle

50 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Deuxième méthode Machine 1 Machine 2 Machine 3 Machine 5 Machine 4 Calcul parallèle

51 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Machine 1 Machine 2 Machine 3 Machine 5 Machine 4 Deuxième méthode Calcul parallèle

52 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Machine 1 Machine 2 Machine 3 Machine 5 Machine 4 Deuxième méthode Calcul parallèle

53 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Machine 1 Machine 2 Machine 3 Machine 5 Machine 4 Deuxième méthode Calcul parallèle

54 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Machine 1 Machine 2 Machine 3 Machine 5 Machine 4 Deuxième méthode Calcul parallèle

55 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Machine 1 Machine 2 Machine 3 Machine 5 Machine 4 Deuxième méthode Calcul parallèle

56 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu modele maître-esclave (MPI) maître esclave #1 esclave #2 esclave #3 esclave #4 esclave #5 maîtreesclave “Je suis libre” maîtreesclave “traité la cellule # xx” maîtreesclave “cellule #xx traitée” Schéma de communication Deuxième méthode Calcul parallèle

57 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu panorama turpentine acetone mosaic trace orange hue ray 1246.3 1248.5 1248.6 1250.0 1240.6 1250.3 1247.0 1243.0 1233.8 1249.1 1239.1 1250.5 1238.3 1255.6 1278.9 1276.0 1275.9 1277.2 1268.8 1230.4 Temps de calcul 21mn (sec.) Temps d’attente 6mn Temps de communication 3mn Ecart-type : 2.6 % Deuxième méthode Calcul parallèle

58 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu méthode 1 (rectangles) méthode 2 (dynamique) TempsGain méthode 2 plus rapide et plus flexible. dernière étape de reconstruction à paralléliser 45 min.10.0 30 min.15.2 (prend ~10 minutes sur une IRIX mono-processeur) Calcul parallèle

59 Sommaire The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu 1/ Présentation du projet 2/ Validation du code 3/ Calcul parallèle 4/ Quelques idées 5/ Calibration de caméras

60 Quelques idées The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu filtrage d’arêtes haute-fréquence

61 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu filtrage d’arêtes haute-fréquence Quelques idées

62 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Image booléennedétection des hautes-fréquences masque filtrage d’arêtes haute-fréquence Quelques idées

63 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu filtrage d’arêtes haute-fréquence Quelques idées

64 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu raffinement de la position des caméras Argus Position d’Argus Quelques idées

65 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Position d’Argus les robots oranges suivent le mouvement relatif d’Argus. raffinement de la position des caméras Quelques idées

66 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu utilisation de senseurs différents Ex : imagerie IR  Infrared Services Inc. Quelques idées

67 Sommaire The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu 1/ Présentation du projet 2/ Validation du code 3/ Calcul parallèle 4/ Quelques idées 5/ Calibration de caméras

68 Raffinement des caméras The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Campus du MIT

69 Raffinement des caméras The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Argus Positionnement au GPS Précision ~ 2m

70 Raffinement des caméras The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Ajustement de faisceaux Ancre dans le monde 3D

71 Raffinement des caméras The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Ajustement de faisceaux Ancre dans le monde 3D

72 Raffinement des caméras The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Vérification : géometrie épipolaire Ancre 3D Caméra 1 Caméra 2

73 Raffinement des caméras The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu Caméra 2Caméra 1 Caméra 3Caméra 4

74 Conclusion The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu  Infrared Services Inc. Conclusion validation du code de reconstruction sur Tech Square parallélisation de la partie la plus “lourde” gain de temps d’un facteur 15 sur un cluster de 15 IRIX Etapes suivantes raffinement de la position des caméras envoi du code sous Linux

75 Remerciements  Infrared Services Inc. Seth Teller, MIT Computer Graphics Group Francoise Levy-dit-Vehel, ENSTA l’équipe du MIT Computer Graphics Group les personnes qui m’ont écouté aujourd’hui la chance…

76 The City Scanning Project – validation and parallel algorithms – July 2002 – koch@graphics.lcs.mit.edu  Infrared Services Inc.