The City Scanning Project : Validation et Calcul Parallèle Olivier Koch Tuteur : Seth Teller

Sommaire 1/ Présentation du projet 2/ Validation du code 3/ Calcul parallèle 4/ Quelques idées 5/ Calibration de caméras The City Scanning Project – validation and parallel algorithms – July 2002 –

The City Scanning Project The City Scanning Project – validation and parallel algorithms – July 2002 – Reconstruction d’un modèle 3D d’environnement urbain à partir de photographies calibrées. Argus Technology Square

The City Scanning Project The City Scanning Project – validation and parallel algorithms – July 2002 – Noeuds

The City Scanning Project The City Scanning Project – validation and parallel algorithms – July 2002 – Détection d’arêtes

The City Scanning Project The City Scanning Project – validation and parallel algorithms – July 2002 – supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement Centre de la caméra Plan du sol Plan de la caméra arête

The City Scanning Project The City Scanning Project – validation and parallel algorithms – July 2002 – Centre de la caméra Plan du sol Plan de la caméra arête supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – Centre de la caméra Plan du sol Plan de la caméra arête supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – Centre de la caméra Plan du sol Plan de la caméra Plan horizontal supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – Centre de la caméra Plan du sol Plan de la caméra Plan horizontal Ligne horizontale supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – Centre de la caméra Plan du sol Plan de la caméra Plan horizontal Ligne horizontale supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – Centre de la caméra Plan du sol Plan de la caméra Plan horizontal Ligne horizontale supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – Centre de la caméra Plan du sol Plan de la caméra Plan horizontal Ligne horizontale supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – Centre de la caméra Plan du sol Ligne horizontale supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – Plan du sol Ligne horizontale supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – Plan du sol Ligne horizontale X Y Z   = azimuth de l’arête 3D supposition : arêtes horizontales en 3D calcul de l’orientation des arêtes dans l’environnement The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – Les arêtes détectées … The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – Les arêtes détectées… ont maintenant un azimuth ! azimuth codé par couleur. The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – histogramme des arêtes 0360 azimuth poids Orientation par rapport à l’Est The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – histogramme des arêtes 0360 azimuth poids The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – histogramme des arêtes 0360 azimuth poids The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – conserve les orientations supportées par 3 noeuds au moins 0360 azimuth poids  The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – détermine les arêtes correspondantes 0360 azimuth poids  The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – From : Extracting Textured Vertical Facades from Controlled Close-Range Imagery, S. Teller, S. Coorg in Proc. CVPR, pp , June The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – cellule corrélation arêtes projetées Valeur de corrélation calculée axe Delta Delta The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – pas utilisé pour le parcours cellule corrélation axe Delta sommet The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – pas utilisé pour le parcours cellule corrélation axe Delta sommet The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – cellule corrélation axe Delta sommet The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – The City Scanning Project

Project overview The City Scanning Project – validation and parallel algorithms – July 2002 – The City Scanning Project

Sommaire The City Scanning Project – validation and parallel algorithms – July 2002 – 1/ Présentation du projet 2/ Validation du code 3/ Calcul parallèle 4/ Quelques idées 5/ Calibration de caméras

Validation du code The City Scanning Project – validation and parallel algorithms – July 2002 – amélioration de la détection d’arêtes détection automatiquedétection manuelle

Code validation The City Scanning Project – validation and parallel algorithms – July 2002 – amélioration de la détection d’arêtes détection automatique détection manuelle Validation du code

Code validation The City Scanning Project – validation and parallel algorithms – July 2002 – filtre de polygones : supprime les polygones sans supports. Sans filtreAvec filtre Validation du code

Code validation The City Scanning Project – validation and parallel algorithms – July 2002 – debuggage ALERTES BUGS Rational Purify CVD Fichiers de logs, constructeurs, … Validation du code

Sommaire The City Scanning Project – validation and parallel algorithms – July 2002 – 1/ Présentation du projet 2/ Validation du code 3/ Calcul parallèle 4/ Quelques idées 5/ Calibration de caméras

Calcul parallèle The City Scanning Project – validation and parallel algorithms – July 2002 – pourquoi paralléliser ? Non traité En cours de traitement traité machine IRIX cellules de la grille

The City Scanning Project – validation and parallel algorithms – July 2002 – pourquoi paralléliser ? Non traité En cours de traitement traité machine IRIX Calcul parallèle

The City Scanning Project – validation and parallel algorithms – July 2002 – pourquoi paralléliser ? Non traité En cours de traitement traité machine IRIX Calcul parallèle

The City Scanning Project – validation and parallel algorithms – July 2002 – pourquoi paralléliser ? Non traité En cours de traitement traité > 7 heures sur IRIX mono-processeur = Calcul parallèle

The City Scanning Project – validation and parallel algorithms – July 2002 – Machine 1 Machine 2 Machine 3 Machine 5 Machine 4 Calcul parallèle première méthode

The City Scanning Project – validation and parallel algorithms – July 2002 – première méthode le CPU varie selon les machines le temps de traitement d’une cellule n’est pas constant Problème d’optimisation difficile… turpentine ray trace mosaic acetone hue panorama orange 2285 sec Temps de calcul : 45 min. Ecart-type : 3.4 % Allocation statique Calcul parallèle

The City Scanning Project – validation and parallel algorithms – July 2002 – Deuxième méthode Machine 1 Machine 2 Machine 3 Machine 5 Machine 4 Calcul parallèle

The City Scanning Project – validation and parallel algorithms – July 2002 – Machine 1 Machine 2 Machine 3 Machine 5 Machine 4 Deuxième méthode Calcul parallèle

The City Scanning Project – validation and parallel algorithms – July 2002 – Machine 1 Machine 2 Machine 3 Machine 5 Machine 4 Deuxième méthode Calcul parallèle

The City Scanning Project – validation and parallel algorithms – July 2002 – Machine 1 Machine 2 Machine 3 Machine 5 Machine 4 Deuxième méthode Calcul parallèle

The City Scanning Project – validation and parallel algorithms – July 2002 – Machine 1 Machine 2 Machine 3 Machine 5 Machine 4 Deuxième méthode Calcul parallèle

The City Scanning Project – validation and parallel algorithms – July 2002 – Machine 1 Machine 2 Machine 3 Machine 5 Machine 4 Deuxième méthode Calcul parallèle

The City Scanning Project – validation and parallel algorithms – July 2002 – modele maître-esclave (MPI) maître esclave #1 esclave #2 esclave #3 esclave #4 esclave #5 maîtreesclave “Je suis libre” maîtreesclave “traité la cellule # xx” maîtreesclave “cellule #xx traitée” Schéma de communication Deuxième méthode Calcul parallèle

The City Scanning Project – validation and parallel algorithms – July 2002 – panorama turpentine acetone mosaic trace orange hue ray Temps de calcul 21mn (sec.) Temps d’attente 6mn Temps de communication 3mn Ecart-type : 2.6 % Deuxième méthode Calcul parallèle

The City Scanning Project – validation and parallel algorithms – July 2002 – méthode 1 (rectangles) méthode 2 (dynamique) TempsGain méthode 2 plus rapide et plus flexible. dernière étape de reconstruction à paralléliser 45 min min.15.2 (prend ~10 minutes sur une IRIX mono-processeur) Calcul parallèle

Sommaire The City Scanning Project – validation and parallel algorithms – July 2002 – 1/ Présentation du projet 2/ Validation du code 3/ Calcul parallèle 4/ Quelques idées 5/ Calibration de caméras

Quelques idées The City Scanning Project – validation and parallel algorithms – July 2002 – filtrage d’arêtes haute-fréquence

The City Scanning Project – validation and parallel algorithms – July 2002 – filtrage d’arêtes haute-fréquence Quelques idées

The City Scanning Project – validation and parallel algorithms – July 2002 – Image booléennedétection des hautes-fréquences masque filtrage d’arêtes haute-fréquence Quelques idées

The City Scanning Project – validation and parallel algorithms – July 2002 – filtrage d’arêtes haute-fréquence Quelques idées

The City Scanning Project – validation and parallel algorithms – July 2002 – raffinement de la position des caméras Argus Position d’Argus Quelques idées

The City Scanning Project – validation and parallel algorithms – July 2002 – Position d’Argus les robots oranges suivent le mouvement relatif d’Argus. raffinement de la position des caméras Quelques idées

The City Scanning Project – validation and parallel algorithms – July 2002 – utilisation de senseurs différents Ex : imagerie IR  Infrared Services Inc. Quelques idées

Sommaire The City Scanning Project – validation and parallel algorithms – July 2002 – 1/ Présentation du projet 2/ Validation du code 3/ Calcul parallèle 4/ Quelques idées 5/ Calibration de caméras

Raffinement des caméras The City Scanning Project – validation and parallel algorithms – July 2002 – Campus du MIT

Raffinement des caméras The City Scanning Project – validation and parallel algorithms – July 2002 – Argus Positionnement au GPS Précision ~ 2m

Raffinement des caméras The City Scanning Project – validation and parallel algorithms – July 2002 – Ajustement de faisceaux Ancre dans le monde 3D

Raffinement des caméras The City Scanning Project – validation and parallel algorithms – July 2002 – Ajustement de faisceaux Ancre dans le monde 3D

Raffinement des caméras The City Scanning Project – validation and parallel algorithms – July 2002 – Vérification : géometrie épipolaire Ancre 3D Caméra 1 Caméra 2

Raffinement des caméras The City Scanning Project – validation and parallel algorithms – July 2002 – Caméra 2Caméra 1 Caméra 3Caméra 4

Conclusion The City Scanning Project – validation and parallel algorithms – July 2002 –  Infrared Services Inc. Conclusion validation du code de reconstruction sur Tech Square parallélisation de la partie la plus “lourde” gain de temps d’un facteur 15 sur un cluster de 15 IRIX Etapes suivantes raffinement de la position des caméras envoi du code sous Linux

Remerciements  Infrared Services Inc. Seth Teller, MIT Computer Graphics Group Francoise Levy-dit-Vehel, ENSTA l’équipe du MIT Computer Graphics Group les personnes qui m’ont écouté aujourd’hui la chance…

The City Scanning Project – validation and parallel algorithms – July 2002 –  Infrared Services Inc.