SITN : système d’information du territoire neuchâtelois Use case FME : Feature Manipulation Engine ETL (Extract Transform Load) spatial Marc Riedo Système.

Présentation au sujet: "SITN : système d’information du territoire neuchâtelois Use case FME : Feature Manipulation Engine ETL (Extract Transform Load) spatial Marc Riedo Système."— Transcription de la présentation:

1

2 SITN : système d’information du territoire neuchâtelois Use case FME : Feature Manipulation Engine ETL (Extract Transform Load) spatial Marc Riedo Système d’Information du Territoire Neuchâtelois Service de la géomatique et du registre foncier

3 SITN : système d’information du territoire neuchâtelois Contexte de l‘échange de données Disponibilité croissantes des données en format numérique Intégration des échelles locales et régionales Multiplication des outils Adoption de standards dans l‘accès et les formats des données Interopérabilité : connexion entre applications Transfert de données entre logiciels et versions de logiciel Publication des données sur internet Diffusion des données

4 SITN : système d’information du territoire neuchâtelois Principaux formats d ’échange numérique pour les SIG Suisses –INTERLIS (qui est plus qu ’un format puisqu ’il propose un langage de description de données) –GEOBAT (DXF) Internationaux –GML : geographic markup language –SDTS: Spatial Data transfert Standard (standard USA) –TIGER: Topologically Integrated Geographic Encoding and Referencing –DIGEST: Digital Geographic Information Exchange Standard –EDIGEO: Norme française Commerciaux –Arc/Export (E00) –Shape –Mapinfo Tab –MIF / MID: MapInfo Interchange Format –Geodatabase –DXF: Digital Exchange Format –DWG et DGN (pour le CAD) –Oracle spatial –Postgis

5 SITN : système d’information du territoire neuchâtelois FME : en quelques mots ! Logiciel qui a révolutionné l’échange de données dans le domaine des SIG – peu de concurrents ! Un des meilleurs logiciels dans le domaine des SIG Utilisé quotidiennement par le SITN depuis 2002 Des centaines de scripts ont été réalisés qui permettent d’automatiser des tâches Immense succès commercial Plus de 500 000 licences vendues en quelques années Editeur : http://www.safe.com (développeur de l’interlis canadien SAIF : Spatial Archive Format)http://www.safe.com

6 SITN : système d’information du territoire neuchâtelois FME : à quoi ça sert ? Conversion de données entre plus de 100 formats différents Boîte à outils pour le traitement de données Modification de modèle de données Chargement de données dans Oracle Spatial ou ArcSDE Réalisation d'analyses spatiales Migration d'un système de coordonnées vers un autre Contrôle de la qualité de travaux de saisie Correction des géométries incohérentes Génération de MNT ou de TIN à partir d'une source vectorielle Drapage de données 2D sur un MNT Transformation de données 2D en 3D (selon attribut) Génération de courbes de niveaux à partir de MNT Conversion et traitement d'images raster (tif, ecw, jp2000...) Tuilage et changement de projection d’images raster Traitement par lots et bien d'autres choses encore...

7 SITN : système d’information du territoire neuchâtelois Logiciels d ’échange de données : FME Le logiciel FME (Feature Manipulation Engine) est un traducteur paramétrable. En plus de supporter un très grand nombre de formats de données, il permet d ’effectuer des opérations lors de la traduction (généralisation, construction de topologie, transformation de coordonnées, rotation, contrôle de cohérence et consistance). Il s ’agit d ’une « boîte à outil » pour la transformation et l ’échange de données Données dans Format A Traduction et transformation Données dans Format B Formats SIG Formats structurés (textes, BD, …)

8 SITN : système d’information du territoire neuchâtelois FME : à quoi ça sert ? Base d’informations sur tous les formats disponibles, leurs caractéristiques, … http://www.safe.com/products/fme/formats/index.php Exemple : format Mapinfo http://www.safe.com/reader_writerPDF/mapinfo.pdf

9 SITN : système d’information du territoire neuchâtelois Les produits ·FME Universal translator: conversion rapide d'un format prédéfini à l'autre ou, pour les utilisateurs avancés, mise en place de processus plus complet à partir de scripts ·FME Universal Viewer: visualisation de multiples formats de données spatiales avant, pendant et après conversion ·FME Workbench: contrôle des conversions et transformation à l'aide de graphique de flux de données allant de la donnée source à la donnée cible.

10 SITN : système d’information du territoire neuchâtelois Le traducteur (Translator) : pour des traductions simples

11 SITN : système d’information du territoire neuchâtelois L’atelier (workbench) : pour créer des transformations plus avancées

12 SITN : système d’information du territoire neuchâtelois L’atelier (workbench) : pour créer des transformations plus avancées Il y a plusieurs centaines de fonctions (factories) disponibles pour transformer les données (géométrie, base de données, attributs, projection, etc.)

13 SITN : système d’information du territoire neuchâtelois L’atelier (workbench) : exemple SITN pour l’état de la MO

14 SITN : système d’information du territoire neuchâtelois Le universal viewer pour visualiser et analyser les données

15 SITN : système d’information du territoire neuchâtelois FME intégré dans des SIG « universal translator » de Mapinfo Mapinfo 9 Fichier > ouvrir les données universelles

16 SITN : système d’information du territoire neuchâtelois Quelques démonstrations Démonstration d’utilisation 1.Traduction simple format A > B (transfert des données sans symboles) 2.Traduction avec simplification (attributs et géométrie) 3.Combinaison de formats 4.Génération de données dérivées (points, triangles, courbes) 5.Traduction avec transformation (intersection) 6.Traitement sur la géométrie 7.Transformation de fichiers textes en courbes de niveaux

17 SITN : système d’information du territoire neuchâtelois Références Conférence mondiale des utilisateurs FMEpedia

18 SITN : système d’information du territoire neuchâtelois But: Vous devez diffuser des données de couverture du sol de Swisstopo de la carte nationale 1:25’000 (produit Vector25) pour la nouvelle commune de Val-de-Travers. Vous disposez des données pour tout le canton et les limites communales. Le client souhaite les données de couverture du sol pour sa commune en format Shape et DXF. Source des données Format Mapinfo dans EX1\DATA_INPUT\communes Format Shape dans EX1\DATA_INPUT\couverture_du_sol_vector25 2) Connecter et Paramètrer les différentes sources et destinations Fonction à utiliser: CLIPPER Exercice (1) FME Workbench

19 SITN : système d’information du territoire neuchâtelois But: Transformer des données SIG pour les publier sur Google earth 1.Créer un fichier KML avec les communes et les districts de l’Arc Jurassien et l’afficher dans Google Earth Source des données Format Mapinfo dans FME\EX2\DATA_INPUT\communes_ostaj 2.Créer un fichier KML d’un projet de bâtiments à Carouge et l’afficher en 3D dans Google- Earth Source des données Format Shapefile dans FME\EX2\DATA_INPUT\Batiment_projet Exercice (2) FME Workbench [Source SITG, M. Terrond]

20 SITN : système d’information du territoire neuchâtelois But: Vous recevez des données issues d’un vol laser sous forme d’un semi de points X,Y,Z aléatoirement répartis. Vous devez traiter ces données pour les transformer sous différentes formes : grille régulière, courbes de niveaux généralisées, réseau TIN, etc. 1) Préparer la source des données Format texte CSV 2) Connecter et Paramètrer les différents « transformer’s » A utiliser: 3D POINT REPLACER, CONTOURGENERATOR, TINGENERATOR 3) Lancer le processus de généralisation des courbes de niveaux A utiliser: LINEGENERALIZER 4) Connecter des « viewer » pour valider les résultats. Exercice (3) FME Workbench 1"X","Y","elevation" 2529048.51,190049.97,1083.34 3529049.39,190047.47,1083.31 4529048.31,190048.81,1083.31 5529049.16,190046.33,1083.13 6529048.15,190047.6,1083.25 7...

21 SITN : système d’information du territoire neuchâtelois But: mettre en évidence les bâtiments de la commune de Meyrin, dont la surface est plus grande que 500m2 et éloignés de plus de 50m. d’une bornes hydrantes. Données input: Communes, bâtiments et hydrantes du canton de Genève 1. Préparer la source des données Format ESRI-SHAPE dans FORMATION 3DUNI\EXERCICE_3\DATA_INPUT BATIMENTS, BORNE_HYDRANT et COMMUNES 2. Connecter et Paramètrer les différents « transformer’s » A utiliser: Tester, Clipper, NeighborFinder, Bufferer 3. Générer et afficher les buffers de 50m. autour des bâtiments 4. Connecter des « viewer » pour valider les résultats. Exercice (4) FME Workbench [Source SITG, M. Terrond]

22 SITN : système d’information du territoire neuchâtelois Mais il y a encore de la marge :O) Mark Stoakes, Safe Software FME Worldwide User Conference - Vancouver MS DG MR

23 SITN : système d’information du territoire neuchâtelois FME & SyncServ