PostGIS – Chargement de données

Présentation au sujet: "PostGIS – Chargement de données"— Transcription de la présentation:

1 PostGIS – Chargement de données
Utilisation de l’outil d’import de données shapefile fourni avec PGIS Licence GNU FDL - Version 1.4

2 Plan de la présentation
Shp2pgsql Vérification des données Pgsql2shp ogr2ogr Autres solutions

3 Shp2pgsql: Présentation
Commande fournie avec PostGIS Permet la conversion Shapefile → SQL Chargement en deux étapes: Conversion SHP vers SQL Chargement du SQL dans Postgresql/PostGIS Dispose de multiples options (index, SRID, objets simples, encodage, etc.) Dispose d'interface graphique sous Windows

4 Shp2pgsql: Syntaxe Exemple: Ou, en une seule ligne:
shp2pgsql [<options>] <shapefile> [<schema>.]<table> Exemple: shp2pgsql /tmp/geofla.shp departement > dept.sql Puis: psql -U postgres -d MA_BASE -f dept.sql Ou, en une seule ligne: shp2pgsql /tmp/geofla.shp departement | psql –U postgres -d MA_BASE

5 Shp2pgsql: principales options
-s précise le système de projection -I génère un index spatial -S utilise des géométries 'simples' -d Drop la table avant de la récréer -D Utilise des DUMP PostgreSQL -W Encodage des données attributaires -N Gestion des géometries nulles -t Gestion 2D, 3DM, 3DZ, 4D -T, -X Gestion des tablespaces --help aide en ligne de la commande

6 Shp2pgsql: comportement par défaut
Rajoute une PK sur un champ de type autoincrement 'gid’ Nomme la colonne géométrique 'the_geom’ Crée la structure et les données (INSERT) Crée des géométries de type MULTI* pour les polygons et les linestrings (format ESRI Shapefile)

7 Vérification des données
Métadonnées et intégrité référentielle: SELECT * FROM geometry_columns WHERE f_table_name='table'; Index spatial: \di Validité des données: SELECT st_isvalidReason(the_geom) FROM table WHERE st_isvalid (the_geom) = 'f';

8 Pgsql2shp: Présentation
Commande fournie avec PostGIS Pendant de shp2pgsql Permet de générer un shapefile à partir de: Table spatiale Requête spatiale

9 Pgsql2shp: Syntaxe Exemples:
pgsql2shp [<options>] <database> [<schema>.]<table> pgsql2shp [<options>] <database> <query> Exemples: pgsql2shp -u postgres ma_base geofla pgsql2shp -u postgres ma_base 'SELECT * FROM geofla WHERE gid > 50'

10 OGR: Présentation ETL en ligne de commande GDAL/OGR
GDAL: raster, OGR: vecteurs Supporte des dizaines de formats Permet des traitements avancés durant le chargement Reprojection Modification du schéma Filtres, expression Pseudo-SQL pour exprimer des requetes Intègre GEOS (moteur topologique utilisé dans PostGIS) Permet de scripter de gros imports ou traitements complexes API dans différents langages (C, Java, Python, …) Utilisé par QGIs pour gérer les formats vectoriels

11 OGR: formats supportés
Aeronav FAA files (No) ESRI ArcObjects (No) Arc/Info Binary Coverage (No) Arc/Info .E00 (ASCII) Coverage (No) Arc/Info Generate (No) Atlas BNA (Yes) AutoCAD DWG (No) AutoCAD DXF (Yes) CartoDB (Yes) Comma Separated Value (.csv) (Yes) CouchDB / GeoCouch (Yes) Czech Cadastral Exchange Data Format (No) DODS/OPeNDAP (No) EDIGEO (No) ElasticSearch (Yes (write-only)) ESRI FileGDB (Yes) ESRI Personal GeoDatabase (No) ESRI ArcSDE (No) ESRI Shapefile (Yes) FMEObjects Gateway (No) GeoJSON (Yes) Géoconcept Export (Yes) Geomedia .mdb (No) GeoPackage (Yes) GeoRSS (Yes) Google Fusion Tables (Yes) Google Maps Engine (Yes) GML (Yes) GMT (Yes) GPSBabel (Yes) GPX (Yes) GRASS Vector Format (No) GPSTrackMaker (.gtm, .gtz) (Yes) Hydrographic Transfer Format (No) Idrisi Vector (.VCT) (No) Informix DataBlade (Yes) INTERLIS (Yes) INGRES (Yes) KML (Yes) LIBKML (Yes) Mapinfo File (Yes) Microstation DGN (Yes) Access MDB (PGeo and Geomedia capable) (No) Memory (Yes) MySQL (No) NAS - ALKIS (No) Oracle Spatial (Yes) ODBC (No) MS SQL Spatial (Yes) Open Document Spreadsheet (Yes) OGDI Vectors (VPF, VMAP, DCW) (No) OpenAir (No) ESRI FileGDB (No) OpenStreetMap XML and PBF (No) PCI Geomatics Database File (Yes) Geospatial PDF (Yes) PDS (No) PostgreSQL SQL dump (Yes) PostgreSQL/PostGIS (Yes) EPIInfo .REC (No) S-57 (ENC) (No) SDTS (No) SEG-P1 / UKOOA P1/90 (No) SEG-Y (No) Selafin/Seraphin format (Yes) Norwegian SOSI Standard (No) SQLite/SpatiaLite (Yes) SUA (No) SVG (No) Storage and eXchange Format (No) UK .NTF (No) U.S. Census TIGER/Line (No) VRT - Virtual Datasource (No) OGC WFS (Web Feature Service) (Yes) MS Excel format (No) MS Office Open XML spreadsheet (Yes) X-Plane/Flightgear aeronautical data (No) Walk (No) WAsP .map format (Yes

12 ogr2ogr: transfo de données
Usage: ogr2ogr [--help-general] [-skipfailures] [-append] [-update] [-select field_list] [-where restricted_where] [-progress] [-sql <sql statement>] [-dialect dialect] [-preserve_fid] [-fid FID] [-spat xmin ymin xmax ymax] [-a_srs srs_def] [-t_srs srs_def] [-s_srs srs_def] [-f format_name] [-overwrite] [[-dsco NAME=VALUE] ...] dst_datasource_name src_datasource_name [-lco NAME=VALUE] [-nln name] [-nlt type] [-dim 2|3] [layer [layer ...]] Advanced options : [-gt n] [-clipsrc [xmin ymin xmax ymax]|WKT|datasource|spat_extent] [-clipsrcsql sql_statement] [-clipsrclayer layer] [-clipsrcwhere expression] [-clipdst [xmin ymin xmax ymax]|WKT|datasource] [-clipdstsql sql_statement] [-clipdstlayer layer] [-clipdstwhere expression] [-wrapdateline][-datelineoffset val] [[-simplify tolerance] | [-segmentize max_dist]] [-fieldTypeToString All|(type1[,type2]*)] [-fieldmap identity | index1[,index2]*] [-splitlistfields] [-maxsubfields val] [-explodecollections] [-zfield field_name] [-gcp pixel line easting northing [elevation]]* [-order n | -tps] Note: ogr2ogr --long-usage for full help.

13 OGR: Aide en ligne Aide complète des commandes GDAL/OGR
Description des formats supportés (79) Nombreux forums GDAL/OGR

14 TP: chargement par shp2pgsql
Cf. tp1.txt Partie: chargement des données Contrôler les données Se placer dans une fenetre DOS (programmes -> accessoires) Se placer dans le répertoire bin de PostgreSQL (drag’n’drop possible depuis l’Explorateur shp2pgsql --help pour avoir l’aide sous les yeux

15 TP: chargement par ogr2ogr
Cf. tp1.txt Contrôler les données Se placer dans une fenetre DOS (programmes -> accessoires) Se placer dans le répertoire bin de gdal/ogr (drag’n’drop possible depuis l’Explorateur ogr2ogr --help pour avoir l’aide sous les yeux