Formats de diffusion Sandre et limites du format Réunion GIGE _ 20/09/2016 Formats de diffusion Sandre et limites du format propriétaire .shp ESRI Objectifs de la présentation: Quelles évolution/enrichissement des formats de données géographiques diffusés par le Sandre ? Limites du format ESRI .shp (attributs à 10 caractères): problématique et questionnements Rappel des bonnes pratiques de diffusion des données Sandre. Solutions envisagées pour compenser les limites de formats dans le respect des bonnes pratiques de diffusion. Evaluation des modalités/contraintes de gestion induites. Réunion GIGE 20/09/2016

Sommaire Annexes: Formats géographiques Rappel des formats de données géographiques diffusés par le Sandre Le format ESRI .shp - limites/contraintes Les bonnes pratiques de diffusion des données Sandre: Données, métadonnées et scénarios d’échange Le scénario d’échange simplifié des données géographiques Solutions et modalités/contraintes de gestion (faisabilité - délais) Annexes: Brève description des formats Shape et Geopackage Réunion GIGE 20/09/2016

Formats de diffusion Contexte: Les fiches de métadonnées Sandre proposent dans l’onglet « ressources et téléchargement « les formats suivants: ShapeFile – format propriétaire ESRI devenu un standard MIF/MID - format d'échange ou d'export de MapInfo Service Web (WFS) – GML par défaut + autres « OUTPUTFORMAT » sur requête: SHAPE, GPKG, MIDMIF, GML, CSV, PNG et KML Réunion GIGE 20/09/2016

* La diffusion du format ESRI sera maintenue Format Shape * La diffusion du format ESRI sera maintenue Rappel: Les attributs des géométries du Shapefile sont stockés dans un fichier .dbf associé, et donc les attributs souffrent d’un certain nombre de limitations : Notamment les noms des attributs qui ne peuvent avoir qu’au maximum 10 caractères. Les noms plus longs seront tronqués.  NB: À partir de la version 1.7, le pilote Shapefile d’OGR tente de générer des noms de champs uniques. Des noms de champs dupliqués successifs, incluant ceux créés par troncation à 10 caractères, seront tronqué à 8 caractères et un numéro ajouté de 1 à 99.  Exemple : Extrait du fichier DBF des Obstacles à l’écoulement : CdUsageObs, LbUsageObs, CdUsageO_1, LbUsageO_1, CdUsageO_2, LbUsageO_2, CdUsageO_3, LbUsageO_3, HautMaxTer, HautChutEt, Problématique: Au quotidien, certaines couches au format .shp sont assez difficiles à exploiter pour un simple utilisateur car les noms de champs tronqués à 10 caractères ne sont pas toujours explicites. Solution: Balise tronquées « signifiantes »  A définir et à implémenter dans les shapes. Question sous jacente: Le Sandre doit il intégrer les limites de formats de fichiers (obsolescent) dans ses documents de spécification ? Ex: Cas des balises alternatives d’attributs (tronqués) figurant dans les scenarios d’échange. Réunion GIGE 20/09/2016

Bonne pratique La bonne pratique de diffusion est d'associer un jeux de données à sa fiche de métadonnées qui fait référence à ses documents de spécification. Toutes ces informations permettent à l'utilisateur de mieux comprendre les fichiers de données du SIE et de comparer les données entre elles et avec d'autres. « Le Sandre met à disposition des scénarios d'échanges qui décrivent les modalités d’échanges dans un contexte spécifique. En s’appuyant sur l’un des formats d’échanges du Sandre, le document détaille la sémantique échangée, décrit les données échangées (obligatoires et facultatives), la syntaxe du ou des fichiers d’échanges et les modalités techniques et organisationnelles de l’échange. » Indépendamment du format de diffusion, chaque jeu de données géographique fait référence à un concept Sandre présent dans un dictionnaire de données. Pour rappel : Chaque concept du dictionnaire de données, dénommé entité, est décrit par un texte proposant une définition commune ainsi que ses règles de gestion. Cette définition peut être complétée par des règles relatives à la codification de cette entité ou des responsabilités de gestion. Jeu de donnée géo  Une entité d’un dictionnaire Attribut géo  Un attribut d’une entité Réunion GIGE 20/09/2016

Scenario d’Echange Simplifié Le scénario d’échange simplifié décrit les attributs de la manière suivante : Dans le cas des obstacles à l’écoulement, les noms des champs du fichier .shp du référentiel des obstacles à l'écoulement (ROE) doivent correspondre à ceux spécifiés dans ce scénario d'échange http://services.sandre.eaufrance.fr/telechargement/geo/OBS/sandre_sc_referentiels_obs_1.pdf NB : La diffusion des scénarios d’échanges devrait être étendue à terme à tous les jeux de données. Réunion GIGE 20/09/2016

Solutions et modalités/contraintes de gestion Mapping « signifiant » de toutes les balises Sandre > à 10 caractère.  correspondance dans le scenario d’echange simplifié. NB: Les balises Sandre « nativement » < à 10 caractères sont supposées signifiantes dans les dictionnaires Sandre. 2. Mapping « signifiant » des seules balises Sandre tronquées à 8 caractères + _ numéro de 1 à 99. Ces balises sont identiques lorsque tronquées à 10 caractères  Pas de correspondance dans le scenario d’echange simplifié. Balise complète OGR Balise tronquée « auto » Traitement et maintenance pour chaque attribut Ex: SQL – Obstacle à l’ecoulement SELECT "TypeCoordPointCarouvrage" AS "TpCoCarOuv"  …etc FROM « ObstEcoul" TpCoCarOuv ST_Sandre Balise tronquée « siginifiante » Vous trouvez !? Envisager Script Python (mapping des balises) OGR Balise complète Balise tronquée « auto » Bd GéoSandre = 14 000 colonnes Duplicata des jeux de données / zone géo (6 zones) > 2 000 attributs à gérer (à pondérer  attrib partagés ..) AFB  Nb réf géo en croissance Réunion GIGE 20/09/2016

Géopackage (GPKG) … Shape Annexes Géopackage (GPKG) … Shape Réunion GIGE 20/09/2016

Géopackage (GPKG) Basé sur du SQLite, ce standard permet de faciliter les échanges et partages d’informations géographiques entre différents périphériques, applications et services web. Il offre une alternative au format Shapefile. Du côté des spécifications, le GeoPackage est un format ouvert et non propriétaire basé sur de simples schémas de bases de données SQLite / Spatialite. Le GeoPackage peut contenir aussi bien des données vecteurs que des jeux de données matricielles (images, mnt). A l’avenir, le format devrait également intégrer la gestion de la symbologie. De plus en plus reconnu, le standard GeoPackage permet de faire un pas de plus vers le développement de l’interopérabilité entre logiciels. La société ESRI a intégré la gestion du GeoPackage dans ArcGIS 10.2.2, la librairie GDAL intègre également le format depuis peu, mais aussi Luciad, GeoServer, OpenJUMP et GeoTools. NB: les GéoPackages proposent un modèle de données moins riche que celui des Géodatabases.   Réunion GIGE 20/09/2016

*Shape limites du format Les attributs des géométries du Shapefile sont stockés dans un fichier .dbf associé, et donc les attributs souffrent d’un certain nombre de limitations : Les noms des attributs ne peuvent avoir qu’au maximum 10 caractères. Les noms plus longs seront tronqués.  À partir de la version 1.7, le pilote Shapefile d’OGR tente de générer des noms de champs uniques. Des noms de champs dupliqués successifs, incluant ceux créés par troncation à 10 caractères, seront tronqués à 8 caractères et un numéro ajouté de 1 à 99.   La largeur du champ et la précision sont directement utilisées pour établir la taille de stockage dans le fichier .dbf. Cela signifie que les chaines plus longues que la largeur du champ, ou les nombres qui ne remplissent pas les conditions du format du champ seront tronquées. Réunion GIGE 20/09/2016

*Shape limites du format Seul des champs de type entier, réel et chaine de caractère sont gérés (pas DateTime, juste year/month/day). Les champs de types liste diverse et binaire ne peuvent pas être créé. Champs d’entier sans une largeur explicite sont traité avec une largeur de 11.   Les champs réel (point flottant) sans une largeur explicite sont traité avec une largeur de 24 avec 15 chiffres pour les décimales. Les champs caractères sans une largeur assignée sont traités avec une largeur de 80 caractères. Également, les fichiers .dbf doivent avoir au moins un champ. Si aucun n’est créé par l’application, un champ “FID” sera automatiquement créé et ajoute des numéros d’enregistrement Réunion GIGE 20/09/2016