QGIS GML application schema toolbox visite guidée – application au réseau de suivi eaux souterraines S.Grellet – BRGM GIGE – 2017-07-21

Réseau eaux souterraines – approche linked data Objectifs Fournir des liens stables stables et résolvables vers les ressources Permettre les références externes / le data citation Indépendemment de la technologie utilisée pour fournir les données I am #Piezometre/00634X0147/PZ1.2 attached to #Borehole/00634X0147/PZ1.2 I am #Piezometre/00634X0147/PZ1.2 attached to #Borehole/00634X0147/PZ1.2 I have a lot of #GroundWater Levels observations regarding #EntiteHydroGeol/107AK01 I am #EntiteHydroGeol/107AK01 I am #EntiteHydroGeol/107AK01 I am monitored by #Piezometre/00634X0147/PZ1.2 #GroundWater Levels obs. from #Piezometre/00634X0147/PZ1.2 GIGE – 2017-09-21 2 2

Réseau eaux souterraines – approche linked data Flux basés sur des objets (featureTypes) OGC et INSPIRE Env. Monitoring Facility environmentalMonitoringFacility attachedTo GroundWater raw levels hasObservation relatedMonitoringFeature Borehole GroundWater validated levels Geology / HydroGeology featureOfInterest Observations/ Geological logs relatedObservation featureOfInterest xx Legend: Feature(s) Observation(s) GIGE – 2017-09-21 2 2

Réseau eaux souterraines – approche linked data Association des instances d’objet par leur URI Env. Monitoring Facility URI GroundWater raw levels URI Borehole GroundWater validated levels Geology / HydroGeology URI Observations/ Geological logs URI URI Legend: Feature(s) Observation(s) GIGE – 2017-09-21 2 2

Réseau eaux souterraines – approche linked data URI permettant de déréférencer le contenu issu de services OGC Env. Monitoring Facility URI WFS GroundWater raw levels URI Borehole SOS WFS GroundWater validated levels Geology / HydroGeology URI Observations/ Geological logs URI SOS URI WFS SOS Legend: Feature(s) Observation(s) GIGE – 2017-09-21 2 2

GML application schema toolbox - récapitulatif Idée initiale Réutiliser l’information disponible dans un XML conforme à un(des) XSD pour manipuler le contenu sans ‘harcodage’ Compréhension des standards interopérables = représentation géogaphique ET sémantique associée Interaction avec le contenu mode ‘XML enrichi’ mode ‘génération de base de données à la volée’ permettant de brancher d’autres algo/outils GIGE – 2017-09-21 2 2

GML application schema toolbox - récapitulatif Consommation de données liées URI ? Version rapide Déréférencer les URI pour enrichir le contenu Depuis des registres de vocabulaire (gestion du multilinguisme) et pour ajouter les objets (et observations) associés Début de négociation de contenu Enrichissement dynamique d’une première ‘graine d’information’ Lien vers un aquifère en base de donnée : 230AA03 Via le web des données : http://ressource.brgm-rec.fr/data/EntiteHydroGeol/230AA03 Lien vers un vocabulaire (‘méthode de forage) via le web des données: http://resource.europe-geology.eu/vocabs/DrillingMethod/hydraulic_rotary_drilling GIGE – 2017-09-21 2 2

GML application schema toolbox - récapitulatif Déclencher des widgets adaptés au standard utilisé La seule partie ‘hardcodée’ en fonctionnement: Waterml 2 timeseries, Inspire PointTimeSeries brouillon: GW_GeologyLogCoverage À venir: timeseries de la directive EU AirqualityDirective Ecrire du contenu Fichier GML pas WFS-T Driver GDAL/OGR à part QGIS n’agit que comme une GUI réutilisation dans d’autres outils possibles GIGE – 2017-09-21 2 2

GML application schema toolbox - overview 2 modes XML enrichi Relationnel configuration automatique du projet QGIS (couches/ relations / widgets) navigation dans le modèle via les formulaires QGIS FOSS4G-E 2017 workshop – Paris – 2017-07-18 2 2

GML application schema toolbox usage – QGIS 3 GIGE – 2017-09-21 2 2

GML application schema toolbox usage – XML Env. Monitoring Facility GroundWater raw levels URI URI 1 2 GIGE – 2017-09-21 2 2

GML application schema toolbox usage – XML Env. Monitoring Facility GroundWater raw levels URI URI 3 OGC Hydro DWG Workshop 2017 – Tuscaloosa – 2017-06-20 FOSS4G-E 2017 workshop – Paris – 2017-07-18 2 2

GML application schema toolbox usage – XML Borehole A GIGE – 2017-09-21 2 2

GML application schema toolbox usage – XML Borehole FOSS4G-E 2017 workshop – Paris – 2017-07-18 2 2

GML application schema toolbox usage – XML Borehole Observations/ Geological logs URI B FOSS4G-E 2017 workshop – Paris – 2017-07-18 2 2

GML application schema toolbox usage – XML Borehole Observations/ Geological logs URI FOSS4G-E 2017 workshop – Paris – 2017-07-18 2 2

GML application schema toolbox usage – XML Borehole URI URI Env. Monitoring Facility -> cf diapos 9, 10 FOSS4G-E 2017 workshop – Paris – 2017-07-18 2 2

GML application schema toolbox usage – SGBDR Même flux WaterML2 que diapo 11 (Timeseries viewer) mais client en mode base de données Tables créées dynamiquement par GDAL GMLAS GIGE – 2017-09-21 2 2

GML application schema toolbox usage – ogrinfo Ex: accès GDAL GMLAS driver sur GroundWaterML2 GW_Well Plus d’exemples sur le github GIGE – 2017-09-21 2 2

GML application schema toolbox - Custom widgets Une portion de code permettant de représenter des données d’une manière plux agréable e.g. : un graphique (‘timeseries’) plutôt qu’une liste de valeurs (x,y) Idée principale spécifier l’accès à la donnée de manière générique : XPath sur le xsd une API commune : PyQT une façon simple d’ajouter des nouveaux widgets pour d’autres schémas d’application (xsd) - visant la communauté dev Python pour l’instant Création d’un nouveau fichier.py dans un repertoire spécifique Avec une classe de base Python commune GIGE – 2017-09-21 2 2

GML application schema toolbox - Custom widgets GIGE – 2017-09-21 2 2

Historique du développement Pas de données ? Pas de clients « une autre approche pour démontrer l’utilité des formats interopérables »  ou « avoir quelque chose à montrer à ceux qui considèrent que le XML n’est pas sexy » GIGE – 2017-09-21 2 2

Historique du développement De la preuve de concept à une solution plus robuste 2016 2017 Run n° 1 QGIS 2.x GML application schema toolbox POC GML App Schema OGR Driver et integration QGIS 3 Run n°2 Run n°3 (now) Amélioration du driver GDAL GML App Schema et de l’integration dans QGIS 3 GIGE – 2017-09-21 2 2

Historique du développement De la preuve de concept à une solution plus robuste Run n° 1 QGIS 2.x GML application schema toolbox POC GML App Schema OGR Driver et integration QGIS 3 Run n°2 PyXB -> specific OGR/GDAL GMLAS driver (targetting GDAL 2.2), handling both reading and writing Integration within QGIS 3 - GDAL GMLAS : addition handling specific SWE types based on GWML2 GW_GeologyLogCoverage and EU Air Quality Reportings (dataArray, dataRecord, …) - QGIS 3 : enhanced widgets for timeseries, and borehole logs + some commit to the trunk Run n°3 (now) Amélioration du driver GDAL GML App Schema et de l’integration dans QGIS 3 2.2 3 GIGE – 2017-09-21 2 2

Liens utiles Plugin QGIS GitHub Driver GDAL GMLAS Ex de données liées https://plugins.qgis.org/plugins/gml_application_schema_toolbox/ GitHub https://github.com/BRGM/gml_application_schema_toolbox Documentation, presentation GUI, remontée de tickets Driver GDAL GMLAS http://www.gdal.org/drv_gmlas Ex de données liées https://forge.brgm.fr/svnrepository/epos/trunk/instances/BoreholeView.xml http://ressource.brgm-rec.fr/data/Piezometre/02713X0105/PZ1.2 GIGE – 2017-09-21 2 2

Liens utiles Gestion du multilinguisme Registre INSPIRE : consummation du même flux, une fois en anglais une fois en grec https://www.youtube.com/watch?v=EeAyyUOykVE Comment tester avant la release de QGIS3 OSGeo4W OSGeo4W installer Advanced install \ Desktop -> ajouter qgis-dev Ensuite installer le plugin depuis le repository QGIS Virtualbox : http://hekla.oslandia.net/qgis_gmlas_box/ GIGE – 2017-09-21 2 2

Conclusion Approche générique testée avec succès sur OGC : GroundWaterML2, GeoSciML4, WaterML2 INSPIRE : EnvironmentalMonitoringFacilities, BioGeographicalRegions, LandCover, ProtectedSites, MineralResources, PointTimeSeriesObservation EPOS : BoreholeView, GeologicUnitView, … Retours très positifs des communautés Dev open source (FOSS4G-E), INSPIRE, OGC Nationales: driver GMLAS remplaçant des drivers de standards nationaux au Japon, Finlande Enrichir une ‘graine d’information intiale’ retourne l’approche classique (recherche catalogue > service …) Nos collègues métiers peuvent maintenant utiliser du contenu standardisé  GIGE – 2017-09-21 2 2

Conclusion Etapes suivantes Gestion de certaines spécificités de l’OGC SWE (SensorML, …) Avoir plus de widgets métiers Gérer d’autre type de contenu (JSON-LD ?) Gestion de la communauté croissante (INSPIRE, OGC, ? SIE ?…) Ne pas hésiter à utiliser, tester, améliorer, proposer des améliorations GIGE – 2017-09-21 2 2

Conclusion – liste de Noël Input data reading Output data writing Data use Data visualization Input connector GUI-Widget WaterML2 WFS 2 client < enriched XML> GUI-Widget GWML2 BoreholeLog GMLAS GMLAS File GUI-Widget EU AQD TimeSeries PostreGre/GIS Spatialite SOS 2 client Other serializations More data structures More domain GUI-widgets Data processing libs GML Application schema toobox Existing Evolution idea GIGE – 2017-09-21 2 2

Merci s.grellet@brgm.fr m.beaufils@brgm.fr 2 2