COIN (Coordinated Online Information Network) Semantic integration of water observation data L’application décrite dans cette présentation porte sur l’integration.

Présentation au sujet: "COIN (Coordinated Online Information Network) Semantic integration of water observation data L’application décrite dans cette présentation porte sur l’integration."— Transcription de la présentation:

1 COIN (Coordinated Online Information Network) Semantic integration of water observation data
L’application décrite dans cette présentation porte sur l’integration de sources de données hétérogénes, interopérabilité de celles-ci pour répondre à des requêtes sémantiques et la visualization des résultats au travers d’une interface permettant d’en présenter les caractéristiques spatio-temporelles Danielle ZIEBELIN, Philippe GENOUD– LIG Steamer Kim HOBUS – Yukon Waterboard INSIDE 2017 1

2 Context Geogratis HYDAT Data Bisy Data Objectives:
Explore and visualize data concerning water resources Make this data available to non expert user through a web interface L’objectif d’application est de permettre d’explorer et de visualiser des données concernant des ressources en eaux dans le nord canadien et de render ces données accessibles aux décideurs et aux gestionnaires de ces ressources à travers une application web. En effet les données peuvent provenir de stations hydrologiques, de surveillance de barrages, de prélèvements dans les rivières, les ruisseaux, les lacs. Elles sont fournies par différents opérateurs comme par exemple des laboratoires d’analyse, des organisms fédéraux et ells pourront être enrichies par des données issues du web comme par exemple Wikipedia. INSIDE 2017

3 Heterogeneous Data Sources
Objectives data integration through knowledge representation … Mediator Adaptator1 Heterogeneous Data Sources Adaptator2 Adaptator3 Spreadsheet files Relational data bases Graph Adaptatorn Web services Les sources de données sont hétérogènes, elles peuvent provenir de bases de données, de feuilles de calculs, de services web. L’application joue le role de médiateur pour permettre aux utilisateurs d’accéder à ces données. INSIDE 2017

4 Architecture of COIN semantic component
COIN Client HTML5 + CSS + JavaScript WMS/WFS GeoJSON COIN Server Parliament Server Web Interface (Jetty + Joseki) Geo Query Processor (Jena + ARQ) Spatio Temporal indexes Java Postgres + PostGIS database Storage Adapter LOD Cloud Dbpedia SPARQL Endpoint Geonames semantic web server Storage Manager Rule engine C++ Operating System Triplestore Berkeley Data Base D’un point de vue utilisateur, l’application se présente sous forme d’une application de web mapping. Celle-ci accède directement à des services web ou au web des données ou à des données via le triple store et annotées par l’intermédiaire d’une ontologie de domaine. Lorsque l’on souhaite faire des requêtes les composants sémantiques utilise le langage SPARQL ou GeoSPARQL lorsqu’il s’agit de requêtes spatiales Data Adapter OWL2 Application and domain ontologies Raw sampling data INSIDE 2017

5 Architecture of COIN semantic component
COIN Client HTML5 + CSS + JavaScript WMS/WFS GeoJSON COIN Server Parliament Server Web Interface (Jetty + Joseki) Geo Query Processor (Jena + ARQ) Spatio Temporal indexes Java Postgres + PostGIS database Storage Adapter LOD Cloud Dbpedia SPARQL Endpoint Geonames semantic web server Storage Manager Rule engine C++ Operating System Triplestore Berkeley Data Base Nous allons maintenant détailler les parties du système les unes après les autres. Nous commencons par la partie web services. L’application intégre un serveur d’information spatiale par l’intermédiaire d’une base de données Postgres Postgis Data Adapter OWL2 Application and domain ontologies Raw sampling data INSIDE 2017

6 Web Map Service (WMS) HTTP client (web browser) HTTP server
HTTP request to the WMS service url: Query String: SERVICE=WMS REQUEST=GetMap VERSION=1.1.1 LAYERS=yukon_oilgas_sedimentary_basins STYLES= FORMAT=image/png TRANSPARENT=true SRS=EPSG:3857 HEIGHT=256 WIDTH=256 BBOX=... other requests with bounding box fixed for each tile HTTP response Les fonds de carte ici des bassins sédimentaires sont affichées successivement par des services WMS on a le fond de carte et on va chercher les layers bassins sédimantaires. png image with transparency for each tile INSIDE 2017

7 Web Feature Service HTTP server geoJSON
HTTP request to the WFS service url: Query String: version=2.0.0 request=GetFeature typeName=yukon_oilgas_sedimentary_basins outputFormat=application/json cql_filter=CONTAINS(geom, POINT( )) HTTP response { "type":"FeatureCollection", "totalFeatures":1, "features":[{"type":"Feature", "id":"yukon_oilgas_sedimentary_basins.7", "geometry": { "type":"MultiPolygon", "coordinates":[[[ [ , ], [ , ], ]]] } geoJSON INSIDE 2017

8 Different sources for OGC web services
YK citizen YWB Proponent COIN Client COIN Client COIN Client WFS WPS COIN Application WMS … WFS WMS … analysis tools upstream, downstream, drainage area calculation CGDI Add CCME Add Dbpedia Add Geomatics Add NRCAN mapservers Bisy database WFS Publication Internet WWW WMS … Meta Data GIS Database WMS, WFS, WPS : OGC Standard Web Services INSIDE 2017

9 Architecture of COIN semantic component
COIN Client HTML5 + CSS + JavaScript WMS/WFS GeoJSON COIN Server Parliament Server Web Interface (Jetty + Joseki) Geo Query Processor (Jena + ARQ) Spatio Temporal indexes Java Postgres + PostGIS database Storage Adapter LOD Cloud Dbpedia SPARQL Endpoint Geonames semantic web server Storage Manager Rule engine C++ Operating System Triplestore Berkeley Data Base Data Adapter OWL2 Application and domain ontologies Raw sampling data INSIDE 2017

10 Water Quality Data A set of sampling site
For each site a set of measures for different indicators tabular data (excel file) Time Space INSIDE 2017

11 RDF Data Model With RDF, knowledge is represented by a set of assertions (statements) All RDF statements follow a simple structure composed of three parts : the thing the statement describes the property of the thing the statement describes the value of this property the statement describe the thing described property value Dimethyl Sulfate is a Carcinogen RDF has a model framework based on the idea of triple INSIDE 2017

12 Subject Predicate Object RDF Data Model URI URI URI/Literal
RDF Statements are triples Subject Predicate Object URI URI URI/Literal the subject and the predicate are resources : RDF uses URIs (Universal Resource Identifiers) for uniquely identifying them object can be a resource (URI) or a literal (constants that don't have other attributes that describe them) subject predicate object Dimethyl Sulfate is a Carcinogen IARCGroup2ACarcinogens "Sulfuric acid dimethyl ester" Dimethyl Sulfate other name Sulfuric acid dimethyl ester INSIDE 2017

13 Subject Predicate Object RDF Data Model URI URI URI/Literal
RDF Statements are triples Subject Predicate Object URI URI URI/Literal RDF data can be viewed as a directed labeled graph subjects and objects are nodes (vertices) predicates are oriented edges (arcs) resource node Dimethyl Sulfate is a Carcinogen literal node IARCGroup2ACarcinogens predicate "Sulfuric acid dimethyl ester" Dimethyl Sulfate other name Sulfuric acid dimethyl ester INSIDE 2017

14 Data integration with Linked data
Ontologies Spatial Application observations Domain variables for water quality GeoSPARQL Data Model links to other datasets RDF Graph Linked Open Data Cloud Raw data INSIDE 2017

15 Water Quality Data tabular data (excel file) Measure Descriptor Region
site type location Site Measures Set INSIDE 2017

16 Data Model : Application + GeoSPARQL model
Ontologie GeoSPARQL geo:SpatialObject geo:hasGeometry geo:Feature geo:Geometry 0..* sf:Geometry MeasureDescriptor sf:Point sf:Surface + String name + String symbol + String unit sf:Polygon 1 1 0..* Region SamplingSite MeasureSet 1..* Measure 0..* 1 + String name + String name + Date samplingDate + double value 1 Lake Pond <<enumeration>> MeasureOperator + LT + EQ + GT INSIDE 2017

17 RDF Graph RDF Resource Description Framework (W3C standard) Ca
MeasureDescriptor :unit rdf:type :symbol Calcium geo:Feature Lake SamplingSite rdfs:subClassOf rdf:type Banks_Island BKAI geo:sfWithin geo:hasGeometry sf:Point sf:Polygon geo:Geometry geo:defaultGeometry geo:asWKT "POLYGON(( , … ))" "POINT( )" :descriptor Measure rdf:type Region :value :hasMeasure :hasMeasureSet rdf:type :samplingDate MeasureSet " T09:00:00"^^xsd:date INSIDE 2017

18 GeoSPARQL OGC GeoSPARQL standard supports representing and querying geospatial data on the Semantic Web a vocabulary for representing geospatial data in RDF, Well-Known Text representation for geometries based ISO Simple Features (Access) standard an extension to the SPARQL query language for processing geospatial data. GeoSPARQL is designed to accommodate systems based on qualitative spatial reasoning and systems based on quantitative spatial computations. Pour représenter l'information spatiale nous nous sommes appuyé sur le standard de l'OGC GeoSPARQL. qui définit : un vocabulaire (une ontologie) simple pour représenter les données spatiales en RDF, la partie géométrique s'appuyant sur la norme ISO Simple Feature Acces avec un sérialisation textuelle des géométries en WKT ou GML une extension au langage de requête SPARQL en proposant en particulier des opérateurs spatiaux utilisés pour le filtrage l'objectif étant de proposer une approche simple permettant à la fois un raisonnement spatial qualitatif (basé sur les prédicats) ou quantitatif (basé sur la géométrie). INSIDE 2017

19 … GeoSPARQL components Quantitatif Core Geometry Extension
Defines top-level spatial vocabulary components Geometry Extension - serialization - version Defines geometry vocabulary and non topological query functions Comme dit précédemment GeoSPARQL permet de définir de manière quantitative l'information spatiale, pour cela un certain de classes et de types issus de la norme Simple Feature Acces (ISO 19125) sont définis et un certain nombre de fonction d'analyse spatiale (distance entre géométrie, instersection de géométries … ) pouvant être utilisées dans les requêtes SPARQL sont définies … INSIDE 2017

20 Topology Vocabulary Extension
GeoSPARQL components Core Defines top-level spatial vocabulary components Qualitatif Topology Vocabulary Extension - relation family Geometry Extension - serialization - version Defines geometry vocabulary and non topological query functions Defines topological relation vocabulary geo:sfInteresects geo:Feature geo:SpatialObject geo:Geometry geo:hasGeometry 0..* owl:Thing geo:sfTouches geo:sfContains geo:sfEquals geo:sfCrosses geo:sfOverlaps geo:sfWithin GeoSPARQL defines also properties for other topological relations families : RCC8, Egenhofer GeoSPARQL défini aussi propriétés topologiques (contient, touche, recouvrent) qui peuvent être utilisées pour exprimées des relations topologique entre objets spatiaux, ces relations sont celles du de simple Feature Access, mais il y aussi celles pour le RCC8 et Egenhofer. INSIDE 2017

21 Topology Vocabulary Extension Geometry Topology Extension
GeoSPARQL components Core Defines top-level spatial vocabulary components Topology Vocabulary Extension - relation family Geometry Extension - serialization - version Defines geometry vocabulary and non topological query functions Defines topological relation vocabulary Geometry Topology Extension - serialization - version - relation family Defines topological query functions for geometry objects il y a aussi l'équivalent sous la forme de fonctions pour utiliser ces relations topologiques dans des requêtes SPARQL … INSIDE 2017

22 GeoSPARQL components Core Topology Vocabulary Extension
Defines top-level spatial vocabulary components Topology Vocabulary Extension - relation family Geometry Extension - serialization - version Defines geometry vocabulary and non topological query functions Defines topological relation vocabulary Geometry Topology Extension - serialization - version - relation family Defines topological query functions for geometry objects Defines query transformation rules for computing spatial relations between spatial objects based on their associated geometries Finalement GeoSParql défini un certain nombre de de règles de récriture et d'entailement basées sur la sémantique RDF et RDFS qui permettent de simplifier l'écriture de requêtes spatiales. Defines a mechanism for matching implicit RDF triples that are derived based on RDF and RDFS semantics Query Rewrite Extension - serialization - version - relation family RDFS Entailment Extension - serialization - version - relation family INSIDE 2017

23 Domain ontology Data enhancement: extends measure description with domain (water quality) knowledge On a vu en utilisant notre ontologie d'application et l'ontologie GeosPARQL comment représenter en RDF les données de qualité de l'eau. il s'agit maintenant d'étendre cette représentation en intégrant une ontologie de domaine qui nous permettra de d'enrichir la description des variables mesurées. INSIDE 2017

24 Water Quality Domain Ontology
Consortium of Universities for the Advancement of Hydrologic Science More than 4000 concepts organized in a hierarchy (taxonomy) used to categorize and assist in the discovery of monitored variables. Dans le domaine des sciences de l'hydrologie il existe un gros travail fait par un consortium d'universités (le CUAHashSI) , il ont défini en particulier une taxonomie qu'ils utilisent pour catégoriser les différentes variables monitorées. Dans la base de données du CUASHI plus de 4000 concepts sont ainsi définis. Nous avons traduit cette taxonomy en RDFS pour pouvoir l'utiliser dans notre application web sémantique. CUASHI taxonomy has been translated in a RDFS vocabulary INSIDE 2017

25 Water Quality Sampling data
Data enhancement: Linking sampling variables with CUASHI ontology 252 variables used by YWB WQ sampling data 200 can be classified directly inside the CUSASHI ontology YWB ontology a subset of CUASHI ontology with addition of new concepts for unclassified variables Hierarchy of 350 concepts used by YWB ontology Consortium of Universities for the Advancement of Hydrologic Science More than 4000 concepts organized in a hierarchy (taxonomy) Nous avons ensuite fait un mapping entre les différentes variables mesurées par le Yukon Water board avec les concepts définis dans l'ontologie CUASHI. Ce mapping basés uniquement sur le labels a permis d'établir une correspondance directe entre les 200 des 252 vraiables mesurées et les concepts de l'ontologie du CUAHSI. Pour intégrer les varaibles pour lequel nous n'avons pas trouvé de matching, nous avons étendu l'ontologie du CUAHSI. INSIDE 2017

26 Water Quality Domain Ontology
Use of these domain ontology concepts for typing measures descriptors. domain ontology rdf:type rdf:type :region wgs84_pos:lon rdf:type :hasMeasureSet wgs84_pos:lat rdf:type finalement nous avons utilisé cette ontology de domaine pour type les descripteurs de mesure (avec le predicat rdf:type) rdf:type rdf:type :contains :descriptor :symbol :unit :value INSIDE 2017

27 Water Quality Sampling data
The domain ontology can be used to filter data by selecting various levels of abstraction Cette ontologie de domaine permet de filtrer les données de mesure de qualités de l'eau non seulement par lieu, ou par date mais aussi par niveau d'abstraction. Par exemple on peut comme sur l'exemple ici très facilement ne s'intéresser qu'aux mesures concernant les composants chimiques inorganiques non metalliques. Only the relevant records are displayed INSIDE 2017

28 Water Quality Sampling data
Data enhancement: Linking domain ontology with DBpedia (and Wikipedia) to get extra information about the variables used for sampling DBpedia is structured data (accessible by programs) extracted from Wikipedia (accessible by human) Un autre enrichissement que nous avons effectué a été d'enrichir les descriptions des varaibles mesurées en liant les concepts de notre ontologie de domain avec Dbpedia. Ce qui nous permet d'accéder aux informations décrivant la varaible issues de wikipedia. We automatically found matches with DBpedia for 55% of the concepts within YWB ontology INSIDE 2017

29 Geospatial and Semantic Queries
Geospatial queries Using spatial information to filter data Ex. : find all the Water licences inside a watershed Semantic queries Using some ontology to filter data Ex : for water quality data, display only minor non-metals en combinant GeoSPARQL, et les inférences RDFS/OWL appliquées à nos données il est ainsi possible de faire des requêtes qui exploitent à la fois la connaissance spatiale et les connaissance de domaine. Par exemple trouver toutes les sites de mesure de qualité de l'eau situé dans un bassin versant donné qui ont une valeur pour un composant non-métallique mineur supérieures à un certain seuil. Geospatial semantic queries Using spatial and semantic information to filter data Ex. : find the water quality stations in a given watershed that have a value for minor non-metals above a given threshold INSIDE 2017

30 Geospatial and Semantic Queries
find the water quality stations in a given watershed that have a value for a minor non-metal above a given threshold Takhini Ca rdf:type rdf:type TAKA1 Measure Descriptor :unit rdf:type Calcium :symbol geo:Feature :descriptor rdfs:subClassOf Measure SamplingSite asserted property rdfs:subClassOf rdfs:subClassOf :value rdf:type WaterShed WaterQualityStation inferred property geo:sfWithin rdf:type rdf:type :hasMeasure Cette requête consiste à retrouver dans le graphe RDF, un sous graphe équivalent au graphe mis en rouge sur cette figure. (en pointillé les arcs déduits par les inférences RDFS). TakhiniWS :hasMeasureSet s? rdf:type geo:defaultGeometry rdf:type geo:hasGeometry geo:hasGeometry :samplingDate geo:Geometry geo:asWKT rdf:type geo:asWKT MeasureSet geo:asWKT "POLYGON(( , … ))" rdf:type rdfs:subClassOf rdf:type "POLYGON(( , … ))" sf:Polygon sf:Point "POINT( )" INSIDE 2017

31 Geospatial and Semantic Queries
find the water quality stations in a given watershed that have a value for minor non-metal above a given threshold PREFIX rdfs: < PREFIX geo: < PREFIX geof: < PREFIX coin: < PREFIX cuahsiOnto: < SELECT ?s, ?name WHERE { ?s a coin:WaterQualityStation; rdfs:label ?l ; geo:hasGeometry [ geo:asWKT ?ptWKT ]. ?ws a coin:WaterShed; rdfs:label "Takhini"; geo:hasGeometry [ geo:asWKT ?rGeom FILTER (geof:sfWithin(?ptWKT,?rWKT)) } La partie spatiale de cette requête s'exprime de la manière suivante en GeoSPARQL: on récupère la géométrie (coordonnées géographiques) des stations de mesure de la qualité de l'eau on récupère la géométrie du bassin du bassin versant (ici Takhini). on utilise un filtre spatial SFWithin pour ne garder que les stations de mesure qui sont à l'intérieur du bassin versant INSIDE 2017

32 Geospatial and Semantic Queries
find the water quality stations in a given watershed that have a value for a major metal above a given threshold PREFIX rdfs: < PREFIX geo: < PREFIX geof: < PREFIX coin: < PREFIX cuahsiOnto: < SELECT ?s, ?name WHERE { ?s a coin:WaterQualityStation; rdfs:label ?l ; geo:hasGeometry [ geo:asWKT ?ptWKT ]. ?ws a coin:WaterShed; rdfs:label "Takhini"; geo:hasGeometry [ geo:asWKT ?rGeom FILTER (geof:sfWithin(?ptWKT,?rWKT)) } Pour prendre en compte la connaissance de domaine, il faut rajouter le de graphe qui permet de ne sélectionner que les mesures concernant un composant non métallique mineur et ensuite de les filtrer selon leur valeur. ?s coin:hasMeasureSet ?ms. ?ms coin:hasMeasure ?m. ?m coin:mDescriptor ?md. ?md rdf:type cuahsiOnto:MinornonMetal. ?m coin:mValue ?val. FILTER (?val >=10.0) INSIDE 2017

33 Geospatial and Semantic Queries
find the water quality stations in a Takhini watershed that have a value for a major metal above a given threshold and that are less than 10km from a First Nation feature There are various types of First Nation features: settlement land, heritage site … COIN Geographical Features Ontology GeoSPARQL ontology a la requête précédente on peut ajouter des connaissances sur la catégorie des objets géographique. Par exemple nous avons crée un hierarchie de features pour les territoires indiens qui permet de typer les objets saptiaux. … … … INSIDE 2017

34 Geospatial and Semantic Queries
find the water quality stations in a Takhini watershed that have a value for a major metal above a given threshold and that are less than 10km from a First Nation feature PREFIX rdfs: < ... SELECT ?s, ?name WHERE { ?s a coin:WaterQualityStation; rdfs:label ?l ; geo:hasGeometry [ geo:asWKT ?ptWKT ]. ?ws a coin:WaterShed; rdfs:label "Takhini"; geo:hasGeometry [ geo:asWKT ?rGeom FILTER (geof:sfWithin(?ptWKT,?rWKT)) ?s coin:hasMeasureSet ?ms ?ms coin:hasMeasure ?m ?m coin:mDescriptor ?md ?md rdf:type cuahsiOnto:MajorMetal. ?m coin:mValue ?val. FILTER (?val >=10.0) } cette partie de la requête qui combine les connaissances de domaine et les données spatiales peut être elle aussi facilement exprimée avec GeoSPARQL. ?fnf a coin:FirstNationFeature; geo:hasGeometry [ geo:asWKT ?fnfWKT ]. FILTER (geof:distance(?ptWKT, ?fnfWKT, units:km) < 10) INSIDE 2017

35 Conclusion operationnal prototype Parliament TripleStore  GeoSPARQL
Geoserver + Postgres PostGIS WMS, WFS LeafLet  Web mapping user interface INSIDE 2017