Gestion active de l’entrepôt edot avec ACWare Revue edot du 29 Juin 2004 Lot 3 : Création de l’entrepôt S. Abiteboul, B.Amann, N. Azis, B. Nguyen, G. Ruberg G. Cobéna, A. Poggi, V. Bensal

2 revue edot - 29 juin 2004 Les entrepôts de contenu en bref But: Permettre un accès intégré vers des sources de données hétérogènes, autonomes et distribuées. Fonctionnalités principales: Acquisition Transformation Filtrage Nettoyage et intégration Requêtes Accès centralisé vers l’information: Entrepôt vs. Médiateur Entrepôt : l’information est obtenue à l’avance Médiation : l’information est obtenue au moment de la requête Entrepôt actif : Stockage Traitement (services webs) ActiveXML

3 revue edot - 29 juin 2004 Organisation Contexte et Motivations Le modèle ACWare Application dans le cadre de e.dot (B. Amann)

Contexte and motivations Entrepôts XML

5 revue edot - 29 juin 2004 Etat des lieux : Le Web Format d’échange universel (XML) Mariage entre documents et bases de données Standard de langage de requêtes: XQuery Services Web (SOAP, WSDL) Format pour exporter des services sur le Web Format pour encapsuler des requêtes Web sémantique (ontologies) Trouver et utiliser l’information pertinente

6 revue edot - 29 juin 2004 XML : Du texte et de la structure Des arbres ordonnés étiquettés dont les feuilles sont du texte Intérêt: Permet une recherche plein texte (mots-clé) et une recherche structurelle (SQL-like)

7 revue edot - 29 juin 2004 Services Web Possibilité d’activer une méthode sur un serveur web distant Echange d’informations en XML : les entrées et sorties se font en XML Méthode de calcul XML distribué, par le biais de services Web Avec XML et les Services Web, il est possible de Récupérer des informations de n’importe où Exporter nos données n’importe où

8 revue edot - 29 juin 2004 Accès à l’information distante Application using food risk DB Query some data services Food Risk DB processing Use some processing services Heterogeneous formats, protocols, etc.

9 revue edot - 29 juin 2004 Avec des Services Web Query some data services Food Risk DB processing Use some processing services Web Application using Food Risk DB Uniform access to information

10 revue edot - 29 juin 2004 Avantages de l’approche Entrepôt Distribué Elle permet: Support de requêtes complexes (MIEL++) Analyse complexe des données (via divers services web) Enrichissement des données Monitorage possible des informations Versionnement, archivage, requêtes temporelles Une mise en oeuvre facilité de toutes les fonctionalités (Services Web)

Le modèle ACWare

12 revue edot - 29 juin 2004 Rappel des objectifs On veut: Construire des entrepôts de données semi structurées Utiliser des services web pour enrichir et traiter les données Comment atteindre ces objectifs ? Construction du schéma de l’entrepôt basé sur un modèle de conception bien précis Pas de programmation, conception par le biais de requêtes Utilisation de standards : XQuery, XUpdate, WSDL

13 revue edot - 29 juin 2004 ACWare Manager Architecture ACWare ACWare Designer ACWare Compiler Formal Declarative Description : ACWare Declaration Supported target platform : ActiveXML : documents+ services Executable Program Warehouse instance XyCrawler, EDotFilter, Thesus, Any2Xtab, Xtab2SML, pdfCrawler … web services queries ACWare Viewer

14 revue edot - 29 juin 2004 Délivrables Un langage de spécification pour décrire l’entrepôt, et les entrées/sorties de données concernant les services web Un compilateur qui transforme la description formelle d’un entrepôt dynamique en une instance d’entrepôt et un ensemble de programmes exécutables Une plate-forme répondant aux spécifications, sur laquelle tourne l’application : ActiveXML Une Interface (GUI) pour éditer les spécifications de l’entrepôt Des outils pour l’interrogation et le pilotage de cet entrepôt dynamique

15 revue edot - 29 juin 2004 Modèle Modèle de données Schéma de l’entrepôt (dans l’esprit E.A) Types Semi-Structurés Clés Modèle de Services Entrée Sortie

16 revue edot - 29 juin 2004 Warehouse DATA Gather Data from the WWW Integration of validated Data Gather Data from Bio-Industry Partners edot Services: -html clean-up -doc filters -content analysis Biologist work: -Validation of data -Querying and using data -Manage Web data sources

17 revue edot - 29 juin 2004 Modèle de données : Types Type System:  :: basic  complex basic :: string  integer  float  … complex :: composite  collection composite :: [(ℓ1):  1, ℓ2:  2, …, ℓn:  n] collection :: {composite} Example: string integer

18 revue edot - 29 juin 2004 Modèle de données : Schéma Le schéma de l’entrepôt est défini en déclarant des collections, des entités, et les relations entre elles, qui portent la sémantique enrichiPar.

19 revue edot - 29 juin 2004 Exemple réel (voir suite) <dataTypes:child type="string" name="value"/> <dataTypes:child type="string" name="value"/> <dataTypes:child type="textcontent" name="content"/> <dataTypes:child type="collection" of="author" key="author.value"/> <Whouse:collection name="TheWarehouse" key="document.URL.value"> <Whouse:collection name="measures" key="measure.item"> Modèle des données

20 revue edot - 29 juin 2004 Modèle des Services WSDL Compliant Input Additional Information (e.g. location of data) Warehouse Web Service (WSDL Definition) WSDL Compliant Output Copy of Additional Information Update Script 1.Input Query create input data 2. Web Service Call execute/use the service 3. Create Update Script apply results to the warehouse

21 revue edot - 29 juin 2004 Requête d’Entrée Modèle formel : langage XQuery Implémentation actuelle : XOQL Méthode : Cas simple : génération de la requête correspondante Cas plus complexe : Ecriture de la requête par le gestionnaire de l’entrepôt

22 revue edot - 29 juin 2004 Requête Xquery (XOQL) SELECT $A/crawled-version::text()... $A/URL FROM $A IN /biblio/document WHERE not exists ($A/document/clean-version::text())

23 revue edot - 29 juin 2004 Resultat après l’appel de services......

24 revue edot - 29 juin 2004 Requête de sortie Script de MAJ: SELECT <xupdate:insert path=“/biblio/document[URL=$A/../info/docId:text]/ webpage” > $A/xhtml-page:text() FROM $A IN root/output Après l’exécution du service, appliquer le scripte de MAJ à l’entrepôt

25 revue edot - 29 juin 2004 Implantation : ActiveXML Plateforme de développement de l’équipe GEMO : intégration de données et services Entièrement XML ! Stockage Vérification de types Optimisation des appels de services Appels de services asynchrones Xpath, Xquery, XSL, XSchema… www-rocq.inria.fr/gemo/Gemo/Projects/axml/

26 revue edot - 29 juin 2004 References rocq.inria.fr/gemo/projects/spin/

Questions ?