Traitement de requêtes XML et applications distribuées Ioana Manolescu INRIA Futurs - LRI, projet Gemo

Plan Bases de données distribuées Bases de données et requêtes XML Application XML distribuée: ActiveXML Distribution et réplication Gestion de ressources sémantiques Optimisation

I. Bases de données et requêtes XML

XML: un exemple <item>Une introduction aux <title>Légendes du Graal</titre> par <auteur>P.Boulenger</auteur> aux éditions <éditeur>Dunod</éditeur> pour juste 5.55 Euros ! <click>…</click> </item> item titre auteur #CDATA editeur click

Propriétés des documents XML ayant un impact sur le stockage (1) Hétérogénéité XML permet: des éléments optionnels (?), des répétitions (+, *), des choix (|) Identité Deux élements à contenu identique sont différents En comparaison, dans une table relationelle, impossible de discerner entre deux tuples à contenu identiques 3 a b 2 1 c d a/b/c[1] <> a/b/c[2] a/b[count(c)>2]//c

Propriétés des documents XML ayant un impact sur le stockage (2) Presence de "mixed content" "Données dans les éléments" "Données en dehors des éléments" <item>Une introduction aux <title>Légendes du Graal</titre> par <auteur>P.Boulenger</auteur> aux éditions <éditeur>Dunod</éditeur> pour juste 5.55 Euros ! <click>…</click> </item> item titre auteur #CDATA editeur click

Propriétés des documents XML ayant un impact sur le stockage (3) Ordre des éléments <item>Une introduction aux <title>Légendes du Graal</titre> par <auteur>P.Boulenger</auteur> aux éditions <éditeur>Dunod</éditeur> pour juste 5.55 Euros ! <click>…</click> </item> item titre auteur #CDATA editeur click <item><auteur>P.Boulenger</auteur><click>…</click> <éditeur>Dunod</éditeur> <titre>Légendes du Graal</titre>par pour juste 5.55 Euros ! Une introduction aux</item> item click editeur auteur titre #CDATA

Propriétés des documents XML ayant un impact sur le stockage (4) Importance de la structure Codée implicitement Souvent l'interrogation navigue la structure departement personne adresse responsable Paris 2 "Dupont" rue Lafayette no ville employe 35 Bd Opera

Propriétés des documents XML ayant un impact sur le stockage (5) Présence d'un schéma S'il existe, il peut être utilisé pour systématiser le stockage département personne personne "Dupont" responsable "Dupont" employe adresse adresse rue no ville rue no ville 2 Paris 35 Paris Lafayette Bd Opera

Interrogation de documents XML: XPath Langage de chemin dans le document /département /département/personne/@nom /département/personne[/@nom="Dupont"]/adresse //personne[/@nom="Dupont"] /ancestor-or-self::* //personne [/@nom="Dupont"] /previous-sibling::* //personne//ville/text() departement personne adresse Fonction: responsable Paris 2 nom: "Dupont" rue Lafayette no ville employe 35 Bd Opera

Puissance de l'interrogation par XPath Partition du document selon les axes Xpath Conditions existentielles //département[person/address/ville="Paris"]//person; Quelques fonctions d'aggrégation Min, max, count preceding-sibling ancestor following-sibling self descendent

Limitations de XPath Pas de jointure Impossible d'exprimer une corrélation entre des données situées sur des chemins différents Pas de jointure Ne peut retourner que "des noeuds éxistants" Pas de re-formulation, combinaison de plusieurs documents "Langage d'adressage" non pas "langage de requêtes" Requête: sélection, corrélation, reconstruction

Requêtes XQuery for $x in document("d.xml")//personne where $x/@fonction/text()="employe" return $x/@name; departement personne adresse Fonction: responsable Paris 2 nom: "Dupont" rue Lafayette no ville employe 35 Bd Opera

Requêtes XQuery <tousLesDuponts> for $x in document("d.xml")//employe where $x/@name/text()="Dupont" return <fonction> $x/@fonction/text() </fonction> </tousLesDuponts> departement personne adresse Fonction: responsable Paris 2 nom: "Dupont" rue Lafayette no ville employe 35 Bd Opera

Requêtes XQuery for $x in document("d.xml")//personne, $y in document("d.xml")//personne where $x/@name/text()=$y/@name/text() and $x/@fonction/text()!= $y/@fonction/text() return $x, $y; departement personne adresse Fonction: responsable Paris 2 nom: "Dupont" rue Lafayette no ville employe 35 Bd Opera

Puissance de l'interogation par XQuery XPath Jointures Restructurations arbitraires ("nouveau XML") Imbrication arbitraire Possibilité d'ignorer l'ordre des données en entrée (mot-clé UNORDERED) Typage, sémantique formelle Extensibilité : fonctions XQuery Y compris fonctions récursives... Très puissant, mais plus optimisable que XSL-T

Bases de données XML supportant XQuery Systèmes à stockage persistent Systèmes sans stockage Stockage natif Streaming Stockage non-natif Compilation de code

Bases de données XML supportant XQuery Stockage natif (construit) pour XML Natix, Xyleme, Timber, OrientX, Sedna, Jungle, GeX,... Stockage non-natif (basé sur le relationnel) IBM, Oracle, MS, LegoDB, Rainbow, XQuark ... Systèmes "streaming" Enosys, BEA Systèmes "compilation de code" Galax, Kawa, XDuce, CDuce, QizX,...

Stockage non-natif Document XML Chargement dans le SGBDR Recomposition du document Traitement de requêtes Traduction de XQuery vers SQL Exécution de la requête SQL Construction du résultat XML SGBDR (ou R-O) Persistence Indexation Fiabilité Transactions

Stockage non-natif Intérêt: Problèmes à résoudre: Réutiliser l'existant (un SGBD est coûteux, difficile à construire, installer, configurer) Problèmes à résoudre: Choix du schéma relationnel de stockage Les documents peuvent avoir un schéma XML Chargement automatique de documents XML Traduction des requêtes XML en requêtes SQL Construction du résultat XML

Stockage natif Objectifs Techniques Regroupement des objets fréquemment utilisés simultanément (localité de l'accès) Primitives d'accès efficace (e.g. //person) Primitives d'évaluation efficace (e.g. //person//name) Techniques Etiquetage des noeuds crucial Usage de structures d'indexation génériques de niveau plus bas (B-trees, R-trees...)

Bases de données XML: ce qui reste à faire Bonne diffusion des connaissances sur le standard XQuery La spécification est assez complexe Ce n'est pas une excuse Langage: mises à jour, interrogation textuelle Mise en oeuvre (natif): algèbre standardisée (ou début de consensus...) modèle d'exécution techniques générales et validées d'optimisation

II Bases de données + distribution + XML ?

Bases de données XML distribuées ? Nouveaux problèmes ? XML s'adapte bien à tous les scénarios distribués Bases de données XML distribuées = Bases de données XML distribuées ? Bases de données XML distribuées ?

Avantages de XML pour la gestion distribuée de données HTML --> XML, Word --> XML: volume ! Rapports annuels INRIA en XML ! Nombreux standards facilitent l'interopérabilité entre plusieurs sites XPath, XQuery, XSL Dialectes XML spécifiques à des applications Services Web: APIs de communication basées sur XML Standards: SOAP pour l'acheminement de messages WSDL pour les signatures XML BPEL4WS pour l'orchestration ... Une application: ActiveXML

Une application de gestion de données XML distribuées: ActiveXML Projet développé a l'INRIA Futurs, projet Gemo 09/2001 -- présent Equipe: Serge Abiteboul Bernd Amann Jérome Baumgarten Omar Benjelloun Angela Bonifati Bogdan Căutiş Grégory Cobéna Cosmin Cremarenco Frédéric DangNgoc Florin Drăgan Ioana Manolescu Tova Milo Benjamin Nguyen Antonella Poggi Nicoleta Preda Gabriela Ruberg Nicolaas Ruberg ....

Principe de AXML Active XML : XML contenant des appels à des services Web Paramètres : XML Résultats : XML, insérés dans le document lorsque l'appel de service retourne Documents XML/HTML contenant des appels à des composantes actives / services : Tous les langages de script dans HTML Macromedia MX (DreamWeaver) .NET etc.

XML avec des appels de services <directory> <dept name="Toy“> <sc>toy.xyz.com/GetToyPersonel()</sc> </dept> <dept name=“DVD“> <sc>dvd2000.com/GetDVDPersonnel()</sc> </directory> Appels de services Appels vers n'importe quel service enveloppé en SOAP : e-bay.net, google.com, amazon.com, etc. services AXML (requêtes XML)

Example: document AXML après l'évaluation de l'appel de service <directory> <dept name="Toy“> <person pname=“Smith”> <phone>01…</phone> <pda> <sc>toy.xyz.com/GetPDA(../../@pname)</sc> </pda> </person> <sc>toy.xyz.com/GetToyPersonel()</sc> </dept> <dept name=“DVD“> <sc>dvd2000.com/GetDVDPersonnel()</sc> </directory> Résultat Appel

Requêtes sur des documents AXML : XQuery, XPath Services AXML : définis comme des requêtes XQuery sur les documents AXML let service Get-Toy-Personnel( ) be for $a in document("toy.xyz.com/members.axml")/member, $b in $a//name, $c in $a//phone, $d in $a//pda return <person pname={ $b/text() }> { $c } { $d } </person>

Architecture globale pour Active XML AXML peer S2 AXML peer S1 query SOAP XQuery processor Evaluator AXML AXML peer S3 read update SOAP wrapper AXML read update consults SOAP service descriptions SOAP service XML AXML document store AXML SOAP client service call service result

Problèmes de gestion de données distribuées avec ActiveXML Distribution et réplication de documents AXML [ABC+03] Indexation XML en P2P: couplage de AXML avec un réseau DHT [AMP04,AMP05] Optimisation de calculs AXML intensionnels [RRM04]

II.1. Réplication et distribution de documents ActiveXML

Réplication et distribution des documents Active XML Problème de gestion de données distribuées Contexte : architecture peer-to-peer Motivation : gestion efficace et flexible pour Données (A)XML Services portables (pouvant être installés ailleurs que dans leurs peer d'origine): Java, XQuery Solution : Langage déclaratif pour réplication (distribution) Traitement de requêtes XML Réplication dynamique

Distribution et réplication des documents XML allCNN sports US world … weather forecast archive Europe … n Europe … Africa … Asia … weather forecast archive France …

Distribution et réplication des documents XML allCNN sports US world … weather forecast archive n Europe … Africa … Asia … weather forecast archive Europe … France …

Distribution et réplication manuelle des données XML Directive de réplication : Une requête XQuery sur doc chez pi Le résultat de la requête est copié chez pj Conservant l'identité des noeuds copiés ou non Conservant les liens fils-père et père-fils ou non Europe … France Europe … France id1 devient

Distribution et réplication manuelle des données XML Directive de réplication : Une requête XQuery sur doc chez pi Le résultat de la requête est copié chez pj Conservant l'identité des noeuds copiés ou non Conservant les liens fils-père et père-fils ou non Europe … France Europe … France devient id1 id1 France …

Distribution et réplication manuelle des données XML Directive de réplication : Une requête XQuery sur doc chez pi Le résultat de la requête est copié chez pj Conservant l'identité des noeuds copiés ou non Conservant les liens fils-père et père-fils ou non Si pi décide d'effacer lés données => distribution Europe … France Europe … devient France …

Réplication et distribution, détails Chaque peer garde les liens sortants dans un résumé des points de sortie Il existe une copie "master" de chaque document Et elle est connectée Conceptuellement : La fusion basée sur des identifiants de tous les fragments d'un document donne le document même Europe France Europe … France id1 fusion => Europe … France id1

Interrogation de documents XML avec réplication et distribution La requête peut spécifier la localisation des données interrogées (~version) {Doc("cnn.com")/world/Europe/France}@p1 {/Economie}@p2 Plusieurs variantes possibles @local @localORAny @masterORlocalORAny Si au moins une ambiguïté est possible, il faut choisir la version à utiliser

Quelle version utiliser ? Requête sur pi : {Doc("cnn.com/root.xml")/world/Europe/France}@any cnn Le traitement ne peut commencer que : D'une racine ("cnn.com/root.XML") D'un noeud de pi Le reste n'est pas connu / pas accessible de pi L'évaluation traverse plusieurs peers Chaque peer : Détermine ce qu'il peut traiter de la requête (utilisant les points de sortie) Choisit le peer suivant world Europe … France id1 France … id1

Choix du peer suivant … … Analyse "what-if" récursive initiée chez pi Ensemble de peers candidats Chaque candidat pourrait à son tour déléguer une partie du travail à un autre Pi ne connaît pas ce choix (ne "voit" pas plus loin que le peer suivant). Pi demande un "devis" à chaque peer candidat Un devis = un plan d'exécution réparti Identification des peers qui exécuteront chaque pas cnn world Europe … France id1 France … id1

Modèle de coût et choix des peers suivants Paramètres objectifs pour chaque requête x peer : CPU, I/O, réseau, batterie, … cnn Chaque peer => ensemble de poids subjectifs pour chaque paramètre de coût P.ex.: "en dehors de .inria.fr, coût 0" Chaque peer demande aux candidats les coûts objectifs… Et choisit le devis minimisant son coût subjectif (ou refuse de coopérer) Ceci peut arriver à plusieurs niveaux Résultat = meilleur consensus négociable parmi les peers accessibles à pi world Europe … France id1 France … id1

Choix du peer suivant, variantes Aucune analyse des coûts Heuristiques (locales !) De manière non-deterministe Choix sous-optimaux Limiter l'ensemble de candidats Au plus n à chaque pas

Scénario de communication pour le traitement d'une requête Analyse des coûts P5 P2 P6 P1 P8 P7 P4 P9 P3 P10

Scénario de communication pour le traitement d'une requête Analyse des coûts P5 P2 P6 P1 P9,P10 P8,P3 P3 P8 P7 P4 P3 P9 P10

Scénario de communication pour le traitement d'une requête Analyse des coûts P5 P7,P9,P10 P6,P8,P3 P2 P6 P1 P8,P3 P3 P8 P7 P4 P3 P9 P10

Scénario de communication pour le traitement d'une requête Analyse des coûts P5 P2 P5,P6,P8,P3 P6 P1 P8 P7 P4 P3 P9 P10

Scénario de communication pour le traitement d'une requête Exécution P5 P2 P6 P5,P6,P8,P3 P1 P8 P7 P4 P9 P3 P10

Réplication de documents AXML Que faire si le fragment XML à répliquer contient un appel de service ? Ne pas le prendre (l'ignorer) Europe … France devient id1 météo.fr/getForecast()

Réplication de documents AXML Que faire si le fragment XML à répliquer contient un appel de service ? Mettre un lien vers le résultat sur le peer d'origine Europe … France devient id1 météo.fr/getForecast()

Réplication de documents AXML Que faire si le fragment XML à répliquer contient un appel de service ? Le prendre Europe … France Europe … France devient id1 id1 France … météo.fr/getForecast() météo.fr/getForecast()

Réplication de documents AXML Que faire si le fragment XML à répliquer contient un appel de service ? Si service XQuery : prendre la définition de service aussi Europe … France Europe … France devient id1 id1 France localGet Forecast() … météo.fr/getForecast() météo.fr/getForecast()

Réplication de documents AXML Que faire si le fragment XML à répliquer contient un appel de service ? Si service XQuery : prendre la définition de service aussi, et les données nécessaires Europe … France Europe … devient id1 id1 France France localGet Forecast() … … météo.fr/getForecast() météo.fr/getForecast()

Réplication dynamique (automatique) de documents AXML Chaque peer enregistre un coût global subjectif pour les requêtes et appels de services fait sur ce peer En prenant des copies locales de données et/ou des services nécessaires, le peer peut améliorer le coût global subjectif Limitations : espace ; bande passante Algorithme récursif greedy de recherche Recommande des choix de réplication Transparent pour l'utilisateur

II.2. Indexation XML en P2P: couplage AXML et DHT

Ajouter un catalogue global à AXML Requête: "//personne" Sémantique: tous les éléments XML <personne>, de tous les documents, de tous les peers. Plus généralement, "Tree Pattern Queries" Solution: Utiliser des services DHT comme des Web services Calculer des clés DHT à partir des documents XML A l'aide d'AXML, distribuer l'index sur la DHT Exploiter l'index pour répondre à des requêtes Autres facettes: connaissances sémantiques; langage d'interrogation moins précis (XML-IR)

Catalogue global pour ActiveXML departement personne nom: "Durand" "Dupont" doc1.xml tag:departement | p1,doc1 tag:nom | p1, doc1 Active XML Active XML Peer p1 nom ? Peer p2 //personne//nom ? getData personne? Active XML val:Dupont | p1,doc1 Peer p3 tag:personne | p1,doc1 Active XML val:Durand | p1,doc1 Peer p5 Active XML Peer p4

Indexation de connaissances sémantiques en P2P Tag:nom, val:Durand Concept:database Concept:XMLDatabase isA concept:database Concept:architecture partOf concept:database Tag:DBBook relatedTo concept:database Graphe déterminé par les relations entre ressources Requêtes = navigation sur graphe Indexation sur DHT des noeuds et arrêtes du graphe

Intérêt de ActiveXML pour la gestion de données sur DHT Indexation intesionelle Au lieu d'indexer (key, val1, val2, ..., val3) indexer (key, appelDeService) où l'activation de l'appel de service fournit les valeurs Compromis Taille de l'index Temps de traitement de requêtes Choix des ensembles (key, vali) à "compresser" Automatique / user-defined / workload / sémantique...

II.3. Optimisation de calculs intensionnels

Calculs intensionnels Un paramètre d'un appel de service peut être un appel de service altavista.com/translate(<from>Tchek</from>, <to>Francais</to>, crystalGlasses.cz/getCatalog()) Matérialiser un document AXML: effectuer tous les appels de services, dans le bon ordre Plusieurs stratégies possibles vamos.futurs.inria.fr altavista.com crystalGlasses.cz

Calculs intensionnels Un paramètre d'un appel de service peut être un appel de service altavista.com/translate(<from>Tchek</from>, <to>Francais</to>, crystalGlasses.cz/getCatalog()) Matérialiser un document AXML: effectuer tous les appels de services, dans le bon ordre Plusieurs stratégies possibles vamos.futurs.inria.fr altavista.com crystalGlasses.cz

Calculs intensionnels Un paramètre d'un appel de service peut être un appel de service ANY/translate(<from>Tchek</from>, <to>Francais</to>, crystalGlasses.cz/getCatalog()) Matérialiser un document AXML: effectuer tous les appels de services, dans le bon ordre Plusieurs stratégies possibles vamos.futurs.inria.fr googleTranslate.com crystalGlasses.cz

Calculs intensionnels Un paramètre d'un appel de service peut être un appel de service ANY/translate(<from>Tchek</from>, <to>Francais</to>, crystalGlasses.cz/getCatalog()) Matérialiser un document AXML: effectuer tous les appels de services, dans le bon ordre Plusieurs stratégies possibles vamos.futurs.inria.fr googleTranslate.com crystalGlasses.cz

Optimisation des calculs intensionnels Espace de recherche Choix du peer qui fournit un service appellé Choix du peer qui invoque un service Heuristiques Modèle de coût Execution de services, transferts, ... Stratégie de recherche 1 peer coordinateur; greedy décision distribuée: travail en cours

Sommaire Travaux importants sur la gestion de données distribuées Travaux existants (et à faire) pour la gestion de données XML La combinaison des deux est possible Application intéressante: ActiveXML Modèle de données orienté sur les arbres Modèle d'exécution distribué Beaucoup de croisements intéressants à faire Besoin de plus de résultats XML

Quelques références (très peu !) Stockage et traitement de requêtes XML I.Manolescu: "XML query processing: storage and query model interplay", tutorial EDBT 2004 Summer School Active XML: www.purl.org/axml Applications AXML décrites ici: [ABC+03] S.Abiteboul, A.Bonifati, G.Cobena, I.Manolescu and T.Milo. "Dynamic XML Documents with Distribution and Replication", SIGMOD 2003 [AMP04] S.Abiteboul, I.Manolescu and N.Preda. "Constructing and querying P2P warehouses of XML resources", Semantic Web and Databases Workshop 2004 [AMP05] S.Abiteboul, I.Manolescu and N.Preda. "Peer-to-peer warehousing of XML resources", ICDE 2005 (demo) [RRM04] N.Ruberg, G.Ruberg and I.Manolescu. "Towards cost-based optimization of data-intensive Web service computations", SBBD 2004

Merci