Le Projet MediaGrid: Un canevas de système de médiation pour l’accès transparent aux sources largement distribuées Sen Liu 26-01-2005 Towards a Mediation System Framework for Transparent Access to Largely Distributed Sources -- The MediaGrid Project

Le plan I. Contexte II. Article III. Critiques IV. Perspectives i. Les auteurs ii. Pourquoi la médiation ? II. Article i. Objectif ii. Architecture iii. Gestion de métadonnées iv. Génération de requête de médiation v. Evaluation adaptative et interactive III. Critiques IV. Perspectives V. Bibligraphie 26/ 01/ 2004 – Sen Liu – Lyon 1 1/19

Les auteurs Auteurs LaMI (Lab. des Méthodes Informatiques) Univ.Evry-Val d'Essonne Gilles Bernot, David Laurent, Fariza Tahi LSR (Lab. Logiciels Systèmes Réseaux), IMAG Grenoble Khalid Belhajjame, Christoph Bobineau, Gennaro Bruno, Christine Collet, Fabrice Jouanot, Trinh Tuyet-Vu, Genoveva Vargas-Solar PRiSM (Lab. Parallélisme, Réseaux, Systèmes, Modélisation), Univ.Versailles St Quentin Mokrane Bouzeghoub, Beatrice Finance, Zoubida Kedad, Xiaohui Xue Contexte Article Critique Perspective Bibligraphie 26/ 01/ 2004 – Sen Liu – Lyon 1 2/19

Pourquoi la médiation ? médiateur Les sources d’information sont nombreuses et très diversifiées dans des réseaux (Page Web, Tableurs, système de fichiers, applications, etc.) Un sytème de médiation Provider l’accès transparent aux sources hétérogènees et distribuées Une illusion pour l’utilisateur ou l’application Architecture de trois niveau utilisateur application médiateur adaptateur S1 S2 Contexte Article Critique Perspective Bibligraphie 26/ 01/ 2004 – Sen Liu – Lyon 1 3/19

Objectif Objectif Objectif: définir un canevas de système de médiation ouvert pour l’accès transparent aux source largement distribuées. « canevas » : un ensemble de classes abstraites réutilisables et la manière dont leurs instances interagissent. « ouvert » : construire des systèmes de médiation en « dehors » des éléments hétérogènes Un systéme de médiation de Mediagrid construit du canevas : Supporter plus de sources diponibles en considérant des sources contenant des donnés faiblement structurées un générateur de requête de médiation un évaluateur de requête adaptatif et interactif Article Contexte Critique Perspective Bibligraphie 26/ 01/ 2004 – Sen Liu – Lyon 1 4/19

Quelques définitions Schéma de médiation (schéma global) Architecture Schéma de médiation (schéma global) décrit des données intégrées manipulées dans le niveau de médiation Schéma exporté décrit des sources abonnées au système Requête de médiation sont des mappings entre le schéma exporté et le schéma de médiation Mappings Des requêtes en schéma de médiation  des sub-requêtes en schéma exporté Des résultats de sub-requêtes  un résultat global Schémas en XML Article Contexte Critique Perspective Bibligraphie 26/ 01/ 2004 – Sen Liu – Lyon 1 5/19

Semantic correspondences Architecture génerale du system médiation de MediaGrid Application Metadonnées Response XQuery For Eukaryotes organisms Where Entirely sequenced Return Expression matrix Mediation schema XML schema Semantic correspondences Evaluator Rewriting Mediation Mediation Queries generator GAV Mediation queries SM ? Q(S 1 ,S 2 3 ) MS = LAV S Q(S), Q(S) Q(MS), = (MS) GAV Mediation queries SM ? Q(S 1 ,S 2 3 ) LAV S Q(S), Q(S)  Schéma exporté (XML schéma) Exported schemas (XML schema) Statistics Capabilities Sub - query query 1 query n Intermediary result n Intermediary result 1 Sources Wrapper S1 Wrapper Sn 26/ 01/ 2004 – Sen Liu – Lyon 1 6/19

Gestion de métadonnées La méta-représantation d'un schema XML est basée sur une graphique modelée comme une série de noeuds Les métadonnées décrivent: le schéma de médiation, le schéma exporté et la requéte de médiation la correspondence sémantique la capabilité de source la statistique Textnode exporté Textnode de médiation NonTextnode exporté NonTextnode de médiation Correspondences sémantiques 1 Correspondences sémantiques 2 Article Contexte Critique Perspective Bibligraphie 26/ 01/ 2004 – Sen Liu – Lyon 1 7/19

Génération de requêtes de médiation Génération de requête de médiation Étant donnés : Un schéma de médiation La description des sources de données (schéma exporté) Problème : comment générer des requête de médiation Approche: Identification des portions pertinentes de sources de données Recherche des opérations candidates Génération des requêtes de médiation Article Contexte Critique Perspective Bibligraphie 26/ 01/ 2004 – Sen Liu – Lyon 1 8/19

Identification des portions pertinentes de sources Génération de requête de médiation Un schéma pertinent est composé par des éléments du schéma expoté impliqués dans des correspondences sémantiques et la clé et la clé étrangère sont définites dans le schéma exporté. Schema de médiation Library Author + Id Name Address Book + ISBN Title Chapter + Number Resume ? Schéma de source Chapters Resume Address + Author Schéma pertinent Library Author + Id Name Book + ISBN Title Chapter + Number Resume Address + Author Address Article Contexte Critique Perspective Bibligraphie 26/ 01/ 2004 – Sen Liu – Lyon 1 9/19

Recherche des opérations candidates Génération de requête de médiation Opérations candidates: opérateur de jointures Jointure candidate entre deux schémas pertinents Jointure candidate au sein d’un même schéma pertinent SP1 Library Author + Id Name Book + ISBN Title Chapter + Number Resume Address + Author Address SP2 Library Book + ISBN Author + Id Name Chapter + Number Title J(Name1=Author1) J(ISBN1=ISBN2) Article Contexte Critique Perspective Bibligraphie 26/ 01/ 2004 – Sen Liu – Lyon 1 10/19

Génération des requêtes Génération de requête de médiation Le schéma de médiation est décomposé en parties Pour chaque partie, on recherche ses mappings partiels Schéma de médiation Library Author + Id Name Address Book + ISBN Title Chapter + Number Resume ? p1 p2 p3 Article Contexte Critique Perspective Bibligraphie 26/ 01/ 2004 – Sen Liu – Lyon 1 11/19

Génération des requêtes--exemple Génération de requête de médiation M1Author: - jointure mono-source sur (Author1=Name1)- en conservant {Id1,Author1, Address1} M2Author: - jointure entre SP2 et SP3 sur (Id2=Id3)} - en conservant {Id2, Name2, Address3} Une requête de médiation est une combinaison de mappings partiels: Q1= {M1Author,M2Author} p3 p2 p1 Schéma de médiation Library Author + Id Name Address Book + ISBN Title Chapter + Number Resume ? SP1 Library Author + Id Name Book + ISBN Title Chapter + Number Resume Address + Author Address j(Name1=Author1) SP2 j(Id2=Id3) SP3 Authors Article Contexte Critique Perspective Bibligraphie 26/ 01/ 2004 – Sen Liu – Lyon 1 12/19

Evaluation adaptive et interactive Canevas de courtier de requête(QBF) : un canevas d’évaluation de requêtes. Courtier de requête: un évaluateur adaptatif de requêtes Une conception représentée par une série de composants: gestionnaire de requête, gestionnaire de plan, gestionnaire de contexte, gestinnaire de buffer, moniteur, etc. Evaluation adaptative Evaluation interactive Article Contexte Critique Perspective Bibligraphie 26/ 01/ 2004 – Sen Liu – Lyon 1 13/19

Evaluation adaptative Evaluation adaptive et interactive Objectif : ajuster le plan d’exécution selon les statistiques acquises(eg. le délai de réseau) Approche: le « brouillage de requête » est proposé, il réagit à un délai par deux façons Réordonner le plan d’exécution quand un délai est détecté. Si un autre opérateur o peut être exécuté, un opérateur Buffer va être inséré dans le plan d’exécution pour exécuter o pendant le délai Restructurer le plan de requête en modifiant l’ordre des opérateurs de jointure pour que un sub-plan puisse être évalué pendant le délai des données indisponibles  des résultats partiels Article Contexte Critique Perspective Bibligraphie 26/ 01/ 2004 – Sen Liu – Lyon 1 14/19

Evaluation interactive Evaluation adaptive et interactive Evaluation interactive Autoriser l’affinement et le contrôle de l’exécution des requêtes Deux étapes: Détecter la modification par un moniteur Rédiriger des flux de données entre des opérateurs pour minimiser la mise à jour Article Contexte Critique Perspective Bibligraphie 26/ 01/ 2004 – Sen Liu – Lyon 1 15/19

Critiques Points forts Génération de requête de médiation: automatique--manulle Evaluation de requête: adaptative et interactive-- statique Point faible Sur l’article,pas d’expérimentation, pas d’évaluation de performance Critique Contexte Article Perspective Bibligraphie 26/ 01/ 2004 – Sen Liu – Lyon 1 16/19

Perspectives Un système de médiation dans le futur pourra Etre extrêmement dynamique: Gérer efficacement l’évolution de sources de données et l’insertion et la suppression de sources. Avoir le générateur de requête de médiation et l’évaluateur adaptatif et interactif. Perspective Contexte Article Critique Bibligraphie 26/ 01/ 2004 – Sen Liu – Lyon 1 17/19

Bibliographie Bibligraphie Contexte Article Perspective Bibliographie [1]Christine Collet, Khalid Belhajjame, Gilles Bernot, Christophe Bobineau, Gennaro Bruno, Beatrice Finance, Fabrice Jouanot, Zoubida Kedad, David Laurent,Fariza Tahi, Genoveva Vargas-Solar, Tuyet-Trinh Vu, and Xiaohui Xue,Towards a Mediation System Framework for Transparent Access to Largely Distributed Sources--The MediaGrid Project ICSNW 2004, LNCS 3226, pp. 65–78, 2004. [2]Laurent Amsaleg , Michael J. Franklin , Anthony Tomasic, Dynamic Query Operator Scheduling for Wide Area Remote Access, Distributed and Parallel Databases, v.6 n.3, p.217-246, July 1998 [3] Collet, C, Vu,T-T.: QBF: a Query Broker Framework for Adaptable Query Evaluation.In Proc. of the Sixth International Conference on Flexible Query Answering Systems (FQAS), June 24-26, Lyon, France.(2004) Bibligraphie Contexte Article Critique Perspective 26/ 01/ 2004 – Sen Liu – Lyon 1 18/19

Merci ! Et des questions 26/ 01/ 2004 – Sen Liu – Lyon 1 19/19