La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Interopérabilité d'un Serveur de Structures de Données Distribuées et Scalables et d'un SGBD Relationnel-Objet Présentation en vue de la Thèse Yakham.

Présentations similaires


Présentation au sujet: "1 Interopérabilité d'un Serveur de Structures de Données Distribuées et Scalables et d'un SGBD Relationnel-Objet Présentation en vue de la Thèse Yakham."— Transcription de la présentation:

1 1 Interopérabilité d'un Serveur de Structures de Données Distribuées et Scalables et d'un SGBD Relationnel-Objet Présentation en vue de la Thèse Yakham NDIAYE 13 Novembre Novembre 2001

2 2 u Étudier les possibilités d'interopérabilité dune SDDS avec un SGBD. u Proposer des architectures de couplage. u Valider les choix techniques par limplantation de prototypes et létude expérimentale de performances. u Ce travail se situe à la croisée des technologies des SGBDs en mémoire centrale, du relationnel-objet supportant les fonctions externes, et des SGBD distribués/parallèles. Objectifs

3 3 u Multiordinateurs u SDDSs u SGBDs AMOS-II et DB2 u Couplage SDDS & AMOS-II u Couplage SDDS & IBM DB2 u Mesures de Performances u Conclusion Plan

4 4 u Collection dordinateurs faiblement couplés. ­Collection de stations de travail interconnectées par un réseau local haut-débit et sans mémoire partagée ( Mb/s) u Rapport coût-performance. ­Moins chère et plus puissant quun gros système. ­Disponible presque partout. u Puissance de calcul. ­Capacités quasi illimitées de calcul, de mémoire vive et de stockage... Les Multiordinateurs

5 5 u Nouvelle classe de structures de données pour les Multiordinateurs. u Données structurées : enregistrement avec une clé. balayage parallèle & envoi de fonctions. u Données stockées sur des sites désignés serveurs. u Un serveur qui déborde, transfère la moitié de ses enregistrements vers un nouveau serveur. u Requêtes formulées à partir de sites autonomes désignés clients. Pas de répertoire daccès central. Les SDDS

6 6 u AMOS-II : SGBD relationnel-objet expérimental développé par EDSLAB Université de Linköping en Suède. (http://www.dis.uu.se/~udbl/). u Données entièrement stockées en RAM. u Langage de manipulation déclaratif: AMOSQL. u Interface AMOS-II avec un programme externe : - call-level interface (callin) - fonctions externes (callout) SGBD AMOS-II

7 7 u SGBD relationnel-objet dIBM. « DB2 Universal Database ». u Représentant typique dun SGBD relationnel-objet commercial. u Accéder à des données stockées en dehors de la base DB2 à travers les fonctions définies par lutilisateur (User Defined Functions). DB2 Universal Database

8 8 Stratégies de Couplage avec AMOS u Stratégie AMOS-SDDS: - Étendre le gestionnaire SDDS afin quil puisse supporter des opérations de bases de données. - Construction dune liaison entre un SGBD et un entrepôt de données externes avec des accès rapides hors SGBD. - Effectuer les traitements en parallèle en se basant sur lenvoi de fonctions sur des sites distants.

9 9 Le Système AMOS-SDDS Traitement de requêtes sous AMOS-SDDS

10 10 Stratégies de Couplage avec AMOS u Stratégie SD-AMOS: - Un serveur SDDS utilise un SGBD en interne comme gestionnaire de mémoire. - Stockage des données dans AMOS-II. - Couche SDDS gère la répartition scalable des données.

11 11 Le Système SD-AMOS Traitement de requêtes dans SD-AMOS

12 12 Couplage SDDS & DB2 u Stratégie DB2-SDDS: - Construction dune liaison entre un SGBD et un entrepôt de données externes avec des accès rapides hors SGBD. - Concevoir linterface permettant à DB2 dutiliser les services du client SDDS pour envoyer une requête de recherche sur des données distantes.

13 13 Couplage SDDS & DB2 Architecture de couplage DB2 et SDDS Déclaration dune fonction UDF sous DB2 : CREATE FUNCTION scan(Varchar(20)) RETURNS TABLE (ssn integer, name Varchar(20), city Varchar(20)) EXTERNAL NAME interface!fullscan'

14 14 Couplage SDDS & DB2 Fonctions externes pour accéder à un fichier SDDS à partir de DB2 : intervalle(cleMin, cleMax) -> liste enregistrements dont cleMin < clé < cleMax scan(nom_fichier)-> liste de tous les enregistrements du fichier Exemple de requêtes : - Parcours transversal Liste de tous les enregistrements du fichier SDDS. select * from table( scan(fichier) ) as table_sdds(SSN, NAME,CITY) - Requête à intervalle Liste des enregistrements du fichier SDDS dont la clé est comprise entre 1 et 100. select * from table(intervalle(1, 100) ) as table_sdds(SSN, NAME,CITY) order by Name

15 15 u Six postes Pentium III 700Mhz 256Mo de RAM sous Windows u Reliés par un réseau Ethernet 100Mbits/s. u Un site est utilisé comme client et les cinq autres comme serveurs. u Plusieurs serveurs SDDS par machine pour simuler plusieurs serveurs (jusquà trois). u Un fichier peut ainsi sétendre jusquà 15 serveurs. Environnement Expérimental

16 16 u Fichier personne avec trois champs: (ssn, nom, ville). ­De à enregistrements de 25 octets. ­Distribution aléatoire. u Requête de jointure pour retrouver les couples de personnes habitant la même ville. ­Requête 1 sur AMOS-II seul. ­Requête 2 sur AMOS-SDDS avec Envoi de fonction. u Fonctions agrégats count et max. u Deux stratégies de traitement. Expérimentations AMOS-SDDS

17 17 Evaluation des requêtes u E-stratégie ­Données sont stockées en dehors de AMOS-II » dans une case SDDS ­Evaluation des requêtes par des fonctions externes u I-stratégie ­Données sont importées dans une table AMOS-II » Possibilité de création dindex local » Tables temporaires vidées après traitement » Pratique pour les jointures ­Evaluation des requêtes par AMOS-II

18 18 Expérimentations sur AMOS- SDDS Nombre de Serveurs Durée Requête (s) Temps par tuple (ms) 67,23423,417,914,4 Nombre de Serveurs12345 Sans Index Avec Index Temps dexécution de Requête 2 sur un fichier enregistrements Stratégie Fonction Externe Stratégie Importation Temps dexécution de Requête 2 selon la stratégie

19 19 u Les résultats montrent un net avantage de la stratégie dimportation sur la stratégie externe pour lévaluation de la jointure. u Pour 5 serveurs, le taux damélioration est 6 fois plus important pour la boucle imbriquée, et 9 fois si un index est crée. u Ces résultats nous amènent à évaluer la stratégie dimportation sur un fichier de plus grande taille. Discussion

20 20 Simulation de plusieurs serveurs Requête 2 : temps par enregistrement extrapolé pour AMOS-SDDS Temps dexécution de la jointure en fonction de la taille du fichier et du nombre de serveurs Taille du fichier # SDDS servers Q1 (ms)3,055,026,8411,3612,7716,2518,55 Q2 (ms)2,553,083,356,166,398,438,75 Q1 extrap. (ms)3,055,026,848,289,610,6412,72 Q2 extrap. (ms)2,553,083,353,113,22,842,94 AMOS-II (ms)2,307,1712,0119,4124,1229,0836,44 Q1 = AMOS-SDDS; Q2 = AMOS-SDDS jointure avec count.

21 21 Simulation de plusieurs serveurs Extrapolation temps par tuple u Résultats attendus en initialisant un seul serveur par machine. - obtenus en divisant les temps mesurés par le nombre de serveurs par machine u Lextrapolation du temps de traitement de la requête de jointure avec count montre une scalabilité linéaire du système. u Le temps de traitement par enregistrement reste constant (2,94ms) quand la taille du fichier et le nombre de serveurs augmentent du même facteur.

22 22 Fonction agrégat count Fonction agrégat count sur AMOS-SDDS Temps dexécution de la fonction count sur un fichier de enregistrements # serveurs12345 Stratégie-E (ms) 10 Stratégie-I (ms) Fonction agrégat count sur AMOS-SDDS count sur AMOS-II seul = 280ms

23 23 Fonction agrégat max Fonction agrégat max sur AMOS-SDDS #serveurs12345 Stratégie-E (ms) Stratégie-I (ms) Temps dexécution de la fonction max sur un fichier de enregistrements Fonction agrégat max sur AMOS-SDDS max sur AMOS-II seul = 471ms

24 24 u Contrairement à la requête de jointure, la stratégie externe est gagnante pour lévaluation des fonctions agrégats. u La fonction count est 34 fois plus rapide. u La fonction max est 4 fois plus rapide. u Ceci est du au temps d'importation des données et que les SDDS garde en mémoire le nombre denregistrements courant de chaque case. u Speed-up linéaire : le temps de traitement décroît en proportion de laugmentation du nombre de serveurs. u L'utilisation des fonctions externes peut ainsi être très avantageuse pour certains types de requêtes. Discussion

25 25 Expérimentations sur SD-AMOS Temps de création du fichier. La taille dun enregistrement est de 100 octets. La taille maximale d'une case est de enregistrements. Temps moyen dinsertion dun enregistrement

26 26 Expérimentations sur SD-AMOS Temps moyen de recherche dun enregistrement. Temps moyen de recherche

27 27 u Le temps moyen dinsertion dun enregistrement avec les éclatements est de 0,15ms. u Le temps daccès moyen à un enregistrement sur un fichier distribué est de 0,12ms. - Cest 100 fois plus rapide que celui à un fichier traditionnel sur disque. u Scalabilité linéaire : Le temps dinsertion et le temps daccès à un enregistrement sont indépendants de la taille du fichier. Discussion

28 28 Expérimentations sur DB2-SDDS Temps de traitement d'une requête à intervalleTemps par enregistrement Temps daccès aux données en fonction de leur lieu de stockage.

29 29 u Le temps daccès au fichier SDDS lemporte largement sur le temps daccès à une table DB2: 0,02ms contre 0,07ms. u Laccès à des données externes à partir de DB2 (0.08ms), est moins performant que laccès aux données internes (0.07ms). Coût du couplage u Une application dispose : - daccès direct rapide aux données - daccès par le langage de requêtes du SGBD Discussion

30 30 u Nous avons prouvé expérimentalement la faisabilité de la liaison dun gestionnaire SDDS avec AMOS-II, un SGBD en mémoire centrale et avec DB2, un SGBD supportant les fonctions externes. u Les résultats obtenus montrent une scalabilité du couplage pour le traitement de requêtes distribuées. u AMOS-SDDS et DB2-SDDS : utilisation dun fichier SDDS par un SGBD et linterprétation parallèle de requêtes sur les sites serveurs. u SD-AMOS : généralisation scalable dun SGBD parallèle en mémoire centrale, où la répartition des données devient automatique. Conclusion

31 31 u Dautres types de requêtes. u La décomposition dynamique des requêtes sur le client, en sous-requêtes appropriées au traitement parallèle. u Loptimisation de requêtes dans un environnement distribué dynamique. Futurs travaux

32 32 Fin Merci de votre attention CERIA Université Paris IX Dauphine


Télécharger ppt "1 Interopérabilité d'un Serveur de Structures de Données Distribuées et Scalables et d'un SGBD Relationnel-Objet Présentation en vue de la Thèse Yakham."

Présentations similaires


Annonces Google