La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Cohérence et volatilité dans un service de partage de données dans les grilles de calcul Jean-François Deverge, Sébastien Monnet Projet PARIS - IRISA/INRIA,

Présentations similaires


Présentation au sujet: "Cohérence et volatilité dans un service de partage de données dans les grilles de calcul Jean-François Deverge, Sébastien Monnet Projet PARIS - IRISA/INRIA,"— Transcription de la présentation:

1 Cohérence et volatilité dans un service de partage de données dans les grilles de calcul Jean-François Deverge, Sébastien Monnet Projet PARIS - IRISA/INRIA, Rennes RenPar - Avril 2005

2 2 Contexte : grille de calcul Architecture visée : fédérations de grappes (ex. GRID 5000) Applications visées : simulations numériques distribuées (ex. couplage de code) Problème : quelle est la bonne approche pour le partage de données ? Solid mechanics Thermodynamics Optics Dynamics Satellite design

3 3 Approches existantes : gestion explicite Localisation et transfert explicite GridFTP [ANL], MPICH-G2 [ANL] Sécurité, transfert parallèle Internet Backplane Protocol [UTK] Limites Complexité des applications à grande échelle Aucune garantie de cohérence pour les données répliquées

4 4 Gestion de la cohérence : Sytèmes à Mémoire Virtuellement Partagée Propriétés : Accès uniforme à la donnée via un identifiant global Localisation et transfert transparents Modèles et protocoles de cohérence Mais : Petite échelle, architecture statique Challenge dans les grilles : Intégrer de nouvelles hypothèses ! Passage à léchelle Nature dynamique Tolérance aux fautes Nœud 0Nœud 1 Migration ? Réplication ?

5 5 Etude de cas : Protocol de cohérence tolérant aux fautes Point de départ : protocole « home-based » non tolérant aux fautes Modèle de cohérence relâchée, cohérence dentrée Association explicite données / verrous Ecrivain unique / lecteurs multiples acquire(L) acquireRead(L) Implémenté par un protocole « home-based » Home Client Home

6 6 Idée : groupes tolérants aux fautes Répliquer les entités critiques sur un groupe de nœuds Gestion des groupes de nœuds : protocoles de composition de groupe Diffusion atomique Exemple darchitecture: A. Schiper[EPFL] Communications Détecteur de défaillance Consensus Composition et communication de groupe Diffusion atomique Adapteur Tolérance aux fautes

7 7 Approche : gestion découplée Couches de tolérance aux faute et de cohérence séparées Interactions définies par une couche de jonction Tolérance aux fautes Cohérence Couche de jonction

8 8 Interaction cohérence/tolérance aux fautes Entités critiques implémentées par des groupes de noeuds Gestion des groupes : protocoles de composition et de communication de groupes Couche de jonction : Groupe auto-organisant Configuration des nouveaux membres Protocole de cohérence (PC) Configuration dynamique du CP Tolérance aux fautes Groupe auto-organisant AB C AB D AB D AB D

9 9 Passage à léchelle Client A Client B Home acquire lock acquire lock read x donnée x release read x donnée x release w(x) lock acquire read x donnée x release Grappe A Grappe B

10 10 GG GL GG : groupe global GL : groupe local Idée : groupes hiérarchiques Client Repose sur des mécanismes de réplication et des protocoles de communication de groupe utilisés dans les systèmes distribués.

11 11 Résumé Home

12 12 Cadre dapplication : Le service de partage de données JuxMem Systèmes MVP : cohérence et accès transparent Systèmes pair-à-pair : grande échelle et dynamicité Bas é sur JXTA, plateforme pair- à -pair [Sun Microsystems] Architecture physique Architecture logique Groupe JuxMem Groupe cluster A Groupe cluster B Groupe cluster C Groupe data

13 13 Implémentation au sein de JuxMem Groupe data GL + GG Architecture physique Architecture logique Groupe JuxMem Groupe cluster A Groupe cluster B Groupe cluster C GG GL GG : groupe global GL : groupe local

14 14 Evaluation préliminaire Expérimentations Coût de lallocation en fonction du degré de réplication Co û t des opérations de base read/update Environnement de test : grappe paraci (IRISA) Bi Pentium IV 2,4 Ghz, 1 Go de RAM, Ethernet 100 Emulation de 6 grappes de 8 nœuds GroupJuxMem Groupe cluster A Groupe cluster BGroupe cluster C Groupe cluster FGroupe cluster DGroupe Cluster E

15 15 Processus dallocation 1. Découverte de n fournisseurs selon le degré de réplication spécifié 2. Envoie dune requête d allocation aux n fournisseurs trouvés 3. Chaque fournisseur recevant une telle requête : Instancie les couches de cohérence et de tolérance aux fautes

16 16 Co û t de l allocation 1 grape2 grapes3 grapes4 grapes5 grapes

17 17 Co û t des op é rations de base (16KO)

18 18 Co û t des op é rations de base (4MO)

19 19 Conclusion Gestion de la cohérence de données modifiables répliquées dans un environnement dynamique Plateforme expérimentale pour étudier les interactions tolérance aux fautes protocoles de cohérence Tolérance aux fautes Cohérence Groupes auto-organisants Noyau JuxMem (Mathieu Jan)

20 20 Travaux en cours Conception De nouveaux protocoles de cohérence, stage de DEA de Lo ï c Cudennec De multiples algorithmes de composition de groupe, réplication Collaboration avec Indranil Gupta (UIUC, IL) Etude des interactions cohérence / tolérance aux fautes Expérimentations (avec des fautes ;-)) Multiples scénarios de fautes Multiples protocoles de cohérence / blocks tolérants aux fautes Etude des compromis garanties offertes / efficacité Introspection et politiques dadaptation (cohérence, tolérance aux fautes) Degré de risques Besoins des applications


Télécharger ppt "Cohérence et volatilité dans un service de partage de données dans les grilles de calcul Jean-François Deverge, Sébastien Monnet Projet PARIS - IRISA/INRIA,"

Présentations similaires


Annonces Google