La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Systèmes à quorums dynamiques et projet ViSaGe Ivan Frain Institut de Recherche en Informatique de Toulouse (IRIT)

Présentations similaires


Présentation au sujet: "Systèmes à quorums dynamiques et projet ViSaGe Ivan Frain Institut de Recherche en Informatique de Toulouse (IRIT)"— Transcription de la présentation:

1 Systèmes à quorums dynamiques et projet ViSaGe Ivan Frain Institut de Recherche en Informatique de Toulouse (IRIT)

2 Grenoble - 17/11/20062 Plan Cohérence des réplicas et systèmes à quorums Problème de la charge des noeuds Protocoles de reconfiguration de systèmes à quorums Un cadre de construction Prise en compte de la charge des nœuds de stockage Prise en compte de la latence réseau ViSaGe : intergiciel de stockage pour grille Architecture logicielle Carnet de route Conclusion et Perspectives

3 Grenoble - 17/11/20063 Problème de la cohérence Copie de Paul Copie de Jeanne Jeanne Paul Ecrire Lire Règle: chacun lit et écrit sa copie locale

4 Grenoble - 17/11/20064 Problème de la cohérence Premier exemple de solution : ROWA Jeanne Paul Ecrire Lire Règle: chacun lit sa copie locale mais écrit toutes les copies

5 Grenoble - 17/11/20065 Jeanne Paul Ecrire Nicolas Problème de la cohérence Deuxième exemple de solution : un système à quorums Règle : chacun lit et écrit une majorité de copies Remarque : ajout dun numéro de version aux copies Version Ecrire Lire Version ?

6 Grenoble - 17/11/20066 Systèmes à quorums : définition Quorum q - Ensemble minimum de copies impliquées dans une opération de lecture ou décriture afin que lopération réussisse. Coterie C - Ensemble des quorums possibles pour un groupe de copies et un protocole donné Intersection : Minimalité :

7 Grenoble - 17/11/20067 Systèmes à quorums : coterie en arbre Nœuds organisés logiquement en arbre Quorum = un chemin de la racine à une feuille = {P 1,P 2,P 4 } Coterie = {{P 1,P 2,P 4 },{P 1,P 2,P 5 }, {P 1,P 3,P 6 },{P 1,P 3,P 7 }} Protocole de Agrawal et Abbadi [1] P2P2 P3P3 P4P4 P5P5 P6P6 P7P7 P1P1 Sur quel critère construire la coterie ? Les solutions existantes : latence réseau Notre solution : charge des noeuds

8 Grenoble - 17/11/20068 Charge dune coterie : définition Charge dun Quorum : Charge dun nœud : Charge dune Coterie : Un nœud possédant une réplique :

9 Grenoble - 17/11/20069 Problème P2P2 P3P3 P4P4 P5P5 P6P6 P7P7 P1P

10 Grenoble - 17/11/ Protocoles de reconfiguration de systèmes à quorums Reconfiguration = changement de coterie But : utiliser une coterie mieux adaptée à lenvironnement Un protocole de reconfiguration : Quand effectuer une reconfiguration? Politique de récupération des informations Récupération à la demande Récupération périodique Politique de déclenchement Déclenchement à la demande Déclenchement périodique Comment effectuer une reconfiguration? Politique de reconfiguration

11 Grenoble - 17/11/ Trois protocoles de reconfiguration pour systèmes à quorums en arbre Reconfiguration en fonction de la charge des nœuds Protocole des permutations élémentaires Protocole de permutation globale Reconfiguration en fonction de la charge et de la latence réseau Protocole de permutation hybride

12 Grenoble - 17/11/ Protocole des permutations élémentaires (1/2) Politique de reconfiguration Permuter deux nœuds parents si le père est plus chargé que le fils …

13 Grenoble - 17/11/ Protocole des permutations élémentaires (2/2) Politique dinformation à la demande Un des clients est choisit A chacune de ses opérations de lecture ou décriture (un quorum) Politique de déclenchement à la demande Si une permutation élémentaire est possible dans le quorum contacté lors dune opération de lecture ou décriture Problème Les nœuds les plus chargés se trouvent dans les feuilles

14 Grenoble - 17/11/ Protocole de permutation globale Politique de reconfiguration agréger les noeuds les plus chargés dans le même sous arbre Politique dinformation périodique Politique de déclenchement périodique

15 Grenoble - 17/11/ Prise en compte de la latence réseau Temps de réponse dune coterie Temps de réponse dun quorum vis-à-vis dun noeud P i : Temps de réponse dun nœud P j vis-à-vis dun autre nœud P i : Temps de réponse dune coterie vis-à-vis dun nœud P i :

16 Grenoble - 17/11/ Le problème P1P2P3P4P5P6P

17 Grenoble - 17/11/ Protocole de permutation hybride Politique dinformation périodique Récupération de la latence la première fois Récupération des charges les autres fois Politique de déclenchement périodique PjPj P1P1 P2P2 P3P3 P4P4 P5P5 P6P6 P7P Médiane Politique de reconfiguration Permutation globale avec temps de réponse médians

18 Grenoble - 17/11/ Évaluation des protocoles de reconfiguration Algorithme de Shvartsman et Lynch Plusieurs lecteurs et plusieurs rédacteurs Supporte la reconfiguration dynamique de coterie Propriété dintersection entre deux coteries Implémentation dans le simulateur Neko de Urban, Défago et Schiper La grille simulée utilise 7, 15, 31, 63 et 127 réplicas (nœuds) La charge dun nœud névolue pas trop vite Les nœuds ne sont pas dédiés au système de stockage 3 contextes de simulation : La latence au niveau des serveurs est dominante (contexte LS) La latence réseau est dominante (contexte LR) Les latences serveur et réseau sont équivalentes (contexte LEQ) Temps de simulation fixe

19 Grenoble - 17/11/ Sans reconfiguration avec 7 noeuds Contexte LSContexte LEQ Contexte LR

20 Grenoble - 17/11/ Protocole des permutations élémentaires Contexte LS et 7 réplicas Sans reconfigurationProtocole des permutations élémentaires

21 Grenoble - 17/11/ Protocole de permutation globale Contexte LS et 31 réplicas Sans reconfigurationProtocole de permutation globale Période = 200K

22 Grenoble - 17/11/ Protocole de permutation hybride Contexte LEQ et 63 réplicas Sans reconfigurationProtocole de permutation hybride Période = 200K

23 Grenoble - 17/11/ Synthèse des résultats Contexte Nœuds LSLRLEQ 7ElemSansHybride 100K 15ElemSansHybride 300K 31Globale 200KHybride 300KHybride 100K 63SansHybride 400KHybride 200K 127Sans Hybride 300K Calcul du débit dopérations (throughput) pour un temps de simulation fixé

24 Grenoble - 17/11/200624

25 Grenoble - 17/11/ Architecture physique dune grille

26 Grenoble - 17/11/ Composants logiciels de ViSaGe Fabrique Communication Virtualisation Système de gestion de fichiers Concurrence et Cohérence Administration Et Monitoring Application

27 Grenoble - 17/11/ ViSaGe : carnet de route Expression des besoins 2. Architecture et Design 3.1 Prototypage 3.2 Développement 4. Gridification 5. Tests in situ 24 Prototypage Développement Gridification Tests 8 février 2005mars 2007 Aujourdhui

28 Grenoble - 17/11/ Conclusion Protocoles de reconfiguration : Définition de la charge et du temps de réponse dune coterie Variation de la charge des nœuds est un problème Protocoles de reconfiguration Permutations élémentaires Permutation globale Permutation hybride Amélioration du débit dopération sous certaines conditions Projet ViSaGe : Proposition dun nouvel intergiciel dédié a stockage de données sur grille : ViSaGe Interface fichier fournissant une certaine qualité de service Différentes méthodes de gestion de la cohérence

29 Grenoble - 17/11/ Perspectives Protocoles de reconfiguration : Preuve de lalgorithme des permutations globales Comparaison avec un plus grand nombre de systèmes à quorums : grilles, hiérarchique… Évaluation en environnement réel : projet ViSaGe Quels sont les critères de charges à prendre en compte ? Identification de seuils pour effectuer une reconfiguration Historique de létat des nœuds… Projet ViSaGe : Terminer lintégration et les tests Mars 2007 Déploiement et tests sur Grid 5000 Tester avec dautres applications … des partenariats? ViSaGe comme stockage pour une BD distribuée

30 Grenoble - 17/11/ Références Protocoles de reconfiguration : [1] I. Frain, R. Basmadjian, J-P. Bahsoun and A. Mzoughi. How to improve the scalability of read/write operations with dynamic reconfiguration of a tree-structured coterie. In ICPP06 workshops, pages , August [2] I. Frain, A. Mzoughi and J-P. Bahsoun. How to achieve high throughput with dynamic tree-structured coterie. In the 5th International Symposium on Parallel and Distributed Computing (ISPDC06), July Projet ViSaGe : [3] F.Thiebolt, I.Frain et A. Mzoughi. Virtualisation du stockage dans les grilles informatiques. Dans les 16 ème rencontres francophones de parallèlisme, (Renpar05), avril [4]

31 Grenoble - 17/11/ Opération de lecture ou décriture

32 Grenoble - 17/11/ Opération de reconfiguration

33 Grenoble - 17/11/ Protocole de permutation élémentaire

34 Grenoble - 17/11/ Protocoles de permutation globale et de permutation hybride

35 Grenoble - 17/11/ Permutation élémentaire : éléments de preuve

36 Grenoble - 17/11/ La place de ViSaGe au sein des intergiciels existants

37 Grenoble - 17/11/ Contexte : les grappes de grappes Grappe de grappes Réplication de données entre sites distants Charge des nœuds de stockage et latence réseau GRILLE (WAN) GRILLE (WAN) S2 S1 S3 S4 S5 Client Légende Un réplica

38 Grenoble - 17/11/ Composants logiciels de ViSaGe ViSaGe est découpé en 5 composants principaux vcom : un système de communication entre composants vrt : un composant de virtualisation des ressources de stockage visagefs : un système de gestion de fichiers au niveau grille vccc : une librairie de gestion de la concurrence des accès et de gestion de la cohérence des réplicas vam : service dadministration et de monitoring de ViSaGe Un module dadministration Un module de monitoring Les composants sont déployés à tous les niveaux de la grille: Hôtes frontaux Hôtes contrôleurs Nœuds de calcul et de stockage

39 Grenoble - 17/11/ Gestion de la cohérence dans ViSaGe : le composant vccc


Télécharger ppt "Systèmes à quorums dynamiques et projet ViSaGe Ivan Frain Institut de Recherche en Informatique de Toulouse (IRIT)"

Présentations similaires


Annonces Google