Modèles et protocoles de cohérence des données en environnement volatil Grid Data Service IRISA (Rennes), LIP (Lyon) et LIP6 (Paris) Loïc Cudennec Superviseurs.

Présentation au sujet: "Modèles et protocoles de cohérence des données en environnement volatil Grid Data Service IRISA (Rennes), LIP (Lyon) et LIP6 (Paris) Loïc Cudennec Superviseurs."— Transcription de la présentation:

1 Modèles et protocoles de cohérence des données en environnement volatil Grid Data Service IRISA (Rennes), LIP (Lyon) et LIP6 (Paris) Loïc Cudennec Superviseurs : Gabriel Antoniu, Luc Bougé, Sébastien Monnet

2 2 Proposition de l’équipe PARIS : JuxMem Un service de partage de données pour la grille S’inspire des MVP et du PàP  Plate-forme d’expérimentation de protocoles de cohérence tolérants aux fautes  Repose sur la plate-forme pair-à-pair JXTA (Sun) En lien avec Grid’5000, 9 sites en France Depuis 2003 : 2 thèses, 2 stages de DEA Langages  JAVA (11000 lignes de code)  C (6000 lignes de code, en cours de développement)

3 3 JuxMem Cohérence et tolérance aux fautes Home Tolérance aux fautes Passage à l’échelle GDG (Global Data Group) LDG (Local Data Group) Modèle de cohérence relâchée : la cohérence à l’entrée Association entre donnée et objet de synchronisation Verrou en écriture et en lecture Ecrivain unique Lecteurs multiples

4 4 Communication de groupe Application de mécanismes de tolérance aux fautes Travail fondamental d’algorithmique distribuée Propriétés souhaitées  Groupes auto-organisants  Diffusion atomique Architecture en couches  Basé sur les travaux d’André Schiper (EPFL)  Travail de Sébastien Monnet et Jean-François Deverge (IRISA)  Détection hiérarchique de défaillances Marin Bertier (LIP6) Détecteurs de fautes Consensus Diffusion atomique Communication de goupe Adaptateur Cohérence

5 5 Protocole de cohérence Protocole hiérarchique de JuxMem (Jean-François Deverge) (1) Demande du verrou en écriture (2) Envoi du verrou en écriture (3) Demande du verrou en lecture

6 6 Motivations Applications visées :  Applications basées sur le couplage de code  Visualisation d’un calcul Objectif : améliorer l’observation d’une donnée partagée  Accélérer l’accès à une donnée  Ne pas dégrader les performances des autres sites Moyen  Relâcher les contraintes de cohérence sur les observations Donnée Ecriture Lecture Ecriture Lecture (observation)

7 7 Protocole de cohérence Contribution 1 : analyse et formalisation du protocole Analyse du fonctionnement à partir du code Réalisation d’automates (15 états, 42 transitions) Processus utilisateur

8 8 Le scénario de l’observateur  Producteur : 50 écritures  Consommateur : 50 lectures  Observateur : 50 lectures La plate-forme experimentale : Grid’5000, site rennais  7 nœuds bi-processeurs 2.2GHz, 2Go RAM  Réseau ethernet gigabit Evaluation du protocole existant Contribution 2 : comportement d’un observateur Observateur (lecteur) Producteur (écrivain) Consommateur (lecteur)

9 9 Temps d’accès moyens (1ko)  Producteur : 19 ms  Consommateur : 19 ms Evaluation des performances La cohérence à l’entrée Temps d’accès moyens (1ko)  Producteur : 19 ms  Consommateur : 19 ms  Observateur : 19 ms

10 10 Idée 1 : exploiter des copies « anciennes »  Copies disponibles sur le client et son LDG  Applications : visualisation, moteurs de recherche Idée 2 : ne plus prendre le verrou en lecture  Rapidité de la lecture  Suppression du risque de famine  Autoriser les lectures en parallèle des écritures Que peut-on garantir ? Proposition d’amélioration Contribution 3 : la lecture relâchée

11 11 Contrôler la fraîcheur de la donnée  Borner l’écart entre la version la plus récente et celle retournée par la lecture relâchée  Spécifier une fenêtre de lecture  Nouvelle primitive d’accès : rlxRead(tampon, fenetre) Maîtriser la version de la donnée retournée  Limiter le nombre de prises de verrou en écriture successives (D)  Limiter l’écart des versions entre le client et son LDG (w) Proposition d’amélioration Contribution 3 : la lecture relâchée c LDG 1 LDG 2 w D

12 12 Lecture relâchée Modélisation UML V C >= V LDG – (w – D) c LDG 1 LDG 2 w D

13 13 Le scénario de l’observateur  Producteur : 50 écritures  Consommateur : 50 lectures  Observateur : 50 lectures La plate-forme experimentale : Grid’5000, site rennais  7 nœuds bi-processeurs 2.2GHz, 2Go RAM  Réseau ethernet gigabit Evaluation du protocole existant Contribution 2 : comportement d’un observateur Observateur (lecteur) rlxRead Producteur (écrivain) Consommateur (lecteur)

14 14 Temps d’accès moyens (1ko, D=0, w=0)  Producteur : 19 ms  Consommateur : 19 ms  Observateur : 9 ms Evaluation des performances La cohérence à l’entrée, extension lecture relâchée

15 15 Evaluation des performances La cohérence à l’entrée, extension lecture relâchée Temps d’accès moyens (1Mo, D=0, w=0)  Producteur : 69 ms  Consommateur : 63 ms  Observateur : 44 ms Temps d’accès moyens (1Mo, D=3, w=6)  Producteur : 60 ms  Consommateur : 61 ms  Observateur : 23 ms

16 16 Formalisation d’un protocole de cohérence hiérarchique  Analyse du fonctionnement à partir du code  Réalisation d’automates (15 états, 42 transitions) Proposition d’amélioration : lectures relâchées  Recherche bibliographique sur le « versioning » des données  Formalisation, extension du modèle de cohérence  Conception diagrammes UML extension et modification des automates (16 états, 45 transitions) Contributions

17 17 Implémentation  Protocole existant plus fiable  Support de la primitive « rlxRead » Evaluation des performances  Développement d’une application synthétique pour les tests  Mesures sur le site rennais de la plate-forme Grid’5000 10 types d’expérimentations réalisées Gain de temps en lecture jusqu’à 50% Mécanisme peu intrusif : pas de dégradation des performances Contributions

18 18 Tests multi-sites  Déjà testé sur une centaine de nœuds répartis sur 4 sites Auto-adaptabilité  Variation de la fenêtre de lecture  Adaptation en fonction de la charge réseau  Qualité d’observation Article en cours de finalisation  Soumission à Cohérence des Données en Univers Réparti 2005  Version étendue : HIPS de IPDPS 2006 Conclusion Ouverture

19 Modèles et protocoles de cohérence des données en environnement volatil Grid Data Service IRISA (Rennes), LIP (Lyon) et LIP6 (Paris) Loïc Cudennec Superviseurs : Gabriel Antoniu, Luc Bougé, Sébastien Monnet