ACI Masses de Données Bilan GDS Regal (LIP6 / INRIA)

Présentation au sujet: "ACI Masses de Données Bilan GDS Regal (LIP6 / INRIA)"— Transcription de la présentation:

1 ACI Masses de Données Bilan GDS Regal (LIP6 / INRIA)

2 Objectifs scientifiques
Tolérance aux fautes à large échelle 2 axes Détection de fautes sur Grille Réplication sur systèmes pair-à-pair Algorithmes de verrouillage pour Grilles Exclusion mutuelle hiérarchique Exclusion mutuelle tolérantes aux fautes

3 Personnes impliquées Sur la période : Détection de fautes :
1 prof (30 %), 1 MDC (30%), 3 doctorants (2 * 30 %, 1 à 100 %) 1 bourse FullBright (D. Myers) Détection de fautes : Marin Bertier (2003 – 2004)– Doctorant (actuellement MDC Insa Rennes) Pierre Sens – Prof. Paris 6 Réplication P2P : Fabio Picconi – Doctorant Pierre Sens Exclusion mutuelle : Luciana Arantes - MDC Paris 6 Julien Sopena (2004 – 2006) – Doctorant

4 Tolérance aux fautes : organisation hiérarchique
Composition du groupe global Représentant dans chaque groupe local = mandataire Nomination de mandataire 1 groupe local / cluster 1 groupe global 1.3 C2 C3 C1 2.1 2.2 1.1 1.2 3.1 3.2 3.3 Organisation hiérarchique

5 Organisation hiérarchique
Rôle du mandataire Permet la connexion du groupe local avec le reste du système Détecteur local : surveillance de nœud Détecteur global : surveillance de groupe cluster 2 2.1 1.1 Mandataire 1.5 1.2 1.2 cluster 1 3.5 1.4 1.3 cluster 3 Organisation hiérarchique

6 GDF dans GDS Utilisation de GDF dans Juxmem Rapport
Travail commun (M. Bertier, S. Monnet) Rapport

7 Réplication P2P Etude de la réplication dynamique dans Pastis Internet
Distribution des blocs de données racine du bloc réplication Anneau de machines Past Système de fichiers Pastis

8 Problème de la volatilité
« Churn » = taux élevé d’ajout de nœuds et de défaillances Le churn : une des causes des dénis de services dans P2P (issue de sources non forcément malicieuses). Nombreuses études sur la résistances aux churns des overlay (cf. Bambou, MSPastry …). => Relative bonne résistance (quelques minutes) de couche basses (KBR) Quid des applications : Stockage des données Objectif : Etudier le churn dans Past et Pastis

9 Churn in DHTs must fetch copy from another replica
new replica set for key k low-bandwith transfer k

10 Churn in DHTs data may be lost under high churn k

11 Churn in DHTs new replica set new node joins replica must be moved k

12 Churn in DHTs data may be unavailable under high churn
new replica set for key k data may be unavailable under high churn k

13 Contributions Théorique : modélisation du « churn »
Caractériser la durabilité des données en fonction du taux de volatilité Ecriture d’un papier Algorithmique : Modification du protocole de Join de Pastry Métrique de stabilité utilisé pour l’insertation des noeuds Expérimentation : Injection de volatilité dans Pastis Utilisation de l’émulateur modelnet dans GDX Rapport technique – Soumission CCGrid07

14 Exclusion mutuelle pour Grille
Exclusion mutuelle : outils de base de synchronisation d’application parallèle Algorithmes à Jeton Un jeton unique donne l’accès à la ressource Pas de synchronisation globale Plus extensible Algoirhmes classique: Ne prennent pas en compte la topologie => beaucoup d’échange entre les sites Peu tolérant aux fautes Approches hiérachiques (CCGrid 04, JPDC 06) Idée: Donner une priorité plus forte au requêtes proches => Satifaire prioritaire les requêtes d’un même cluster Mutex tolérant les fautes (Europar 05, SRDS 06, CFSE 06) Fiabilisation de l’algorithme de Naimi-Tréhel Thèse J. Sopena

15 Performances

16 Publications Regal - GDS
GFD : M. Bertier, O. Marin, P. Sens. Performance Analysis of Hierarchical Failure Detector. Proceedings of the International Conference on Dependable Systems and Networks (DSN '03), San Francisco, Juin, 2003 (IEEE Computer Press) Pastis : J-M Busca, M. Bertier, F. Belkouch, P. Sens, L. Arantes. A Performance Evaluation of a Quorum-Based State-Machine Replication Algorithm for Computing Grids.. Proc of the 16th Symposium on Computer Architecture and High Performance Computing (SBAC-PAD '04), Iguacu (Brazil), October IEEE Society Press J-M. Busca, F. Picconi, P. Sens.Pastis: un système de fichiers pair à pair multi-écrivain passant l'échelle. In DistRibUtIon de Données à grande Echelle 2004 (DRUIDE 04), Domaine du Port-aux-Rocs, Le Croisic, France F. Picconi, J-M. Busca, P. Sens. Exploiting network locality in a decentralized readwrite peer-to-peer file systems. Proc of the 10th International Conference on Parallel and Distributed Systems (ICPADS '04), Newport Beach (USA), July IEEE Society Press J-M. Busca, F. Picconi, P. Sens.Pastis: a Highly-Scalable Multi-User Peer-to-Peer File System. EuroPar 2005, Lisboa, Portugal, September LNCS. Mutex : M. Bertier, L. Arantes and P. Sens. Hierarchical token based mutual exclusion algorithmsi. Proceedings of the 4th IEEE/ACM International Symposium on Cluster Computing and the Grid (CCGrid '04), Chicago (USA), April IEEE Society Press M. Bertier, L. Arantes, P. Sens. Algorithme d'exclusion mutuelle pour les GRID : une approche hiérarchique. 4ème Conférence Française sur les Systèmes d'Exploitation (CFSE'4), Le Croisic, France. J. Sopena, L. Arantes, M. Bertier, P. Sens.A fault-tolerant token-based mutual exclusion algorithm using a dynamic tree. EuroPar 2005, Lisboa, Portugal, September LNCS. M. Bertier, L. Arantes, P. Sens.Distributed Mutual Exclusion Algorithms for Grid Applications: a Hierarchical Approach. Journal of Parallel and Distributed Computing (JPDC) 66( ). Elsevier, 2006. J. Sopena, L. Arantes, P. Sens.Performance evaluation of a fair fault-tolerant mutual exclusion algorithm. To appear in IEEE International Symposium on Reliable Distributed Systems (SRDS 2006), Leeds, UK J. Sopena, L. Arantes, P. Sens.Un algorithme équitable d'exclusion mutuelle tolérant les fautes. To appear in 5ème Conférence Française sur les Systèmes d'Exploitation (CFSE'5), France 1 revue internationale (JPDC) 8 conférences internationales (DSN, SRDS, CCGrid, EuroPar, HotOS …) 3 conférences nationales

17 Logiciels et mobilité GFD Pastis
Visite de F. Picconi à Rice (1 semaine 2005), Rutgers (2 mois )

18 La suite ... ACI Gédéon Mutex Tolérance aux fautes
Application à la génomique Verrouillage hiérarchique / Modèle de cohérence dans un système de fichiers Mutex Généralisation du Mutex : Allocation de ressources (Thèse M. Bouillaguet) Composition de protocoles Mutex (J. Sopena) Tolérance aux fautes Autres types d’environnements (Capteurs)