ACI Masses de Données Bilan GDS Regal (LIP6 / INRIA)

Objectifs scientifiques Tolérance aux fautes à large échelle 2 axes Détection de fautes sur Grille Réplication sur systèmes pair-à-pair Algorithmes de verrouillage pour Grilles Exclusion mutuelle hiérarchique Exclusion mutuelle tolérantes aux fautes

Personnes impliquées Sur la période : Détection de fautes : 1 prof (30 %), 1 MDC (30%), 3 doctorants (2 * 30 %, 1 à 100 %) 1 bourse FullBright (D. Myers) Détection de fautes : Marin Bertier (2003 – 2004)– Doctorant (actuellement MDC Insa Rennes) Pierre Sens – Prof. Paris 6 Réplication P2P : Fabio Picconi – Doctorant Pierre Sens Exclusion mutuelle : Luciana Arantes - MDC Paris 6 Julien Sopena (2004 – 2006) – Doctorant

Tolérance aux fautes : organisation hiérarchique Composition du groupe global Représentant dans chaque groupe local = mandataire Nomination de mandataire 1 groupe local / cluster 1 groupe global 1.3 C2 C3 C1 2.1 2.2 1.1 1.2 3.1 3.2 3.3 Organisation hiérarchique

Organisation hiérarchique Rôle du mandataire Permet la connexion du groupe local avec le reste du système Détecteur local : surveillance de nœud Détecteur global : surveillance de groupe cluster 2 2.1 1.1 Mandataire 1.5 1.2 1.2 cluster 1 3.5 1.4 1.3 cluster 3 Organisation hiérarchique

GDF dans GDS Utilisation de GDF dans Juxmem Rapport Travail commun (M. Bertier, S. Monnet) Rapport

Réplication P2P Etude de la réplication dynamique dans Pastis Internet Distribution des blocs de données racine du bloc réplication Anneau de machines Past Système de fichiers Pastis

Problème de la volatilité « Churn » = taux élevé d’ajout de nœuds et de défaillances Le churn : une des causes des dénis de services dans P2P (issue de sources non forcément malicieuses). Nombreuses études sur la résistances aux churns des overlay (cf. Bambou, MSPastry …). => Relative bonne résistance (quelques minutes) de couche basses (KBR) Quid des applications : Stockage des données Objectif : Etudier le churn dans Past et Pastis

Churn in DHTs must fetch copy from another replica new replica set for key k low-bandwith transfer k

Churn in DHTs data may be lost under high churn k

Churn in DHTs new replica set new node joins replica must be moved k

Churn in DHTs data may be unavailable under high churn new replica set for key k data may be unavailable under high churn k

Contributions Théorique : modélisation du « churn » Caractériser la durabilité des données en fonction du taux de volatilité Ecriture d’un papier Algorithmique : Modification du protocole de Join de Pastry Métrique de stabilité utilisé pour l’insertation des noeuds Expérimentation : Injection de volatilité dans Pastis Utilisation de l’émulateur modelnet dans GDX Rapport technique – Soumission CCGrid07

Exclusion mutuelle pour Grille Exclusion mutuelle : outils de base de synchronisation d’application parallèle Algorithmes à Jeton Un jeton unique donne l’accès à la ressource Pas de synchronisation globale Plus extensible Algoirhmes classique: Ne prennent pas en compte la topologie => beaucoup d’échange entre les sites Peu tolérant aux fautes Approches hiérachiques (CCGrid 04, JPDC 06) Idée: Donner une priorité plus forte au requêtes proches => Satifaire prioritaire les requêtes d’un même cluster Mutex tolérant les fautes (Europar 05, SRDS 06, CFSE 06) Fiabilisation de l’algorithme de Naimi-Tréhel Thèse J. Sopena

Performances

Publications Regal - GDS GFD : M. Bertier, O. Marin, P. Sens. Performance Analysis of Hierarchical Failure Detector. Proceedings of the International Conference on Dependable Systems and Networks (DSN '03), San Francisco, Juin, 2003 (IEEE Computer Press) Pastis : J-M Busca, M. Bertier, F. Belkouch, P. Sens, L. Arantes. A Performance Evaluation of a Quorum-Based State-Machine Replication Algorithm for Computing Grids.. Proc of the 16th Symposium on Computer Architecture and High Performance Computing (SBAC-PAD '04), Iguacu (Brazil), October 2004. IEEE Society Press J-M. Busca, F. Picconi, P. Sens.Pastis: un système de fichiers pair à pair multi-écrivain passant l'échelle. In DistRibUtIon de Données à grande Echelle 2004 (DRUIDE 04), Domaine du Port-aux-Rocs, Le Croisic, France F. Picconi, J-M. Busca, P. Sens. Exploiting network locality in a decentralized readwrite peer-to-peer file systems. Proc of the 10th International Conference on Parallel and Distributed Systems (ICPADS '04), Newport Beach (USA), July 2004. IEEE Society Press J-M. Busca, F. Picconi, P. Sens.Pastis: a Highly-Scalable Multi-User Peer-to-Peer File System. EuroPar 2005, Lisboa, Portugal, September 2005. LNCS. Mutex : M. Bertier, L. Arantes and P. Sens. Hierarchical token based mutual exclusion algorithmsi. Proceedings of the 4th IEEE/ACM International Symposium on Cluster Computing and the Grid (CCGrid '04), Chicago (USA), April 2004. IEEE Society Press M. Bertier, L. Arantes, P. Sens. Algorithme d'exclusion mutuelle pour les GRID : une approche hiérarchique. 4ème Conférence Française sur les Systèmes d'Exploitation (CFSE'4), Le Croisic, France. J. Sopena, L. Arantes, M. Bertier, P. Sens.A fault-tolerant token-based mutual exclusion algorithm using a dynamic tree. EuroPar 2005, Lisboa, Portugal, September 2005. LNCS. M. Bertier, L. Arantes, P. Sens.Distributed Mutual Exclusion Algorithms for Grid Applications: a Hierarchical Approach. Journal of Parallel and Distributed Computing (JPDC) 66(128-144). Elsevier, 2006. J. Sopena, L. Arantes, P. Sens.Performance evaluation of a fair fault-tolerant mutual exclusion algorithm. To appear in IEEE International Symposium on Reliable Distributed Systems (SRDS 2006), Leeds, UK J. Sopena, L. Arantes, P. Sens.Un algorithme équitable d'exclusion mutuelle tolérant les fautes. To appear in 5ème Conférence Française sur les Systèmes d'Exploitation (CFSE'5), France 1 revue internationale (JPDC) 8 conférences internationales (DSN, SRDS, CCGrid, EuroPar, HotOS …) 3 conférences nationales

Logiciels et mobilité GFD Pastis Visite de F. Picconi à Rice (1 semaine 2005), Rutgers (2 mois - 2006)

La suite ... ACI Gédéon Mutex Tolérance aux fautes Application à la génomique Verrouillage hiérarchique / Modèle de cohérence dans un système de fichiers Mutex Généralisation du Mutex : Allocation de ressources (Thèse M. Bouillaguet) Composition de protocoles Mutex (J. Sopena) Tolérance aux fautes Autres types d’environnements (Capteurs)