GDS : Grid Data Service Gabriel Antoniu IRISA / INRIA Rennes Réunion de lancement du projet GDS de l’ACI Masses de Données 22 septembre 2003

2 Le projet GDS Projet de l’ACI Masses de Données (2003) REGAL (LIP6, Paris) ReMaP/GRAAL (LIP, Lyon) PARIS (IRISA, Rennes) Partenaire du projet GdX de l’ACIMD (utilisateur)

3 Contexte : métacomputing Stockage des données Éviter les transferts multiples entre client et serveurs Gestion des données distribuées et redistribution Dynamicité: modèle de déploiement P2P AGENT(s) S1 S2 S3S4 Client A, B, C Réponse (C) S2 ! Requête Op1(C, A, B) Serveur Op2(C, A, B) Service de gestion des données distribuées persistantes

4 Partage de données : l’existant Partage explicite à grande échelle GridFTP (Globus) et MPI-IO Sécurité, hétérogénéité Internet Backplane Protocol (IBP) Contrôle Gestion explicite Pas de garanties de cohérence

5 Partage de données : l’existant (2) Partage transparent à petite échelle Mémoire virtuellement partagée (MVP) Modèles et protocoles de cohérence Accès transparent Localisation transparente des données Architecture statique, non extensible et homogène

6 Partage de données : l’existant (3) Systèmes pair-à-pair (P2P) Systèmes distribués (grande échelle) Pairs volatiles Capacités responsabilités identique des pairs Partage de données non-modifiables Centralisé (Napster) Inondation (Gnutella, KaZaA) Table de hachage distribuée (CFS, PAST) Partage de données modifiables Peu de modifications (OceanStore) Résolution des conflits à la « main » (Ivy)

7 Idée : service de partage de données Proposition : approche hybride MVP : cohérence et accès transparent P2P : extensibilité et haute dynamicité MVPService pour la grilleP2P Échelle TopologiePlateHiérarchiquePlate DynamicitéNulleMoyenneForte RessourcesHomogènes (grappes) Plutôt hétérogènes (grappes de grappes) Hétérogènes (Internet) DonnéesModifiables Non-modifiables Applications typiques Calcul scientifique Calcul scientifique et stockage de données Partage et stockage de fichiers

8 Service de partage de données pour la grille Internet Persistance

9 Service de partage de données pour la grille Internet Transfert de données ? Transparence de la localisation

10 Service de partage de données pour la grille Transfert de données Internet Donn é es modifiables Coh é rence des donn é es Optimisation des acc è s Internet

11 Service de partage de données pour la grille Internet Extensibilit é de l ’ architecture Internet

12 Service de partage de données pour la grille Internet Support de la volatilit é

13 Le projet GDS Réalisations visées Service de partage de données : architecture, implémentation, expérimentations Intégration dans l’environnement ASP DIET (ReMaP, LIP) Etudes Tolérance aux fautes : stratégies de réplication Protocoles de cohérence Stratégies d’observation/introspection Ordonnancement conjoint calcul-communication Redistribution transparente des données

14 GDS : expérimentations Plates-formes « réelles » 1.Grappes locales Quelques dizaines de nœuds 2.Fédération de 3 grappes (IRISA, LIP, LIP6) De l’ordre d’une centaine de nœuds 3.Fédération de quelques dizaines de grappes (GRID 5000 ?) Plusieurs milliers de nœuds Plate-forme d’émulation GdX Emulation des configurations réelles de type fédération de grappes

15 Expériences GDS / GdX Topologie hiérarchique Fédération de grappes Liens rapides intra-grappes, liens lents inter-grappes Configuration Nombre de noeuds Topologie des interconnexions Capacité des liens : SAN, LAN, WAN Puissance des noeuds Capacité de stockage en mémoire vive Capacité de stockage sur disque OS: Linux, (autres ?) Volatilité des nœuds Simulation de pannes/déconnections

Projet GDS de l’ACI MD Projet PARIS IRISA, Rennes

17 Présentation de l’équipe Projet PARIS Thierry Priol Compilation pour grappes et grilles, MVP Yvon Jegou Grappes Christine Morin Support exécutif pour la grille Christian Perez Gestion des données sur la grille Luc Bougé Gabriel Antoniu Positionnement du projet Simulation numériques distribuées Programmation des grappes et des grilles Axe : gestion de données à très grande échelle

18 Projet PARIS : participants à GDS 3 Permanents : Thierry Priol, DR INRIA Rennes Luc Bougé, Professeur ENS Cachan/Bretagne Gabriel Antoniu, CR INRIA Rennes, coordinateur du projet GDS 2 Doctorants Mathieu Jan (INRIA/Région Bretagne) Sébastien Monnet (Allocation de recherche ACI MD)

19 Plate-forme JuxMem Plate-forme support pour le service GDS Stage de DEA de Mathieu Jan (projet PARIS, IRISA, 2003) Architecture hiérarchique Stockage et accès transparent aux blocs de données Support de la volatilité des pairs Utilisation de JXTA 2.0 Gestion des pairs, des groupes, des communications, etc Implémentation en tant que service JXTA Prototype en Java lignes de code En cours Déploiement et tests basés sur le projet JXTA JDF

20 Thèse de Mathieu Jan Support : INRIA/Région Bretagne Thèmes de recherche Conception plate-forme JuxMem Support multi-protocoles de cohérence Architecture sur JXTA Gestion de la dynamicité/volatilité Intégration dans DIET Mécanismes de synchronisation en environnement P2P

21 Thèse de Sébastien Monnet Support : allocation de recherche ACI MD DEA 2003 Reprise d'applications parallèles dans les fédérations de grappes Encadrants: C. Morin, R. Badrinath Thèmes de recherche Protocoles de cohérence tolérants aux fautes Performance Utilisation efficace des réseaux rapides Stratégies de sélection de copies basées sur des mécanismes d’introspection

22 Premières interactions avec GRAAL Point sur les besoins de DIET Caractériser la persistance Synchronisation Schémas d’accès aux données Validation de l’architecture du prototype JuxMem Tests sur une application DIET simple API du service Choix d’implémentation Jusqu’à quel point utiliser JXTA ? Comment transférer les données ? Déploiement ? Redistribution des données ? Visite de Mathieu Jan au LIP fin novembre ?

23 Premières interactions avec REGAL Discussions/groupes de travail Sébastien Monnet, Fabio Picconi Stratégies de réplication Protocoles de cohérence tolérants aux fautes Introspection, localité Expérimentations en parallèle dans JuxMem et dans P2PFS ? Visite de Sébastien Monnet au LIP6 mi-novembre ?

24 Discussion Fréquence des réunions 4/an + visites bilatérales ? Next meeting ? Mi-décembre à Paris ? Site web : Mailing list : Collaborations externes Philip Hatcher, UNH Bernard Traversat, project JXTA, Sun Microsystems Présentation de papiers PACT 2003