Gabriel Antoniu IRISA / INRIA Rennes GDS : Grid Data Service Gabriel Antoniu IRISA / INRIA Rennes Réunion de lancement du projet GdX de l’ACI Masses de Données 16 septembre 2003

Le projet GDS Projet de l’ACI Masses de Données (2003) PARIS (IRISA, Rennes) REGAL (LIP6 et INRIA Rocquencourt) ReMaP (LIP, ENS Lyon) Partenaire du projet GdX (utilisateur)

Contexte : gestion de données sur la grille Simulations numériques distribuées Exemple: couplage de code Nécessite un partage des données Conception d’un satellite Mécanique des structures Optique Dynamique Thermodynamique

Partage de données : l’existant Partage explicite à grande échelle GridFTP (Globus) et MPI-IO Sécurité, hétérogénéité Internet Backplane Protocol (IBP) Contrôle Gestion explicite Pas de garanties de cohérence

Partage de données : l’existant (2) Partage transparent à petite échelle Mémoire virtuellement partagée (MVP) Modèles et protocoles de cohérence Accès transparent Localisation transparente des données Architecture statique, non extensible et homogène

Partage de données : l’existant (3) Systèmes pair-à-pair (P2P) Systèmes distribués (grande échelle) Pairs volatiles Capacités responsabilités identique des pairs Partage de données non-modifiables Centralisé (Napster) Inondation (Gnutella, KaZaA) Table de hachage distribuée (CFS, PAST) Partage de données modifiables Un seul écrivain par donnée, peu de modifications (OceanStore) Résolution des conflits à la « main » (Ivy)

Idée : service de partage de données Proposition : approche hybride MVP : cohérence et accès transparent P2P : extensibilité et haute dynamicité MVP Service pour la grille P2P Échelle 101-102 103- 104 105-106 Topologie Plate Hiérarchique Dynamicité Nulle Moyenne Forte Ressources Homogènes (grappes) Plutôt hétérogènes (grappes de grappes) Hétérogènes (Internet) Données Modifiables Non-modifiables Applications typiques Calcul scientifique Calcul scientifique et stockage de données Partage et stockage de fichiers

Service de partage de données pour la grille Persistance Internet

Service de partage de données pour la grille Transparence de la localisation ? Internet Transfert de données

Service de partage de données pour la grille Optimisation des accès Cohérence des données Optimisation des accès Cohérence des données Internet Internet Transfert de données

Service de partage de données pour la grille Internet Internet Extensibilité de l’architecture Extensibilité de l’architecture

Service de partage de données pour la grille Internet Internet Support de la volatilité Support de la volatilité

ACI MD GDS Objectifs Etudes Service de partage de données : architecture, implémentation, expérimentations Intégration dans l’environnement ASP DIET (ReMaP, LIP) Etudes Tolérance aux fautes : stratégies de réplication Protocoles de cohérence Stratégies d’observation/introspection Ordonnancement conjoint calcul-communication

Possible API du service GDS… Alloc (size, attribs) Map (id, attribs) Put (id, value) Get (id) Lock (id) Unlock (id) À suivre…

GDS : Architecture générale Groupe global Groupe data Groupe cluster A Groupe cluster C Groupe cluster B Achitecture virtuelle Architecture physique

Prototype JuxMem Stage de DEA de Mathieu Jan (projet PARIS, IRISA, 2003) Utilisation de JXTA 2.0 Gestion des pairs, des groupes, des communications, etc Implémentation en tant que service utilisateur Prototype en Java JuxMem Service JXTA + 5 000 lignes de code http://www.irisa.fr/paris/Juxmem/welcome.htm

ACI MD GDS : participants Projet PARIS (IRISA) 3 Permanents : Gabriel Antoniu, Luc Bougé, Thierry Priol 2 Doctorants Mathieu Jan (INRIA/Région Bretagne) Sébastien Monnet (ACI MD) Projet REGAL (LIP6/INRIA Rocquencourt) 2 Permanents : Luciana Arantes, Pierre Sens 2 Doctorants : Jean-Michel Busca, Fabio Picconi Projet ReMaP (LIP) 2 Permanents : Eddy Caron, Frédéric Desprez 1 Doctorant : Antoine Vernois http://www.irisa.fr/GDS

Interactions GDS - GdX En deuxième partie du déroulement des projets GDS : expérimentations visées Plates-formes « réelles » Grappes locales Quelques dizaines de nœuds Fédération de 3 grappes (IRISA, LIP, LIP6) De l’ordre d’une centaine de nœuds Fédération de quelques dizaines de grappes (GRID 5000 ?) Plusieurs milliers de nœuds Plate-forme d’émulation GdX Emulation des configurations réelles de type fédération de grappes

Expériences GDS / GdX Topologie hiérarchique Configuration Fédération de grappes Liens rapides intra-grappes, liens lents inter-grappes Configuration Nombre de noeuds Topologie des interconnexions Capacité des liens : SAN, LAN, WAN Capacité de stockage en mémoire vive Capacité de stockage sur disque OS: Linux, Solaris, … Volatilité des nœuds Simulation de pannes/déconnexions