Gabriel Antoniu IRISA / INRIA Rennes

Présentation au sujet: "Gabriel Antoniu IRISA / INRIA Rennes"— Transcription de la présentation:

1 Gabriel Antoniu IRISA / INRIA Rennes
GDS : Grid Data Service Gabriel Antoniu IRISA / INRIA Rennes Réunion de lancement du projet GdX de l’ACI Masses de Données 16 septembre 2003

2 Le projet GDS Projet de l’ACI Masses de Données (2003)
PARIS (IRISA, Rennes) REGAL (LIP6 et INRIA Rocquencourt) ReMaP (LIP, ENS Lyon) Partenaire du projet GdX (utilisateur)

3 Contexte : gestion de données sur la grille
Simulations numériques distribuées Exemple: couplage de code Nécessite un partage des données Conception d’un satellite Mécanique des structures Optique Dynamique Thermodynamique

4 Partage de données : l’existant
Partage explicite à grande échelle GridFTP (Globus) et MPI-IO Sécurité, hétérogénéité Internet Backplane Protocol (IBP) Contrôle Gestion explicite Pas de garanties de cohérence

5 Partage de données : l’existant (2)
Partage transparent à petite échelle Mémoire virtuellement partagée (MVP) Modèles et protocoles de cohérence Accès transparent Localisation transparente des données Architecture statique, non extensible et homogène

6 Partage de données : l’existant (3)
Systèmes pair-à-pair (P2P) Systèmes distribués (grande échelle) Pairs volatiles Capacités responsabilités identique des pairs Partage de données non-modifiables Centralisé (Napster) Inondation (Gnutella, KaZaA) Table de hachage distribuée (CFS, PAST) Partage de données modifiables Un seul écrivain par donnée, peu de modifications (OceanStore) Résolution des conflits à la « main » (Ivy)

7 Idée : service de partage de données
Proposition : approche hybride MVP : cohérence et accès transparent P2P : extensibilité et haute dynamicité MVP Service pour la grille P2P Échelle Topologie Plate Hiérarchique Dynamicité Nulle Moyenne Forte Ressources Homogènes (grappes) Plutôt hétérogènes (grappes de grappes) Hétérogènes (Internet) Données Modifiables Non-modifiables Applications typiques Calcul scientifique Calcul scientifique et stockage de données Partage et stockage de fichiers

8 Service de partage de données pour la grille
Persistance Internet

9 Service de partage de données pour la grille
Transparence de la localisation ? Internet Transfert de données

10 Service de partage de données pour la grille
Optimisation des accès Cohérence des données Optimisation des accès Cohérence des données Internet Internet Transfert de données

11 Service de partage de données pour la grille
Internet Internet Extensibilité de l’architecture Extensibilité de l’architecture

12 Service de partage de données pour la grille
Internet Internet Support de la volatilité Support de la volatilité

13 ACI MD GDS Objectifs Etudes
Service de partage de données : architecture, implémentation, expérimentations Intégration dans l’environnement ASP DIET (ReMaP, LIP) Etudes Tolérance aux fautes : stratégies de réplication Protocoles de cohérence Stratégies d’observation/introspection Ordonnancement conjoint calcul-communication

14 Possible API du service GDS…
Alloc (size, attribs) Map (id, attribs) Put (id, value) Get (id) Lock (id) Unlock (id) À suivre…

15 GDS : Architecture générale
Groupe global Groupe data Groupe cluster A Groupe cluster C Groupe cluster B Achitecture virtuelle Architecture physique

16 Prototype JuxMem Stage de DEA de Mathieu Jan (projet PARIS, IRISA, 2003) Utilisation de JXTA 2.0 Gestion des pairs, des groupes, des communications, etc Implémentation en tant que service utilisateur Prototype en Java JuxMem Service JXTA lignes de code

17 ACI MD GDS : participants
Projet PARIS (IRISA) 3 Permanents : Gabriel Antoniu, Luc Bougé, Thierry Priol 2 Doctorants Mathieu Jan (INRIA/Région Bretagne) Sébastien Monnet (ACI MD) Projet REGAL (LIP6/INRIA Rocquencourt) 2 Permanents : Luciana Arantes, Pierre Sens 2 Doctorants : Jean-Michel Busca, Fabio Picconi Projet ReMaP (LIP) 2 Permanents : Eddy Caron, Frédéric Desprez 1 Doctorant : Antoine Vernois

18 Interactions GDS - GdX En deuxième partie du déroulement des projets
GDS : expérimentations visées Plates-formes « réelles » Grappes locales Quelques dizaines de nœuds Fédération de 3 grappes (IRISA, LIP, LIP6) De l’ordre d’une centaine de nœuds Fédération de quelques dizaines de grappes (GRID 5000 ?) Plusieurs milliers de nœuds Plate-forme d’émulation GdX Emulation des configurations réelles de type fédération de grappes

19 Expériences GDS / GdX Topologie hiérarchique Configuration
Fédération de grappes Liens rapides intra-grappes, liens lents inter-grappes Configuration Nombre de noeuds Topologie des interconnexions Capacité des liens : SAN, LAN, WAN Capacité de stockage en mémoire vive Capacité de stockage sur disque OS: Linux, Solaris, … Volatilité des nœuds Simulation de pannes/déconnexions