La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

GDS : Grid Data Service Gabriel Antoniu IRISA / INRIA Rennes Réunion de lancement du projet GdX de lACI Masses de Données 16 septembre 2003.

Présentations similaires


Présentation au sujet: "GDS : Grid Data Service Gabriel Antoniu IRISA / INRIA Rennes Réunion de lancement du projet GdX de lACI Masses de Données 16 septembre 2003."— Transcription de la présentation:

1 GDS : Grid Data Service Gabriel Antoniu IRISA / INRIA Rennes Réunion de lancement du projet GdX de lACI Masses de Données 16 septembre 2003

2 2 Le projet GDS Projet de lACI Masses de Données (2003) PARIS (IRISA, Rennes) REGAL (LIP6 et INRIA Rocquencourt) ReMaP (LIP, ENS Lyon) Partenaire du projet GdX (utilisateur)

3 3 Contexte : gestion de données sur la grille Simulations numériques distribuées Exemple: couplage de code Nécessite un partage des données Mécanique des structures Thermodynamique Optique Dynamique Conception dun satellite

4 4 Partage de données : lexistant Partage explicite à grande échelle GridFTP (Globus) et MPI-IO Sécurité, hétérogénéité Internet Backplane Protocol (IBP) Contrôle Gestion explicite Pas de garanties de cohérence

5 5 Partage de données : lexistant (2) Partage transparent à petite échelle Mémoire virtuellement partagée (MVP) Modèles et protocoles de cohérence Accès transparent Localisation transparente des données Architecture statique, non extensible et homogène

6 6 Partage de données : lexistant (3) Systèmes pair-à-pair (P2P) Systèmes distribués (grande échelle) Pairs volatiles Capacités responsabilités identique des pairs Partage de données non-modifiables Centralisé (Napster) Inondation (Gnutella, KaZaA) Table de hachage distribuée (CFS, PAST) Partage de données modifiables Un seul écrivain par donnée, peu de modifications (OceanStore) Résolution des conflits à la « main » (Ivy)

7 7 Idée : service de partage de données Proposition : approche hybride MVP : cohérence et accès transparent P2P : extensibilité et haute dynamicité MVPService pour la grilleP2P Échelle TopologiePlateHiérarchiquePlate DynamicitéNulleMoyenneForte RessourcesHomogènes (grappes) Plutôt hétérogènes (grappes de grappes) Hétérogènes (Internet) DonnéesModifiables Non-modifiables Applications typiques Calcul scientifiqueCalcul scientifique et stockage de données Partage et stockage de fichiers

8 8 Service de partage de données pour la grille Internet Persistance

9 9 Service de partage de données pour la grille Internet Transfert de données ? Transparence de la localisation

10 10 Service de partage de données pour la grille Transfert de données Internet Optimisation des accès Cohérence des données Optimisation des acc è s Coh é rence des donn é es Internet

11 11 Service de partage de données pour la grille Internet Extensibilité de larchitecture Internet

12 12 Service de partage de données pour la grille Internet Support de la volatilité Internet Support de la volatilit é

13 13 ACI MD GDS Objectifs Service de partage de données : architecture, implémentation, expérimentations Intégration dans lenvironnement ASP DIET (ReMaP, LIP) Etudes Tolérance aux fautes : stratégies de réplication Protocoles de cohérence Stratégies dobservation/introspection Ordonnancement conjoint calcul-communication

14 14 Possible API du service GDS… Alloc (size, attribs) Map (id, attribs) Put (id, value) Get (id) Lock (id) Unlock (id) À suivre…

15 15 GDS : Architecture générale Groupe global Groupe cluster A Groupe cluster B Groupe cluster C Groupe data Architecture physique Achitecture virtuelle

16 16 Prototype JuxMem Stage de DEA de Mathieu Jan (projet PARIS, IRISA, 2003) Utilisation de JXTA 2.0 Gestion des pairs, des groupes, des communications, etc Implémentation en tant que service utilisateur Prototype en Java JuxMem Service JXTA lignes de code

17 17 ACI MD GDS : participants Projet PARIS (IRISA) 3 Permanents : Gabriel Antoniu, Luc Bougé, Thierry Priol 2 Doctorants Mathieu Jan (INRIA/Région Bretagne) Sébastien Monnet (ACI MD) Projet REGAL (LIP6/INRIA Rocquencourt) 2 Permanents : Luciana Arantes, Pierre Sens 2 Doctorants : Jean-Michel Busca, Fabio Picconi Projet ReMaP (LIP) 2 Permanents : Eddy Caron, Frédéric Desprez 1 Doctorant : Antoine Vernois

18 18 Interactions GDS - GdX En deuxième partie du déroulement des projets GDS : expérimentations visées Plates-formes « réelles » 1.Grappes locales Quelques dizaines de nœuds 2.Fédération de 3 grappes (IRISA, LIP, LIP6) De lordre dune centaine de nœuds 3.Fédération de quelques dizaines de grappes (GRID 5000 ?) Plusieurs milliers de nœuds Plate-forme démulation GdX Emulation des configurations réelles de type fédération de grappes

19 19 Expériences GDS / GdX Topologie hiérarchique Fédération de grappes Liens rapides intra-grappes, liens lents inter-grappes Configuration Nombre de noeuds Topologie des interconnexions Capacité des liens : SAN, LAN, WAN Capacité de stockage en mémoire vive Capacité de stockage sur disque OS: Linux, Solaris, … Volatilité des nœuds Simulation de pannes/déconnexions


Télécharger ppt "GDS : Grid Data Service Gabriel Antoniu IRISA / INRIA Rennes Réunion de lancement du projet GdX de lACI Masses de Données 16 septembre 2003."

Présentations similaires


Annonces Google