GDS – Paris, 13 Octobre 2006 Un outil de monitoring pour le déploiement dynamique de JuxMem Loïc Cudennec IRISA / INRIA, PARIS project-team Stage de M2RI.

Présentation au sujet: "GDS – Paris, 13 Octobre 2006 Un outil de monitoring pour le déploiement dynamique de JuxMem Loïc Cudennec IRISA / INRIA, PARIS project-team Stage de M2RI."— Transcription de la présentation:

1 GDS – Paris, 13 Octobre 2006 Un outil de monitoring pour le déploiement dynamique de JuxMem Loïc Cudennec IRISA / INRIA, PARIS project-team Stage de M2RI de Voichita Almasan

2 GDS - Paris, 13 Octobre 2006 2 La grille de calcul  Un ensemble de ressources hétérogènes interconnectées par un réseau  Plusieurs domaines d’administration  Echelle : 10^3 à 10^4 noeuds Caractérisation des ressources  Les noeuds Puissance de calcul Espace de stockage  Le réseau Topologie physique Débit Latence La grille et ses ressources

3 GDS - Paris, 13 Octobre 2006 3 Etablit une interface entre les ressources et les applications Le système d’information  Mutualise les informations sur l’état des ressources  Propose une vue de la grille  Met les informations à disposition de l’ordonnanceur  Exemples : Network Weather Service [UCSB] Ganglia [Berkeley/Intel] La gestion des ressources SE noeud SE noeud SE noeud Gestionnaire des ressources Applications distribu é es

4 GDS - Paris, 13 Octobre 2006 4 Dynamicité de l’infrastructure  Des noeuds quittent ou rejoignent la grille  Défaillances des noeuds, du réseau, des serveurs de fichiers… Dynamicité de l’application  Statiques Utilisent le même nombre de ressources pendant l’execution Besoins prévisibles, réservation statique  Dynamiques Modification des ressources pendant l’execution Besoins non prévisibles Interactions avec les gestionnaires de ressources Les applications distribuées Un double niveau de dynamicité

5 GDS - Paris, 13 Octobre 2006 5  Décrire les besoins d’une application  Sélectionner les ressources adéquates  S’adapter aux évenements : surcharge, volatilité… Le déploiement grille application Demande informations Selection ressources Lancement jobs Surveillance execution

6 GDS - Paris, 13 Octobre 2006 6 JuxMem : application distribuée dynamique permettant le partage de données sur la grille Support de la dynamicité de l’infrastructure  Mécanismes de routage pair-à-pair (JXTA)  Persistance des données en présence de fautes  Travaux de Mathieu Jan et Sébastien Monnet (thèses 2003-2006) Support de la dynamicité de l’application  Objet de ce travail : moyens d’interactions avec la grille Etude de cas : JuxMem

7 GDS - Paris, 13 Octobre 2006 7 Un service de partage de données pour la grille Développé depuis 2003 par PARIS/IRISA Permet l’accès transparent aux données partagées Offre le support pour la tolérance aux fautes et la cohérence des données S’inspire des systèmes à MVP et PàP  Plate-forme d’expérimentation de protocoles de cohérence tolérants aux fautes  Repose sur la plate-forme pair-à-pair JXTA (Sun) pour la découverte des ressources http://juxmem.gforge.inria.fr JuxMem Juxtaposed Memory

8 GDS - Paris, 13 Octobre 2006 8 JuxMem Service de partage de données pour la grille Modèle hiérarchique (fédération de grappes) Juxmem group Cluster group A Cluster group B Cluster group C Data group

9 GDS - Paris, 13 Octobre 2006 9 Les managers  Organisent la topologie de JuxMem Les providers  Offrent de l’espace de stockage physique Les clients  Demandent l’allocation de données dans le service  Effectuent des requêtes de lecture/écriture JuxMem Présentation des rôles manager provider client Requête d ’ allocation

10 GDS - Paris, 13 Octobre 2006 10 Allocation sur 1 provider, dans le même cluster Scénarios Un scénario statique manager provider client Requête d ’ allocation provider

11 GDS - Paris, 13 Octobre 2006 11 Allocation sur 3 providers, dans 1 cluster (tolérance aux fautes des noeuds) Scénarios Un premier scénario dynamique manager provider client Requête d ’ allocation provider d é ploiement

12 GDS - Paris, 13 Octobre 2006 12 Allocation sur 2*2 providers, dans 2 clusters (tolérance aux fautes des clusters) Scénarios Un deuxième scénario dynamique managerclient Requête d ’ allocation provider d é ploiement manager provider

13 GDS - Paris, 13 Octobre 2006 13 Rôle : prendre en charge l’aspect dynamique de JuxMem Interface entre JuxMem et les gestionnaires de ressources Reçoit les requêtes de besoin d’extension de JuxMem Crée et gère les réservations de ressources de l’utilisateur Commande le déploiement de nouveaux rôles JuxMem (provider, manager) Proposition : un outil de monitoring Application JuxMem Moniteur Gestionaires ressources

14 GDS - Paris, 13 Octobre 2006 14 Proposition : un outil de monitoring Interactions JuxMem Couche de coordination D é ploiement ADAGE R é servation OAR manager client (1) Requête d ’ allocation provider (2) Recherche de providers moniteur (3) Stockage (4) Requête d ’ extension (6) D é ploiement (5) Interactions infrastructure

15 GDS - Paris, 13 Octobre 2006 15 Implémentation d’un prototype  Programmes client et serveur indépendants de JuxMem  Communications directes entre client et serveur  Modules d’intéraction avec OAR et ADAGE  4000 lignes de code C Mise en oeuvre du moniteur Serveur Moniteur C Programme Client C manager provider d é ploiement Requête d ’ allocation

16 GDS - Paris, 13 Octobre 2006 16 Plate-forme de test : Grid’5000  4 des 9 sites : Bordeaux, Grenoble, Lyon et Rennes Outil de réservation : OAR  [ID-IMAG, Grenoble]  Bases de données locales à chaque cluster  http://oar.imag.fr Outil de déploiement : ADAGE  [PARIS, IRISA]  Déploiement automatique d’applications distribuées à partir d’une description générique  http://adage.gforge.inria.fr Evaluation du moniteur

17 GDS - Paris, 13 Octobre 2006 17 En violet : temps de réponse du moniteur En vert : temps de réponse d’OAR Evaluation du moniteur 1 cluster, 1 nouveau noeud toutes les 15 secondes M PPP

18 GDS - Paris, 13 Octobre 2006 18 En violet : temps de réponse du moniteur Evaluation du moniteur 1 cluster (Manager+Provider) toutes les 15 secondes M P M P M P

19 GDS - Paris, 13 Octobre 2006 19 En violet : temps de réponse du moniteur Evaluation du moniteur x cluster (Manager+Provider) par étape M P M P M P M P M P M P

20 GDS - Paris, 13 Octobre 2006 20 Le moniteur est fonctionnel  Mise en place d’une interface pour exprimer le besoin de l’application  Interactions avec les gestionnaires de réservation et déploiement des ressources Le moniteur est relativement performant  Temps de réponse moyen du moniteur < 1s  ADAGE : 1s, OAR : 12s Perspectives  Intégrer le moniteur comme un rôle JuxMem basé sur un pair JXTA  Distribuer le moniteur pour le rendre tolérant aux fautes  Partager le moniteur avec d’autres applications (Zorilla [VU/Amsterdam]) Conclusion