Avec tous les membres participants

Présentation au sujet: "Avec tous les membres participants"— Transcription de la présentation:

1 Avec tous les membres participants
Grid’5000 Compte rendu d’avancement F. Cappello INRIA Animateur CP Grid’5000 Avec tous les membres participants

2 Participants Comité de Pilotage (11) : Comité Technique étendu (28) :
Jean-Luc ANTHOINE Jean-Claude Barbet Pierrette Barbaresco Nicolas Capit Eddy Caron Christophe Cérin Olivier Coulaud Georges Da-Costa Yves Denneulin Benjamin Dexheimer Aurélien Dumez Gilles Gallot David Geldreich Sébastien Georget Olivier Gluck Claude Inglebert Julien Leduc Cyrille Martin Jean-Francois Méhaut Jean-Christophe Mignot Thierry Monteil Guillaume Mornet Alain Naud Vincent Néri Gaetan Peaquin Franck Simon Sebastien Varrette Jean-Marc Vincent Comité de Pilotage (11) : -Franck Cappello (animateur) -Thierry Priol (Directeur directeur ACI Grid) -Brigitte Plateau (Directrice CS ACI Grid) -Dani Vandrome (Renater) -Frédéric Desprez (Lyon) -Michel Daydé (Toulouse) -Yvon Jégou (Rennes) -Stéphane Lantéri (Sophia) -Raymond Namyst (Bordeaux) -Pascale Primet (Lyon) -Olivier Richard (Grenoble) Comité Technique étendu (28) :

3 Eléments tangibles (1) A) Financements
1) ACI Grid avec 2 appels Grid’5000 2) ACI Masse de Données avec Grid eXplorer 3) Demandes locales (régions + départements) 4) Demandes INRIA 5) 2 AS CNRS (eGrid5000 et Programmation des Grilles) B) Gouvernance et communication Un comité de pilotage + 1 comité technique Des audioconférences fréquentes : 2 Comités de pilotage et 2 comités technique 3) Un Wiki avec tous les documents (wiki.grid5000.org) 4) Des réunions tel. ou F2F avec Renater 5) Un site Web ( 6) 2 mailing lists C) Réalisations 1) 30 machines déployés dans 8 sites (9 sites le 1er Juin)  60 machines d’ici quelques semaines (8 par site). 2) Prototype de sécurité à base de VPN opérationnel (Vtune) 3) Prototype de control en cours de réalisation 4) Outils de supervision prototype (Nagios)

4 Eléments tangibles (2) D) Montages en cours
1) 3 Appels d’offres lancés (CCTP rédigés et vérifiés par le CP)  échange d’informations (Bench. Tarif, dispo processeurs, etc.) 2) Mise à disposition connexion 1Gb/s entre site et NRD Renater E) Discussions/réflexions en cours 1) Modes de fonctionnement : local/Grid’5000 2) Modes d’utilisation : partagés, réservé, batch 3) Démos (reboot, réseau, middleware, exécutifs, applications) 4) Recensement des expériences F) Echéances 1) Planning  démo partielle pour SC2004 (Novembre) 2) Mise en place progressive du prototype jusqu’en Octobre avec un calendrier 3) Basculement sur l’infrastructure réelle en Octobre 4) Mise en place services et tests fonctionnels sur prototype G) Initiatives de Communication 1) Jeux de slides pour présentation 2) Flyers 3) Stand Grid5000 à SC2004

5 Financements 2003 0,6M€ ~0,4€ ~0,5€ ~0,5€ ~0,5€ ~0,3?€ ~0,35€
Grid’5000 Financement 2003 ~3M€ de matériel

6 Planning Grid’5000 Hardware Grid’5000 System/middleware Forum
Proposition : avancer d’1 mois le planning initial Planning today Call for Expression Of Interest Vendor selection Instal. First tests Final review Fisrt Demo (SC04) Call for proposals Selection of 7 sites ACI GRID Funding Grid’5000 Hardware Switch Proto to Grid’5000 Grid’5000 System/middleware Forum Security Prototypes Control Prototypes Renater connection We beleive that Global Computing and P2P systems together provide a nice starting point for exploring High Performance Computing on large scale parallel systems. Grid’5000 Grid’5000 Programming Forum Demo preparation Grid’5000 Experiments Sept03 Nov03 Jan04 March04 Jun/July 04 Spt 04 Oct 04 Nov 04

7 Une vision du prototype
Grid’5000

8 Une autre vision du prototype
Grid’5000 Sébastien Georget, Sophia

9 Visions utilisateur de Grid’5000
Comme un grand cluster de clusters Pas de nécessité de gérer la sécurité (tous les ports sont ouverts entre ressources Grid’5000  rsh, etc. fonctionnelles, possibilité de tester NFS, etc.) Tester les exécutifs et les applications sans interférence vis-à-vis de la sécurité (isolation des phénomènes) Comme un ensemble de clusters dans des domaines d’administration distincts. Nécessité de gérer la sécurité (au minimum SSH sur tous les nœuds), idéalement :possibilité de sélectionner le middleware de gestion de la sécurité (Globus 2, 3, 4?)  Tester les exécutifs et les applications dans des conditions de sécurité réalistes.

10 Architecture de sécurité consensuelle (version pour adressage privé)
MPLS Routeur RENATER Routeur RENATER vlans RENATER Switch Grid Routeur RENATER Switch/routeur labo LABO controleur Routeur RENATER Firewall/nat Site grid5000 Front-end local Cluster banalisé Adresses privées Controleur = serveur de boot, replicat LDAP?, DNS secondaire, ordonnancement… Front-end local = routes statiques vers grid5000 et default vers Firewall/nat Firewall/nat = 2 interfaces, redirige accès port 22 vers front-end-local

11 Architecture de sécurité consensuelle (version pour adressage public)
MPLS Routeur RENATER Routeur RENATER RENATER vlan Switch Grid Routeur RENATER Switch/routeur labo LABO controleur Routeur RENATER Site grid5000 Cluster banalisé Adresses publiques Controleur = serveur de boot, replicat LDAP?, DNS secondaire, ordonnancement…

12 Architecture de contrôle
user site Users (ssh loggin + password) Site 2 Control Master Control Slave Control commands -rsync (kernel,dist) -orders (boot, reset) Site 1 LAB/Firewall Router Control Slave Test Cluster Firewall/nat Centralized user access and experiment configuration & control Users access the prototype through the main site (SSH, ACL, specific credential) The centralized control infrastructure allows to deploy OS/middleware on Cluster and gateway of all sites SSH tunnels allow the controller of the main site to access the controllers of the other sites. VPN routes messages between reconfigurable nodes across administration domains. Boot server + dhcp Lab’s Network Site 3 System kernels and distributions are downloaded from a boot server. They are uploaded by the users as system images. Test Cluster

13 Modes d’utilisation Partagé (préparation des expériences, taille S)
Pas de ressources dédiées (les utilisateurs se loguent sur les nœuds et utilisent le système par défaut, pas de middleware, etc.) Réservé (à la Planet-Lab, taille M) Ressources réservées non coordonnées (les utilisateurs peuvent changer l’OS sur les nœuds qu’ils ont réservés) Batch (automatique, taille L ou XL) Les ressources de Grid’000 sont réservées par les utilisateurs et les expériences sont en mode automatique) Avec planification possible

14 Démos 5 démos déclanchées à la demande : 3 objectifs 2 contraintes
Infrastructure G5k : on/off/reboot, OAR, etc. Expériences réseaux Installations/modifications middleware (Globus) Environnements (DIET, Padico, PM2, Pro-active, XW, etc.) Applications 3 objectifs Expérimenter/éprouver l’infrastructure Grid’5000 Démo pour les extérieurs/présentations/politiques Démo pour les grandes conférences (SC) 2 contraintes Démos très visuelles Démontrant les capacités de Grid5000 pas celles des logiciels

15 Recensement des expériences
Networking End Host Communication layer High performance long distance protocols High Speed Network Emulation Grid Networking Layer Middleware / OS Grid’5000 control/access Grid’5000 experiment automation Scheduling / data distribution in Grid Fault tolerance in Grid Resource management Grid SSI OS and Grid I/O Desktop Grid/P2P systems Programming Component programming for the Grid (Java, Corba) GRID-RPC GRID-MPI Code Coupling Applications Multi-parametric applications (Climate modeling/Functional Genomic) Large scale experimentation of distributed applications (Electromagnetism, multi-material fluid mechanics, parallel optimization algorithms, CFD, astrophysics Medical images, Collaborating tools in virtual 3D environment Quelques commentaires : . Ensuite on retrouve une large gamme d’applications scientifiques traditionelles amenées par les labos de physique toulousain regroupés dans CALMIP (CALcul En Midi-Pyrénées qui exploite un SGI au CICT) . Applications multi-paramétriques : autant d’instances du même code que de valeurs pour un ou plusieurs des paramètres d’entrée de l’application avec Les trois applications mentionnées . En management sont regroupés des actions relatives à la gestion des ressources sur des grilles, à la gestion des données (stockage sur une grille), à la gestion d’une grille (découverte de services, de machines par exemple avec des agents mobiles, QoS, monitoring) et enfin optimisation de requêtes à des BD sur des grilles de calcul avec applications dans le biomédical.

16 Applications Multi-parametric applications
- ACI GRID-TLSE Project : expertise site for sparse linear algebra - Climate modeling and Global Change DataGène Project : Functional genomic Large scale experimentation of distributed applications JECS: a JAVA Environment for Computational Steering Distributed computing and interactive visualization of 3D numerical simulations (Caiman and Oasis project-teams) Collaborative environment Computational Electromagnetism application (JEM3D) MECAGRID (ACI GRID project, Smash project-team) Massively parallel computations in multi-material fluid mechanics Study of numerical algorithms for heterogeneous computing platforms Grid computing for medical applications (Epidaure project-team) Interoperable medical image registration grid service Optimal design of complex systems (Coprin project-team) Evaluation of parallel optimization algorithms based on interval analysis techniques Study of load balancing strategies on heterogeneous resources + CFD, astrophysics,… applications + Collaborating tools in virtual 3D environment. Quelques commentaires : . Ensuite on retrouve une large gamme d’applications scientifiques traditionelles amenées par les labos de physique toulousain regroupés dans CALMIP (CALcul En Midi-Pyrénées qui exploite un SGI au CICT) . Applications multi-paramétriques : autant d’instances du même code que de valeurs pour un ou plusieurs des paramètres d’entrée de l’application avec Les trois applications mentionnées . En management sont regroupés des actions relatives à la gestion des ressources sur des grilles, à la gestion des données (stockage sur une grille), à la gestion d’une grille (découverte de services, de machines par exemple avec des agents mobiles, QoS, monitoring) et enfin optimisation de requêtes à des BD sur des grilles de calcul avec applications dans le biomédical.

17 Ouverture à la communauté
Grid’5000 pourrait, à terme, être ouvert à la communauté, au-delà des chercheurs en Grid  ACI Masse de Données  Core Grid  Collaborations internationales Organisation d’une journée en Juin pour recenser les utilisateurs potentiels ACI Grid et ACI MD Intérêt de la communauté réseau (participation régulière au CP du RTP réseau). Par ailleurs intérêt de la communauté internationale, notamment Japon. Quelques commentaires : . Ensuite on retrouve une large gamme d’applications scientifiques traditionelles amenées par les labos de physique toulousain regroupés dans CALMIP (CALcul En Midi-Pyrénées qui exploite un SGI au CICT) . Applications multi-paramétriques : autant d’instances du même code que de valeurs pour un ou plusieurs des paramètres d’entrée de l’application avec Les trois applications mentionnées . En management sont regroupés des actions relatives à la gestion des ressources sur des grilles, à la gestion des données (stockage sur une grille), à la gestion d’une grille (découverte de services, de machines par exemple avec des agents mobiles, QoS, monitoring) et enfin optimisation de requêtes à des BD sur des grilles de calcul avec applications dans le biomédical.