Les grilles de production et de recherche Guy Wormser Directeur de l’Institut des Grilles du CNRS Journées Informatiques IN2P3/IRFU 1 Octobre 2008.

Présentation au sujet: "Les grilles de production et de recherche Guy Wormser Directeur de l’Institut des Grilles du CNRS Journées Informatiques IN2P3/IRFU 1 Octobre 2008."— Transcription de la présentation:

1 Les grilles de production et de recherche Guy Wormser Directeur de l’Institut des Grilles du CNRS Journées Informatiques IN2P3/IRFU 1 Octobre 2008

2 Guy Wormser,Journées Informatiques 2008 2 Plan de l’exposé Brève présentation d’EGEE L’Institut des Grilles du CNRS Vers une infrastructure pérenne européenne EGI –Le document « Blueprint » L’organisation en France des grilles de production –Le protocole d’accord –Le colloque de prospective des 6 et 7 Octobre Quelques mots sur les grilles de recherche et la recherche sur les grilles Conclusion

3 Guy Wormser,Journées Informatiques 2008 3 L’intérêt scientifique des grilles Accès transparent à des données distribuées –Exemples Sciences de la terre, sciences de la vie Manipulation de très grands volumes de données –Physique des particules, astrophysique, sciences humaines Très grande flexibilité des ressources de calcul –Gestion des catastrophes –Challenge grippe aviaire, malaria

4 Guy Wormser,Journées Informatiques 2008 4 La grille de production EGEE EGEE est une grille de production à l’échelle européenne et internationale La plus grande infrastructure de production au monde 250 sites, 50 000 processeurs, 5 PetaOctets de stockage 24 h/24, 7j/7 5000 utilisateurs, 3 Millions de travaux par mois Pluridisciplinaire EGEE-France : une dizaine de nœuds Intègre plusieurs grilles régionales (Auvergne, Ile de France, bientôt Rhône-Alpes) Forte corrélation observée entre activité scientifique et présence d’un nœud de grille !

5 Guy Wormser,Journées Informatiques 2008 5 240 sites 45 countries 41,000 CPUs 5 PetaBytes >5000 users >100 VOs >100,000 jobs/day Archeology Astronomy Astrophysics Civil Protection Comp. Chemistry Earth Sciences Finance Fusion Geophysics High Energy Physics Life Sciences Multimedia Material Sciences … 32%

6 Guy Wormser,Journées Informatiques 2008 6 EGEE – What do we deliver? Infrastructure operation –Currently includes ~250 sites across 45 countries  Continuous monitoring of grid services & automated site configuration/management  Support many Virtual Organisations from diverse research disciplines Middleware –Production quality middleware distributed under business friendly open source licence  Implements a service-oriented architecture that virtualises resources  Adheres to recommendations on web service inter- operability and evolving towards emerging standards User Support - Managed process from first contact through to production usage –Training –Expertise in grid-enabling applications –Online helpdesk –Networking events (User Forum, Conferences etc.)

7 Guy Wormser,Journées Informatiques 2008 7 Types of applications Simulation –LHC Monte Carlo simulations; Fusion; WISDOM –Jobs needing significant processing power; Large number of independent jobs; limited input data; significant output data Bulk Processing –HEP ; Processing of satellite data –Distributed input data; Large amount of input and output data; Job management (WMS); Metadata services; complex data structures Parallel Jobs –Climate models, computational chemistry –Large number of independent but communicating jobs; Need for simultaneous access to large number of CPUs; MPI libraries Short-response delays –Prototyping new applications; grid Monitoring grid; Interactivity –Limited input & output data; processing needs but fast response and quality of service Workflow –Medical imaging; flood analysis –Complex analysis algorithms; complex dependencies between jobs Commercial Applications –Non-open source software; Geocluster (seismic platform); FlexX (molecular docking); Matlab, Mathematics; Idl, … –License server associated to an application deployment model

8 Guy Wormser,Journées Informatiques 2008 8 LHC Computing Model les.robertson@cern.ch CERN Tier2 Lab a Uni a Lab c Uni n Lab m Lab b Uni b Uni y Uni x Physics Department    Desktop Germany Tier 1 USA FermiLab UK France Italy NL USA Brookhaven ………. The LHC Computing Centre

9 Guy Wormser,Journées Informatiques 2008 9 Pourquoi un Institut des Grilles L’activité au CNRS sur les grilles a atteint en 2007 une importance considérable en volume et en impact Fédérer l’ensemble des activités du CNRS dans le domaine des grilles de recherche et des grilles de production –Meilleure visibilité –Meilleure efficacité –Renforcer l’interaction entre ces deux domaines Point de contact pour les partenariats nationaux et internationaux –Représentant du CNRS pour les contrats européens, pour les discussions auprès du Ministère –Noyau central pour la « National Grid Initiative » –Partenariat à nouer avec l’INRIA et les autres organismes pour la recherche sur les grilles de calcul –Partenaire des initiatives régionales « Evangélisation » auprès de nouvelles communautés scientifiques Actions d’animation, de formation et de dissémination Partenaire fort d’une future structure de type « Institut Français des Grilles »

10 Guy Wormser,Journées Informatiques 2008 10 Ce qu’est l’Institut des Grilles Formellement Unité Propre de Service UPS3107, créée le 1 er Septembre 2007 Possède en tant que telle – Un directeur (GW), deux sous-directeurs (D. Boutigny, V. Donzeau-Gouge) –Budget de 300 k€ (15 k€ budget opérationnel +285 projet)  Soutien opérationnel  Actions nouvelles –Personnel : 1 CDD gestionnaire (Mélanie Pellen),obtenu en 2008, –Rattachée au département MPPU Délégation pour les contrats européens (EGEE-III, EGI, EDGES, EELA2)

11 Guy Wormser,Journées Informatiques 2008 11 Les laboratoires participants Les 30 laboratoires: APC, CC_IN2P3, CPPM, CREATIS, LIP, I3S, IBCP, IN2P3_adm, IPGP, IPHC, IPNL, IPNO, IRISA, IRIT, LABRI, LAL, LAPP, LIFL, LIG, LIP6, LLR, LORIA, LPC Clermont, LPNHE, LRI, IPSL, LPSC, LSIT, Subatech, UREC –13 laboratoires IN2P3 liés à EGEE/LCG –11 laboratoires d’informatique –5 laboratoires applicatifs liés science de la vie, science de la Terre,… –Support administratif GDR Architecture Systèmes et Réseaux (ASR) Liste de 350 personnes !

12 Guy Wormser,Journées Informatiques 2008 12 Critères de succès à 4 ans NGI/EGI bien en place Grille nationale intégration verticale/horizontale –Résultats scientifiques importants obtenus grâce aux grilles PasserellesGRID5000/ Grille de production Diffusion des nouveaux langages/logiciels vers la production Observatoire de la grille Partenariats INRIA autres organismes Forte visibilité Liens avec la communauté supercalculateurs Publications –projets menés grâce à l’Institut Labellisation Actions de formation, dissémination, valorisation

13 Guy Wormser,Journées Informatiques 2008 13 La gouvernance de l’Institut des Grilles Comité de pilotage (27 Juin 2008) –Présidé par le Président du CNRS (ou le Directeur Général) –Comprend les directeurs des départements scientifiques et instituts nationaux –Un représentant de chaque partenaire Conseil scientifique (10 Septembre 2008) –Conseille le comité de pilotage –Formé de hautes personnalités scientifiques étrangères provenant pour moitié du monde de la recherche sur les grilles et pour moitié des infrastructures de production Comité de direction –Formé des directeurs des unités CNRS (ou de leurs représentants) impliqués dans les travaux de l’Institut –Première réunion plénière le 4 Décembre à Orsay

14 Guy Wormser,Journées Informatiques 2008 14 The first EGEE grid node in subsaharian Africa

15 Guy Wormser,Journées Informatiques 2008 15 2009 Action Plan Signature of the MoU on production grids, alllowing the formal establishment of EGEE-III JRU and construction of the French NGI. Leading role in establishing EGI Signature of the research GRID MoU. Building up strategic partnership with INRIA Gateways between Research/production –New position CR1 in Lyon –Grid Observatory (EGEE-III ) –Scientific animations –Middleware diffusion Development of the French production grid –New nodes: Bordeaux, Montpellier, Grenoble, Lyon-bio –New grille régional grid : Rhône-Alpes Cooperation, Outreach, Training, « evangelisation »

16 Guy Wormser,Journées Informatiques 2008 16 European Grid Initiative(EGI) Préparer une infrastructure de grille pérenne Assurer la viabilité à long terme de l’ e-Infrastructure européenne, indépendamment des cycles couts de financement sur projet Coordonner l’intégration et l’interaction entre les National Grid Infrastructures (NGIs) Etre l’opérateur de l’ infrastructure de grille de production au niveau Européen pour toutes les disciplines scientifiques Attention à la continuité!

17 Guy Wormser,Journées Informatiques 2008 17 37 NGIs en Europe + Asie, US, Amérique latine + PRACE + OGF-Europe + …

18 Guy Wormser,Journées Informatiques 2008 18 EGI Draft Blueprint EGI_DS just released the EGI draft Blueprint document http://www.eu-egi.eu/blueprint.pdf Main concept : EGI is based on National Grid Initatives (NGI) in a way very similar to the NRENs and DANTE/GEANT EGI scope: production grids (not limited to EGEE nor to EGEE middleware). Partnership with DEISA/PRACE supercomputer initiatives EGI is formed by NGIs and a (small) central organisation EGI.org EGI.org in charge of the grid operation and other central functions (user support and training management, middleware certification and distribution,..) –EGI.org not responsible for middleware developpment Total manpower required: 50 FTEs (many can be outsourced in the NGIs).

19 Guy Wormser,Journées Informatiques 2008 19 Caractéristiques des NGIs Chaque NGI Doit être un organisme nationalement avec un seul point de contact bien identifié Doit mobiliser les ressources et les financements Doit s’assurer de l’opération de la grille nationale Doit soutenir les communautés d’utilisateurs contribuer et adhérer aux standards et politiques internationales Les responsabilités entre NGIs et EGI sont bien séparées et complémentaires L’Institut des grilles du CNRS a pour objectif essentiel d’être le noyau de la NGI française.

20 Guy Wormser,Journées Informatiques 2008 20 L’effort central dans EGI

21 Guy Wormser,Journées Informatiques 2008 21 Le modèle des opérations dans EGI

22 Guy Wormser,Journées Informatiques 2008 22 La structure EGI.org EGI council est formé de l’ensemble des NGI participantes

23 Guy Wormser,Journées Informatiques 2008 23 Le modèle de financement EGI les contributions des NGIs financent e personnel du management d’EGI (10 FTEs) Chaque NGI finance les ressources qu’elle apporte à la grille, et une partie de son fonctionnement La contribution européenne finance –Le personnel technique d’EGI.org –Une contribution au fonctionnement des NGIs –L’innovation et le R&D

24 Guy Wormser,Journées Informatiques 2008 24 EGI : Next steps EGI Blueprint accepted as a basis for further discussions by the Policy Board (regrouping more than 30 NGIs) –Final EGI Blueprint delivered end of 2008 Bid for siting will be launched on October 1st (deadline December 1st) –Final EGI site selection on March 2009 Reminder : EGI must be in place before end 2009 for a smooth transition before the end of EGEE-III

25 Guy Wormser,Journées Informatiques 2008 25 Proposition française pour accueillir EGI.org L’appel à propositions pour sélectionner la ville d’accueil d’EGI.org sortira dans les prochains jours La date limite est fixée au 1 er Décembre Il faut proposer : –Un site d’accueil –Décrire la structure légale nationale proposée –Les conditions d’accueil –Acceptation potentielle du futur statut européen « European Research Infrastructures » Deux sites français possibles : Région parisienne ou Lyon –Profiter de l’opération « Plan campus »  Réaction très positive pour une implantation « Plateau Saclay » (CNRS, U Paris Sud, Ecole Polytechnique) CEA? –Montage d’un projet scientifique autour d’EGI.org –Réactions du ministère?

26 Guy Wormser,Journées Informatiques 2008 26 Le protocole d’accord national Huit signataires : Ministère de la Recherche CNRS CEA INRIA INRA INSERM CPU RENATER

27 Guy Wormser,Journées Informatiques 2008 27 Objectifs du protocole d’accord national Promouvoir l’usage des Grilles pour offrir aux utilisateurs des ressources virtuellement illimitées, tant en capacité de stockage et de calcul, qu’en services innovants.. Favoriser l’émergence et l’organisation au plan national d’une communauté utilisatrice et capable d’assurer le fonctionnement de Grilles de Production dans un contexte pérenne et d’innovation technique. Favoriser l’émergence d’une organisation nationale pérenne de Grille au service de la recherche et de l’enseignement supérieur. Favoriser les coopérations académiques ou d’intérêt industriel, nationales ou internationalesFavoriser les coopérations et la mutualisation qui concourent à l’organisation et au développement de la recherche et de l’enseignement supérieur au plan national et européen. Entreprendre les travaux d’architecture informatique et de services distribués, de développement technologique, en liaison avec les équipes et les projets de recherche et de développement en STIC et réseau de communication. Favoriser les rapprochements et les échanges entre les équipes des Partenaires concernées par l’opération et l’amélioration des Grilles de Production et celles concernées par la recherche en STIC Faciliter l’établissement de stratégies concertées et la coopération avec les organisations mises en place concernant les réseaux de communication électroniques destinés à la recherche et l’enseignement supérieur, et notamment le GIP RENATER et l’infrastructure européenne GEANT-2. Organiser la représentation française dans les projets européens relatifs aux Grilles de Production.

28 Guy Wormser,Journées Informatiques 2008 28 Le rôle du Comité de Pilotage National Contribuer à la définition des orientations stratégiques et au cadrage de la prospective nationale dans le domaine visé par ce protocole. La validation des rapports de prospective scientifique issus de cette démarche. La synthèse des propositions d’organisation structurelle, de pilotage scientifique et de l’argumentaire d’opportunité scientifique concernant la création, le cas échéant, d’une organisation nationale de Grille de Production. La synthèse des propositions concernant la participation française dans les projets européens relatifs aux Grilles de Production, notamment dans le projet européen EGI et dans l’infrastructure européenne pérenne projetée au terme de cette étude. Ces propositions pourront concerner l’organisation et la stratégie scientifique et technique. La synthèse des propositions d’orientation concernant la position et la stratégie de la participation française au sein des projets européens de Grilles de Production.

29 Guy Wormser,Journées Informatiques 2008 29

30 Guy Wormser,Journées Informatiques 2008 30 Les groupes de travail de la prospective nationale Thématiques –Sciences de la Planète-Sciences de l'Univers –Sciences du Vivant –Sciences Humaines –Chimie –Sciences de l'ingénieur et Informatique –Physique et Mathématiques –Physique Subatomique –Agronomie-Ecologie Transverses –Grilles de données –Grilles régionales; relation avec GRID5000 –Relation supercalculateurs –TGE/ESFRI –Accès à la grille –Relations avec les Industriels

31 Guy Wormser,Journées Informatiques 2008 31 Preliminary status Based on the 5 most advanced groups (Life sciences, Earrth and Universe, Engineering and Computing, Chemistry and subatomic Physics) Questionnaires launched in each community with up to 400 answers In most cases, knowledge of grid technology is limited In all the communities, already very active users producing science ( usually ~5% level) Even when knowledge is limited, a majority sees large potential benefits 85% of the French subatomic physics community will use Grid as their everyday tool in 2012

32 Guy Wormser,Journées Informatiques 2008 32 Connaissance personnelle des grilles

33 Guy Wormser,Journées Informatiques 2008 33 Utilisation des grilles dans les laboratoires

34 Guy Wormser,Journées Informatiques 2008 34 Besoins de la communauté

35 Guy Wormser,Journées Informatiques 2008 35 Prospective nationale grilles de production Le colloque des 6 et 7 Octobre –Inscrivez-vous! –Présentation des rapports des groupes de travail –Trois tables rondes (Utilisateurs, Grilles et Industrie, Stratégie) L’après colloque –Collecter des recommandations des groupes de travail –Rédiger une synthèse sous forme de « Livre Blanc » à remettre au Comité de Pilotage national  Stratégie globale  Recommandations des groupes de travail  Plan pluriannuel d’investissements humain et financier –Créer de façon pérenne la structure NGI France

36 Guy Wormser,Journées Informatiques 2008 36 La recherche sur les grilles Etudes de nouveaux langages, de nouveaux protocoles Développement de Grid5000, outil original au service de la recherche sur les grilles et travaux s’y rapportant Projets européens Réseaux d’excellence COREGRID L’Observatoire de la Grille La grille pour les supercalculateurs, le réseau européen DEISA Vers un partenariat étroit entre IdG-CNRS, ADT-INRIA (Aladdin), GET, Universités pour les grilles de recherche à travers un GIS dédié

37 Guy Wormser,Journées Informatiques 2008 37 Conclusions Les grilles de production sont maintenant des outils indispensables à de grands pans de la recherche française et internationale L’objectif principal est de les pérenniser au niveau national (NGIs) et européen (EGI) L’Institut des grilles du CNRS est un très bon outil pour atteindre ces deux objectifs Pas décisif vers la NGI France via la signature imminente du Protocole d’accord National Colloque de prospective les 6-7 Octobre première étape vers un « Livre Blanc » pour un plan national d’action