L’Institut des Grilles Comité de Pilotage 27 Juin 2008

Présentation au sujet: "L’Institut des Grilles Comité de Pilotage 27 Juin 2008"— Transcription de la présentation:

1 L’Institut des Grilles Comité de Pilotage 27 Juin 2008
Guy Wormser Directeur Comité de Pilotage 27 Juin 2008

2 L’intérêt scientifique des grilles
Accès transparent à des données distribuées Exemples Sciences de la terre, sciences de la vie Manipulation de très grands volumes de données Physique des particules, astrophysique, sciences humaines Très grande flexibilité des ressources de calcul Gestion des catastrophes Challenge grippe aviaire , malaria  Guy Wormser, Comité de pilotage 27 Juin 2008

3 La grille de production EGEE
EGEE est une grille de production à l’échelle européenne et internationale La plus grande infrastructure de production au monde 250 sites, processeurs, 5 PetaOctets de stockage 24 h/24, 7j/7 5000 utilisateurs, 3 Millions de travaux par mois Pluridisciplinaire EGEE-France : une dizaine de nœuds Intègre plusieurs grilles régionales (Auvergne, Ile de France, bientôt Rhône-Alpes) Forte corrélation observée entre activité scientifique et présence d’un nœud de grille ! Guy Wormser, Comité de pilotage 27 Juin 2008

4 240 sites 45 countries 41,000 CPUs 5 PetaBytes >5000 users
>100 VOs >100,000 jobs/day Archeology Astronomy Astrophysics Civil Protection Comp. Chemistry Earth Sciences Finance Fusion Geophysics High Energy Physics Life Sciences Multimedia Material Sciences … 32% Guy Wormser, Comité de pilotage 27 Juin 2008

5 EGEE – What do we deliver?
Infrastructure operation Currently includes ~250 sites across 45 countries Continuous monitoring of grid services & automated site configuration/management Support many Virtual Organisations from diverse research disciplines Middleware Production quality middleware distributed under business friendly open source licence Implements a service-oriented architecture that virtualises resources Adheres to recommendations on web service inter- operability and evolving towards emerging standards User Support - Managed process from first contact through to production usage Training Expertise in grid-enabling applications Online helpdesk Networking events (User Forum, Conferences etc.) Guy Wormser, Comité de pilotage 27 Juin 2008

6 Types of applications Simulation
LHC Monte Carlo simulations; Fusion; WISDOM Jobs needing significant processing power; Large number of independent jobs; limited input data; significant output data Bulk Processing HEP ; Processing of satellite data Distributed input data; Large amount of input and output data; Job management (WMS); Metadata services; complex data structures Parallel Jobs Climate models, computational chemistry Large number of independent but communicating jobs; Need for simultaneous access to large number of CPUs; MPI libraries Short-response delays Prototyping new applications; grid Monitoring grid; Interactivity Limited input & output data; processing needs but fast response and quality of service Workflow Medical imaging; flood analysis Complex analysis algorithms; complex dependencies between jobs Commercial Applications Non-open source software; Geocluster (seismic platform); FlexX (molecular docking); Matlab, Mathematics; Idl, … License server associated to an application deployment model Guy Wormser, Comité de pilotage 27 Juin 2008

7 The LHC Computing Centre
LHC Computing Model Physics Department    Tier2 Lab a Uni a Lab c Uni n Lab m Lab b Uni b Uni y Uni x Germany Tier 1 USA FermiLab UK France Italy NL Brookhaven ………. CERN The LHC Computing Centre Desktop Guy Wormser, Comité de pilotage 27 Juin 2008

8 European Grid Initiative(EGI)
Préparer une infrastructure de grille pérenne Assurer la viabilité à long terme de l’ e-Infrastructure européenne, indépendamment des cycles couts de financement sur projet Coordonner l’intégration et l’interaction entre les National Grid Infrastructures (NGIs) Etre l’opérateur de l’ infrastructure de grille de production au niveau Européen pour toutes les disciplines scientifiques Attention à la continuité! Guy Wormser, Comité de pilotage 27 Juin 2008

9 Caractéristiques des NGIs
Chaque NGI Doit être un organisme nationalement avec un seul point de contact bien identifié Doit mobiliser les ressources et les financements Doit s’assurer de l’opération de la grille nationale Doit soutenir les communautés d’utilisateurs contribuer et adhérer aux standards et politiques internationales Les responsabilités entre NGIs et EGI sont bien séparées et complémentaires L’Institut des grilles du CNRS a pour objectif essentiel d’être le noyau de la NGI française. Guy Wormser, Comité de pilotage 27 Juin 2008

10 + Asie, US, Amérique latine + PRACE + OGF-Europe + …
37 NGIs en Europe + Asie, US, Amérique latine + PRACE + OGF-Europe + … Guy Wormser, Comité de pilotage 27 Juin 2008

11 Développement de la recherche sur les grilles
Etudes de nouveaux langages, de nouveaux protocoles Action Concertée GRID en 2001 Lancement de Grid5000, outil original au service de la recherche sur les grilles Projets européens Réseaux d’excellence COREGRID Projet d’Observatoire de la Grille La grille pour les supercalculateurs, le réseau européen DEISA Guy Wormser, Comité de pilotage 27 Juin 2008

12 Pourquoi un Institut des Grilles
L’activité au CNRS sur les grilles a atteint en 2007 une importance considérable en volume et en impact Fédérer l’ensemble des activités du CNRS dans le domaine des grilles de recherche et des grilles de production Meilleure visibilité Meilleure efficacité Renforcer l’interaction entre ces deux domaines Point de contact pour les partenariats nationaux et internationaux Représentant du CNRS pour les contrats européens, pour les discussions auprès du Ministère Noyau central pour la « National Grid Initiative » Partenariat à nouer avec l’INRIA et les autres organismes pour la recherche sur les grilles de calcul Partenaire des initiatives régionales « Evangélisation » auprès de nouvelles communautés scientifiques Actions d’animation, de formation et de dissémination Partenaire fort d’une future structure de type « Institut Français des Grilles » Guy Wormser, Comité de pilotage 27 Juin 2008

13 Critères de succès à 4 ans
NGI/EGI bien en place Grille nationale intégration verticale/horizontale Résultats scientifiques importants obtenus grâce aux grilles PasserellesGRID5000/ Grille de production Diffusion des nouveaux langages/logiciels vers la production Observatoire de la grille Partenariats INRIA autres organismes Forte visibilité Liens avec la communauté supercalculateurs Publications –projets menés grâce à l’Institut Labellisation Actions de formation, dissémination, valorisation Guy Wormser, Comité de pilotage 27 Juin 2008

14 Ce qu’est l’Institut des Grilles
Formellement Unité Propre de Service UPS3107, créée le 1er Septembre 2007 Possède en tant que telle Un directeur (GW), deux sous-directeurs (D. Boutigny, V. Donzeau-Gouge) Budget de 300 k€ (15 k€ budget opérationnel +285 projet) Soutien opérationnel Actions nouvelles Personnel : 1 CDD gestionnaire (Mélanie Pellen) ,obtenu en 2008, Rattachée au département MPPU Délégation pour les contrats européens (EGEE-III, EGI, EDGES, EELA2) Liste des Membres de l’Institut Guy Wormser, Comité de pilotage 27 Juin 2008

15 Les laboratoires participants
APC, CC_IN2P3, CPPM, CREATIS, LIP, I3S, IBCP, IN2P3_adm, IPGP, IPHC, IPNL, IPNO, IRISA, IRIT, LABRI, LAL, LAPP, LIFL, LIG, LIP6, LLR, LORIA, LPC Clermont, LPNHE, LRI, IPSL, LPSC, LSIT, Subatech, UREC 13 laboratoires IN2P3 liés à EGEE/LCG 11 laboratoires d’informatique 5 laboratoires applicatifs liés science de la vie, science de la Terre,… Support administratif GDR Architecture Systèmes et Réseaux (ASR) Liste de 350 personnes ! Guy Wormser, Comité de pilotage 27 Juin 2008

16 La gouvernance de l’Institut des Grilles
Comité de pilotage (27 Juin 2008) Présidé par le Président du CNRS (ou le Directeur Général) Comprend les directeurs des départements scientifiques et instituts nationaux Un représentant de chaque partenaire Conseil scientifique (10 Septembre 2008) Conseille le comité de pilotage Formé de hautes personnalités scientifiques étrangères provenant pour moitié du monde de la recherche sur les grilles et pour moitié des infrastructures de production Comité de direction Formé des directeurs des unités CNRS (ou de leurs représentants) impliqués dans les travaux de l’Institut Première réunion plénière le 4 Décembre à Orsay Guy Wormser, Comité de pilotage 27 Juin 2008

17 L’Institut des grilles dans le paysage national
Série de réunions au Ministère sous l’impulsion de la DGRI Grilles de recherche, recherche sur les grilles (20/09) Infrastructures digitales en SHS (21/09) Réunion préliminaire sur les grilles de production (25/09) puis réunion plénière du groupe de travail (12/10) Rôle central reconnu pour l’Institut des Grilles Vers un partenariat étroit entre IdG-CNRS, ADT-INRIA (Aladdin), GET, Universités pour les grilles de recherche à travers un GIS Grilles de recherche De même, nécessité d’un partenariat fort pour les grilles de production dans le cadre du futur programme EGEE-III et de la création d’une National Grid Initiative Protocole d’accord établissant un Comité de Pilotage National (Ministère DGRI, CNRS, CEA, Universités, INSERM, INRA, INRIA, RENATER) Comité de pilotage national Exercice de prospective nationale dont la maîtrise d’œuvre est confiée à l’Institut des Grilles Institut des Grilles représentant des signataires pour les projets internationaux en commun dans le domaine des grilles de production Guy Wormser, Comité de pilotage 27 Juin 2008

18 Organisation générale, nomination des animateurs
L’Institut des grilles maître d’œuvre de l’exercice de prospective nationale Formation des groupes de travail avec les différents partenaires (RENATER, CEA,..) Organisation générale, nomination des animateurs Collecte des informations, préparation du colloque final Avancement satisfaisant mais évidemment inégal entre les différents thémes Très satisfaisants : Biologie Santé, Planète Univers, Environnement, Ingénierie et Informatique, Physique subatomique En bon progrès: Chimie, Physique-Fusion Pas encore démarré Ecologie-Agronomie, Physique-Optique, SHS Interaction avec le Conseil Scientifique Invitations orateurs étrangers, logistique,… Guy Wormser, Comité de pilotage 27 Juin 2008

19 Groupes de travail production
Thématiques Sciences de la Planète et environnement-Sciences de l'Univers Sciences du Vivant (avec d'éventuels sous groupes vu la taille du domaine: bioinformatique, imagerie, physiologie,...) Sciences Humaines Chimie Sciences de l'ingénieur et Informatique Physique (Nanosciences, Mathématiques, calcul scientifique, optique, fusion,..) Physique des particules, physique nucléaire, astroparticules Transverses Grilles de données Grilles régionales; relation avec GRID5000 Relation supercalculateurs TGE/ESFRI Accès à la grille-Comité utilisateurs- expression des exigences Relations avec les Industriels Guy Wormser, Comité de pilotage 27 Juin 2008

20 Autres actions stratégiques de l’Institut des Grilles
Partenariat INRIA Création NGI/EGEE-III Participation EGI Design Study Participation à des actions très visibles Atelier « Afrique et Internet » Décembre Montpellier Implantation de nœuds de grille en Afrique subsaharienne (Sénégal et Afrique du Sud) en 2008 , formation Partenariat CNRS-Helmoltz (Allemagne) EGEE-III Users Forum Favoriser les contacts avec des disciplines encore peu actives sur la grille Visite en régions Rhône-Alpes 10 Janvier Bordeaux Février Lille Mars …. Contact avec des industriels (IBM,..) Guy Wormser, Comité de pilotage 27 Juin 2008

21 Les objectifs à court terme
Signature du protocole d’accord national Grilles de production Etablissement du JRU EGEE-III Très gros risque d’échec sur ces deux points, mettant en péril la crédibilité de l’Institut des grilles (et de son directeur) Signature du GIS « Grilles de Recherche » Passerelles Recherche/production Poste CR à Lyon Observatoire de la Grille (EGEE-III + ANR?) Développement de la grille de production française Nouveaux nœuds Bordeaux, Montpellier, Grenoble Nouvelle grille régionale Rhône-Alpes Actions de coopération et de communication Afrique du Sud Sénégal Ville Européenne des Sciences Guy Wormser, Comité de pilotage 27 Juin 2008

22 Guy Wormser, Comité de pilotage 27 Juin 2008

23 Grilles et Mésocentres
Interconnecter des mésocentres sur la grille de production nationale Interopérer des grilles locales basées sur certains mésocentres avec la grille nationale de production Construire les passrelles grilles-supercalculateurs à partir des mésocentres Favoriser l’émergence de grilles locales et régionales autour de mésocentres Guy Wormser, Comité de pilotage 27 Juin 2008

24 Conclusion L’Institut des Grilles est né pour mieux faire face à des défis exaltants : apporter le meilleur outil possible aux diverses communautés applicatives pour permettre des découvertes scientifiques de première ampleur L’Institut des Grilles est un espace idéal pour encourager les collaborations entre les chercheurs en informatique travaillant sur les grilles, les chercheurs et ingénieurs en charge des grilles de production et les communautés scientifiques les utilisant Débuts très satisfaisants mais turbulence TRES DANGEREUSE dans les prochaines semaines Fort soutien financier et humain de l’IN2P3 et de ST2I mais pas encore des autres départements (mécanisme tour de table proposé) Guy Wormser, Comité de pilotage 27 Juin 2008

25 La prospective nationale: Préambule
Réunion INFORMELLE aujourd’hui pour mieux cerner la démarche prospective Objectif : être le plus prêt possible pour démarrer rapidement et efficacement le travail officiel suite à l’installation du cadre formel par le ministère Guy Wormser, Comité de pilotage 27 Juin 2008

26 Pourquoi un exercice de prospective?
Cadre international Création à l’horizon 2010 d’ EGI, European Grid Initiative, visant à pérenniser l’infrastructure européenne de grilles de production la plus grande au monde actuellement Cadre national EGI doit nécessairement s’appuyer sur un réseau de « National Grid Initiative » dans chaque pays membre Cet exercice de prospective s’inscrit dans la démarche visant à « calibrer » la future NGI en France Annonce faite par la DGRI le 3 décembre 2007 à l’occasion de l’Inauguration de l’Institut des Grilles Guy Wormser, Comité de pilotage 27 Juin 2008

27 Cadre de cette prospective
Le protocole d’accord Accord interorganismes sous la responsabilité du ministère de la recherche (DGRI) instituant : Un Comité de Pilotage National interorganismes chargé de la maîtrise d’ouvrage de la réflexion autour des grilles de production en France Lancement de l’exercice de prospective nationale Institut des grilles représentant des partenaires pour les projets européens communs sur les grilles de production Les prospectives « internes » à chaque organisme CNRS CPU ? Les autres exercices de prospective nationale : Supercalculateurs Recherche en informatique Guy Wormser, Comité de pilotage 27 Juin 2008

28 La prospective dans le protocole d’accord
Plus précisément, les décisions approuvées dans le Groupe de Concertation Sectoriel (GCS) A3 de Novembre 2007 sont : D’organiser au plan national et inter-organismes un exercice de définition prospective d’une structure nationale pour les grilles de production, qui se décomposera en 3 phases, sur la période Janvier 2008-Novembre 2008 : Organisation d’ateliers thématiques disciplinaires ou transverses de sensibilisation des communautés scientifiques, et de recensement de leurs besoins, Restitution sous forme d’un colloque finalisant l’expression des besoins, Production d’une synthèse comportant une proposition d’organisation de la maitrise d’ouvrage des grilles de production au plan national ; Que ce travail sera mené par Le Comité de Pilotage national défini plus haut. Le Comité de Pilotage fera une proposition de structure organisationnelle, juridique et budgétaire, un Comité d’Organisation, formé notamment en s’appuyant sur l’Institut des Grilles, l’INRIA et RENATER, un Comité Scientifique international indépendant, qui sera nommé par les Partenaires en s’appuyant autant que faire ce peut sur les comités scientifiques prééxistants, pour évaluer la proposition, notamment aux plans de l’intérêt pour l’organisation de la recherche et de la prise en compte des meilleures pratiques constatées en matière de Grille Guy Wormser, Comité de pilotage 27 Juin 2008

29 Les objectifs de la prospective
Existe-t-il un besoin de calcul dans la communauté scientifique française qu’il avantageux de couvrir par les grilles Si oui, recensement des besoins et perspectives pour définir un plan national d’action dans le cadre NGI/EGI Insertion des grilles dans l’  »écosystème » d’offres de calcul à la communauté scientifique Guy Wormser, Comité de pilotage 27 Juin 2008

30 L’organisation générale de la prospective
Organisée en 3 phases sur l’année 2008: Groupes de travail : Mars-Juillet (Réunion plénière des animateurs 10 Juillet 2008) Colloque de synthèse: 6-7 Octobre 2008 Plan d’action : Novembre ‘Bottom-up’ suivi de ‘top-down’ Guy Wormser, Comité de pilotage 27 Juin 2008

31 Les groupes de prospective thématiques
Guy Wormser, Comité de pilotage 27 Juin 2008

32 Les groupes de prospective transversaux
Guy Wormser, Comité de pilotage 27 Juin 2008

33 Les groupes de travail thématiques
Mission 1 : Intérêt scientifique du calcul sur une grille de production pour la communauté concernée Mission 2 : recensement des besoins en calcul sur une infrastructure de production Mission 3 : Identification des points bloquants Mission 4 Identification de projets phare Guy Wormser, Comité de pilotage 27 Juin 2008

34 Méthodologie Bilan par thèmes scientifiques
cat 1: Besoins de calcul faciles à satisfaire Cat 2 Thèmes où les groupes sont déjà actifs sur la grille Cat 3 Thèmes où il existe de gros besoins de calcul mais où la grille n’est pas l’outil adapté (ex besoin sur supercalculateur) Cat 4 Thèmes où il existe de gros besoins de calcul, où la grille devrait apporter beaucoup mais ne le fait pas en ce moment Exemples (chiffres « pifométrés ») physique subatomique: cat 1 2%, cat 2 75%, cat 3 10% cat 4 13% vivant : cat 1 40% cat 2 8% cat 3 30% cat 4 22% Planète cat 1 10% cat 2 15% cat 3 60% cat 4 10 Chimie cat 1 30% cat 2 0% cat 3 30% cat 4 60% SHS cat 1 70% cat 2 3% cat 3 15% cat 4 12% Bilan par besoins de calcul Tant de CPU/Stockage de 2009 à 2012 Bilan points de blocage Formation Aide utilisateurs Logiciels,… Guy Wormser, Comité de pilotage 27 Juin 2008

35 Résultats préliminaires
Connaissance de l’outil encore largement à améliorer (25-30% des communautés sondés sont correctement au courant) Très fort potentiel de croissance : Beaucoup de nouvelles idées précises 60% expriment des besoins importants Dans chaque communauté, plusieurs très gros utilisateurs avec forte croissance requise Guy Wormser, Comité de pilotage 27 Juin 2008