Comité de pilotage national des grilles de production Guy Wormser Directeur Institut des Grilles du CNRS.

Présentation au sujet: "Comité de pilotage national des grilles de production Guy Wormser Directeur Institut des Grilles du CNRS."— Transcription de la présentation:

1 Comité de pilotage national des grilles de production Guy Wormser Directeur Institut des Grilles du CNRS

2 Trois décisions critiques à prendre aujourd’hui Définition de la position française par rapport aux programmes communautaires sur les grilles de production Décision sur la structure à donner à la NGI France Engagements des partenaires sur les plans d’embauches et d’investissements

3 Extrait du protocole d’accord Les compétences du Comite de Pilotage sont les suivantes : Contribuer a la définition des orientations stratégiques et au cadrage de la prospective nationale dans le domaine vise par ce protocole. La validation des rapports de prospective scientifique issus de cette démarche. La synthèse des propositions d'organisation structurelle, de pilotage scientifique et de l'argumentaire d'opportunité scientifique concernant la création, le cas échéant, d'une organisation nationale de Grille de Production. La synthèse des propositions concernant la participation française dans les projets européens relatifs aux Grilles de Production, notamment dans le projet européen EGI et dans l'infrastructure européenne pérenne projetée au terme de cette étude. Ces propositions pourront concerner l'organisation et la stratégie scientifique et technique. La synthèse des propositions d'orientation concernant la position et la stratégie de la participation française au sein des projets européens de Grilles de Production. Lorsqu'il délibère, conformément aux compétences définies ci-dessus, en matière d’orientation stratégique ou de plan pluriannuel comportant un engagement budgétaire des Partenaires, le Comité de Pilotage se prononce a la majorité qualifiée de 76%.

4 Nouvelles d’EGI Les acteurs-Définitions Adoption du « Blueprint » le 20 janvier à Prague (22 NGI présentes) –Après 3 itérations et beaucoup de commentaires venant des NGIs –Adoption de la procédure de choix des sites –Huit candidatures reçues (5 sur les 7 grands pays) –Désignation des membres de l’Evaluation Board Réunion du 2 Mars à Catane (27 NGI présentes) –Désignation du site d’Amsterdam –Discussion de la suite de la procédure (MoU, choix du directeur,..) –Discussions approfondies avec EGEE/WLCG –Suivi du statut des NGIs (42 actuellement inscrites)

5 Acteurs-Définitions EGI (European Grid Initiative): effort collectif de l’ensemble des pays européens de se doter d’une grille européenne commune. EGI poursuit la mission d’EGEE en l’élargissant à d’autres grilles plus petites, d’autres logiciels, des contacts beaucoup plus étroits avec PRACE. EGI se compose de l’effort de chaque pays (NGI) et de la structure de coordination et d’opération centrale EGI.org EGI_DS : Design Study lancée en Septembre 2009 pour jeter les bases d’EGI. NGI (National Grid Initiative): Entité responsable dans chaque pays de la structure de grille nationale. Chaque NGI devra à terme fournir les interfaces nécessaires à la grille européenne (dites « NGI International functions »). Elles doivent à terme devenir des entités légales EGI Policy Board : Gouvernance « suprême » actuelle d’EGI. Formé par un membre de chaque NGI (ie un par pays). Evoluera vers l’EGI Council EGI.org : future structure coordinatrice et opérationnelle de la grille européenne

6 Pourquoi Lyon a perdu Dossier classé premier par le comité d’évaluation –Comité d’évaluation a indiqué que les différences de notation entre les 3 premiers n’étaient pas significatives –Demande de bcp de NGIs de considérer les 3 premiers comme ex-aequo avant le second tour) La position très critique de la France par rapport à EGI a certainement joué Effet grands pays/petits pays Effet Europe du Nord/Europe du Sud Pas de soutien du CERN Effet EGI_DS vs pas EGI_DS

7

8

9

10

11

12

13

14 Les appels d’offre européens (1) Réunion informelle avec la commission le 24 Février à Bruxelles –La commission considère qu’EGEE est un succès majeur qu’il faut absolument consolider –Ils veulent garder un investissement constant –Diversification des appels d’offre Appel d’offre réservé :20-25 M€ sur 3 ans centré Opérations Appel d’offres par sujet transverse (Data, Middleware) ou par communauté –Mon commentaire : On peut vivre avec mais que de complications et de travail supplémentaires inutiles –Beaucoup de discussions sur les critiques formulées par la France Évaluation d’EGI à trois niveaux : par le Policy Board d’EGI, instance très largement indépendante du groupe moteur EGI_DS (4 Membres communs sur 42), par le groupe e-IRG (nommé par les ministres au même niveau qu’ESFRI), par les experts extérieurs chargés de l’évaluation annuelle d’EGI_DS Egalement évaluation très critique par les utilisateurs (EGEE, WLCG,..) ESFRI a bien été saisi d’EGI dans la sous groupe PSE qui a considéré que cela relevait du groupe e- IRG "One other aspect which has been examined by the [group] is that of the GRID. For this, taking into account the e-IRG indications it has assumed that, in parallel with more localized RI's in HPC-DT, appropriate investment in the GRID-like Pan-European infrastructure, integrating regional and national infrastructure across the full research spectrum will be deployed. Specific recommendations on how to achieve this are being developed by e-IRG and others, and we do not propose that ESFRI takes action in these aspects, beyond recognizing the central role of networking and higher level integrating services to support scientific research."

15 Les appels d’offre européens Prochaine réunion clé à Bruxelles le 20 Mars. Recherche du consensus (Présentation de la politique de la commission aux ministres de la recherche le 6 Mars) La position de la France sera très attendue Nous devons la définir dans ce comité de pilotage

16 La lettre de soutien WLCG The WLCG Overview Board strongly supports the creation of a European Grid Infrastructure based on National Grid Initiatives with a European level coordination. In particular WLCG will rely on the National infrastructures to provide operational tools and services for the Tier 1 and Tier 2 sites in each country, and requires a European coordination body with which it, as an application community, can work together on requirements and evolution of the services. The Overview Board also supports the concept of a Specialised Support Centre for High Energy Physics, and WLCG would collaborate with EGI.org in the setting up of such an organisation. The Overview Board is concerned about the timescales involved, in particular the timing of a transition between EGEE and the EGI/NGI model, which comes at a time during the first year of accelerator running when the disruption of existing services will be least tolerable. To this end the WLCG will work together with EGEE and the EGI_DS projects to propose and evaluate acceptable transition scenarios. There is also concern over the preparedness of the NGIs to be able to take over the core operation in 2010, and the Overview Board would like to see evidence of progress of the NGIs committing themselves to the EGI model.

17 Le status des NGIs The main results of the questionnaire are summarized below: –1) NGIs are well aware of the proposed goal: fulfil the EGI_DS Blueprint NGI Guidelines, fully share it and say they will get there on time! – 95% are aware of the guidelines, 85% find them appropriate – 45% comply now with them but 83% say they will comply at the end of 2009 –2) NGIs are making progress towards the goal – 69% have a legal entity compared to 61% in March 2008 – 93% are representing some other entity in their countries compared to 73% in March 2008 –3) Some important tasks remain to be done – Only 40% of the NGIs have today in place the mechanism to transfer funds to EGI.org (regardless of their will to do so!). This fraction is stable since March 08.

18 Les nouvelles d’EGEE User Forum très réussi (500 personnes!) En partenariat avec OGF Deux communiqués de presse –Prévention des risques cardiaques –Reconstitution d’un ancien instrument de musique Rapport des évaluateurs externes –Complémentarité « Cloud »/Grilles –Very impressed by the users diversity and enthusiasm. Pay attention to them during the transition towards EGI Contacts entrepris avc maintenant beaucoup de projets ESFRI (SKA, KM3NET, ESRF, LIFEWATCH, EMSO, FAIR, CLARIN)

19 Conclusions EGI est sur de bons rails Calendrier très serré mais tenu jusqu’à présent. Nécessité d’une bonne réactivité d’Amsterdam Les prochaines étapes-clé: –Ecriture du MoU/Lettre d’intention (responsabilité CNRS) –Fiche de poste directeur –Identification rédacteur(s) projet(s) européens –Réunion du premier EGI.org council intérimaire en Mai pour valider ces étapes –Signature du MoU et embauche du directeur Juin

20 Draft LoI (MOU=ILC GDE) I have well received your Memorandum of Understanding concerning the interim setup of the EGI.org organisation. Given the long delays which are unavoidably associated to the formal establishment of EGI.org and the important time pressure, we support your proposal of an interim setup which will allow to : a) identify the NGIs which will be parties to this endeavour b) appoint as speedily as possible the EGI.org directorship c) provide a solid basis for the preparation of the various projects that the EGI consortium will submit to the various calls that the European Commission will open in 2009. Your MoU will be examined thouroughfully by our services and we will send you our remarks and comments before April 15, as requested. If no major issues are found during this examination, it will be our intention to sign it. We therefore intend to participate to the first EGI.org interim Council mentioned in your letter and confirm our willingness to consider a contribution towards the membership fees attached to the interim period, on a best effort basis. However, this letter can not be considered as a financial commitment at this point. Looking forward to a very fruitful collaboration between European NGIs,

21 NGI France Exercice de prospective convaincant: une grille de production est un outil indispensable pour des progrès scientifiques dans la plupart des domaines scientifiques, (au sein d’un écosystème de ressources informatiques) Objectif : réussir la transition vers une structure pérenne d’ici la fin de l’année Consolidation du noyau durs d’experts identifiés grâce à l’injection de postes permanents Renforcement de l’implantation géographique de la grille française pour se rapprocher des futurs utilisateurs

22 Offres de services et de fonctionnement sur 3 ans La NGI France garantira le fonctionnement opérationnel de la grille pour tous les utilisateurs et assurera tous les services centraux en interface avec la structure européenne EGI.org La NGI France sera responsable de la formation et de l’animation scientifique autour de la grille Ressources informatiques apportées par les communautés utilisatrices (ex HEP) et les nœuds généralistes (Universités, régions, ministère) Objectif 2012 : 2/3 HEP, 1/3 reste: 100000 processeurs, 75 PB

23 La structure légale NGI France Deux solutions a priori possibles –Créer une entité autonome (société civile, GIP) avec son propre personnel Inconvénient: encore une de plus Avantage: embauche son personnel à partir de la cotisation des membres –Confier à un des partenaires le soin d’héberger NGI France Avantage: facile à mettre en œuvre Inconvénient: gouvernance multi-tutelles au sein d’un organisme Proposition du CNRS d’opter pour la deuxième solution Décision souhaitée aujourd’hui pour mettre en place la structure (Institut National des Grilles/ Institut Français des Grilles/ Institut des Grilles) asap et proposer la gouvernance précise lors de la prochaine session

24 Le rôle des différents partenaires Opérations centrales: CNRS avec l’aide du CEA –Rôle spécifique de RENATER pour les réseaux Financements des nouveaux nœuds: Universités/Ministère/Collec. Territoriales+ « Seed Money » CNRS Appui utilisateurs: organismes « spécialisés »: INRA (programme Embryome), INRIA (modélisation), INSERM ( imagerie médicale), Instituts du CNRS Tous les membres du comité de pilotage peuvent (/doivent) participer!

25 Plan d’embauches pour les fonctions centrales Réservé les contrats permanents aux experts identifiés Fournir des CDD aux autres 19 postes identifiés : 8 en 2009, 6 en 2010, 5 en 2011 18 destinés au CNRS, 1 au CEA –Source ? Nécessité de recrutement en plus des médiateurs utilisateurs identifiés dans le livre blanc

26

27 Les médiateurs par discipline

28 Plan d’investissement 2009-2013 Hors TGE CC_IN2P3 Trois grandes catégories: –Les grands sites universitaires actuellement absents (5: Bordeaux, Lille, Toulouse, Nancy, Rennes) –Les sites monodisciplinaires à étendre –La jouvence des premiers sites Total 18,5 M€ sur 5 ans Démarrage en 2009 sur des sites où des contacts avancés ou très avancés ont déjà été pris: Bordeaux, Lille, Marseille, Grenoble

29

30 Le livre blanc Objectif: Bon à tirer OK? Exercice très réussi à mon sens: forte participation et motivation des groupes de travail, suscite un intérêt international, grande statistique des sondages Évaluation par le Conseil Scientifique de l’IDG dès qu’il sera validé par le coPIL

31 Résumé

32 Groupes thématiques le groupe de travail biologie-santé a souligné la nécessité du recrutement d’ingénieurs qui servent d’intermédiaire entre les utilisateurs finaux et les équipes qui conçoivent les middlewares et administrent les sites de production. Le groupe de travail planète-univers a mis l’accent sur la nécessité que la grille s’intègre aux côtés des supercalculateurs à l’écosystème spécifique en supportant les environnements de travail les plus courants et en s’interfaçant efficacement aux centres de données propres à la communauté Le groupe de travail Physique des Particules a insisté sur la montée en puissance de l’utilisation de la grille dans la communauté avec le démarrage du LHC Le groupe de travail Sciences de l’Ingénieur et Informatique a souligné l’importance de développer des passerelles vers la communauté de recherche sur les grilles et la nécessité de mettre à disposition des logiciels commerciaux sur la grille de production Le groupe de travail chimie a souligné l’importance de créer un noyau dur d’utilisateurs de la grille de production en chimie pour accroître son adoption Le groupe de travail Sciences Humaines et Sociales a souligné le rôle structurant de la grille pour la communauté et son intérêt pour renforcer l’activité des Centres de Ressources Numériques

33 Groupes transverses A côté des groupes thématiques, trois groupes transverses ont étudié respectivement les enjeux liés aux grilles de données, aux grilles régionales et à la relation entre grilles et supercalculateurs. Les travaux de ces groupes ont permis de faire un certain nombre de constats et ont débouché sur quelques recommandations intéressant toutes les communautés scientifiques: - le rôle très important des grilles régionales pour identifier et intégrer de nouveaux utilisateurs des grilles montre l’importance d’accroître le nombre de sites de la grille de production nationale. Il est particulièrement important d’implanter ces nouveaux sites dans les grandes villes universitaires comme Bordeaux, Lille, Nancy, Rennes ou Toulouse - l’importance du rapprochement entre la communauté développant la grille de production et les équipes des centres de calculs équipés de supercalculateurs car les ressources proposées sont totalement complémentaires - la complexité des données, la croissance rapide voire exponentielle dans certaines communautés de leur volume et la multiplication des outils de gestion distribuée montrent l’importance de poursuivre la réflexion du groupe de travail sur les grilles de données En conclusion, le déploiement d’une grille pluridisciplinaire de production en France constitue une étape majeure dans l’intégration de la France dans l’Espace Européen de la Recherche et sera dans les années à venir un support essentiel pour les chercheurs français dans la compétition internationale.