Comité de pilotage de l’Institut des Grilles Vincent Breton 18 Avril 2011.

Présentation au sujet: "Comité de pilotage de l’Institut des Grilles Vincent Breton 18 Avril 2011."— Transcription de la présentation:

1 Comité de pilotage de l’Institut des Grilles Vincent Breton 18 Avril 2011

2 Table des matières Introduction  Historique de la création de l’IdG  Missions Etat des lieux de la grille en France Plan stratégique pour 2011 Renouvellement de l’IdG  Enjeux  Options Mise en place d’un conseil scientifique  Enjeux 2

3 Historique 2007  14 août 2007 : Création de l'Institut des grilles du CNRS (IdG) sous l’impulsion de Guy Wormser (LAL) 2008  Création d'un Comité de Pilotage National regroupant: CNRS, CEA, INRIA, INRA, CPU, RENATER et Ministère  Mission développer et pérenniser la Grille de production sur le plan national et européen 2009  Travail de prospective nationale sur les Grilles de production  Grilles de production labellisées TGIR 2010  Avril 2010: Fin du projet EGEE-III  Mai 2010: Démarrage du projet EGI-Inspire  Septembre 2010: Inauguration du GIS France Grilles 2011 3

4 Institut des Grilles Unité Propre de Services du CNRS  Rattachement principal: IN2P3  Rattachements secondaires: autres instituts scientifiques (INC, INEE, INS2I, INSB, INSU) Mission: coordonner l’activité sur les grilles au CNRS  Grilles de production (directeur adjoint: D. Boutigny)  Grilles de recherche (directeur adjoint: M. Daydé)  Collaborations grilles de production - grilles de recherche (chargé de mission: F. Suter) Personnels  Institut hors mur: peu de personnel propre o M. Pellen, administratrice (CDD) o A partir du 1 er Mai 2011: G. Romier, IR 4

5 GIS France Grilles GIS = Groupement d’Intérêt Scientifique  Partenaires: Ministère de la Recherche, CNRS, CEA, RENATER, INRIA, INRA, CPU et INSERM Un GIS n’a pas de personnalité juridique => nécessité d’un mandataire  Mandataire du GIS = Institut des Grilles du CNRS Le GIS France Grille est l’Initiative de Grille Nationale Française  L’IdG est son « bras armé » 5

6 Les principales missions du GIS Etablir une infrastructure nationale de Grilles de production; Contribuer au fonctionnement de l’infrastructure européenne EGI; Favoriser l’organisation au plan national d’une communauté utilisatrice, notamment par la formation; Favoriser les rapprochements et les échanges entre les équipes travaillant sur les grilles de production et les grilles de recherche ; 6

7 Etat des lieux Positif  L’infrastructure est opérationnelle  Collaboration active entre chercheurs en informatique et utilisateurs de la grille  Production scientifique significative dans plusieurs domaines scientifiques  La France est un acteur majeur d’EGI Moins positif  Utilisation des ressources non optimisée  Retours d’expérience mitigés – utilisation encore trop complexe  Pas assez de pluridisciplinarité

8 27 sept 2010 8 Montpellier Toulouse Strasbourg Île de France (GRIF) Lille Grenoble (CIGri) Bordeaux Clermont-Fd (AuverGrid) Brest Marseille Annecy Ressources des grillesde production 8 <100 Storage (Toctets) 100-1000 1000-10000 10 Nombre de certificats émis En 2009 Nantes 6 431 61 54 70 40 4 614 79 20 <100 > 10 000 1000 - 10000 100-1000 Number of cores 130 Lyon (TIDRA) 26 1 3 2 1 2 4 1 > 10000  22.000 coeurs  15 PB de stockage  22.000 coeurs  15 PB de stockage Opération: 64 ingénieurs et techniciens dans 23 sites Credit: Anne-Laure Derepas Statistiques d’utilisation: 75% français 25% étrangers LCG ≈ colonne vertébrale CC-IN2P3 ≈ moelle épinière LCG ≈ colonne vertébrale CC-IN2P3 ≈ moelle épinière

9 Collaboration active entre grilles de recherche et grilles de production 9 Middlewares de grille issus de la recherche déployés sur les grilles de production DIET sur la grille Décrypthon OAR sur la grille régionale CIGRI Appel d’offre commun CNRS IdG-INRIA 2009: financement d’amorçage de 7 projets (budget total: 20 K€) 2011: tous les projets ont soumis des projets ANR Initiatives communes dans le domaine du cloud Journée du 13 Décembre 2010 2011: projet EQUIPEX commun

10 Qui utilise la grille ? Environ 1000 titulaires français de certificats répartis sur ≈ 100 Organisations Virtuelles  35 VOs avec plus de 10 utilisateurs français Répartition par organisations virtuelles  Grilles régionales - formation: 823  Physique des hautes énergies: 425  Autres disciplines scientifiques: 290 Poids important au niveau international o 30% des utilisateurs de la VO biomed o 50% des utilisateurs de la VO Earth Sciences o 50% des utilisateurs de la VO CTA 10

11 11 French UsersTotal of Users%vo name 15727156atlas 13213896vo.formation.idgrilles.fr 8028029biomed 768095vo.lal.in2p3.fr 7461212dteam 737696egeode 7120593cms 586239alice 5210251esr 474996vo.ipno.in2p3.fr 474898auvergrid 47 100vo.renabi.fr 404687astro.vo.eu-egee.org 299693gilda 293097vo.sbg.in2p3.fr 28 100cppm 273090vo.llr.in2p3.fr 262893vo.u-psud.fr 224835lhcb 194048vo.cta.in2p3.fr 19 100vo.irfu.cea.fr 18 100vo.lpsc.in2p3.fr 171989vo.ipnl.in2p3.fr 17 100vo.rhone-alpes.idgrilles.fr 17 100vo.grif.fr 167222calice 16 100vo.apc.univ-paris7.fr 1413011ilc 14 100vo.ucad.sn 14 100vo.lpnhe.in2p3.fr 13 100vo.mcia.fr 12 100vo.msfg.fr 105917auger Physique des hautes énergies Autres domaines scientifiques Grilles régionales

12 Statistiques d’utilisation Les ressources françaises sont utilisées à 75% par des chercheurs français La France est le principal utilisateur de ressources sur EGI en  Sciences du vivant (Bioinformatique – imagerie médicale)  Systèmes complexes (ISCIPF) La France est très active en  Sciences de la planète  Sciences de l’univers Par contre, la France est très peu présente en  Chimie  Fusion  Physique théorique 12

13 Plan de route Trois axes identifiés en 2011  Mise en place d’une politique scientifique pour faciliter et développer l’utilisation de l’infrastructure  Consolidation d’une infrastructure de grille complètement opérationnelle  Suivre et s’adapter à l’évolution technologique, notamment en intégrant des ressources cloud  Stratégie présentée à l’International Advisory Committee les 15-16 Mars 2011 13

14 Principales recommandations de l’International Advisory Committee Produce a strategic plan for all stakeholders Produce easily understandable and consistent metrics to measure the performance and impact of IdG Further develop the fruitful relationship with the computer science community. Focus the initial interactions with supercomputer centres by implementing one application with a single centre. Consider using a small fraction of the equipment budget to purchase access to commercial cloud services for targeted user communities on a trial basis. Identify two non ‐ HEP communities to each be supported by a dedicated full ‐ time member of the IdG team. Quantitatively analyse the current allocation of resources for user support and training. Collect users’ opinions on a regular basis. 14

15 2011: Consolider la collaboration avec les instituts thématiques du CNRS IN2P3: astroparticules (avec l’INSU) INC: à définir INEE: Ecoscope et les projets européens BioVel et Creative-B INP: développer l’usage en physique théorique INS2I: collaboration sur le cloud INSB: à définir INSHS: soutien à l’action sur ADONIS INSIS: à définir INSU: groupe de travail et projet VELCE 15

16 Des grilles au cloud Le cloud computing est entrain de révolutionner le panorarama du calcul intensif  Multiplication des offres commerciales Les technologies grille et cloud sont complémentaires  Modèle de sécurité uniforme (grille)  Partage des ressources, algorithmes et expertise (grille)  Allocation dynamique de ressources (cloud)  Environnement personnalisé (cloud ) Approche proposée  Enrichir l’offre des grilles de production avec un (des) cloud(s) académique(s)  Collaborer avec la communauté de recherche en informatique sur des projets communs 16

17 2011: une équipe d’animation opérationnelle pour l’IdG et France Grilles Management board User Committee Director V. Breton Director V. Breton Technical Direction H. Cordier G. Matthieu Technical Direction H. Cordier G. Matthieu Security Board chairman Security Board chairman International Advisory Committee Security Board D. Fouossong Security Board D. Fouossong Technical Committee Executive Board: F. Desprez (INRIA) JP Meyer (CEA) J. Montagnat (CNRS) Executive Board: F. Desprez (INRIA) JP Meyer (CEA) J. Montagnat (CNRS) Communication – training V. Dutruel – G. Fettahi Communication – training V. Dutruel – G. Fettahi Applications Steering Committee Applications Steering Committee Applications supervisor G. Romier Applications supervisor G. Romier Equipe d’animation (CC-IN2P3, Institut des Grilles, LPC Clermont): V. Breton, H. Cordier, V. Dutruel, G. Fettahi, D. Fouossong, G. Matthieu, M. Pellen, G. Romier Equipe d’animation (CC-IN2P3, Institut des Grilles, LPC Clermont): V. Breton, H. Cordier, V. Dutruel, G. Fettahi, D. Fouossong, G. Matthieu, M. Pellen, G. Romier

18 Budget: 2011, une année difficile 18 Années20102011Utilisation Subvention IN2P315K€13K€Fonctionnement IdG Projets européens2000K€1200K€CDDs dans les labos TGIR France Grilles950K€617K€Equipement – Fonctionnement de la grille nationale TGIR France Grilles - fonctionnement20112012 EGI.eu fee80>150 ? Participation to European projects54,5 Training and communication60 Organization of events (incl. EGI TF2011)60 France Grilles executive team operating cost55 Support to France Grilles infrastructure operation81,5 Support to user communities39,5 Support to regional grids30,5

19 IdG et les initiatives d’excellence 2010: réponse à l’appel d’offres EQUIPEX  Projet incluant l’ensemble des sites  Projet coordonné avec Grid5000 et EQUIPEX@MESO  Budget total: 20 M€ dont 15M€ d’équipements  Non retenu (cf retour ANR sur indico) 2011: participation à un projet commun avec la communauté de recherche sur les grilles  Discussions en cours  Décisions à court terme (appel d’offres à l’été)

20 Les points à l’ordre du jour Renouvellement de l’unité Création d’un comité scientifique Appel à projets Ressources humaines 20

21 Renouvellement de l’IdG Enjeux  Renouvellement de l’unité en Août 2011 Questions  Renouvellement, oui ou non ?  Rattachement administratif ?  Localisation ? o Paris o Pro: simplicité administrative o Lyon o Pro: Regrouper coordinations technique et administrative Propositions  Extension du mandat au cloud  Changement de nom: Institut des grilles et du Cloud (IdGC)

22 Mise en place d’un conseil scientifique Enjeux  évaluation scientifique des grosses demandes de ressources (évaluation a priori)  Aide à l’évaluation a posteriori de la science accomplie sur la grille, à travers notamment l'attribution d'un prix annuel. Proposition  Membres  Représentants des instituts scientifiques du CNRS concernés  Animateurs des communautés sur la grille  Première réunion: le 19 Septembre 2011 pour le premier forum des utilisateurs français

23 Appel à projets Appel EQUIPEX  Projet commun grilles de production – grilles de recherche ?  Echéance: été 2011 Projets européens  Prochain appel cloud-grille: automne 2011  Assitance: M. Pellen 23

24 IdG -> Instituts: Demandes budgétaires Aiguiller vers les instituts scientifiques des demandes de fonctionnement pour utiliser la grille  2011: ≈ 30 K€ pour Astrophysique, Imagerie médicale, Sciences de la planète  Soutien à de nouvelles communautés d’utilisateurs

25 Besoins en ressources humaines Ressources humaines intégrées aux communautés d’utilisateurs  Clef du développement et du déploiement d’applications scientifiques sur la grille et le cloud Ressources humaines à “l’interface”  Clef de la mise en oeuvre de projets structurants sur la grille et le cloud Ressources humaines “centralisées”  Clef de l’animation de la grille de production française

26 Ressources humaines Postes permanents  2010: o 1 poste INSHS (IR CC-IN2P3) au CC-IN2P3 relié au TGE ADONIS  2011: o 2 postes IN2P3: 1 à l’IdG (IR), 1 au CC- IN2P3 CDDs en cours  3 CDDs IN2P3: IdG (IE administratif), CC-IN2P3 (formation-communication), CC-IN2P3 (Directeur technique adjoint)  2 CDDs INS2I: LIMOS (sécurité), LIP (Décrypthon)