Comité de pilotage de l’Institut des Grilles Vincent Breton 18 Avril 2011

Table des matières Introduction  Historique de la création de l’IdG  Missions Etat des lieux de la grille en France Plan stratégique pour 2011 Renouvellement de l’IdG  Enjeux  Options Mise en place d’un conseil scientifique  Enjeux 2

Historique 2007  14 août 2007 : Création de l'Institut des grilles du CNRS (IdG) sous l’impulsion de Guy Wormser (LAL) 2008  Création d'un Comité de Pilotage National regroupant: CNRS, CEA, INRIA, INRA, CPU, RENATER et Ministère  Mission développer et pérenniser la Grille de production sur le plan national et européen 2009  Travail de prospective nationale sur les Grilles de production  Grilles de production labellisées TGIR 2010  Avril 2010: Fin du projet EGEE-III  Mai 2010: Démarrage du projet EGI-Inspire  Septembre 2010: Inauguration du GIS France Grilles

Institut des Grilles Unité Propre de Services du CNRS  Rattachement principal: IN2P3  Rattachements secondaires: autres instituts scientifiques (INC, INEE, INS2I, INSB, INSU) Mission: coordonner l’activité sur les grilles au CNRS  Grilles de production (directeur adjoint: D. Boutigny)  Grilles de recherche (directeur adjoint: M. Daydé)  Collaborations grilles de production - grilles de recherche (chargé de mission: F. Suter) Personnels  Institut hors mur: peu de personnel propre o M. Pellen, administratrice (CDD) o A partir du 1 er Mai 2011: G. Romier, IR 4

GIS France Grilles GIS = Groupement d’Intérêt Scientifique  Partenaires: Ministère de la Recherche, CNRS, CEA, RENATER, INRIA, INRA, CPU et INSERM Un GIS n’a pas de personnalité juridique => nécessité d’un mandataire  Mandataire du GIS = Institut des Grilles du CNRS Le GIS France Grille est l’Initiative de Grille Nationale Française  L’IdG est son « bras armé » 5

Les principales missions du GIS Etablir une infrastructure nationale de Grilles de production; Contribuer au fonctionnement de l’infrastructure européenne EGI; Favoriser l’organisation au plan national d’une communauté utilisatrice, notamment par la formation; Favoriser les rapprochements et les échanges entre les équipes travaillant sur les grilles de production et les grilles de recherche ; 6

Etat des lieux Positif  L’infrastructure est opérationnelle  Collaboration active entre chercheurs en informatique et utilisateurs de la grille  Production scientifique significative dans plusieurs domaines scientifiques  La France est un acteur majeur d’EGI Moins positif  Utilisation des ressources non optimisée  Retours d’expérience mitigés – utilisation encore trop complexe  Pas assez de pluridisciplinarité

27 sept Montpellier Toulouse Strasbourg Île de France (GRIF) Lille Grenoble (CIGri) Bordeaux Clermont-Fd (AuverGrid) Brest Marseille Annecy Ressources des grillesde production 8 <100 Storage (Toctets) Nombre de certificats émis En 2009 Nantes <100 > Number of cores 130 Lyon (TIDRA) >  coeurs  15 PB de stockage  coeurs  15 PB de stockage Opération: 64 ingénieurs et techniciens dans 23 sites Credit: Anne-Laure Derepas Statistiques d’utilisation: 75% français 25% étrangers LCG ≈ colonne vertébrale CC-IN2P3 ≈ moelle épinière LCG ≈ colonne vertébrale CC-IN2P3 ≈ moelle épinière

Collaboration active entre grilles de recherche et grilles de production 9 Middlewares de grille issus de la recherche déployés sur les grilles de production DIET sur la grille Décrypthon OAR sur la grille régionale CIGRI Appel d’offre commun CNRS IdG-INRIA 2009: financement d’amorçage de 7 projets (budget total: 20 K€) 2011: tous les projets ont soumis des projets ANR Initiatives communes dans le domaine du cloud Journée du 13 Décembre : projet EQUIPEX commun

Qui utilise la grille ? Environ 1000 titulaires français de certificats répartis sur ≈ 100 Organisations Virtuelles  35 VOs avec plus de 10 utilisateurs français Répartition par organisations virtuelles  Grilles régionales - formation: 823  Physique des hautes énergies: 425  Autres disciplines scientifiques: 290 Poids important au niveau international o 30% des utilisateurs de la VO biomed o 50% des utilisateurs de la VO Earth Sciences o 50% des utilisateurs de la VO CTA 10

11 French UsersTotal of Users%vo name atlas vo.formation.idgrilles.fr biomed vo.lal.in2p3.fr dteam egeode cms alice esr vo.ipno.in2p3.fr auvergrid vo.renabi.fr astro.vo.eu-egee.org gilda vo.sbg.in2p3.fr cppm vo.llr.in2p3.fr vo.u-psud.fr lhcb vo.cta.in2p3.fr vo.irfu.cea.fr vo.lpsc.in2p3.fr vo.ipnl.in2p3.fr vo.rhone-alpes.idgrilles.fr vo.grif.fr calice vo.apc.univ-paris7.fr ilc vo.ucad.sn vo.lpnhe.in2p3.fr vo.mcia.fr vo.msfg.fr auger Physique des hautes énergies Autres domaines scientifiques Grilles régionales

Statistiques d’utilisation Les ressources françaises sont utilisées à 75% par des chercheurs français La France est le principal utilisateur de ressources sur EGI en  Sciences du vivant (Bioinformatique – imagerie médicale)  Systèmes complexes (ISCIPF) La France est très active en  Sciences de la planète  Sciences de l’univers Par contre, la France est très peu présente en  Chimie  Fusion  Physique théorique 12

Plan de route Trois axes identifiés en 2011  Mise en place d’une politique scientifique pour faciliter et développer l’utilisation de l’infrastructure  Consolidation d’une infrastructure de grille complètement opérationnelle  Suivre et s’adapter à l’évolution technologique, notamment en intégrant des ressources cloud  Stratégie présentée à l’International Advisory Committee les Mars

Principales recommandations de l’International Advisory Committee Produce a strategic plan for all stakeholders Produce easily understandable and consistent metrics to measure the performance and impact of IdG Further develop the fruitful relationship with the computer science community. Focus the initial interactions with supercomputer centres by implementing one application with a single centre. Consider using a small fraction of the equipment budget to purchase access to commercial cloud services for targeted user communities on a trial basis. Identify two non ‐ HEP communities to each be supported by a dedicated full ‐ time member of the IdG team. Quantitatively analyse the current allocation of resources for user support and training. Collect users’ opinions on a regular basis. 14

2011: Consolider la collaboration avec les instituts thématiques du CNRS IN2P3: astroparticules (avec l’INSU) INC: à définir INEE: Ecoscope et les projets européens BioVel et Creative-B INP: développer l’usage en physique théorique INS2I: collaboration sur le cloud INSB: à définir INSHS: soutien à l’action sur ADONIS INSIS: à définir INSU: groupe de travail et projet VELCE 15

Des grilles au cloud Le cloud computing est entrain de révolutionner le panorarama du calcul intensif  Multiplication des offres commerciales Les technologies grille et cloud sont complémentaires  Modèle de sécurité uniforme (grille)  Partage des ressources, algorithmes et expertise (grille)  Allocation dynamique de ressources (cloud)  Environnement personnalisé (cloud ) Approche proposée  Enrichir l’offre des grilles de production avec un (des) cloud(s) académique(s)  Collaborer avec la communauté de recherche en informatique sur des projets communs 16

2011: une équipe d’animation opérationnelle pour l’IdG et France Grilles Management board User Committee Director V. Breton Director V. Breton Technical Direction H. Cordier G. Matthieu Technical Direction H. Cordier G. Matthieu Security Board chairman Security Board chairman International Advisory Committee Security Board D. Fouossong Security Board D. Fouossong Technical Committee Executive Board: F. Desprez (INRIA) JP Meyer (CEA) J. Montagnat (CNRS) Executive Board: F. Desprez (INRIA) JP Meyer (CEA) J. Montagnat (CNRS) Communication – training V. Dutruel – G. Fettahi Communication – training V. Dutruel – G. Fettahi Applications Steering Committee Applications Steering Committee Applications supervisor G. Romier Applications supervisor G. Romier Equipe d’animation (CC-IN2P3, Institut des Grilles, LPC Clermont): V. Breton, H. Cordier, V. Dutruel, G. Fettahi, D. Fouossong, G. Matthieu, M. Pellen, G. Romier Equipe d’animation (CC-IN2P3, Institut des Grilles, LPC Clermont): V. Breton, H. Cordier, V. Dutruel, G. Fettahi, D. Fouossong, G. Matthieu, M. Pellen, G. Romier

Budget: 2011, une année difficile 18 Années Utilisation Subvention IN2P315K€13K€Fonctionnement IdG Projets européens2000K€1200K€CDDs dans les labos TGIR France Grilles950K€617K€Equipement – Fonctionnement de la grille nationale TGIR France Grilles - fonctionnement EGI.eu fee80>150 ? Participation to European projects54,5 Training and communication60 Organization of events (incl. EGI TF2011)60 France Grilles executive team operating cost55 Support to France Grilles infrastructure operation81,5 Support to user communities39,5 Support to regional grids30,5

IdG et les initiatives d’excellence 2010: réponse à l’appel d’offres EQUIPEX  Projet incluant l’ensemble des sites  Projet coordonné avec Grid5000 et  Budget total: 20 M€ dont 15M€ d’équipements  Non retenu (cf retour ANR sur indico) 2011: participation à un projet commun avec la communauté de recherche sur les grilles  Discussions en cours  Décisions à court terme (appel d’offres à l’été)

Les points à l’ordre du jour Renouvellement de l’unité Création d’un comité scientifique Appel à projets Ressources humaines 20

Renouvellement de l’IdG Enjeux  Renouvellement de l’unité en Août 2011 Questions  Renouvellement, oui ou non ?  Rattachement administratif ?  Localisation ? o Paris o Pro: simplicité administrative o Lyon o Pro: Regrouper coordinations technique et administrative Propositions  Extension du mandat au cloud  Changement de nom: Institut des grilles et du Cloud (IdGC)

Mise en place d’un conseil scientifique Enjeux  évaluation scientifique des grosses demandes de ressources (évaluation a priori)  Aide à l’évaluation a posteriori de la science accomplie sur la grille, à travers notamment l'attribution d'un prix annuel. Proposition  Membres  Représentants des instituts scientifiques du CNRS concernés  Animateurs des communautés sur la grille  Première réunion: le 19 Septembre 2011 pour le premier forum des utilisateurs français

Appel à projets Appel EQUIPEX  Projet commun grilles de production – grilles de recherche ?  Echéance: été 2011 Projets européens  Prochain appel cloud-grille: automne 2011  Assitance: M. Pellen 23

IdG -> Instituts: Demandes budgétaires Aiguiller vers les instituts scientifiques des demandes de fonctionnement pour utiliser la grille  2011: ≈ 30 K€ pour Astrophysique, Imagerie médicale, Sciences de la planète  Soutien à de nouvelles communautés d’utilisateurs

Besoins en ressources humaines Ressources humaines intégrées aux communautés d’utilisateurs  Clef du développement et du déploiement d’applications scientifiques sur la grille et le cloud Ressources humaines à “l’interface”  Clef de la mise en oeuvre de projets structurants sur la grille et le cloud Ressources humaines “centralisées”  Clef de l’animation de la grille de production française

Ressources humaines Postes permanents  2010: o 1 poste INSHS (IR CC-IN2P3) au CC-IN2P3 relié au TGE ADONIS  2011: o 2 postes IN2P3: 1 à l’IdG (IR), 1 au CC- IN2P3 CDDs en cours  3 CDDs IN2P3: IdG (IE administratif), CC-IN2P3 (formation-communication), CC-IN2P3 (Directeur technique adjoint)  2 CDDs INS2I: LIMOS (sécurité), LIP (Décrypthon)