France Grilles Bilan EQUIPEX – Nouvelles perspectives Vincent Breton Strasbourg, 30 Mai 2011

EQUIPEX France Grilles Les enjeux  Continuer de jouer un rôle majeur au niveau européen  Offrir une qualité de services accrue à TOUTES les communautés d’utilisateurs  Développer des synergies avec le calcul intensif (GENCI) et la recherche sur les grilles (Grid5000)  Doubler le nombre d’utilisateurs Les moyens  Doubler à fin 2013 les ressources informatiques  Recruter des CDDs sur le développement de services pour améliorer l’accessibilité et le soutien aux utilisateurs  Développer un programme de formation Les demandes  15,7 M€ d’équipement et 4,68M€ de fonctionnement

EQUIPEX 2010: demandes d’équipement 3

EQUIPEX 2010: retour des experts 4

Bilan EQUIPEX 2010:points soulevés par les experts Achats d’équipements conventionnels Manque de précisions (détails, planning) sur les projets scientifiques Voies d’amélioration proposées:  Projet plus ciblé  Programme de travail plus précis  Meilleure description du management Statut des autres projets HPC et Grid soumis  Grid5000 KO: évaluation irrelevante  OK: excellente évaluation 5

EQUIPEX 2011: contexte Eléments plutôt négatifs  Moins d’argent pour de l’équipement  Financement prioritaire des projets classés A en 2010  Appel à très court terme  Difficulté d’identifier des projets très structurés (hors LHC)  Comité inchangé Eléments plutôt positifs  Volonté de collaboration entre grilles de recherche et grilles de production  Soutien du ministère 6

EQUIPEX 2011 Probablement pas de projet porté par France-Grilles  Réunion du comité de pilotage de France Grilles le 9 Juin 2011 Soutien au projet CAPRI porté par le CC- IN2P3  Intervention de Dominique Boutigny 7

Perspectives à très court terme Axes prioritaires de France Grilles en 2011  Opération d’une infrastructure stable (H. Cordier – G. Mathieu)  Mieux accompagner les utilisateurs (G. Romier  Démarrer une roadmap stratégique pour le cloud en collaboration avec LCG France Forte demande du ministère pour:  Plus d’évaluation  Plus de concentration des ressources  Plus de synergies avec le HPC  Prochains évènements  EGI Technical Forum (Lyon, 19-23/09/2011)  Workshop operations (CC-IN2P3, 11-12/10/2011) 8

Premières rencontres scientifiques France Grilles Quand ? le 19 Septembre Où ? à la Cité des Congrès de Lyon Remise du 1er prix France Grilles pour la meilleure contribution scientifique Appel à contributions en ligne le 31 Mai sur Opportunité de présenter les grilles régionales sur un grand stand pendant le technical forum EGI Pour en savoir plus, contacter G. Romier 9

Des grilles au cloud Le cloud computing est en train de révolutionner le panorarama du calcul intensif  Multiplication des offres commerciales Les technologies grille et cloud sont complémentaires  Modèle de sécurité uniforme (grille)  Partage des ressources, algorithmes et expertise (grille)  Allocation dynamique de ressources (cloud)  Environnement personnalisé (cloud ) Approche proposée  Enrichir l’offre des grilles de production avec un (des) cloud(s) académique(s) exposé via la grille (StratusLab)  Identifier des utilisateurs pilotes  Collaborer avec la communauté de recherche en informatique sur des projets communs 10

Se préparer aux défis de l’externalisation 11

Perspectives budgétaires La grille de production est une Très Grande Infrastructure de Recherche depuis 2009  2010: 950K€  2011: 617K€  2012: demande de 1200K€  Les challenges:  convaincre le ministère, les communautés scientifiques et les établissements de recherche que la grille de production est un outil d’avenir pour le calcul intensif aux côtés du HPC  S’adapter au bouleversement de l’environnement avec l’arrivée du cloud 12

Conclusion EQUIPEX 2011: soutien à CAPRI Axes prioritaires de France Grilles en 2011 o Opération d’une infrastructure stable o Mieux accompagner les utilisateurs o Démarrer une roadmap stratégique pour le cloud, en collaboration avec LCG-France Forte demande du ministère pour:  Plus d’évaluation  Plus de concentration des ressources  Plus de synergies avec le HPC 13

Spares 14

Axes d’externalisation prévus Externalisation des applications de gestion et de leur hébergement Assistance bureautique externalisée à Paris Michel-Ange depuis 10 ans Offre de services aux laboratoires  Hébergement de serveurs  Sauvegarde de données  Prise en charge de services (agenda, site web, messagerie) o CNRS: Microsoft o RENATER: ZIMBRA 15

Quelle évolution du rôle de l’Administrateur Système et Réseau ? Partager une infrastructure, c’est partager  Une culture  Une identité  Formation permanente  Une infrastructure distribuée permet de tisser  Des collaborations  Elle crée un espace d’évolution  Elle permet de rester proche de la recherche 16

Table des matières Introduction Etat des lieux de la grille en France Grille et Cloud Grille, Cloud et HPC Conclusion Invitation aux premières rencontres scientifiques France Grilles 17

Historique 2007  14 août 2007 : Création de l'Institut des grilles du CNRS (IdG) sous l’impulsion de Guy Wormser (LAL) 2008  Création d'un Comité de Pilotage National regroupant: CNRS, CEA, INRIA, INRA, CPU, RENATER et Ministère  Mission développer et pérenniser la Grille de production sur le plan national et européen 2009  Travail de prospective nationale sur les Grilles de production  Grilles de production labellisées TGIR 2010  Avril 2010: Fin du projet EGEE-III  Mai 2010: Démarrage du projet EGI-Inspire  Septembre 2010: Inauguration du GIS France Grilles

Institut des Grilles Unité Propre de Services du CNRS  Rattachement principal: IN2P3  Rattachements secondaires: autres instituts scientifiques (INC, INEE, INS2I, INSB, INSU) Mission: coordonner l’activité sur les grilles au CNRS  Grilles de production (directeur adjoint: D. Boutigny)  Grilles de recherche (directeur adjoint: M. Daydé)  Collaborations grilles de production - grilles de recherche (chargé de mission: F. Suter) Personnels  Institut hors mur: peu de personnel propre o M. Pellen, administratrice (CDD) o A partir du 1 er Mai 2011: G. Romier, IR 19

GIS France Grilles GIS = Groupement d’Intérêt Scientifique  Partenaires: Ministère de la Recherche, CNRS, CEA, RENATER, INRIA, INRA, CPU et INSERM Un GIS n’a pas de personnalité juridique => nécessité d’un mandataire  Mandataire du GIS = Institut des Grilles du CNRS Le GIS France Grille est l’Initiative de Grille Nationale Française  L’IdG est son « bras armé » 20

Les principales missions du GIS Etablir une infrastructure nationale de Grilles de production; Contribuer au fonctionnement de l’infrastructure européenne EGI; Favoriser l’organisation au plan national d’une communauté utilisatrice, notamment par la formation; Favoriser les rapprochements et les échanges entre les équipes travaillant sur les grilles de production et les grilles de recherche ; 21

Etat des lieux Positif  L’infrastructure est opérationnelle  Collaboration active entre chercheurs en informatique et utilisateurs de la grille  Production scientifique significative dans plusieurs domaines scientifiques  La France est un acteur majeur d’EGI Moins positif  Utilisation des ressources non optimisée  Retours d’expérience mitigés – utilisation encore trop complexe  Pas assez de pluridisciplinarité

27 sept Montpellier Toulouse Strasbourg Île de France (GRIF) Lille Grenoble (CIGri) Bordeaux Clermont-Fd (AuverGrid) Brest Marseille Annecy Ressources des grillesde production 23 <100 Storage (Toctets) Nombre de certificats émis En 2009 Nantes <100 > Number of cores 130 Lyon (TIDRA) >  coeurs  15 PB de stockage  coeurs  15 PB de stockage Opération: 64 ingénieurs et techniciens dans 23 sites (H. Cordier – G. Mathieu) Credit: Anne-Laure Derepas Statistiques d’utilisation: 75% français 25% étrangers LCG ≈ colonne vertébrale CC-IN2P3 ≈ moelle épinière LCG ≈ colonne vertébrale CC-IN2P3 ≈ moelle épinière

Collaboration active entre grilles de recherche et grilles de production 24 Middlewares de grille issus de la recherche déployés sur les grilles de production DIET sur la grille Décrypthon OAR sur la grille régionale CIGRI Appel d’offre commun CNRS IdG-INRIA 2009: financement d’amorçage de 7 projets (budget total: 20 K€) 2011: tous les projets ont soumis des projets ANR Initiatives communes dans le domaine du cloud Journée du 13 Décembre : projet EQUIPEX commun

Qui utilise la grille ? Environ 1000 titulaires français de certificats répartis sur ≈ 100 Organisations Virtuelles  35 VOs avec plus de 10 utilisateurs français Répartition par organisations virtuelles  Grilles régionales - formation: 823  Physique des hautes énergies: 425  Autres disciplines scientifiques: 290 Poids important au niveau international o 30% des utilisateurs de la VO biomed o 50% des utilisateurs de la VO Earth Sciences o 50% des utilisateurs de la VO CTA 25

26 French UsersTotal of Users%vo name atlas vo.formation.idgrilles.fr biomed vo.lal.in2p3.fr dteam egeode cms alice esr vo.ipno.in2p3.fr auvergrid vo.renabi.fr astro.vo.eu-egee.org gilda vo.sbg.in2p3.fr cppm vo.llr.in2p3.fr vo.u-psud.fr lhcb vo.cta.in2p3.fr vo.irfu.cea.fr vo.lpsc.in2p3.fr vo.ipnl.in2p3.fr vo.rhone-alpes.idgrilles.fr vo.grif.fr calice vo.apc.univ-paris7.fr ilc vo.ucad.sn vo.lpnhe.in2p3.fr vo.mcia.fr vo.msfg.fr auger Physique des hautes énergies Autres domaines scientifiques Grilles régionales Credit: H. Cordier

Statistiques d’utilisation Les ressources françaises sont utilisées à 75% par des chercheurs français La France est le principal utilisateur de ressources sur EGI en  Sciences du vivant (Bioinformatique – imagerie médicale)  Systèmes complexes (ISCIPF) La France est très active en  Sciences de la planète  Sciences de l’univers Par contre, la France pourrait être plus active en  Chimie  Fusion  Physique théorique 27

Cloud computing: definition « a model for enabling convenient, on- demand network access to a shared pool of configurable computing resources (e.g., networks, servers, storage, applications, and services) that can be rapidly provisioned and released with minimal management effort or service provider interaction. » NIST five essential characteristics of cloud computing: on-demand service, broad network access, resource pooling, rapid elasticity, and measured service 28

Cloud computing deployment model Private cloud. The cloud infrastructure is operated solely for an organization. Community cloud. The cloud infrastructure is shared by several organizations and supports a specific community that has shared concerns (e.g., mission, security requirements, policy, and compliance considerations). Public cloud. The cloud infrastructure is made available to the general public or a large industry group and is owned by an organization selling cloud services. Hybrid cloud.The cloud infrastructure is a composition of two or more clouds (private, community, or public) that remain unique entities but are bound together by standardized or proprietary technology that enables data and application portability (e.g., cloud bursting for load-balancing between clouds). 29

Cloud computing service models Cloud Software as a Service (SaaS). The capability provided to the consumer is to use the provider’s applications running on a cloud infrastructure. Cloud Platform as a Service (PaaS).The capability provided to the consumer is the ability to deploy onto the cloud infrastructure consumer-created or acquired applications created using programming languages and tools supported by the provider. Cloud Infrastructure as a Service (IaaS). The capability provided to the consumer is to provision processing, storage, networks, and other fundamental computing resources where the consumer is able to deploy and run arbitrary software, which can include operating systems and applications. 30

Cloud benefits Cloud-Computing-Strategy.pdf

Grille et HPC : concurrents ou complémentaires ? 32 HPCGrille CalculsParallèles requérant beaucoup de mémoire partagée Traitement à haut débit et embarassingly parallel de données DonnéesStockage centralisé et sécurisé Stockage et partage sécurisés de données distribuées Accès aux ressources Prédéfini et centralisé A la demande et distribué (interfaces utilisateurs) Evaluation scientifique A priori (2 appels / an) A posteriori --> a priori Coût dominant MatérielRessources humaines

Grille et HPC: de la complémentarité à la collaboration Besoins découplés de ressources grille et HPC  Chimie computationnelle  Physique théorique  Sciences du vivant Besoins couplés  Chaines de traitement  Post-traitement de données produites sur supercalculateur  Exemples o Sismologie (crédit: JP Vilotte) o Drug discovery 33

VERCE implementation strategy A tree layer architecture: Hide lower level heterogeneity (resilience) Mapping mechanisms and data-access adapters Mapping credentials and security protocols A Platform of tools and services Production platform through release cycles Support evolving standards services and interfaces A collaborative environment: workbenches, workflow tools reusable libraries Provenance, multi-source, publication OGSA-DAI, WS-DAI, SAGA, OGSA-DMI (GridFTP), Globus Online Credit: JP Vilotte

in silico drug discovery 35 FLEXX/ AUTODOCK AMBER, GROMACS CHIMERA WET LABORATORY Molecular docking (Millions) Molecular dynamics (Thousands) Complex Visualization (Hundreds) in vitro (Tens) in vivo GRID HPC

36 Deployment of MD computations on DEISA Credit: M. Riedel – S. Brewer (OMII Europe)

Organisation du HPC en France 37 Tier-0 Centres européeens Tier-1 Centres nationaux Tier-2 Centres régionaux universitaires Pilotage multiorganisme: GENCI Centres nationaux: CNRS (IDRIS), CPU (CINES) CEA (CCRT) Mésocentres régionaux EQUIPEX

Synergies au niveau local: exemple d’AuverGrid 38 L I M OS L I M OS méso-centre en Auvergne (HPC, valorisation) CRRICRRI CRRICRRI LPCLPC LPCLPC Tier-2 de la grille du LHC pour 20 ans Grille de recherche (Grid5000) PRESPRES PRESPRES Rassemblement des acteurs de la recherche et l’enseignement supérieur en Auvergne Communautés scientifiques

Synergies au niveau national Multiorganisme:  Dialogue GENCI- France Grilles établi en 2010 autour des projets EQUIPEX  Contact repris en 2011 CNRS: opportunité d’une collaboration IDRIS – Institut des Grilles pour une ou deux disciplines 39

Conclusion Grilles, clouds et HPC apportent des offres complémentaires de calcul intensif à court, moyen et long termes  Activité scientifique en pleine expansion sur les grilles de production françaises Longue vie au noeud lillois et bienvenue aux équipes de la région  France-Grilles peut apporter formation et soutien technique  Nous comptons aussi sur vous dans l’avenir 40

Conclusion Progresses since last year Strategic roadmap develops along three axes in 2011:  Establishment and operation of a fully functional grid infrastructure (-> Hélène)  Establishment and enforcement of a scientific policy to make this infrastructure usable (-> Johan-Gilles)  Evolution of topology and technology to harvest benefits of new trends, especially cloud computing (-> Frédéric S.) Huge amount of work ahead of us