Le nouveau paysage des grilles en France Vincent Breton Journées Informatiques de l’IN2P3 Crédit: Dominique Boutigny.

Présentation au sujet: "Le nouveau paysage des grilles en France Vincent Breton Journées Informatiques de l’IN2P3 Crédit: Dominique Boutigny."— Transcription de la présentation:

1 Le nouveau paysage des grilles en France Vincent Breton Journées Informatiques de l’IN2P3 Crédit: Dominique Boutigny

2 2010, changement de décor La fin d’EGEE-III a marqué la fin d’une période démarrée en 2001 avec DataGrid Le paysage des grilles est en train de changer profondément en France et en Europe La France s’y prépare depuis 2007 et la création de l’Institut des Grilles du CNRS Objectifs de l’exposé  Présenter le nouveau paysage  Expliquer l’articulation entre ces nouvelles structures et avec LCG 2

3 Table des matières Le nouveau paysage  L’Institut des Grilles du CNRS  Le Groupement d’Intérêt Scientifique France Grilles = la NGI France  La Très Grande Infrastructure de Recherche France Grilles  L’Initiative de Grille Européenne EGI.eu  Les projets européens qui démarrent en 2010  Les autres financements Articulation avec LCG Formation Conclusion 3

4 Historique 14 août 2007 : Création de l'Institut des grilles du CNRS (IdG) sous l’impulsion de Guy Wormser (LAL)  Grilles de production  Grilles de recherche  Une trentaine de laboratoires ~350 personnes impliquées Fin 2008: Création d'un Comité de Pilotage National regroupant: CNRS, CEA, INRIA, INRA, CPU, RENATER et Ministère  Mission développer et pérenniser la Grille de production sur le plan national et européen 2009: Travail de prospective nationale sur les Grilles de production  http://www.idgrilles.fr/lal/ProsIDG08/index.html http://www.idgrilles.fr/lal/ProsIDG08/index.html  Livre blanc: http://www.idgrilles.fr/IMG/pdf/livre_blanc_draft1_8FINAL.pdfhttp://www.idgrilles.fr/IMG/pdf/livre_blanc_draft1_8FINAL.pdf Avril 2010: Fin du projet EGEE-III 4 http://www.idgrilles.fr/

5 Institut des Grilles (I/II) Unité Propre de Services du CNRS  Rattachement principal: IN2P3  Rattachements secondaires: autres instituts scientifiques (INC, INEE, INS2I, INSB, INSU) Mission: coordonner l’activité sur les grilles au CNRS  Grilles de production (directeur adjoint: D. Boutigny)  Grilles de recherche (directeur adjoint: M. Daydé)  Collaborations grilles de production - grilles de recherche (chargé de mission: F. Suter) 5

6 Institut des Grilles (II/II) Personnels  Institut hors mur: peu de personnel propre o M. Pellen, administratrice o V. Dutruel, responsable formation Financement hors personnels  Financement du ministère pour la grille de production (975 K€ en 2010)  Financement de fonctionnement de l’IN2P3 Financements de personnels  CDDs sur financements européens en 2010  Pas de recrutement propre d’ingénieurs permanents 6

7 GIS France Grilles GIS = Groupement d’Intérêt Scientifique  Partenaires: Ministère de la Recherche, CNRS, CEA, RENATER, INRIA, INRA, CPU et INSERM Un GIS n’a pas de personnalité juridique => nécessité d’un mandataire  Mandataire du GIS = Institut des Grilles du CNRS Le GIS France Grille est l’Initiative de Grille Nationale Française 7

8 Les principales missions du GIS Etablir une infrastructure nationale de Grilles de production; Contribuer au fonctionnement de l’infrastructure européenne EGI; Favoriser l’organisation au plan national d’une communauté utilisatrice, notamment par la formation; Favoriser les rapprochements et les échanges entre les équipes travaillant sur les grilles de production et les grilles de recherche ; 17 Mai 2010 8

9 Budget du GIS Le GIS gère le financement de la grille nationale de production par le ministère de la recherche  Ligne Très Grandes Infrastructures de recherche  L’Institut des Grilles, mandataire du GIS, touche la subvention du ministère et la redistribue Le GIS paye la cotisation à la fondation EGI.eu qui pilote l’Initiative de Grille Européenne EGI  79880€ en 2010 17 Mai 2010 9

10 Organigramme du GIS 10 Nominations en cours

11 France Grilles: perspectives à court terme Mai 2010  signature du texte fondateur par les partenaires  Remplissage de l’organigramme  Atelier technique le 31 Mai 2010  Lancement du portail unique http://www.france-grilles.fr Juin – Juillet 2010  Réponse à l’appel d’offres du grand emprunt  Structuration du secteur applicatif Septembre 2010  Journée officielle de lancement le 24 Septembre 17 Mai 2010 11

12 European Grid Initiative  Après les 3 phases du projet EGEE (6 ans) + Datagrid  Technologie ~mature  Preuve établie de l’intérêt pour la communauté scientifique  Des projets dépendent maintenant des grilles de manière cruciale (LCG, ESR, Biomed, etc.)  Nécessité de mettre en place une structure pérenne de grille au niveau européen  Optique différente d’EGEE  EGI s’appuie fortement sur les initiatives nationales: NGI  EGI rend cohérentes les différentes NGI 12 http://web.eu-egi.eu/  Le développement de l’intergiciel est maintenant pris en charge par des projets séparés

13 Relations NGI -- EGI 13 Dans le modèle EGI, les NGI sont des entités relativement indépendantes

14 EGI.eu Statut juridique  Aujourd’hui: fondation de droit hollandais o Conseil d’administration de 7 membres  A terme: ERIC Financement  Cotisations des NGIs dont le GIS France Grilles  Financement européen via le projet EGI-Inspire Représentation française  Pas de français au conseil d’administration  Représentant français au EGI council: M. Spiro (suppléant: L. Crouzet, CEA)  Participation à des groupes de travail 14

15 Les projets européens Pourquoi ils sont importants  Ils sont essentiels à la veille technologique et à la visibilité internationale dans le domaine des grilles  Ils permettent de financer des CDDs Types de projets  Projets orientés infrastructure (EGI-Inspire, EDGI)  Projets orientés middleware (DEGISCO, StratusLab)  Projets orientés utilisateurs (EPIKH, EUMedGrid-Support, ROSCOE, SAFE, SHIWA) 17 Mai 2010 15

16 EGI-Inspire (I/II) Durée: 48 mois Objectif principal: fédérer les opérations des NGIs en Europe et au-delà Démarrage: 1 er Mai 2010 Financement européen de 25 M€  Pour les partenaires français: 1,64M€ Partenaires français  CEA (50PM), HealthGrid (50PM)  CNRS (450 PM): CCPM, CC-IN2P3, CREATIS, I3S, IdG, IPSL, LAL, LAPP, LPC, LPNHE, LRI, UREC 17 Mai 2010 16

17 EGI-Inspire (II/II) Principales responsabilités  leader of task TJRA1.5 : Hélène Cordier  leader of task TSA3.4 (Life sciences): Johan Montagnat Utilisation du financement européen  Exclusivement pour le recrutement de CDDs  Critères o Tâches confiées à la NGI France dans le projet o Plan d’embauche de l’Institut des Grilles et du CEA o Présence des ingénieurs dans les laboratoires 17 Mai 2010 17

18 DEGISCO, Desktop Grids for International Scientific Collaboration Durée: 24 mois (démarrage: 1 er Juin 2010) Objectif principal: étendre l’infrastructure de grille de PCs (desktop grid) d’EDGES hors de l’Europe Financement européen de 800k€, dont 90415€ pour les partenaires français  LAL et HealthGrid Contact: Oleg Lodygensky, LAL 17 Mai 2010 18

19 EUMedGrid-Support Durée: 24 mois (démarrage: 1 er Janvier 2010) Objectif principal: développer l’adoption des grilles autour de la Méditerranée Financement européen de 740k€, dont 50076€ pour les partenaires français  IdG, LPSC et HealthGrid Contact: Vincent Breton et Fairouz Malek 17 Mai 2010 19

20 GISELA - Grid Initiatives for e-Science Virtual Communities in Europe and Latin America Durée: 24 mois Objectif principal: pérenniser la grille de production en Amérique du Sud Financement européen de 850k€, dont 47810€ pour les partenaires français  CPPM, IPGP Contact: Elie Aslanidès 17 Mai 2010 20

21 SHIWA Durée: 24 mois (démarrage au 1 er Juillet 2010) Objectif principal: déploiement d’outils de workflow sur les grilles de production  Application à l’imagerie médicale Financement européen de 1,8M€, dont 294,5k€ pour les partenaires français  I3S, CREATIS Contact: Johan Montagnat 17 Mai 2010 21

22 StratusLab: Enhancing Grid Infrastructures with Virtualization and Cloud Technologies Durée: 24 mois (démarrage au 1 er Juin 2010) Objectif principal: cloud and virtualization technologies to simplify and optimize the use of Distributed Computing Infrastructures Financement européen de 2,3M€, dont 470k€ pour les partenaires français (LAL, IBCP) Project coordinator: Cal Loomis 17 Mai 2010 22

23 Conclusion sur les projets européens Composante essentielle de la NGI France  Financement de CDDs  Visibilité internationale 2010: environ 900k€ pour les laboratoires français Il faut continuer de participer/soumettre des projets européens  Juin 2010: nouvel appel pour les communautés d’utilisateurs 17 Mai 2010 23

24 Autres financements Pas de financement de l’ANR en 2010 pour les grilles de production  Financements pour les grilles de recherche (AAP COSINUS)  Effort important d’information et de sensibilisation à prévoir Collectivités territoriales  Importance stratégique des grilles régionales  Conception d’une brochure d’information pour aider les porteurs de projets 17 Mai 2010 24

25 La formation Objectifs  Former les ingénieurs systèmes  Former les utilisateurs Financement de la formation  Institut des Grilles: 40k€ en 2010  Réseau Marie Curie EPIKH Personne à contacter: Virginie Dutruel  Pour faire connaître ses besoins  Pour une aide à l’organisation des formations 17 Mai 2010 25 http://www.france-grilles.fr virginie.dutruel@cc.in2p3.fr

26 Relation entre LCG et les nouvelles structures nationales Financements parallèles et indépendants  LCG-France financé par le ministère sur la ligne TGIR du CC-IN2P3  Grille de production financée par le ministère sur la ligne TGIR France-Grilles Critères de financement des sites de LCG- France par France Grilles  2010: extension pluridisciplinaire (Grenoble, Marseille)  2011: extension pluridisciplinaire + concertation avec LCG-France et les partenaires du GIS 17 Mai 2010 26

27 Conclusion (I/II): de nombreux atouts le G.I.S France Grilles, habilité à parler au nom de la NGI France en Europe la grille de production française, labellisée Très Grande Infrastructure de Recherche par le Ministère de la Recherche LCG France, colonne vertébrale de la grille de production française Des communautés d’utilisateurs actives hors de la physique la communauté de recherche sur la grille structurée autour de Grid5000 plusieurs projets européens qui démarrent en 2010 17 Mai 2010 27

28 Conclusion (II/II) La grille de production va devenir un outil majeur de production scientifique dans les années à venir  Croissance exponentielle des besoins de stockage et de traitement des données dans de nombreuses disciplines  L’IN2P3 a acquis un savoir-faire qui peut la placer au cœur de cette dynamique L’IN2P3 à travers l’Institut des Grilles doit être le moteur du GIS France Grilles  Importance du partenariat avec le CEA/IRFU 17 Mai 2010 28

29 France Grilles: perspectives à court terme Mai 2010  signature du texte fondateur par les partenaires  Remplissage de l’organigramme  Atelier technique le 31 Mai 2010  Lancement du portail unique http://www.france-grilles.fr Juin – Juillet 2010  Réponse à l’appel d’offres du grand emprunt  Structuration du secteur applicatif Septembre 2010  Journée officielle de lancement le 24 Septembre 17 Mai 2010 29

30 Transparents supplémentaires 17 Mai 2010 Dominique Boutigny 30

31 Vers une NGI française Nécessité de structurer l'effort au niveau français Le Comité de Pilotage National a confié à l'IdG la mission de mettre en place une structure nationale pour la NGI GIS "FranceGrilles" en cours de finalisation  Ministère de la Recherche, CNRS, CEA, RENATER, INRIA, INRA, CPU et INSERM  Site web bientôt disponible 4 priorités  Opération / monitoring  Sécurité  Support aux utilisateurs / applications  Formation 26 mars 2010 Dominique Boutigny 31

32 Appels d’offres EGI La France a répondu à 2 appels d’offres majeurs:  EGI-ROSCOE / SAFE o Support aux communautés scientifiques o Rejetés par l’Europe  EGI-InSPIRE o Opération o Une seule réponse à l’appel d’offre – En très bonne voie d’acceptation Devrait permettre de financer une dizaine de CDD pour assurer la continuité EGEE  EGI 26 mars 2010 Dominique Boutigny 32 Budget global: 25 M€ France: 1.64 M€ Budget global: 25 M€ France: 1.64 M€

33 Les priorités en France Structurer et développer la NGI Renforcer la cohésion de la communauté Augmenter le nombre de nœuds de grille Développer l’interdisciplinarité des nœuds existants Organiser les tâches de bases pour l’opération de la NGI  Chance de pouvoir s’appuyer sur une communauté compétente et soudée Budget de ~1 M€ pour l’IdG au titre des TGE  Effort spécial cette année pour Grenoble, Marseille et Bordeaux 26 mars 2010 Dominique Boutigny 33

34 L’accent sur la "production" 26 mars 2010 Dominique Boutigny34 « Fournir des ressources avec un niveau de disponibilité très élevé (sans que cela soit nécessairement vrai pour chaque site) puis une fiabilité encore plus élevée, en garantissant l'intégrité et la sûreté des données » Rolf Rumler - 2010 Définition de la production:  Chaque site participant doit se conformer à des règles de façon à ce que l’ensemble fonctionne correctement Wiki Opération: https://francegrid.in2p3.fr

35 Production / Recherche Établissement de passerelles entre les grilles de production et de recherche  L’une des missions de l’IdG Chargé de mission: Frédéric Suter (CC- IN2P3) Relations avec ALADDIN / G5k En 2009: appels à projets  Budget limité  L’idée est plutôt de labelliser des projets IdG  6 projets acceptés (2 à 5 k€) 26 mars 2010 Dominique Boutigny 35

36 Quelques remarques… La NGI va s’appuyer fortement sur les grilles régionales  Meilleur garant de l’ouverture pluridisciplinaire EGI ≠EGEE  Les initiatives autour de grilles légères ou dédiées ont toute leur place dans la NGI  Intergiciels spécifiques aux grilles de données o iRODS par exemple o Intergiciels multiples  Nécessité de développer des outils d’interopérabilité La simplification de l’accès aux grilles doit être une priorité 26 mars 2010 Dominique Boutigny 36