Le nouveau paysage des grilles en France Vincent Breton Atelier technique France Grilles Crédit: Dominique Boutigny.

Présentation au sujet: "Le nouveau paysage des grilles en France Vincent Breton Atelier technique France Grilles Crédit: Dominique Boutigny."— Transcription de la présentation:

1 Le nouveau paysage des grilles en France Vincent Breton Atelier technique France Grilles Crédit: Dominique Boutigny

2 2010, changement de décor La fin d’EGEE-III a marqué la fin d’une période démarrée en 2001 avec DataGrid Le paysage des grilles est en train de changer profondément en France et en Europe La France s’y prépare depuis 2007 et la création de l’Institut des Grilles du CNRS Objectifs de l’exposé  Présenter le nouveau paysage  Expliquer l’articulation entre ces nouvelles structures et avec LCG 2

3 Table des matières Le nouveau paysage  L’Institut des Grilles  Le Groupement d’Intérêt Scientifique France Grilles = la NGI France  La Très Grande Infrastructure de Recherche France Grilles  L’Initiative de Grille Européenne EGI.eu  Les projets européens qui démarrent en 2010 Articulation entre les projets et les structures 3

4 Historique 14 août 2007 : Création de l'Institut des grilles du CNRS (IdG) sous l’impulsion de Guy Wormser (LAL)  Grilles de production  Grilles de recherche  Une trentaine de laboratoires ~350 personnes impliquées Fin 2008: Création d'un Comité de Pilotage National regroupant: CNRS, CEA, INRIA, INRA, CPU, RENATER et Ministère  Mission développer et pérenniser la Grille de production sur le plan national et européen 2009: Travail de prospective nationale sur les Grilles de production  http://www.idgrilles.fr/lal/ProsIDG08/index.html http://www.idgrilles.fr/lal/ProsIDG08/index.html  Livre blanc: http://www.idgrilles.fr/IMG/pdf/livre_blanc_draft1_8FINAL.pdfhttp://www.idgrilles.fr/IMG/pdf/livre_blanc_draft1_8FINAL.pdf Avril 2010: Fin du projet EGEE-III 4 http://www.idgrilles.fr/

5 Institut des Grilles (I/II) Unité Propre de Services du CNRS  Rattachement principal: IN2P3  Rattachements secondaires: autres instituts scientifiques (INC, INEE, INS2I, INSB, INSU) Mission: coordonner l’activité sur les grilles au CNRS  Grilles de production (directeur adjoint: D. Boutigny)  Grilles de recherche (directeur adjoint: M. Daydé)  Collaborations grilles de production - grilles de recherche (chargé de mission: F. Suter) 5

6 Institut des Grilles (II/II) Personnels  Institut hors mur: peu de personnel propre Financement hors personnels  Financement du ministère pour la grille de production (975 K€ en 2010)  Financement de fonctionnement de l’IN2P3 Financements de personnels  CDDs sur financements européens en 2010  Pas de recrutement propre d’ingénieurs permanents 6

7 GIS France Grilles GIS = Groupement d’Intérêt Scientifique  Partenaires: Ministère de la Recherche, CNRS, CEA, RENATER, INRIA, INRA, CPU et INSERM Un GIS n’a pas de personnalité juridique => nécessité d’un mandataire  Mandataire du GIS = Institut des Grilles du CNRS Le GIS France Grille est l’Initiative de Grille Nationale Française 7

8 Les principales missions du GIS Etablir une infrastructure nationale de Grilles de production; Contribuer au fonctionnement de l’infrastructure européenne EGI; Favoriser l’organisation au plan national d’une communauté utilisatrice, notamment par la formation; Favoriser les rapprochements et les échanges entre les équipes travaillant sur les grilles de production et les grilles de recherche ; 8

9 Budget du GIS Le GIS gère le financement de la grille nationale de production par le ministère de la recherche  Ligne Très Grandes Infrastructures de recherche  L’Institut des Grilles, mandataire du GIS, touche la subvention du ministère et la redistribue Le GIS paye la cotisation à la fondation EGI.eu qui pilote l’Initiative de Grille Européenne EGI  79880€ en 2010 9

10 Organigramme du GIS 10 Nominations en cours

11 France Grilles: perspectives à court terme Juin 2010  signature du texte fondateur par les partenaires  Remplissage de l’organigramme Juin – Juillet 2010  Réponse à l’appel d’offres du grand emprunt  Structuration du secteur applicatif  Enrichissement du portail unique http://www.france-grilles.fr Septembre 2010  Journée officielle de lancement le 24 Septembre 17 Mai 2010 11

12 European Grid Initiative  Après les 3 phases du projet EGEE (6 ans) + Datagrid  Technologie ~mature  Preuve établie de l’intérêt pour la communauté scientifique  Des projets dépendent maintenant des grilles de manière cruciale (LCG, ESR, Biomed, etc.)  Nécessité de mettre en place une structure pérenne de grille au niveau européen  Optique différente d’EGEE  EGI s’appuie fortement sur les initiatives nationales: NGI  EGI rend cohérentes les différentes NGI 12 http://web.eu-egi.eu/  Le développement de l’intergiciel est maintenant pris en charge par des projets séparés

13 Relations NGI -- EGI 13 Dans le modèle EGI, les NGI sont des entités relativement indépendantes

14 EGI.eu Statut juridique  Aujourd’hui: fondation de droit hollandais o Conseil d’administration de 7 membres  A terme: ERIC Financement  Cotisations des NGIs dont le GIS France Grilles  Financement européen via le projet EGI-Inspire Représentation française  Pas de français au conseil d’administration  Représentant français au EGI council: M. Spiro (suppléant: L. Crouzet, CEA)  Participation à des groupes de travail 14

15 Les projets européens Pourquoi ils sont importants  Ils sont essentiels à la veille technologique et à la visibilité internationale dans le domaine des grilles  Ils permettent de financer des CDDs Types de projets  Projets orientés infrastructure (EGI-Inspire, EDGI)  Projets orientés middleware (DEGISCO, StratusLab)  Projets orientés utilisateurs (EPIKH, EUMedGrid-Support, ROSCOE, SAFE, SHIWA) 15

16 EGI-Inspire (I/II) Durée: 48 mois Objectif principal: fédérer les opérations des NGIs en Europe et au-delà Démarrage: 1 er Mai 2010 Financement européen de 25 M€  Pour les partenaires français: 1,64M€ Partenaires français  CEA (50PM), HealthGrid (50PM)  CNRS (450 PM): CCPM, CC-IN2P3, CREATIS, I3S, IdG, IPSL, LAL, LAPP, LPC, LPNHE, LRI, UREC 16

17 EGI-Inspire (II/II) Principales responsabilités  leader of task TJRA1.5 : Cyril L’Orphelin  leader of task TSA3.4 (Life sciences): Johan Montagnat Utilisation du financement européen  Exclusivement pour le recrutement de CDDs  Critères o Tâches confiées à la NGI France dans le projet o Plan d’embauche de l’Institut des Grilles et du CEA o Présence des ingénieurs dans les laboratoires 17

18 DEGISCO, Desktop Grids for International Scientific Collaboration Durée: 24 mois (démarrage: 1 er Juin 2010) Objectif principal: étendre l’infrastructure de grille de PCs (desktop grid) d’EDGES hors de l’Europe Financement européen de 800k€, dont 90415€ pour les partenaires français  CNRS-LAL et HealthGrid Contact: Oleg Lodygensky, LAL 18

19 EDGI, European Desktop Grid Initiative Durée: 24 mois (démarrage: 1 er Juin 2010) Objectif principal: développer l’interopérablité des grilles de PCs (desktop grids) avec ARC, UNICORE et les clouds Financement européen de 2300k€, dont 211300€ pour les partenaires français  CNRS-LAL Contact: Oleg Lodygensky, LAL 19

20 EUMedGrid-Support Durée: 24 mois (démarrage: 1 er Janvier 2010) Objectif principal: développer l’adoption des grilles autour de la Méditerranée Financement européen de 740k€, dont 50076€ pour les partenaires français  CNRS (IdG et LPSC) et HealthGrid Contact: Vincent Breton et Fairouz Malek 20

21 GISELA - Grid Initiatives for e-Science Virtual Communities in Europe and Latin America Durée: 24 mois Objectif principal: pérenniser la grille de production en Amérique du Sud Financement européen de 850k€, dont 47810€ pour les partenaires français  CNRS (CPPM, IPGP) Contact: Elie Aslanidès 21

22 SHIWA Durée: 24 mois (démarrage au 1 er Juillet 2010) Objectif principal: déploiement d’outils de workflow sur les grilles de production  Application à l’imagerie médicale Financement européen de 1,8M€, dont 294,5k€ pour les partenaires français  CNRS (I3S, CREATIS) Contact: Johan Montagnat 22

23 StratusLab: Enhancing Grid Infrastructures with Virtualization and Cloud Technologies Durée: 24 mois (démarrage au 1/6/2010) Objectif principal: cloud and virtualization technologies to simplify and optimize the use of Distributed Computing Infrastructures Financement européen de 2,3M€, dont 470k€ pour les partenaires français  CNRS (LAL, IBCP) Project coordinator: Cal Loomis 23

24 Conclusion sur les projets européens Composante essentielle de la NGI France  Financement de CDDs  Visibilité internationale 2010: environ 900k€ pour les laboratoires français Il faut continuer de participer/soumettre des projets européens  Juin 2010: nouvel appel pour les communautés d’utilisateurs (voir fiche) 24

25 Autres financements Pas de financement de l’ANR en 2010 pour les grilles de production  Financements pour les grilles de recherche (AAP COSINUS)  Effort important d’information et de sensibilisation à prévoir Collectivités territoriales  Importance stratégique des grilles régionales  Conception d’une brochure d’information pour aider les porteurs de projets 25

26 La formation Objectifs: former les ingénieurs systèmes et les utilisateurs Financement de la formation  Institut des Grilles: 40k€ en 2010  Réseau Marie Curie EPIKH Personne à contacter: Virginie Dutruel  Pour faire connaître ses besoins  Pour une aide à l’organisation des formations  Fiche d’information 26 http://www.france-grilles.fr virginie.dutruel@cc.in2p3.fr

27 Relation entre LCG et les nouvelles structures nationales Financements parallèles et indépendants  LCG-France financé par le ministère sur la ligne TGIR du CC-IN2P3  Grille de production financée par le ministère sur la ligne TGIR France-Grilles Critères de financement des sites de LCG- France par France Grilles  2010: extension pluridisciplinaire (Grenoble, Marseille)  2011: extension pluridisciplinaire + concertation avec LCG-France et les partenaires du GIS 27

28 Conclusion (I/II): de nombreux atouts le G.I.S France Grilles, habilité à parler au nom de la NGI France en Europe la grille de production française, labellisée Très Grande Infrastructure de Recherche par le Ministère de la Recherche LCG France, colonne vertébrale de la grille de production française Des communautés d’utilisateurs actives hors de la physique la communauté scientifique structurée autour de Grid5000 plusieurs projets européens qui démarrent en 2010 28

29 Conclusion (II/II) La grille de production va devenir un outil majeur de production scientifique dans les années à venir  Croissance exponentielle des besoins de stockage et de traitement des données dans de nombreuses disciplines Nos principaux défis  La faire bien marcher  L’ouvrir à toutes les communautés  La rendre facilement accessible  L’étendre vers les pays en développement 29

30 Les objectifs de la journée Présenter les acteurs et les services de France Grilles Faire un bilan de la situation Parler de l’avenir Dominique Boutigny 30

31 France Grilles: perspectives à court terme Juin 2010  signature du texte fondateur par les partenaires  Remplissage de l’organigramme Juin – Juillet 2010  Réponse à l’appel d’offres du grand emprunt  Structuration du secteur applicatif  Enrichissement du portail unique http://www.france-grilles.fr Septembre 2010  Journée officielle de lancement le 24 Septembre 31

32 Transparents supplémentaires Dominique Boutigny 32

33 Vers une NGI française Nécessité de structurer l'effort au niveau français Le Comité de Pilotage National a confié à l'IdG la mission de mettre en place une structure nationale pour la NGI GIS "FranceGrilles" en cours de finalisation  Ministère de la Recherche, CNRS, CEA, RENATER, INRIA, INRA, CPU et INSERM  Site web bientôt disponible 4 priorités  Opération / monitoring  Sécurité  Support aux utilisateurs / applications  Formation 26 mars 2010 Dominique Boutigny 33

34 Appels d’offres EGI La France a répondu à 2 appels d’offres majeurs:  EGI-ROSCOE / SAFE o Support aux communautés scientifiques o Rejetés par l’Europe  EGI-InSPIRE o Opération o Une seule réponse à l’appel d’offre – En très bonne voie d’acceptation Devrait permettre de financer une dizaine de CDD pour assurer la continuité EGEE  EGI 26 mars 2010 Dominique Boutigny 34 Budget global: 25 M€ France: 1.64 M€ Budget global: 25 M€ France: 1.64 M€

35 Les priorités en France Structurer et développer la NGI Renforcer la cohésion de la communauté Augmenter le nombre de nœuds de grille Développer l’interdisciplinarité des nœuds existants Organiser les tâches de bases pour l’opération de la NGI  Chance de pouvoir s’appuyer sur une communauté compétente et soudée Budget de ~1 M€ pour l’IdG au titre des TGE  Effort spécial cette année pour Grenoble, Marseille et Bordeaux 26 mars 2010 Dominique Boutigny 35

36 L’accent sur la "production" 26 mars 2010 Dominique Boutigny36 « Fournir des ressources avec un niveau de disponibilité très élevé (sans que cela soit nécessairement vrai pour chaque site) puis une fiabilité encore plus élevée, en garantissant l'intégrité et la sûreté des données » Rolf Rumler - 2010 Définition de la production:  Chaque site participant doit se conformer à des règles de façon à ce que l’ensemble fonctionne correctement Wiki Opération: https://francegrid.in2p3.fr

37 Production / Recherche Établissement de passerelles entre les grilles de production et de recherche  L’une des missions de l’IdG Chargé de mission: Frédéric Suter (CC- IN2P3) Relations avec ALADDIN / G5k En 2009: appels à projets  Budget limité  L’idée est plutôt de labelliser des projets IdG  6 projets acceptés (2 à 5 k€) 26 mars 2010 Dominique Boutigny 37

38 Quelques remarques… La NGI va s’appuyer fortement sur les grilles régionales  Meilleur garant de l’ouverture pluridisciplinaire EGI ≠EGEE  Les initiatives autour de grilles légères ou dédiées ont toute leur place dans la NGI  Intergiciels spécifiques aux grilles de données o iRODS par exemple o Intergiciels multiples  Nécessité de développer des outils d’interopérabilité La simplification de l’accès aux grilles doit être une priorité 26 mars 2010 Dominique Boutigny 38