Livre blanc sur les grilles de production Travail national de prospective animé par Guy Wormser Véronique Donzeau-Gouge Michel Daydé.

Présentation au sujet: "Livre blanc sur les grilles de production Travail national de prospective animé par Guy Wormser Véronique Donzeau-Gouge Michel Daydé."— Transcription de la présentation:

1 Livre blanc sur les grilles de production Travail national de prospective animé par Guy Wormser Véronique Donzeau-Gouge Michel Daydé

2 Comité de Pilotage, 31 mars 2009 2 Intérêt des grilles de production pour la recherche –Permettent quelles avancées ? Dans quels domaines? –Succès obtenus? objectifs à court et moyen termes ? – Place de cet outil parmi l'ensemble des moyens de calcul disponibles –Investissements matériels et besoins humains pour répondre aux demandes ?

3 Comité de Pilotage, 31 mars 2009 3 Démarche (1) 8 groupes thématiques : –Biologie - santé, – Planète - Univers, –Sciences Humaines et Sociales –Chimie, –Sciences de l‘Ingénieur - Informatique, – Mathématiques - Physique - Fusion –Physique subatomique, –Agronomie – Ecologie  Bilan de l'utilisation actuelle  Besoins futurs et points bloquants éventuels  Recommandations Sondages organisés printemps 2008

4 Comité de Pilotage, 31 mars 2009 4 Démarche (2) 6 groupes transverses, ( réunion d'experts pour dégager des tendances fortes) grilles de données, grilles régionales et relation avec GRID'5000, relation avec les supercalculateurs, accès à la grille, relation avec les industriels

5 Comité de Pilotage, 31 mars 2009 5 Constat Les grilles : sont un outil indispensable dans plusieurs domaines : physique subatomique, sciences du vivant, de la planète, une ressource complémentaire des supercalculateurs qui doit être mise à la disposition du plus grand nombre nécessitent un effort de promotion (information, formation) dans tous les domaines

6 Comité de Pilotage, 31 mars 2009 6 Physique Subatomique utilisateurs du CC-IN2P3, DUs IN2P3 et CEA/DSM/IRFU (> 1000 C et 85% des besoins de calcul et stockage de la communauté) Domaine le plus avancé dans l'utilisation des grilles de production : 45 % des C en 2008, devrait atteindre 65 % en 2012 Forte progression envisagée (LHC,..) Besoin total estimé à 100 kSI2k et 75 PetaOctets : ( soit investissement de 38,5 M€ (20M€ pour Tier1 à Lyon et 18,5 M€ plan de financement sur 5 ans en divers sites)‏ )

7 Comité de Pilotage, 31 mars 2009 7 Physique Subatomique Recommandations: Poursuivre vigoureusement la mise en place d’une grille de production (défit du LHC) Quelques pbs à résoudre (consortium gLite de EGI) Fiabilité (acces aux données) Interropérabilité (OSG, EGEE) Usage de licences payantes

8 Comité de Pilotage, 31 mars 2009 8 Biologie Santé (298 en vivant, 120 en santé, 60 lab) Utilisées de façon croissante ou courante par environ 40 % des sondés. Partenaire de grilles existantes: Decrypton, EGEE,.. Diet, gLite Quelques success stories: Decrypton, NeuroLOG, WISDOM besoin de grilles et de supercalculateurs Accès aux calculs (à la demande) et au stockage (planifiable) Demandes: ingénieurs faisant le lien entre utilisateurs finaux et les équipes en charge de l'intergiciel et de l'administration Information et formation: GDR STIC Santé, RéNaBi Sécurité (appli médicales)

9 Comité de Pilotage, 31 mars 2009 9 Planète Univers 31 % utilisent la grille, 63 % y voit un intérêt Quelques équipes ont une forte expérience (IPSL, IPGP, …) et Besoin d’archivage de données et d’accès partagé à ces données ainsi que exploration d’espaces de paramètres Doit: supporter les environnements de travail les plus courants s’interfacer aux centres de données du domaine s’intégrer au côté des supercalculateurs s’appuyer sur du personnel technique

10 Comité de Pilotage, 31 mars 2009 10 Sciences de l’Ingénieur - Informatique Info ( Bio, apprentissage, optimisation …), Auto, signal, simulation.. Déploiement de logiciels commerciaux (matlab, scilab,) Incitation à investir dans une technologie nouvelle : utilisation des GDR, programme ANR (?) Plus de passerelles vers les grilles de recherche Ressources humaines: IR (pérennisation de projets), C

11 Comité de Pilotage, 31 mars 2009 11 Chimie - SHS Chimie : 8 % utilisent la grille, 80 % est interessé (sondage aupres des chimistes theoriques) créer un noyau dur d'utilisateurs de la grille pour la promouvoir actions de formation Sciences Humaines et Sociales : Numérisation de collections, élaboration de corpus Les grilles peuvent jouer un rôle structurant pour la communauté renforcement des Centres de Ressources Numériques (TGE ADONIS) faire émerger des projets “exemplaires” comme exemples pédagogiques

12 Comité de Pilotage, 31 mars 2009 12 Groupes transverses: supercalculateurs Grilles: peu de communications entre processeurs:calculs paramétriques, traitement de masses de données, Monte Carlo.. Calculateurs: ht degré de //me et communications intensives Complémentarité entre grilles et les supercalculateurs : Le calculateur est vu comme une source de données (meteo) que la grille distribue Grilles de supercalculateurs (DEISA3, Tetragrid)

13 Comité de Pilotage, 31 mars 2009 13 Groupes transverses: Grilles régionales, GRID 5K Développer les synergies avec les mésocentres: identifier et intégrer de nouveaux utilisateurs implanter de nouveaux sites de la grille dans les grandes villes universitaires (Bordeaux, Lille, Nancy, Rennes, Toulouse,....)‏ Pbs d’interopérabilite (techno standard) Pbs des ressources humaines Ex: AuverGrid, GRIF, CiGri

14 Comité de Pilotage, 31 mars 2009 14 Groupes transverses: Données Stockage, préservation, distribution, utilisations ciblées … Santé (AuverGrid); modélisation climatique; fusion/iter; astronomie; LHC … Sécurité: confidentialité,authentification, Standard pour l’interopérabilité Outils génériques pour recherche et indexation

15 Comité de Pilotage, 31 mars 2009 15 Conclusions Agrégration / mutualisation de ressources (calcul, stockage de données)‏, transparence des accès aux ressources (calcul, données,...)‏ Certains domaines (e.g. la physique des hautes énergies, astrophysique,...) sont bien plus avancés que les autres. La complémentarité entre supercalculateurs et grilles de production est perçue par les communautés Pas toujours bonne perception des avancées et préoccupations actuelles en grilles de recherche : cloud computing, Pair-à-pair, outils de workflows,.....