Prospective nationale sur les grilles de production Groupe Thématique Sciences de l’Ingénieur et Informatique Cécile Germain-Renaud LRI – CNRS et Université.

Présentation au sujet: "Prospective nationale sur les grilles de production Groupe Thématique Sciences de l’Ingénieur et Informatique Cécile Germain-Renaud LRI – CNRS et Université."— Transcription de la présentation:

1 Prospective nationale sur les grilles de production Groupe Thématique Sciences de l’Ingénieur et Informatique Cécile Germain-Renaud LRI – CNRS et Université Paris-Sud 11

2 Exercice National Prospective - GT S2I2 6-7 Octobre 2008 Sommaire Le groupe thématique Les communautés et les grilles aujourd’hui Les besoins Grilles de production et recherche sur les grilles Conclusions

3 Exercice National Prospective - GT S2I3 6-7 Octobre 2008 Le domaine Nano-sciences et nanotechnologies, sciences des matériaux, mécanique des matériaux et des structures, automatique et traitement du signal, electromagnétisme et ondes, informatique utilisateur  Simulation comme troisième pilier de la recherche scientifique, avec la théorie et l’expérience  Souvent avec un horizon industriel Recherche informatique

4 Exercice National Prospective - GT S2I4 6-7 Octobre 2008 Le groupe de travail Philippe d’AnfrayCEA Véronique Donzeau-GougeDépartement ST2I Cécile Germain-RenaudLRI Gaetan HainsDirecteur LACL Michel RiveillDirecteur GDR ASR Alain DeniseDirecteur GDR BioInformatique Moléculaire Michel Beaudoin-LafonDirecteur LRI Xavier Pennec INRIA-Sophia Epidaure (projet health e-child) Frederic DesprezDirecteur LIP Johan MontagnatI3S Olivier RichardLIG Eric WalterRep.GDR MACS (Automatique), Directeur L2S Youssoufi Touré Représentant GDR MACS (Ondes) Christian SaguezEcole Centrale Paris Andre.De LustracIEF Stéphane LantériINRIA-Sophia Georges CailletaudDirecteur Centre des Matériaux Olivier AllixDirecteur LMT Cachan Piotr Breitkopf U. Technologie Compiègne

5 Exercice National Prospective - GT S2I5 6-7 Octobre 2008 Sommaire Le groupe thématique Les communautés et les grilles aujourd’hui Les besoins Grilles de production et recherche sur les grilles Conclusions

6 Exercice National Prospective - GT S2I6 6-7 Octobre 2008 S2I et grilles de production Quelques laboratoires d’informatique fortement impliqués  dans des expérimentations sur EGEE  Dans DECRYPTHON Au niveau de projets de recherche informatique (ACI, ANR, EU) Souvent dans un contexte pluridisciplinaire, en particulier bio-médical La proximité de sites est décisive

7 Analyse Globalisée des Données d’Imagerie Radiologique www.aci-agir.org Exercice National Prospective - GT S2I 7 Grid-enabling medical images analysis AlGorille - CRAN LPC CHRU Clermont CREATIS I3S-Rainbow Epidaure/Asclepios Centre Antoine Lacassagne LRI – LAL - LIMSI St Anne Tenon FMP Short Deadline Jobs included in gLite 3.1 ACI Masses de données gPTM3D selected for the first EGEE-II review MOTEUR-Globus Medicus demo awarded at RSNA 2008 Goal: leverage medical imaging algorithms through grids Basic research issues involved – Scheduling: reactive grids, workflows – Data and metadata management – Validation/analysis methods of medical imaging algorithms

8 Grid Workflow Efficient Enactment for Data Intensive Applications GWENDIA ANR-06-MDCA-009 Grid Workflow Enactment for Data Intensive Applications Grid-enabled data-intensive workflows Large scale grids –Coarse grain parallelism Study workflow languages –Workflow representation and languages expressiveness –DAGs and graphs of services Scalable experiments –Large scale applications deployment –Workflow engines scalability Life Sciences applications I3S, CREATIS, INRIA-GRAAL, LPC

9 Author: Haiwu HE ChinaGrid 2008,Dunhuang version:1 9 Enabling Desktop Grids for e- Science (EDGeS)

10 Author: Haiwu HE ChinaGrid 2008,Dunhuang version:1 10 Project Partners

11 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 EGEE'08, 23/9/2008, Istanbul, Turkey - E. Floros, C. Loomis 11 Grid Observatory The Grid Observatory is a new scientific activity within EGEE. It aims to integrate the collection of data on the behaviour of the EGEE grid and EGEE users with the development of models and of an ontology for the domain knowledge. EGEE'08, 23/9/2008, Istanbul, Turkey - E. Floros, C. Loomis 11 Results will be relevant for end-users, middleware development and system administration. Involves computer science research and development in both the grid and the machine learning areas specific work within the emerging field of autonomic computing. For more information visit: http://grid-observatory.orghttp://grid-observatory.org For more information visit: http://grid-observatory.orghttp://grid-observatory.org

12 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 EGEE'08, 23/9/2008, Istanbul, Turkey - E. Floros, C. Loomis 12 Grid Observatory The Grid Observatory is a new scientific activity within EGEE. It aims to integrate the collection of data on the behaviour of the EGEE grid and EGEE users with the development of models and of an ontology for the domain knowledge. EGEE'08, 23/9/2008, Istanbul, Turkey - E. Floros, C. Loomis 12 Results will be relevant for end-users, middleware development and system administration. Involves computer science research and development in both the grid and the machine learning areas specific work within the emerging field of autonomic computing. For more information visit: http://grid-observatory.orghttp://grid-observatory.org For more information visit: http://grid-observatory.orghttp://grid-observatory.org

13 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 EGEE'08, 23/9/2008, Istanbul, Turkey - E. Floros, C. Loomis 13 Grille Decrypthon Utilisation de DIET comme middleware (GRAAL LIP/ENS Lyon) Utilisation d’outils de simulation pour certains algorithmes (Simgrid pour l’ordonnancement, Optorsim pour la gestion de données) ORSAY SeD LoadLeveler BORDEAUX Project Users Sed = Server Daemon, installed on any server running Loadleveler. Note that we can define rescue SeD. MA = master agent, coordinates Jobs. We can define rescue or multiple Master Agent. WN = worker node SeD LoadLeveler SeD LoadLeveler SeD LoadLeveler Web Interface Orsay Decrypthon2 CRIHAN DB2 Orsay Decrypthon1 Master Agent DIET Décrypthon LILLE JUSSIEU BD AFM Cliniques Lyon IBM WII Data manager Interface

14 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 EGEE'08, 23/9/2008, Istanbul, Turkey - E. Floros, C. Loomis 14 EGEE and the NA4 activity are in close collaboration with The MathWorks™ in an effort to integrate the popular MATLAB® Parallel Computing Toolbox™ with gLite –Trials started July ’08. First round to be completed by October ‘08. –Selected users are currently testing the integration –Operational support provided by 2 production clusters gLite and MATLAB® Integration EGEE'08, 23/9/2008, Istanbul, Turkey - E. Floros, C. Loomis 14 Info and support: https://twiki.cern.ch/twiki/bin/view/EGEE/GLiteAndMATLABToolkitIntegrationhttps://twiki.cern.ch/twiki/bin/view/EGEE/GLiteAndMATLABToolkitIntegration Tutorial to be delivered in SC’08

15 Enabling Grids for E-sciencE EGEE-III INFSO-RI-222667 EGEE'08, 23/9/2008, Istanbul, Turkey - E. Floros, C. Loomis 15 EGEE and the NA4 activity are in close collaboration with The MathWorks™ in an effort to integrate the popular MATLAB® Parallel Computing Toolbox™ with gLite –Trials started July ’08. First round to be completed by October ‘08. –Selected users are currently testing the integration –Operational support provided by 2 production clusters gLite and MATLAB® Integration EGEE'08, 23/9/2008, Istanbul, Turkey - E. Floros, C. Loomis 15 Info and support: https://twiki.cern.ch/twiki/bin/view/EGEE/GLiteAndMATLABToolkitIntegrationhttps://twiki.cern.ch/twiki/bin/view/EGEE/GLiteAndMATLABToolkitIntegration Tutorial to be delivered in SC’08

16 Exercice National Prospective - GT S2I16 6-7 Octobre 2008 Sommaire Le groupe thématique Les communautés et les grilles aujourd’hui Les besoins Grilles de production et recherche sur les grilles Conclusions

17 Exercice National Prospective - GT S2I17 6-7 Octobre 2008 Méthodes Constats  Exposition très inégale  Spécificités des communautés L’enquête  Mai-juillet 2008, 89 réponses, dont 24 de responsables  Un outil de diffusion autant que de collecte d’information Entretiens individuels, contributions, etc.

18 Exercice National Prospective - GT S2I18 6-7 Octobre 2008 Un déficit d’information Le modèle de production est inconnu ou très mal connu des utilisateurs potentiels Confusion grilles de production, grilles de recherche, systèmes parallèles Mais la problématique est presque connue Pensez-vous être suffisamment informé sur les grilles de production et leur apport potentiel à votre recherche ?

19 Exercice National Prospective - GT S2I19 6-7 Octobre 2008 Les besoins Etes vous limité par les ressources informatiques actuellement à votre disposition ?

20 Exercice National Prospective - GT S2I20 6-7 Octobre 2008 Les applications Bio-informatique Optimisation, validation Méthodes Monte-Carlo, recherche aléatoire Demande significative sur du fortement couplé. Pouvez-vous citer une application phare de votre domaine pour laquelle l'accès à une grille de production vous a donné ou vous donnerait un avantage décisif ? Verriez-vous un intérêt à l'utilisation d'une grille de production ?

21 Exercice National Prospective - GT S2I21 6-7 Octobre 2008 Les applications « phare » Comparaison de génomes et optimisation vis à vis des données environnementales Simulation de contraintes structurales en biologie Identification des promoteurs de la transcription au moyen d'une approche "réaliste" de leur structure optimisation rapide de la comparaison statistiquement validée des protéines (cf l'ancien projet Teraprot) Traitement en calcul formel des modèles linéaires non stationnaires pour le suivi de trajectoire de systèmes dynamiques Une bonne part des application multimédia en réseau, par exemple simulations interactives de masses avec décors réalistes. Calculs pour l'optimisation et le contrôle prédictif de phénomènes à plusieurs échelles, spatiales et temporelles.: robotique et santé, méca.composite et asservissement visuel. Passage du nano au micro, voir au macro et vis versa. Applications de bionformatique dans le cadre du projet Décrypthon (AFM, IBM, CNRS) Calcul sur graphes de grandes tailles Travail collaboratif La parallélisation de modèle dynamique pour la recherche de molécules anti-cancer. Ces calculs sont creux mais fortement parallélisables. Calculs de microstructures en plasticité cristalline Grid Observatory Simulation numérique de l'interaction rayonnement matière Calcul des cycles d'hystérésis de particules magnétiques pour des champ extérieurs aléatoires (perturbations d'un champ extérieur). Validation statistique d'algorithmes de recalage d'images médicales (Bronze standard) Système de Gestion de Bases de Données Textuelles AeroCity : framework aerodynamique (HPC/CFD) Partage de données CAO de maquette numérique Réduction du temps d'obtention de maquette numérique, meilleure sécurité pour le travail collaboratif. Cryptanalyse Recherche de strategies optimales pour certains jeux Résolution exacte de flow-shop, Quadratic Assignment Problem, Quadratic 3dimension Assignment Problem, et divers Mixed integer programs Application de Cosmologie. RAMSES La parallélisation (automatique ou non) de taches lors de la compilation est un processus complexe qui demande beaucoup d'expérimentations. Simulations de prévision du climat des 30 prochaines années Simulation, validation, modélisation Différents travaux en conception de robots et systèmes Evaluation de l'imprécision sur les données d'entrée d'un modèle de fiabilité Simulation des systèmes, traitement d'image,... GLPK Visual Xpress(Dashoptimization) Lancement de programmes d'optimisation en temps réel. Optimisation multicritère pour la commande de systèmes.

22 Exercice National Prospective - GT S2I22 6-7 Octobre 2008 Les verrous Forte présence de  Logiciels métier commerciaux  Logiciels de laboratoire pas toujours robustes, mais irremplaçables  Environnements de calcul commerciaux Dans certains cas, le prototypage académique doit pouvoir déboucher sur une exploitation industrielle, incluant les logiciels commerciaux. Exemple : optimisation multidisciplinaire (OMDII)

23 Exercice National Prospective - GT S2I23 6-7 Octobre 2008 Les verrous Rapport spécifique développement /exploitation: cycles de vie courts, mais en production  Réticences à l’investissement dans une technologie mal connue  Accès à la demande  L’expertise doit être rapidement partageable Faible impact des communautés S2I  Rapport défavorable entre la complexité des demandes et la consommation de ressources  Sous-communautés de petite taille

24 Exercice National Prospective - GT S2I24 6-7 Octobre 2008 Sommaire Le groupe thématique Les communautés et les grilles aujourd’hui Les besoins Grilles de production et recherche sur les grilles Conclusions

25 Exercice National Prospective - GT S2I25 6-7 Octobre 2008 Analyse et Propositions Thématique : les grilles comme systèmes complexes  Observer des systèmes réels  Expérimenter et valider des solutions en maîtrisant les conditions expérimentales  Déployer les travaux réalisés sur les grilles de recherche  Alimenter des travaux initialement développés dans une grille de recherche par les caractéristiques d'une grille de production Des objectifs spécifiques  Vers une grille de production autonomique  Mettre en œuvre une procédure de migration de logiciel  Travailler le passage à l’échelle  Disposer de simulateurs réalistes

26 Exercice National Prospective - GT S2I26 6-7 Octobre 2008 Sommaire Le groupe thématique Les communautés et les grilles aujourd’hui Les besoins Grilles de production et recherche sur les grilles Conclusions

27 Exercice National Prospective - GT S2I27 6-7 Octobre 2008 Conclusions Environnements logiciels : opportunité pour Mutualisation des coûts des logiciels commerciaux Meilleure diffusion des logiciels développés dans les laboratoires, incitation à la robustification/ergonomie  Support et diffusion de l’action Matlab/EGEE Rapport spécifique développement /exploitation  Des incitations à l’investissement dans la maîtrise de la technologie sont nécessaires  Visibilité des temps et des coûts  Réseau d’experts, par extension des structures existantes – rôle des “grilles locales”  Formation et support réactifs, de proximité, institutionnels Quelle(s) Organisation(s) Virtuelle(s) ?

28 Exercice National Prospective - GT S2I28 6-7 Octobre 2008 Conclusions Travailler  La prise en compte par EGEE des spécificités et du rôle des communautés S2I  Les thématiques d’interaction entre production et recherche informatique Convergences grilles/cloud et grilles/collaboratif  Veille technologique et recherche Intégration à certains cursus de formation initiale, en partenariat avec l’industrie

29 Exercice National Prospective - GT S2I29 6-7 Octobre 2008 Les rapports Le rapport complet http://indico.lal.in2p3.fr/getFile.py/access? contribId=20&resId=1&materialId=paper&c onfId=517 La synthèse http://indico.lal.in2p3.fr/getFile.py/access? contribId=20&resId=0&materialId=paper&c onfId=517