INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Les enjeux des nouvelles applications C. Loomis (LAL-Orsay) Journées Informatiques (Lyon-Valpré)

Présentation au sujet: "INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Les enjeux des nouvelles applications C. Loomis (LAL-Orsay) Journées Informatiques (Lyon-Valpré)"— Transcription de la présentation:

1 INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Les enjeux des nouvelles applications C. Loomis (LAL-Orsay) Journées Informatiques (Lyon-Valpré) 18-21 septembre 2006

2 Les enjeux des applications – C. Loomis – 18-21 septembre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 2 Grandes Lignes Le projet EGEE-II Marketing NA4 Nos applications et utilisateurs Différences entre LHC applications et les autres Genres des applications Fonctionnalités manquantes Résumé et points a discuter

3 Les enjeux des applications – C. Loomis – 18-21 septembre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 3 EGEE-II Enabling Grids for E-sciencE Projets précédents European DataGrid (R&D) EGEE (Re-engineering) EGEE-II 1 avril 2006 – 31 mars 2008 Projet « Infrastructure » 91 partenaires, 11 “Joint Research Units” EGEE-II est un continuation de EGEE : Plus de supporte pour les applications Plus des applications et des domaines Compatibilité avec les autres grilles (OSG, Nordugrid, …) Plus des ressources intègrées

4 Les enjeux des applications – C. Loomis – 18-21 septembre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 4 Marketing NA4 « Application Identification and Support » –25 pays, 40 partenaires, 280+ participants Support pour une communauté des utilisateurs qui représentent plusieurs disciplines scientifiques. –« Users’ Forums » pour dialoguer avec des autres utilisateurs. –Aide pour la portage de code dans la grille EGEE. –Liaison entre les utilisateurs et les développeurs, administrateurs, et intégrateurs. Participation active des utilisateurs –« Feedback » pour l’infrastructure et middleware grilles. –Intégration des leur ressources dans la grille.

5 Les enjeux des applications – C. Loomis – 18-21 septembre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 5 Utilisation Actuelle Application Deployment Plan (DNA4.1) –EDMS (https://edms.cern.ch/document/722131/2)https://edms.cern.ch/document/722131/2 –Utilisation habituelle qui produise les résultats scientifiques. Statistiques –165+ Organisations Virtuelles (VOs) supportées –90+ enregistrées avec EGEE –Physique des hautes énergies : LHC, CDF, D0, Zeus, H1, … –Biologie : images médicales, bioinformatique, « drug discovery » –Science de la terre : hydrologie, pollution, climat, géophysique –Astrophysique : PLANCK, MAGIC –Fusion –« Computational Chemistry » –Finance, bibliothèques numériques, nanotechnologie, …

6 Les enjeux des applications – C. Loomis – 18-21 septembre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 6 Différences Quelques différences entre la communauté HEP et les autres communautés compliquent l’intégration des leurs applications et leurs ressources : –Moins des administrateurs des systèmes –Beaucoup moins d’expertise pour gérer les machines –Les types des machines sont beaucoup plus variables –Beaucoup plus des applications « fermés »

7 Les enjeux des applications – C. Loomis – 18-21 septembre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 7 Simulation Exemples –LHC Monte Carlo simulation –WISDOM « Data Challenge » contre malaria –Fusion « Kinetic Transport » Caractéristiques –Très peu des données en entrée; beaucoup en sortie –Grandes nombres des jobs indépendants –Jobs requissent beaucoup de calcul Besoins –Services comme un système de batch –Services pour stocker des données

8 Les enjeux des applications – C. Loomis – 18-21 septembre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 8 « Bulk Processing » Exemples –LHC « processing » des données brutes –Observation de la terre Caractéristiques –Beaucoup des données distribuées en entrée –Peut-être beaucoup des données produites Besoins –Outils pour gérer tous les jobs –Services pour chercher les méta-données –Outils pour la gestion des données (fichiers ou BD)

9 Les enjeux des applications – C. Loomis – 18-21 septembre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 9 Tests Exemples –Les petits tests des applications –Prototypage efficace des nouvelles applications –Déboguage des problèmes –SFT Caractéristiques –Très peu des données en entrée et en sortie –Peu de calcul –Réponse rapide (quelques minutes) Besoins –Une configuration batch ou queues pour haute QoS –Services traitent ces jobs avec une minimum de latence

10 Les enjeux des applications – C. Loomis – 18-21 septembre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 10 Utilisation Clinique Exemples –gPTM3D : analyse interactive des images médicales –GATE : planning des traitement avec radiation –GPS@ : bioinformatique algorithmes vers une portail web Caractéristiques –Réponse rapide (utilisateur qui attente la résultat) –Petits tâches qui utilisent pas mal de calcul en totale –Utilisateur n’est pas un utilisateur grille Besoins –Une configuration batch ou queues pour haute QoS –Services traitent ces jobs avec une minimum de latence –Portail ou autre application pour accéder la grille –Gestion des droits des utilisateurs dans le « front-end »

11 Les enjeux des applications – C. Loomis – 18-21 septembre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 11 « Workflow » Exemples –« Bronze Standard » : registration des images médicales Caractéristiques –Une algorithme complexe pour l’analyse –Utilisation des services grilles et services non grilles –Dépendance complexe entre les sous tâches Besoins –Les outils pour gérer le « workflow » : MOTEUR, Taverna –Les interfaces « web service » pour les services grilles

12 Les enjeux des applications – C. Loomis – 18-21 septembre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 12 Jobs Parallèles Exemples –Modélisation de climat –Analyse rapide après un tremblement de terre Caractéristiques –Beaucoup des sous tâches interdépendants –Plusieurs CPUs réservés a la même temps –Utilisation des bibliothèques MPI Besoins –Configuration des sites qui permets jobs MPIs –Installation de bibliothèques MPI Les jobs parallèles sont bons candidates pour faire un pont entre EGEE et DEISA.

13 Les enjeux des applications – C. Loomis – 18-21 septembre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 13 Applications Commerciaux Exemples –Geocluster : application géophysique –Flex : algorithme pour « molecular docking » –Mathematica –Matlab –« legacy applications » Caractéristiques –Licences : on doit contrôler accès au logiciel –Accès aux données sans recompilation de code Besoins –Serveur des licences –Accès transparent aux données (FUSE, Parrot, …)

14 Les enjeux des applications – C. Loomis – 18-21 septembre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 14 Fonctionnalitiés Manquantes Sécurité –Gestion des utilisateurs, leur groupes, leur autorisations, … –Implémentations par tous les services grilles –Accès limités des données ! Contrôle –Changer la priorité entre jobs –Qualité de service pour les jobs quasi-interactives –Gestions des quotas

15 Les enjeux des applications – C. Loomis – 18-21 septembre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 15 Résumé et points a discuter Pour les applications LHC et les autres : –Utilisation habituelle de la grille EGEE –Pas mal de besoins communs La réussite des nouvelles applications dans la grille est importante pour les gens LHC aussi ! Pour aider les nouvelles applications : –Demander une configuration plus simple. –Déployer les configurations pour MPI et SDJ. –Tester et intégrer les services (utiles) pas encore dans gLite.