INFSO-RI-031688 Enabling Grids for E-sciencE Les projets EGEE et LCG C. Loomis (LAL-Orsay) EGEE Tutorial (Marseille) 3-4 octobre 2006.

Présentation au sujet: "INFSO-RI-031688 Enabling Grids for E-sciencE Les projets EGEE et LCG C. Loomis (LAL-Orsay) EGEE Tutorial (Marseille) 3-4 octobre 2006."— Transcription de la présentation:

1 INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Les projets EGEE et LCG C. Loomis (LAL-Orsay) EGEE Tutorial (Marseille) 3-4 octobre 2006

2 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 2 Agenda Les projets –EGEE-II : Enabling Grids for e-Science –LCG : LHC Computing Grid Organisation –« Service Activities » (SA) –« Joint Research Activities » (JRA) –« Networking Activities » (NA) Résumé et Questions

3 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 3 Le projet EGEE European DataGrid (EDG) –1 janvier 2001 – 31 mars 2004 –R&D pour la technologie grille EGEE –1 avril 2004 – 31 mars 2006 –« Re-engineering » & Infrastructure EGEE-II –1 avril 2006 – 31 mars 2008 –Infrastructure & « Re-engineering » –91 partenaires, 11 “Joint Research Units” –Financé par le UE (~30M€) –Fournir une grille européenne et pluridisciplinaire

4 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 4 Le projet LCG LHC Computing Grid –Démarré a même temps que EGEE –Doit continuer jusqu’à le fin du LHC (~20 ans) –Financé par les états du CERN –Fournir une grille mondial pour les expériences LHC 40 m 20 m 7000 tons ATLAS Image: ATL-PHO-GEN-2002-002 ATLAS: 24h/24, 7j/7 0.1-1 Go/s données bruts ~1 Po/année 10x plus pour la simulation

5 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 5 Organisation « Service Activities » –SA1 : Exploitation, support et management de la grille –SA2 : Approvisionnement ressources réseau –SA3 : Intégration du middleware, test et certification « Joint Research Activities » –JRA1 : Ingénierie logicielle –JRA2 : Qualité « Networking Activities » –NA1 : Management –NA2 : Dissémination –NA3 : Formation –NA4 : Applications et support –NA5 : Politique et coopération internationale

6 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 6 SA1 : Infrastructure grille Objectives –Grille de production §Services continus et fiables §Taille suffisante pour tous les utilisateurs –Interopérabilité entre grilles §Harmoniser les activités d’EGEE avec OSG, Nordugrid, …. §Services des bases avec les même interfaces Infrastructure EGEE et LCG –Les objectives EGEE et LCG ne sont pas identiques mais elles sont similaires. –Les deux projets fournir une infrastructure unique!

7 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 7 Déploiement grille EGEE/LCG-2 grid: 160 sites, 36 countries >15,000 processors, ~5 PB storage Other national & regional grids: ~60 sites, ~6,000 processors Country providing resources Country anticipating joining septembre 2005

8 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 8 SA1 : Organisation interne « Resource Center » –~200 sites –Un institut (ou groupe des petits instituts) –Fournisse les ressources de calcul et de stockage « Regional Operation Centre » (ROC) –~10 ROCs –Un centre de calcul –Fournisse les grosses ressources de calcul et de stockage –Fournisse également les services « infrastructure » –Aide d’installation et configuration pour les sites dans sa région

9 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 9 JRA1 : « Middleware » Services de sécurité –Autorités des certificats –Services autorisations §VOMS : gestion des membres d’une VO §LCMAPS : contrôle d’accès aux ressources Système « workload management » –Comme un système de batch Système d’informations –Quelles services sont disponibles? Leur états? Système gestion de données –« Système des fichiers » pour la grille

10 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 10 « Workload management » User Interface Resource Broker Information System Replica Catalogs 1. submit 2. query 3. query 4. submit 5. retrieve 6. retrieve publish status User Interface Resource Broker Information System Replica Catalog Storage Element Computing Element Site 1 Storage Element Computing Element Site 2

11 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 11 Système d’informations RC3RC2 RC1RB1 RB2RLS/RMC Système d’information (BDII) Site CC-IN2P3 VO1 VO2 VO3 Chaque site publie –Une description des ressources qu’il fournit par VO –L’état actuel des ses ressources (CPU libres, espace disques, …) –Les logiciels des applications installés –…

12 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 12 Gestion des données Système des fichiers pour la grille –Plusieurs copies de la même fichier (même nom) dans la grille –Les fichiers sont « read-only » –Commandes pour copier, déplacer, … les fichiers Services –LFC : catalogue des fichiers (nom et endroit) –FTS : transfert fiable des fichiers –GFAL : API comme POSIX pour accéder les fichier –AMGA : les meta-données des fichiers –Hydra : catalogue des clés pour crypter les fichier

13 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 13 NA4 : Applications « Application Identification and Support » –25 pays, 40 partenaires, 280+ participants, 1000s d’utilisateurs Supporter la grosse communauté des utilisateurs diverses : –Dialoguer: Users’ Forums & Conférences EGEE –Aide technique: Portage du code, procédures administratives –Liaison: Communiquer les besoins des utilisateurs Votre participation : –Feedback: Infrastructure, configuration, et middleware –Ressources: Matériels et humaines

14 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 14 Genres des applications Simulation Analyse en batch Applications interactives « Workflow » Jobs parallèles Applications commerciaux

15 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 15 Simulation Exemples –Simulation des détecteurs LHC –Fusion –WISDOM — malaria / grippe aviaire Caractéristiques –Jobs consument beaucoup de CPU –Jobs indépendants –Faites par quelques utilisateurs –Petit entrée; grosse sortie ATLAS ITER

16 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 16 Drug Discovery WISDOM : cherche in silico pour nouvelles médicaments contre maladies négligés ou nouvelles. Malaria — été 2005 –46 million ligands « docked » –1 million sélectés –1To données; 80 CPU-années utiliser dans 6 semaines Grippe aviaire — printemps 2006 –H5N1 neuraminidase –Identifié des nouvelle médicaments potentielles Automne 2006 –Utilise le même technique pour des autres maladies

17 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 17 Analyse en batch Exemples –Analyse des données brut LHC –Analyse « observation de la terre » Caractéristiques –Les données sont très distribués –Grosse entrées et sortie

18 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 18 Grid as a backend infrastructure: –gPTM3D: images médicaux –GPS@: bioinformatiques –GATE: radiothérapie –DILIGENT: bibliothèques numériques Caractéristiques –Réponse rapide : quelqu'un attende le résultat! –Plusieurs petit tâches qui consument beaucoup de CPU –L’utilisateur ne voir pas la grille! Applications interactives

19 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 19 « Workflow » Examples –“Bronze Standard” registration des images –Prédiction des inondations Caractéristiques –Utilisation des services grilles et non-grilles –Algorithme complexe –Les tâches sont interdépendants

20 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 20 Jobs Parallèles Exemples –Modélisation de climat –Analyses des tremblements de terre –« Computational chemistry » Caractéristiques –Plusieurs tâches interdépendant qui communiquent entre eux –Besoins de plusieurs CPU a la même temps –Utilisation de MPI

21 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 21 Applications commerciaux Exemples –Geocluster : logiciel pour l’analyse géophysique –FlexX : logiciel pour « molecular docking » –Matlab, Mathematica, … Characteristics –Contrôle des licences dans la grille –Applications binaires : on ne peut pas recompiler ou modifier

22 EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI-031688 22 Résumé et Questions SA1 : Infrastructure –Grille de production disponible. –Ça inclure ~200 sites dispersés dans la monde entier. JRA1 : « Middleware » –EGEE fournisse le « middleware » de base. –Les développeurs continuent améliorer les softs. NA4 : Applications –Chercheurs des 15 domaines différentes utilisent la grille. –La grille est un infrastructure collaboratif pour les chercheurs. Questions?