INFSO-RI Enabling Grids for E-sciencE Les projets EGEE et LCG C. Loomis (LAL-Orsay) EGEE Tutorial (Marseille) 3-4 octobre 2006

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI Agenda Les projets –EGEE-II : Enabling Grids for e-Science –LCG : LHC Computing Grid Organisation –« Service Activities » (SA) –« Joint Research Activities » (JRA) –« Networking Activities » (NA) Résumé et Questions

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI Le projet EGEE European DataGrid (EDG) –1 janvier 2001 – 31 mars 2004 –R&D pour la technologie grille EGEE –1 avril 2004 – 31 mars 2006 –« Re-engineering » & Infrastructure EGEE-II –1 avril 2006 – 31 mars 2008 –Infrastructure & « Re-engineering » –91 partenaires, 11 “Joint Research Units” –Financé par le UE (~30M€) –Fournir une grille européenne et pluridisciplinaire

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI Le projet LCG LHC Computing Grid –Démarré a même temps que EGEE –Doit continuer jusqu’à le fin du LHC (~20 ans) –Financé par les états du CERN –Fournir une grille mondial pour les expériences LHC 40 m 20 m 7000 tons ATLAS Image: ATL-PHO-GEN ATLAS: 24h/24, 7j/ Go/s données bruts ~1 Po/année 10x plus pour la simulation

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI Organisation « Service Activities » –SA1 : Exploitation, support et management de la grille –SA2 : Approvisionnement ressources réseau –SA3 : Intégration du middleware, test et certification « Joint Research Activities » –JRA1 : Ingénierie logicielle –JRA2 : Qualité « Networking Activities » –NA1 : Management –NA2 : Dissémination –NA3 : Formation –NA4 : Applications et support –NA5 : Politique et coopération internationale

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI SA1 : Infrastructure grille Objectives –Grille de production §Services continus et fiables §Taille suffisante pour tous les utilisateurs –Interopérabilité entre grilles §Harmoniser les activités d’EGEE avec OSG, Nordugrid, …. §Services des bases avec les même interfaces Infrastructure EGEE et LCG –Les objectives EGEE et LCG ne sont pas identiques mais elles sont similaires. –Les deux projets fournir une infrastructure unique!

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI Déploiement grille EGEE/LCG-2 grid: 160 sites, 36 countries >15,000 processors, ~5 PB storage Other national & regional grids: ~60 sites, ~6,000 processors Country providing resources Country anticipating joining septembre 2005

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI SA1 : Organisation interne « Resource Center » –~200 sites –Un institut (ou groupe des petits instituts) –Fournisse les ressources de calcul et de stockage « Regional Operation Centre » (ROC) –~10 ROCs –Un centre de calcul –Fournisse les grosses ressources de calcul et de stockage –Fournisse également les services « infrastructure » –Aide d’installation et configuration pour les sites dans sa région

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI JRA1 : « Middleware » Services de sécurité –Autorités des certificats –Services autorisations §VOMS : gestion des membres d’une VO §LCMAPS : contrôle d’accès aux ressources Système « workload management » –Comme un système de batch Système d’informations –Quelles services sont disponibles? Leur états? Système gestion de données –« Système des fichiers » pour la grille

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI « Workload management » User Interface Resource Broker Information System Replica Catalogs 1. submit 2. query 3. query 4. submit 5. retrieve 6. retrieve publish status User Interface Resource Broker Information System Replica Catalog Storage Element Computing Element Site 1 Storage Element Computing Element Site 2

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI Système d’informations RC3RC2 RC1RB1 RB2RLS/RMC Système d’information (BDII) Site CC-IN2P3 VO1 VO2 VO3 Chaque site publie –Une description des ressources qu’il fournit par VO –L’état actuel des ses ressources (CPU libres, espace disques, …) –Les logiciels des applications installés –…

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI Gestion des données Système des fichiers pour la grille –Plusieurs copies de la même fichier (même nom) dans la grille –Les fichiers sont « read-only » –Commandes pour copier, déplacer, … les fichiers Services –LFC : catalogue des fichiers (nom et endroit) –FTS : transfert fiable des fichiers –GFAL : API comme POSIX pour accéder les fichier –AMGA : les meta-données des fichiers –Hydra : catalogue des clés pour crypter les fichier

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI NA4 : Applications « Application Identification and Support » –25 pays, 40 partenaires, 280+ participants, 1000s d’utilisateurs Supporter la grosse communauté des utilisateurs diverses : –Dialoguer: Users’ Forums & Conférences EGEE –Aide technique: Portage du code, procédures administratives –Liaison: Communiquer les besoins des utilisateurs Votre participation : –Feedback: Infrastructure, configuration, et middleware –Ressources: Matériels et humaines

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI Genres des applications Simulation Analyse en batch Applications interactives « Workflow » Jobs parallèles Applications commerciaux

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI Simulation Exemples –Simulation des détecteurs LHC –Fusion –WISDOM — malaria / grippe aviaire Caractéristiques –Jobs consument beaucoup de CPU –Jobs indépendants –Faites par quelques utilisateurs –Petit entrée; grosse sortie ATLAS ITER

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI Drug Discovery WISDOM : cherche in silico pour nouvelles médicaments contre maladies négligés ou nouvelles. Malaria — été 2005 –46 million ligands « docked » –1 million sélectés –1To données; 80 CPU-années utiliser dans 6 semaines Grippe aviaire — printemps 2006 –H5N1 neuraminidase –Identifié des nouvelle médicaments potentielles Automne 2006 –Utilise le même technique pour des autres maladies

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI Analyse en batch Exemples –Analyse des données brut LHC –Analyse « observation de la terre » Caractéristiques –Les données sont très distribués –Grosse entrées et sortie

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI Grid as a backend infrastructure: –gPTM3D: images médicaux bioinformatiques –GATE: radiothérapie –DILIGENT: bibliothèques numériques Caractéristiques –Réponse rapide : quelqu'un attende le résultat! –Plusieurs petit tâches qui consument beaucoup de CPU –L’utilisateur ne voir pas la grille! Applications interactives

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI « Workflow » Examples –“Bronze Standard” registration des images –Prédiction des inondations Caractéristiques –Utilisation des services grilles et non-grilles –Algorithme complexe –Les tâches sont interdépendants

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI Jobs Parallèles Exemples –Modélisation de climat –Analyses des tremblements de terre –« Computational chemistry » Caractéristiques –Plusieurs tâches interdépendant qui communiquent entre eux –Besoins de plusieurs CPU a la même temps –Utilisation de MPI

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI Applications commerciaux Exemples –Geocluster : logiciel pour l’analyse géophysique –FlexX : logiciel pour « molecular docking » –Matlab, Mathematica, … Characteristics –Contrôle des licences dans la grille –Applications binaires : on ne peut pas recompiler ou modifier

EGEE/LCG – C. Loomis – 3-4 octobre 2006 Enabling Grids for E-sciencE INFSO-RI Résumé et Questions SA1 : Infrastructure –Grille de production disponible. –Ça inclure ~200 sites dispersés dans la monde entier. JRA1 : « Middleware » –EGEE fournisse le « middleware » de base. –Les développeurs continuent améliorer les softs. NA4 : Applications –Chercheurs des 15 domaines différentes utilisent la grille. –La grille est un infrastructure collaboratif pour les chercheurs. Questions?