EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Les grilles de calcul C. Loomis (LAL-CNRS) Initiation à la grille de calcul IGH, Montpellier juin 2008

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Contenu Qu’est que c’est une grille? Le projet EGEE Qui l’utilise et pourquoi? Fonctionnalités de gLite L'avenir de la grille Conclusions 2 Partage transparent de l’utilisation de ressources massivement distribuées par les utilisateurs des différentes disciplines… “A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high computational capabilities.” (The Grid, I. Foster, C. Kesselman, 1998)

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Caractéristiques Importantes La grille peut fédérer des ressources distribuées. –CPU, stockage, algorithmes, expertises Accès sécurisé entre des domaines administratives différentes. –Confiance entre les administrateurs de système, développeurs des applications, utilisateurs, … Accès transparente à « toutes » les ressources. –On peut se logger dans la grille une seule fois. –Les aspects de calcul distribué sont cachés.

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Avantages de la grille Ressources partagées/fédérées –Meilleur utilisation des ressources –Obtenir (et publier) vos résultats plus rapidement –Utilisations des données plus variées –Produire les résultats plus précises La grille utilise les interfaces standardisées : –Coût de développement diminuée –Plusieurs implémentations des services grilles La grille peut fournir les services de haut niveau : –Eviter vos propre développement des services –Permettre de faire une analyse plus efficacement 4

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Les grilles : la vision 5 Grid “Middleware ”

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Types des grilles Grille des supercalculateurs –DEISA ( –Cher, procédure de allocation lourde, bien adapté aux applications fortement parallèle Grille institutionnelle –EGEE ( –Moins cher, allocation des ressources fait par les propriétaires, peut accueillir des applications très variées Grille des « desktop » –BOINC ( –EDGeS ( –Beaucoup moins cher, ressources des bénévoles (« cycle sharing »), applications avec les transferts des données minimaux 6

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Le projet EGEE Une série des projets européens ( présent) –European DataGrid (EDG) –Enabling Grids for E-SciencE (EGEE) –EGEE-II (terminé fin avril 2008, ~36 M€) –EGEE-III (jusqu’a mai 2010, ~32 M€) Buts : –Créer une grille européenne pour la communauté scientifique –Aider les gens qui veulent intégrer leurs ressources dans la grille –Aider les gens qui veulent utiliser la grille –Planifier la transition au EGI 7

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI L’infrastructure EGEE sites~70K CPUs 50 pays20 PO disque > 8000 utilisateurs> 150K tâches/jour > 200 VOs Real Time Monitor

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Les autres projets 9 GINGIN

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Utilisation en forte croissance 10 6 fois plus de CPU utilisé au fin de EGEE-II Utilisation par les Non-LHC égale a l’utilisation total depuis un an!

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Agrandissement importante des application et disciplines EGEE est une infrastructure ouverte. 6/20062/20071/2008 Astron. & Astrophysics289 Comp. Chemistry62721 Earth Science16 18 Fusion234 High-Energy Physics9117 Life Sciences Others41421 Total Disciplines scientifiques Condensed Matter Physics Comp. Fluid Dynamics Computer Science/Tools Civil Protection

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Utilisation par discipline Utilisation totale très différente entre les disciplines Technologie grille adopté par beaucoup des domains 12

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Ressources fournis Les laboratoires décident qui peut utiliser leur ressources. Les sites du EGEE supportent bien les disciplines variées –Les sites souvent déploient plus d’un CE ou SE. –Nombre (pas taille) des ressources! Les sites typiquement mettre à disposition leurs ressources pour les analyses bien justifiées 13 # CEs # SEs HEP LS CC2541 AA5783 Fusion1921 ES4265 Others Unknown Infra Total366334

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI VOs « actives » Nombre des VOs « actives » agrandisse! –Très souvent pas les mêmes VOs chaque semaines –Total VOs : 130 enregistrées, 258 visibles 14

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Fonctionnalités de base Gestion des tâches (jobs) : –Interface uniforme pour les systèmes de batch différents –Ordonnancement intelligente Gestion des données : –Transferts des données –Réplication de fichiers –Gestion des meta-données associées Le « middleware » gLite fournisse ces fonctionnalités –Tous les VOs utilisent les services de base de gLite. –HEP demande une fiabilité et un « scalability » extrêmes. 15

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Types d’applications Simulation : batch, pas de gestion de donnée Analyse de données : batch + gestion de données Pseudo-interactif : temps de réponse court Workflow : enchainement de tâches complexes Applications parallèles : MPI Utilisation croissante d’applications commerciales … 16

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Large Hadron Collider (LHC) 17 9 Km © CERN Geneva

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI ATLAS m 20 m 7000 tonnes ATLAS Image: ATL-PHO-GEN

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Données du LHC : le challenge Taux des données : –40 MHz pour les interactions –100 Hz des éventements filtrées –1-10 Mo per chaque éventement –0.1-1 Go/second Volume des données : –LHC : 24h/24, 7j/7 (septembre 2008) –LHC génère 15 Po des donnés chaque année ! –Durée de vie : ans –Données simulées plus grande Challenge : gestion des données –Enregistrement et lecture des données –Gestion des métadonnées –Supporte pour les analyses chaotique 19 kilo-K10 3 mega-M10 6 giga-G10 9 tera-T10 12 peta-P10 15 exa-E10 18

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI WISDOM WISDOM ( –Développer les nouveaux médicaments in silico –Coûts réduits –Développement accélérée –Malaria, grippe aviaire, … Trois grosse calculs : –WISDOM-I (Q3’05), 1M molécules, 1 To –Avian Flu (Q2’06), 300k molécules, 750 Go –WISDOM-II (Q4’06), 125M molécules, 2 To Les calculs WISDOM utilisent FlexX de BioSolveIT (3-6k licences gratuites) et Autodock. 20

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI « Workflow » WISDOM Docking –Predire comment une petite molécule peut attacher d’une structure 3D Projets –malariacontrol.net –WISDOM 21

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI GEOSCOPE GEOSCOPE ( –Analyses rapides des tremblements de terre 22 date = 6 Jan time = 5:14:17 depth = 50.9 km magnitude = 6.1 latitude = ° longitude = ° Nouveau calcul: Détermination du bruit 25 années du données 28 stations sismiques

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Evolution de la grille Le projet doit : –Trouver une financement pérenne. –Adopter une modèle comme fournisseur des services. §NA4 : supporte, « community building », fonctionnalités avancés. En France : –L’Institut des Grilles –« Joint Research Unit » pour EGEE 23

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Supporte Garantisse que l’utilisation quotidienne est efficace. Supporte aux utilisateurs –Documentation –GGUS = Global Grid User Support – Supporte pour les organisations virtuelles –Registration des VOs –Création et vérification des outils pour les « VO managers » Récriture des applications pour la grille –GASuC = Grid Application Support Centre – 24

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI « Community Building » On veut créer des communautés fortes. –Conférences –Réunions scientifiques –Réunions techniques 25 UF1 (CERN) EGEE’06 (Geneva) UF2-OGF20 (Manchester) EGEE’07 (Budapest) UF3 (Clermont- Ferrand)

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Programme scientifique très riche et variée 26 Résultats des User Forums y.py?confId= ay.py?confId=7247

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Prochaines Eventements EGEE’08 –22-26 septembre 2008 : Istanbul, Turquie – UF4/OGF25 (pas encore définitive) –9-13 mars 2009 : Catania, Italie 27

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Fonctionnalités avancées gLite fournisse les fonctionnalités du base. Plusieurs analyses requissent les services de haut niveau aussi. Développement au niveau des applications : –NA4 : HEP, LS, ES, CC, Fusion, A&A, GO –RESPECT : « middleware » externe § w&id=71&Itemid=63http://egeena4.lal.in2p3.fr/index.php?option=com_content&task=vie w&id=71&Itemid=63 Collaborations avec les industriels : –Gaussian, Turbomole –MathWorks (MATLAB) –Interactive Supercomputing 28

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Développements AMGA: Metadata catalog. Ganga: Job submission framework. DIANE: Master/slave task manager. Dashboard: VO and user-level monitoring. MOTEUR: Workflow engine. MDM: Medical Data Management

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI RESPECT Rec. External Software Pkgs. for the EGEE Community –Identifier les softs des tiers qui marchent bien avec gLite –Disséminer ses informations pour éviter le réinvention de la rue – iew&id=71&Itemid=63http://egeena4.lal.in2p3.fr/index.php?option=com_content&task=v iew&id=71&Itemid=63 Les softs dans la list : –GridWay: Grid metascheduler. –Ganga: Job submission framework. –DIANE: Master/slave task manager. –i2glogin: Interactive login to grid nodes. –GReIC: Database access and management. On discute avec int.eu.grid pour ajouter leur produits dans RESPECT.

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Conclusions Les chercheurs utilise la grille à : –Partager les ressources informatiques –Produire meilleurs résultats, plus rapidement Evolution : –gLite est plus stable, plus « scalable », … –Plus des services complémentaires disponible –Projet réorienté « fournisseur des services » –Plan pour les financement pérenne La meilleur utilisation de la grille est comme infrastructure collaboratif : produire, partager, et re- utiliser les résultats facilement. 31

Les grilles de calcul – C. Loomis – Tutorial Montpellier – 17 juin 2008 Enabling Grids for E-sciencE EGEE-II INFSO-RI Liens utiles Site web de l’activité NA4 : – Informations gLite : – – « Use Cases » : – uig/production_pages/UIGindex.htmhttp://egee-uig.web.cern.ch/egee- uig/production_pages/UIGindex.htm Matériel formation de l’activité NA3 : – 32