Tutorial ATLAS France, CCIN2P3, 05/02/2007 INFSO-RI Enabling Grids for E-sciencE Introduction à la grille LCG/EGEE Pierre Girard French EGEE ROC deputy CC-IN2P3 grid site coordinator LCG T1 Site EGEE SA1 : “European Grid Support, Operation Management”

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Table des matières Problématique / Solutions –Domaines d’application –Mutualisation des ressources informatiques Projets de Grille –Dans le monde –Projets LCG et EGEE Infrastructure EGEE / VO –Aspect opérationnel –Aspect fonctionnel Conclusions Liens utiles

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Problématique / Solutions Domaines d’application Mutualisation des ressources informatiques

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Problématique / Solutions Divers domaines d’application –Physique(s) –Sciences de la vie –Sciences de la terre –Chimie –Etc. (?) Même besoin de traitement de l’information –Ressources informatiques –Développement d’applications dédiées

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Problématique / Solutions Caractéristiques des applications (1) Applications gourmandes : –En puissance de calcul –En stockage de données Ex.: Data Challenge de la VO Biomédicale (Traitement de la Malaria) –Durée de 10 semaines –Plus de 4,3 millions de molécules actives (médicaments potentiels) –Plus de 140 millions de liaisons entre ces molécules et les protéines cibles pour combattre la malaria –5 000 ordinateurs ont été mobilisés simultanément dans 27 pays –Production de 2To de données –Équiv. 413 années de calculs sur un seul ordinateur Problème 1 : Dimensionnement des ressources Zz z MeteoSys> La météo d’hier sera: Bonne

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Problématique / Solutions Caractéristiques des applications (2) Applications utilisées par une “communauté scientifique” –Transversale aux organisations de tutelle –Géographiquement distribuée Travail collaboratif –Partage des applicatifs –Partages des données Problème 2 : Accès partagé aux ressources

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Problématique / Solutions Mutualisation des ressources (1) Centre de calcul : –Super-calculateur / Fermes de calcul  Ensemble de “Worker Nodes”  Machines hétérogènes (Hardware, OS) –Grande capacité de stokage (disques, bandes) –Gestion de communauté d’utilisateurs via les comptes (groupes et utilisateurs) –Gestion experte de la production Problème 3 : La disponibilité La centralisation accroit la sensibilité aux pannes L’augmentation d’utilisateurs simultanés accroît les temps de latence les besoins de stockage L’émergence des “super-applications” (ex.: LCG) renvoie au problème 1 Ferme1Ferme2 Batch System Système de partage de fichiers WN … Stockage

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Problématique / Solutions Mutualisation des ressources (2) Grille de calcul –Mutualisation des centres de ressource –Gestion des communautés via le concept de “Virtual Organization” –Minimisation du temps de latence des utilisateurs France Resource Broker(s) Catalogue de fichiers RC Italie RC … Stockage VO

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Projets de Grille Dans le monde… Projets LCG et EGEE

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Projets de Grille Dans le monde… Access Grid DISCOM DOE Science Grid Condor ESG (Earth System Grid) Fusion Collaboratory Globus GrADSoft (Grid Application Development Software) Grid Canada GRIDS (Grid Research Integration Development & Support Center) GriPhyN (Grid Physics Network) iVDGL (International Virtual Data Grid Laboratory) Music Grid NASA Information Power Grid NCSA Alliance Access Grid AstroGrid AVO (Astrophysical Virtual Observatory) Comb-e-chem CrossGrid DAME (Distributed Aircraft Maintenance Environment) DAMIEN (Distributed Applications and Middleware for Industrial Networks) DataTAG Discovery Net DutchGrid EDG (European DataGrid) EGSO (European Grid of Solar Observations) GEODISE (Grid Enabled Optimisation & Design Search for Engineering) GRIA (Grid Resources for Industrial Applications) Grid-Ireland GridLab (Grid Application Toolkit and Testbed) GridPP LCG (LHC Computing Grid) MyGrid NGIL (National Grid for Learning Scotland) NorduGrid (Nordic Testbed for Wide Area Computing and Data Handling) PIONIER Grid Reality Grid ScotGrid ApGrid ApBioNet Grid Forum Korea PRAGMA (Rim Applications and Grid Middleware Assembly) Grid Datafarm for Petascale Data Intensive Computing Gridbus Project

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Projets de Grille Projets LCG et EGEE LCG: modèle de calculEGEE: modèle d’exploitation RAL/UK CNAF/IT PIC/SP CCIN2P3/FR FNAL/US T0 T1s Cambridge Rome Nikhef GRIF Krakow T2s IN2P3-SUBATECH IN2P3-LPC T3s IN2P3-CPPM IN2P3-LAPP UK/CCLRC IT/INFN SWE/IFAE FR/IN2P3 SEE/GRNET ROCs Cambridge Rome Nikhef GRIF Krakow RCs IN2P3-SUBATECH IN2P3-LPC IN2P3-CPPM IN2P3-LAPP OCC … … … CGG-LCG2 IPSL-IPGP-LCG2 … IN2P3-CC CEA-DAPNIA-SACLAY 170 sites Le même middleware Les mêmes sites La même infrastructure de grille Définit une utilisation Définit le fonctionnemen t Ne pas dupliquer les structures Réutiliser et adapter aux besoins de LCG

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Infrastructure EGEE / VO Aspect opérationnel Aspect fonctionnel

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Infrastructure EGEE / VO Aspect opérationnel Configuration nécessaire pour une VO –1 nom de VO unique pour la grille + 1 VO manager –1 Serveur de gestion des membres/rôles (VOMS) –1 (au moins) Resource Broker (RB) –1 (au moins) User Interface (UI) –1 (au moins) Centre de Ressource (RC) –1 Système d’information indexant les ressources (BDII) Options –1 Service de catalogue de fichiers (LFC) –1 Service de transfert de fichiers (FTS) SECE

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Infrastructure EGEE / VO Aspect opérationnel Infrastructure opérationnelle –Activité SA1 d’EGEE: déploiement, exploitation et support de la grille –OCC: Centre de coordination de l’exploitation (CERN) –11 ROCs: Centres régional de coordination de l’exploitation  United Kingdom and Ireland  France  Italy  South West Europe  CERN  Germany and Switzerland  Northern Europe  Russia  Central Europe  South East Europe  Asia Pacific –3 ROCs en formation aux US RC ROC RC ROC RC ROC OCC RC ROC RC ROC

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Infrastructure EGEE / VO Aspect opérationnel Regional Operation Centre (SA1) –Activités globales  Définition des procédures d’exploitation  Administration globale Serveurs de gestion de VO Services de Replica Catalog Resource Brokers Système d’information de la grille  Monitoring  User Support / Astreinte  Accounting –Activités régionales  Représentant des sites d’une région auprès d’EGEE Assistance aux sites de la région Canal de communication entre EGEE et les sites  Gestion régionale de la sécurité  Monitoring régionale  Certification des sites RC France Resource Broker Catalogue de fichiers RC Italie … Stockage VO

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Resource Centre / Site (SA1) –Fournit à la grille  Des ressources de calcul  Des ressources de stokage  Eventuellement des services/VO Infrastructure EGEE / VO Aspect opérationnel RC France Resource Broker Replica Catalog RC Italie … Stockage VO Storage Element Computing Element RB BDII LFCUI VOMSFTS

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Infrastructure EGEE / VO Aspect opérationnel Aspect fonctionnel

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Infrastructure EGEE / VO Aspect fonctionnel Gestion des membres d’une VO (1) Authentification  Certificat Electronique émis par une autorité de certification (CA)  Equivalent à une carte d’identité, un passeport Autorisations  Droits en fonction de l’appartenance à des groupes /dteam/France/IN2P3-CC  Droits en fonction de rôles dans un groupe: Regular user, VO Software administrator, Production user, etc. /VO=dteam/GROUP=/dteam/France/ROLE=lcgadmin  Intégrées à la demande dans le certificat “proxy” (à durée limitée) utilisé par les commandes de grille VO VO manager + Serveur VOMS

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Infrastructure EGEE / VO Aspect fonctionnel Gestion des membres d’une VO (2) –“Login” d’un membre depuis une UI –Avec un “certificat proxy” généré à partir du certificat de l’utilisateur et des droits qu’il requière  Une durée limitée (12 heures par défaut)  Intègre les informations d’autorisations liées à son rôle/groupe dans la VO –Sur les noeuds de grille,  Gestion de “pools” de comptes: atlas001, atlas002, atlas003…  Mapping sur des pools/comptes différents en fonction des groupes et rôles local users VO1_User VO2_User Grid-mapfile SE CE RB ACL Proxy VO VOMS ACL1 ACL2 ACL3

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Infrastructure EGEE / VO Aspect fonctionnel Publication d’information sur la grille –Chaque site publie  Une description des ressources/services qu’il fournit par VO  L’état actuel de ses resources (CPUs libres, Espace de stockage, etc.)  Sur les RCs, ce qu’une VO a installé (“Tags” des Software Managers) RC3RC2 RC1RB1 RB2RLS/RMC Système d’information (BDII) Site CC-IN2P3 VO1 VO2 VO3

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Infrastructure EGEE / VO Aspect fonctionnel Gestion de jobs (1) –La soumission d’un job  L’exécution de l’application souhaitée sur l’un des WNs de la grille  L’accès aux données qui lui sont nécessaires –Le job doit fournir à la grille une description suffisante de ses besoins pour permettre la sélection de l’environnement d’exécution adéquat.  Désignation de la VO (nom unique sur la grille)  Description de ses besoins via un formalisme de description de job (JDL) Le programme à exécuter TAG de l’application cible (pré-installée par les VO software managers) Temps max. estimé d’exécution Désignation des fichiers dont il a besoin Etc.

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Infrastructure EGEE / VO Aspect fonctionnel Gestion de jobs (2) –“Matchmaking”: Choix d’une queue de soumission en fonction du JDL RC3RC2 RC1RB1 RB2LFC1 LFC2 Top BDII TAG VO3_APP1.0.2 Input “datafile1” UI JDL VO3 Requirements: TAG VO3_APP1.0.2 MaxCPUTime >= 20 RB2 2- Interroge 3- Soumet 1- soumet un job (JDL)

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Infrastructure EGEE / VO Aspect fonctionnel Gestion des données : –Localise le catalogue de fichier de la VO –Exploite les données publiées par le SE pour opérer les transferts RC3RC2 RC1RB1 RB2LFC1 LFC2 Top BDII TAG VO3_APP1.0.2 Input “datafile1” UI lcg-cr VO3 lcg-cr --vo VO3 file://monfic 2- Interroge 4- Transfert 1- Copie depuis l’UI vers un SE LCG-UTILS Gridftp SE2 3- Enregistre

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Conclusion Infrastructure de production Usage de l’infrastructure Utilisation de l’infrastructure Extrait de la présentation de Ian Bird à la dernière conférence EGEE, septembre 2006 à Genève

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Conclusion(1) Infrastructure de production sites Size of the infrastructure today: 192 sites in 40 countries ~ CPU ~ 10 PB disk, + tape MSS CPU

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Conclusion(2) Usage de l’infrastructure >50k jobs/day ~7000 CPU-months/month

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Conclusion(3) Utilisation de l’infrastructure 20k jobs running simultaneously

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Liens utiles Outils de monitoring/Support Outils d’accounting Généralités

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Liens utiles(1) Outils de monitoring/Support COD operators –Rotation sur les ROCs pour fournir une équipe d’opérateurs de surveillance (CIC On Duty) User support : GGUS – Outils de monitoring –CIC portal  Point d’entrée sur les autres outils Vue intégrée des autres outils à l’usage des COD opérateurs –Site Functional Tests (SFT) -> Service Availability Monitoring (SAM)   –Grid Operations Centre Core Database (GOCDB)  –GIIS monitor (Gstat)  –GOC monitoring tools  –GOC job monitor 

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Liens utiles(2) Outils d’accounting Accounting – –Basé sur R-GMA (Relational Grid Monitoring Architecture) –Déployé sur tous les RCs/Sites

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Liens utiles(3) Généralités EGEE –Projet EGEE : –Conférence EGEE06: LCG –GOC : –Projet LCG : Tutorial en ligne : –Grid Café : –Gilda : https :// gilda.ct.infn.it / https :// gilda.ct.infn.it /

Enabling Grids for E-sciencE INFSO-RI EGEE induction coursseTutorial Grille pour ILC/CALICE, 06/10/2005 Merci