EGEE induction course, 22/03/2005 INFSO-RI Enabling Grids for E-sciencE Infrastructure Overview Pierre Girard French ROC deputy CC-IN2P3 site administrator

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Contents Problématique / Solutions –Domaines d’application –Mutualisation des ressources informatiques Infrastructure EGEE / VO –Aspect organisationnel –Aspect opérationnel –Aspect fonctionnel Conclusion

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Problématique / Solutions Domaines d’application Mutualisation des ressources informatiques

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Problématique / Solutions Divers domaines d’application –Physique(s) –Sciences de la vie –Sciences de la terre –Etc. (?) Même besoin de traitement de l’information –Ressources informatiques –Développement d’applications dédiées

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Problématique / Solutions Caractéristiques des applications (1) Applications gourmandes : –En puissance de calcul –En stockage de données Problème 1 : Dimensionnement des ressources Zz z MeteoSys> La météo d’hier sera: Bonne

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Problématique / Solutions Caractéristiques des applications (2) Applications utilisées par une “communauté scientifique” –Transversale aux organisations de tutelle –Géographiquement distribuée Travail collaboratif –Partage des applicatifs –Partages des données Problème 2 : Accès partagé aux ressources

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Problématique / Solutions Mutualisation des ressources (1) Centre de calcul : –Super-calculateur / Fermes de calcul  Ensemble de “Worker Nodes”  Machines hétérogènes (Hardware, OS) –Grande capacité de stokage (disques, bandes) –Gestion de communauté d’utilisateurs via les comptes (groupes et utilisateurs) –Gestion experte de la production Problème 3 : temps de latence quand il y a trop d’utilisateurs simultanés Ferme1Ferme2 Batch System Système de partage de fichiers WN … Stockage

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Problématique / Solutions Mutualisation des ressources (2) Grille de calcul –Mutualisation des centres de ressource –Gestion des communautés via le concept de “Virtual Organization” –Minimisation du temps de latence des utilisateurs France Resource Broker(s) Replica Catalog RC Italie RC … Stockage VO

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Infrastructure EGEE / VO Aspect organisationnel Aspect opérationnel Aspect fonctionnel

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Infrastructure EGEE / VO Aspect organisationnel Intégration de nouvelles applications NA4SA1 Autres activités EGEE PMB, PEB,… EGAAP* Atlas Biome d Alice Egeode Lhcb CmsEsr Définition des “Virtual Organizations” Ajout d’applications à une VO Création d’une nouvelle VO OAG**: Expression des besoins Allocation des ressources ??? ROCsCICs RCs Déploiement/Administration des ressources pour les VOs Nouvelles applications *EGAAP: EGEE Generic Application Advisory Panel **OAG: Operation Advisory Group

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Infrastructure EGEE / VO Aspect organisationnel NA4, SA1 mais aussi les autres… –NA1: Project Management –NA2: Dissemination and Outreach –NA3: User Training and Induction –NA4: Application Identification and Support –NA5: International Cooperation –SA1: European Grid Support, Operation Management –SA2: Network Resource Provision –JRA1: Middleware Reengineering + Integration –JRA2: Quality Assurance –JRA3: Security –JRA4: Network Services Deployment

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Infrastructure EGEE / VO Aspect organisationnel Aspect opérationnel Aspect fonctionnel

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Infrastructure EGEE / VO Aspect opérationnel Configuration nécessaire pour une VO –1 nom de VO unique pour la grille + 1 VO manager –1 Serveur de gestion des membres et de leurs rôles –1 (au moins) Resource Broker (RB) –1 Service de Replica Catalog (RLS/RMC) –1 User Interface (UI) –1 (au moins) Centre de Ressource (RC) –1 Système d’information indexant les ressources (BDII) SECE

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Infrastructure EGEE / VO Aspect opérationnel Core Infrastructure Centre (SA1) –Administration globale  Serveurs de gestion de VO  Services de Replica Catalog  Resource Brokers  Système d’information de la grille –Monitoring –User Support / Astreinte –Accounting RC France Resource Broker Replica Catalog RC Italie … Stockage VO

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Infrastructure EGEE / VO Aspect opérationnel Regional Operation Centre (SA1) –Représentant des sites d’une région auprès d’EGEE  Assistance aux sites de la région  Canal de communication entre EGEE et les sites –Gestion régionale de la sécurité –Monitoring régionale –Certification des sites RC France Resource Broker Replica Catalog RC Italie … Stockage VO

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Resource Centre (SA1) –Fournit à la grille  Des ressources de calcul  Des ressources de stokage Infrastructure EGEE / VO Aspect opérationnel RC France Resource Broker Replica Catalog RC Italie … Stockage VO Storage Element Computing Element

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Infrastructure EGEE / VO Aspect organisationnel Aspect opérationnel Aspect fonctionnel

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Infrastructure EGEE / VO Aspect fonctionnel Gestion des membres d’une VO (1) Authentification  Certificat Electronique émis par une autorité de certification (CA)  Equivalent à une carte d’identité, un passeport Autorisations  Droits en fonction du rôle  Gérés par Groupe (LDAP, actuel) Regular user, Software manager, … Individu, par association d’une liste de droits (VOMS, à venir) VO VO manager +

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Infrastructure EGEE / VO Aspect fonctionnel Gestion des membres d’une VO (2) –“Mapping” des membres de la VO vers la notion d’utilisateurs des systèmes  Génération d’un grid-mapfile sur certains services de la grille  Gestion de “pool” de comptes  Groupes d’une VO mappés sur des pools différents  Tous les pools de la VO partage le même groupe VO local users VO1_User VO2_User Grid-mapfile SE CE RB

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Infrastructure EGEE / VO Aspect fonctionnel Gestion des membres d’une VO (3) –“Login” d’un membre depuis une UI –Avec un “certificat proxy” généré à partir du certificat de l’utilisateur  Une durée limitée (~12 heures)  Intègre les informations du certificat nécessaire au mapping –Allocation/utilisation d’un utilisateur du pool qui lui correspond dans le grid-mapfile pour le service requis

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Infrastructure EGEE / VO Aspect fonctionnel Publication d’information sur la grille –Chaque site publie  Une description des ressources/services qu’il fournit par VO  L’état actuel de ses resources (CPUs libres, Espace de stockage, etc.)  Sur les RCs, ce qu’une VO a installé (“Tags” des Software Managers) RC3RC2 RC1RB1 RB2RLS/RMC Système d’information (BDII) Site CC-IN2P3 VO1 VO2 VO3

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Infrastructure EGEE / VO Aspect fonctionnel Gestion de jobs (1) –La soumission d’un job  L’exécution de l’application souhaitée sur l’un des WNs de la grille  L’accès aux données qui lui sont nécessaires –Le job doit fournir à la grille une description suffisante de ses besoins pour permettre la sélection de l’environnement d’exécution adéquat.  Désignation de la VO (nom unique sur la grille)  Description de ses besoins via un formalisme de description de job (JDL) Le programme à exécuter TAG de l’application cible (pré-installée par les VO software managers) Temps max. estimé d’exécution Désignation des fichiers dont il a besoin Etc.

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Gestion de jobs (2) Infrastructure EGEE / VO Aspect fonctionnel VO3 RC3RC2 RC1RB1 RB2RLS/RMC BDII TAG VO3_APP1.0.2 Input “datafile1” UI JDL VO3 TAG VO3_APP1.0.2 Input “datafile1”

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Conclusion La grille EGEE / LCG –Middleware LCG-2 –+ de 100 sites –~1000 Utilisateurs –~10 VOs Infrastructure de production en construction –Amélioration du Middleware (gLite) –Gestion de la production  Définition des procédures  User/Site Support (GGUS)  Accounting  Monitoring  Etc.

Enabling Grids for E-sciencE INFSO-RI EGEE induction course, 22/03/2005 Conclusion