EGEE is a project funded by the European Union under contract INFSO-RI Copyright (c) Members of the EGEE Collaboration Infrastructure Overview Pierre Girard French ROC deputy CC-IN2P3 site administrator EGEE induction course, 09/11/2004

EGEE induction course, 09/11/ Contents Problématique / Solutions  Domaines d’application  Mutualisation des ressources informatiques Infrastructure EGEE / VO  Aspect organisationnel  Aspect opérationnel  Aspect fonctionnel Conclusion

EGEE induction course, 09/11/ Problématique / Solutions Domaines d’application Mutualisation des ressources informatiques

EGEE induction course, 09/11/ Problématique / Solutions Divers domaines d’application  Physique(s)  Sciences de la vie  Sciences de la terre  Etc. (?) Même besoin de traitement de l’information  Ressources informatiques  Développement d’applications dédiées

EGEE induction course, 09/11/ Problématique / Solutions Caractéristiques des applications (1) Applications gourmandes :  En puissance de calcul  En stockage de données Problème 1 : Dimensionnement des ressources Zz z MeteoSys> La météo d’hier sera: Bonne

EGEE induction course, 09/11/ Problématique / Solutions Caractéristiques des applications (2) Applications utilisées par une “communauté scientifique”  Transversale aux organisations de tutelle  Géographiquement distribuée Travail collaboratif  Partage des applicatifs  Partages des données Problème 2 : Accès partagé aux ressources

EGEE induction course, 09/11/ Problématique / Solutions Mutualisation des ressources (1) Centre de calcul :  Super-calculateur / Fermes de calcul Ensemble de “Worker Nodes” Machines hétérogènes (Hardware, OS)  Grande capacité de stokage (disques, bandes)  Gestion de communauté d’utilisateurs via les comptes (groupes et utilisateurs)  Gestion experte de la production Problème 3 : temps de latence quand il y a trop d’utilisateurs simultanés Ferme1Ferme2 Batch System Système de partage de fichiers WN … Stockage

EGEE induction course, 09/11/ Problématique / Solutions Mutualisation des ressources (2) Grille de calcul  Mutualisation des centres de ressource  Gestion des communautés via le concept de “Virtual Organization”  Minimisation du temps de latence des utilisateurs France Resource Broker(s) Replica Catalog RC Italie RC … Stockage VO

EGEE induction course, 09/11/ Infrastructure EGEE / VO Aspect organisationnel Aspect opérationnel Aspect fonctionnel

EGEE induction course, 09/11/ Infrastructure EGEE / VO Aspect organisationnel Intégration de nouvelles applications NA4SA1 Autres activités EGEE PMB, PEB,… EGAAP Atlas Biome d Alice Egeode Lhcb CmsEsr Définition des “Virtual Organizations” Ajout d’applications à une VO Création d’une nouvelle VO Expression des besoins Allocation des ressources ??? ROCsCICs RCs Déploiement/Administration des ressources pour les VOs Nouvelles applications

EGEE induction course, 09/11/ Infrastructure EGEE / VO Aspect organisationnel NA4, SA1 mais aussi les autres…  NA1: Project Management  NA2: Dissemination and Outreach  NA3: User Training and Induction  NA4: Application Identification and Support  NA5: International Cooperation  SA1: European Grid Support, Operation Management  SA2: Network Resource Provision  JRA1: Middleware Reengineering + Integration  JRA2: Quality Assurance  JRA3: Security  JRA4: Network Services Deployment

EGEE induction course, 09/11/ Infrastructure EGEE / VO Aspect opérationnel Configuration nécessaire pour une VO  1 nom de VO unique pour la grille + 1 VO manager  1 Serveur de gestion des membres et de leurs rôles  1 (au moins) Resource Broker (RB)  1 Service de Replica Catalog (RLS/RMC)  1 User Interface (UI)  1 (au moins) Centre de Ressource (RC)  1 Système d’information indexant les ressources (BDII) SECE

EGEE induction course, 09/11/ Infrastructure EGEE / VO Aspect opérationnel Core Infrastructure Centre (SA1)  Administration globale Serveurs de gestion de VO Services de Replica Catalog Resource Brokers Système d’information de la grille  Monitoring  User Support / Astreinte  Accounting RC France Resource Broker Replica Catalog RC Italie … Stockage VO

EGEE induction course, 09/11/ Infrastructure EGEE / VO Aspect opérationnel Regional Operation Centre (SA1)  Représentant des sites d’une région auprès d’EGEE Assistance aux sites de la région Canal de communication entre EGEE et les sites  Gestion régionale de la sécurité  Monitoring régionale  Certification des sites RC France Resource Broker Replica Catalog RC Italie … Stockage VO

EGEE induction course, 09/11/ Resource Centre (SA1)  Fournit à la grille Des ressources de calcul Des ressources de stokage Infrastructure EGEE / VO Aspect opérationnel RC France Resource Broker Replica Catalog RC Italie … Stockage VO Storage Element Computing Element

EGEE induction course, 09/11/ Infrastructure EGEE / VO Aspect fonctionnel Gestion des membres d’une VO (1) Authentification Certificat Electronique émis par une autorité de certification (CA) Equivalent à une carte d’identité, un passeport Autorisations Droits en fonction du rôle Gérés par –Groupe (LDAP, actuel) Regular user, Software manager, … –Individu, par association d’une liste de droits (VOMS, à venir) VO VO manager +

EGEE induction course, 09/11/ Infrastructure EGEE / VO Aspect fonctionnel Gestion des membres d’une VO (2)  “Mapping” des membres de la VO vers la notion d’utilisateurs des systèmes Génération d’un grid-mapfile sur certains services de la grille Gestion de “pool” de comptes Groupes d’une VO mappés sur des pools différents Tous les pools de la VO partage le même groupe VO local users VO1_User VO2_User Grid-mapfile SE CE RB

EGEE induction course, 09/11/ Infrastructure EGEE / VO Aspect fonctionnel Gestion des membres d’une VO (3)  “Login” d’un membre depuis une UI  Avec un “certificat proxy” généré à partir du certificat de l’utilisateur Une durée limitée (~12 heures) Intègre les informations du certificat nécessaire au mapping  Allocation/utilissation d’un utilisateur du pool qui lui correspond dans le grid-mapfile pour le service requis

EGEE induction course, 09/11/ Infrastructure EGEE / VO Aspect fonctionnel Publication d’information sur la grille  Chaque site publie Une description des ressources/services qu’il fournit par VO L’état actuel de ses resources (CPUs libres, Espace de stockage, etc.) Sur les RCs, ce qu’une VO a installé (“Tags” des Software Managers) RC3RC2 RC1RB1 RB2RLS/RMC Système d’information (BDII) Site CC-IN2P3 VO1 VO2 VO3

EGEE induction course, 09/11/ Infrastructure EGEE / VO Aspect fonctionnel Gestion de jobs (1)  La soumission d’un job L’exécution de l’application souhaitée sur l’un des WNs de la grille L’accès aux données qui lui sont nécessaires  Le job doit fournir à la grille une description suffisante de ses besoins pour permettre la sélection de l’environnement d’exécution adéquat. Désignation de la VO (nom unique sur la grille) Description de ses besoins via un formalisme de description de job (JDL) –Le programme à exécuter –TAG de l’application cible (pré-installée par les VO software managers) –Temps max. estimé d’exécution –Désignation des fichiers dont il a besoin –Etc.

EGEE induction course, 09/11/ Gestion de jobs (2) Infrastructure EGEE / VO Aspect fonctionnel VO3 RC3RC2 RC1RB1 RB2RLS/RMC BDII TAG VO3_APP1.0.2 Input “datafile1” UI JDL VO3 TAG VO3_APP1.0.2 Input “datafile1”

EGEE induction course, 09/11/ Conclusion La grille EGEE / LCG  Middleware LCG-2  ~80 sites  600 Utilisateurs  7 Vos Infrastructure de production en construction  Amélioration du Middleware (Glite)  Gestion de la production Définition des procédures User Support Accounting Monitoring Etc.

EGEE induction course, 09/11/ Conclusion