INFSO-RI Enabling Grids for E-sciencE Les services d’EGEE Fede Eric Inspirée de la présentation de Frédéric Hemmer JRA1 EGEE 1 st EU Review

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février Plan Introduction Contexte Objectifs et ligne de conduite Les services La sécurité La release 1 Relation avec LCG2 Conclusion

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février Introduction Joint Research Activity L’essentiel des développements du projet EGEE se font dans l’activité JRA1 (Middleware Engineering and Integration) JRA2 a en charge la qualité JRA3 a en charge la partie sécurité du projet EGEE JRA4 a en charge la partie réseau Les activités JRA correspondent à 24 % du projet EGEE

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février Contexte Général L’équipe en charge du design intègre des représentants de divers projets (AliEn, Condor, EDG, Globus,…) Intégration forte des besoins et requêtes venant des applications et des différents projets liés aux grilles de calcul. Première version du middelware d’EGEE (gLite) en Mars 2005

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février Objectifs et ligne de conduite Fournir un ensemble de composants middelware –Choisir/sélectionner, faire du re-engineering et intégrer des services de grilles. –Évoluer vers une architecture orientée services. –Adopter les standards émanant du GGF –Supporter plusieurs plate-formes. Le choix des services middelware s’effectue sur : –Les besoins des applications (Bio,HEP & Générique )  En particulier les requièrements de LCG’s, ARDA & HepCALII –Les besoins opérationnels  Déploiement, monitoring, packaging,… Supporter et faire évoluer les services –Suivre les standards OGSI –Définir les procédures de re-engineering –Multi plate-formes, multi implémentations et interopérabilité

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février Coexistence avec les infrastructures déjà existantes –La coexistence avec LCG-2 et OSG (US) est essentielle pour EGEE Autonomie des sites –Réduire les dépendances (limiter les services centralisés) Open source license Principes généraux Point de vue des services –Implémentations multiples et interopérables –Services légers (et si possible déjà existants)  Facilement et rapidement déploiables  Utiliser les services existants si cela est possible Condor, EDG, Globus, LCG, … Portabilité –Construit pour Scientific Linux (RHEL) et Windows Sécurité –Des sites et des applications Performance, scalability, tolérance aux fautes –Comparable à une infrastructure de production EDGVDT... LCG...AliEn

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février LES SERVICES D’EGEE ( gLite)

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février Vue globale Grid Access Service API Access Services Job Provenance Job Management Services Computing Element Workload Management Package Manager Metadata Catalog Data Services Storage Element Data Management File & Replica Catalog Authorization Security Services Authentication Auditing Information & Monitoring Information & Monitoring Services Application Monitoring Site Proxy Accounting JRA3 UK CERN IT/CZ

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février Services de Job Management Ordonnancer et exécuter aussi efficacement que possible des taches sur l’infrastructure de calcul Workload Management System (WMS) –Le point de départ est le WMS de EDG –Supporte le partitionnement des jobs et les jobs avec dépendances –Supporte différents types de replica catalogues –Modifications internes  Au niveau des queues ( meilleur ordonnancement ).  Au niveau des informations sur les ressources.  Au niveau des performances, de l’interopérabilité.  Support des modes push et pull –En développement  Interface web services  Ordonnancement distribué ( interaction entre plusieurs WMS)

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février Services de Job Management Computing Element (CE) –Service correspondant à un élément de calcul  Implémentation de nouvelles technologies venant de Condor,…. –Web interface  Gestion des jobs (run, cancel, suspend, resume, …) Logging and Bookkeeping Job Provenance –Garder la trace des jobs soumis ( condition d’exécution, exécution,..) sur une longue période Grid Accounting (DGAS) –Conservation des informations d’accounting (utilisation des ressources) pour l’optimisation des règles d’utilisations des ressources et le suivi des consommations sur la grille VOMS –Virtual Organization Membership Service –Introduction de la notion de rôle Advanced Reservation : en développement Backward compatibilité : afin de faciliter les migrations des plate-formes

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février Stockage de données efficace et fiable. Gestion ( mouvement, accès,…) sur l’infrastructure de grille Storage Element (SE) –Système de stockage basé sur SRM (Storage Resource Management) –Accès aux fichiers à la façon Posix –Transfert (gridFTP) File and Replica Catalog –Résolution entre nom logique ( LFN) et position physique, par URL compatible avec SRM –Catalogue unique ou distribué (en développement) File Transfer and Placement Service –Transferts fiables et relations transactionnelles avec les catalogues Data Scheduler –Transferts des données ordonnancés (comme les jobs) en prenant en compte les caractéristiques des réseaux Metadata Catalog –Des métadata ( limitées) peuvent être attachées aux fichiers et catalogues –Des interfaces vers des catalogues propres à certaines applications sont possibles et certaines définies Services de Gestion des Données

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février Services d’information et de monitoring Mise à disposition d’informations fiables sur l’état de la grille Monitoring de la grille et des applications qui y tournent R-GMA (Relational Grid Monitoring Architecture) –Suit les standards du GGF GMA –Développements issus de EDG, actuellement utilisés pour l’accounting Producer Service Registry Service Consumer Service API Mediator Schema Service Consumer application Producer application Publish Tuples Send Query Receive Tuples Register Locate Query Tuples SQL “CREATE TABLE” SQL “INSERT” SQL “SELECT”

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février R-GMA Services de production, consommation, registration et fournisseur de schéma –API simple, compatible avec la version web services du système d’information Service de découverte de API ( services de grille,…) En développement –Version web service –Une interface native en python –Possibilité d’avoir des autorisations fines –Réplication des schémas

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février Autres services Service d’accès à la grille –Demande émanant des utilisateurs. –Découvrir et manager les services de la grille pour les utilisateurs. Package Manager –Distribuer dynamiquement les logiciels requis par les applications –Pas fait pour installer les services de grilles

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février Sécurité Présente dans tous les services Services de management des jobs –WMS, LB, et CE –Utilise le service VOMS Services de gestion des données –Autorisation: ACL et (Unix) permissions –L’accès à gLite-IO et aux catalogues se fait à travers des ACLs –Les catalogue eux-même utilisent des ACLs  Actuellement la sécurité est basée sur le DN des certificats  L’intégration des VOMS est en cour Service d’information –Autorisations basées sur VOMS en cours d’intégration

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février LES SERVICES DE LA PREMIERE VERSION DE gLITE

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février Vue globale de gLite version 1 Grid Access Service API Access Services Job Provenance Job Management Services Computing Element Workload Management Package Manager Metadata Catalog Data Services Storage Element Data Management File & Replica Catalog Authorization Security Services Authentication Auditing Information & Monitoring Information & Monitoring Services Application Monitoring Site Proxy Accounting JRA3 UK CERN IT/CZ

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février Services de la release 1 Computing Element –Gatekeeper (Globus) –Condor-C (Condor) –CE Monitor (EGEE) –Local batch system (PBS, LSF, Condor) Workload Management –WMS (EDG) –Logging and bookkeeping (EDG) –Condor-C (Condor) Storage Element –File Transfer/Placement (EGEE) –glite-I/O (AliEn) –GridFTP (Globus) –SRM: Castor (CERN), dCache (FNAL, DESY), other SRMs Catalog –File and Replica Catalog (EGEE) –Metadata Catalog (EGEE) Information and Monitoring –R-GMA (EDG) Security –VOMS (DataTAG, EDG) –GSI (Globus) –Authentication for C and Java based (web) services (EDG)

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février Relation avec LCG

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février Principales différences avec LCG2 Le Workload Management System travaille en mode pull et push Le système de data management et de catalogue a été repensé et fonctionne de façon distribué Catalogues « sécurisés » ( DN et VOMS) Les transferts de données sont ordonnancés Le stockage utilise SRM Information Services: –Fournis le service d’API –La réplication des schéma est possible Déploiement de nouveaux services –Service d’accès à la grille (GAS) –Package manager –Service d’accounting DGAS –Job provenance service Evolution vers les Web Services

Enabling Grids for E-sciencE INFSO-RI Grenoble 25 février Conclusion LCG ne développe pas de services Les futurs services de LCG seront sélectionnés à partir des services de grille qui seront disponibles « sur le marché ». A ce titre, les développement fait dans le cadre d’EGEE se présentent comme les principaux candidats. LCG Phase 2 Planning – Outline Service Timeline