INFSO-RI-508833 Enabling Grids for E-sciencE www.eu-egee.org Les services d’EGEE Fede Eric Inspirée de la présentation de Frédéric Hemmer JRA1 EGEE 1 st.

Présentation au sujet: "INFSO-RI-508833 Enabling Grids for E-sciencE www.eu-egee.org Les services d’EGEE Fede Eric Inspirée de la présentation de Frédéric Hemmer JRA1 EGEE 1 st."— Transcription de la présentation:

1 INFSO-RI-508833 Enabling Grids for E-sciencE www.eu-egee.org Les services d’EGEE Fede Eric Inspirée de la présentation de Frédéric Hemmer JRA1 EGEE 1 st EU Review

2 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 2 Plan Introduction Contexte Objectifs et ligne de conduite Les services La sécurité La release 1 Relation avec LCG2 Conclusion

3 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 3 Introduction Joint Research Activity L’essentiel des développements du projet EGEE se font dans l’activité JRA1 (Middleware Engineering and Integration) JRA2 a en charge la qualité JRA3 a en charge la partie sécurité du projet EGEE JRA4 a en charge la partie réseau Les activités JRA correspondent à 24 % du projet EGEE

4 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 4 Contexte Général L’équipe en charge du design intègre des représentants de divers projets (AliEn, Condor, EDG, Globus,…) Intégration forte des besoins et requêtes venant des applications et des différents projets liés aux grilles de calcul. Première version du middelware d’EGEE (gLite) en Mars 2005

5 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 5 Objectifs et ligne de conduite Fournir un ensemble de composants middelware –Choisir/sélectionner, faire du re-engineering et intégrer des services de grilles. –Évoluer vers une architecture orientée services. –Adopter les standards émanant du GGF –Supporter plusieurs plate-formes. Le choix des services middelware s’effectue sur : –Les besoins des applications (Bio,HEP & Générique )  En particulier les requièrements de LCG’s, ARDA & HepCALII –Les besoins opérationnels  Déploiement, monitoring, packaging,… Supporter et faire évoluer les services –Suivre les standards OGSI –Définir les procédures de re-engineering –Multi plate-formes, multi implémentations et interopérabilité

6 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 6 Coexistence avec les infrastructures déjà existantes –La coexistence avec LCG-2 et OSG (US) est essentielle pour EGEE Autonomie des sites –Réduire les dépendances (limiter les services centralisés) Open source license Principes généraux Point de vue des services –Implémentations multiples et interopérables –Services légers (et si possible déjà existants)  Facilement et rapidement déploiables  Utiliser les services existants si cela est possible Condor, EDG, Globus, LCG, … Portabilité –Construit pour Scientific Linux (RHEL) et Windows Sécurité –Des sites et des applications Performance, scalability, tolérance aux fautes –Comparable à une infrastructure de production EDGVDT... LCG...AliEn

7 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 7 LES SERVICES D’EGEE ( gLite)

8 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 8 Vue globale Grid Access Service API Access Services Job Provenance Job Management Services Computing Element Workload Management Package Manager Metadata Catalog Data Services Storage Element Data Management File & Replica Catalog Authorization Security Services Authentication Auditing Information & Monitoring Information & Monitoring Services Application Monitoring Site Proxy Accounting JRA3 UK CERN IT/CZ

9 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 9 Services de Job Management Ordonnancer et exécuter aussi efficacement que possible des taches sur l’infrastructure de calcul Workload Management System (WMS) –Le point de départ est le WMS de EDG –Supporte le partitionnement des jobs et les jobs avec dépendances –Supporte différents types de replica catalogues –Modifications internes  Au niveau des queues ( meilleur ordonnancement ).  Au niveau des informations sur les ressources.  Au niveau des performances, de l’interopérabilité.  Support des modes push et pull –En développement  Interface web services  Ordonnancement distribué ( interaction entre plusieurs WMS)

10 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 10 Services de Job Management Computing Element (CE) –Service correspondant à un élément de calcul  Implémentation de nouvelles technologies venant de Condor,…. –Web interface  Gestion des jobs (run, cancel, suspend, resume, …) Logging and Bookkeeping Job Provenance –Garder la trace des jobs soumis ( condition d’exécution, exécution,..) sur une longue période Grid Accounting (DGAS) –Conservation des informations d’accounting (utilisation des ressources) pour l’optimisation des règles d’utilisations des ressources et le suivi des consommations sur la grille VOMS –Virtual Organization Membership Service –Introduction de la notion de rôle Advanced Reservation : en développement Backward compatibilité : afin de faciliter les migrations des plate-formes

11 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 11 Stockage de données efficace et fiable. Gestion ( mouvement, accès,…) sur l’infrastructure de grille Storage Element (SE) –Système de stockage basé sur SRM (Storage Resource Management) –Accès aux fichiers à la façon Posix –Transfert (gridFTP) File and Replica Catalog –Résolution entre nom logique ( LFN) et position physique, par URL compatible avec SRM –Catalogue unique ou distribué (en développement) File Transfer and Placement Service –Transferts fiables et relations transactionnelles avec les catalogues Data Scheduler –Transferts des données ordonnancés (comme les jobs) en prenant en compte les caractéristiques des réseaux Metadata Catalog –Des métadata ( limitées) peuvent être attachées aux fichiers et catalogues –Des interfaces vers des catalogues propres à certaines applications sont possibles et certaines définies Services de Gestion des Données

12 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 12 Services d’information et de monitoring Mise à disposition d’informations fiables sur l’état de la grille Monitoring de la grille et des applications qui y tournent R-GMA (Relational Grid Monitoring Architecture) –Suit les standards du GGF GMA –Développements issus de EDG, actuellement utilisés pour l’accounting Producer Service Registry Service Consumer Service API Mediator Schema Service Consumer application Producer application Publish Tuples Send Query Receive Tuples Register Locate Query Tuples SQL “CREATE TABLE” SQL “INSERT” SQL “SELECT”

13 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 13 R-GMA Services de production, consommation, registration et fournisseur de schéma –API simple, compatible avec la version web services du système d’information Service de découverte de API ( services de grille,…) En développement –Version web service –Une interface native en python –Possibilité d’avoir des autorisations fines –Réplication des schémas

14 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 14 Autres services Service d’accès à la grille –Demande émanant des utilisateurs. –Découvrir et manager les services de la grille pour les utilisateurs. Package Manager –Distribuer dynamiquement les logiciels requis par les applications –Pas fait pour installer les services de grilles

15 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 15 Sécurité Présente dans tous les services Services de management des jobs –WMS, LB, et CE –Utilise le service VOMS Services de gestion des données –Autorisation: ACL et (Unix) permissions –L’accès à gLite-IO et aux catalogues se fait à travers des ACLs –Les catalogue eux-même utilisent des ACLs  Actuellement la sécurité est basée sur le DN des certificats  L’intégration des VOMS est en cour Service d’information –Autorisations basées sur VOMS en cours d’intégration

16 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 16 LES SERVICES DE LA PREMIERE VERSION DE gLITE

17 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 17 Vue globale de gLite version 1 Grid Access Service API Access Services Job Provenance Job Management Services Computing Element Workload Management Package Manager Metadata Catalog Data Services Storage Element Data Management File & Replica Catalog Authorization Security Services Authentication Auditing Information & Monitoring Information & Monitoring Services Application Monitoring Site Proxy Accounting JRA3 UK CERN IT/CZ

18 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 18 Services de la release 1 Computing Element –Gatekeeper (Globus) –Condor-C (Condor) –CE Monitor (EGEE) –Local batch system (PBS, LSF, Condor) Workload Management –WMS (EDG) –Logging and bookkeeping (EDG) –Condor-C (Condor) Storage Element –File Transfer/Placement (EGEE) –glite-I/O (AliEn) –GridFTP (Globus) –SRM: Castor (CERN), dCache (FNAL, DESY), other SRMs Catalog –File and Replica Catalog (EGEE) –Metadata Catalog (EGEE) Information and Monitoring –R-GMA (EDG) Security –VOMS (DataTAG, EDG) –GSI (Globus) –Authentication for C and Java based (web) services (EDG)

19 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 19 Relation avec LCG

20 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 20 Principales différences avec LCG2 Le Workload Management System travaille en mode pull et push Le système de data management et de catalogue a été repensé et fonctionne de façon distribué Catalogues « sécurisés » ( DN et VOMS) Les transferts de données sont ordonnancés Le stockage utilise SRM Information Services: –Fournis le service d’API –La réplication des schéma est possible Déploiement de nouveaux services –Service d’accès à la grille (GAS) –Package manager –Service d’accounting DGAS –Job provenance service Evolution vers les Web Services

21 Enabling Grids for E-sciencE INFSO-RI-508833 Grenoble 25 février 2005 21 Conclusion LCG ne développe pas de services Les futurs services de LCG seront sélectionnés à partir des services de grille qui seront disponibles « sur le marché ». A ce titre, les développement fait dans le cadre d’EGEE se présentent comme les principaux candidats. LCG Phase 2 Planning – Outline Service Timeline