Technologies de grille Lyon, 20 mars 2007 Sylvain Reynaud

Présentation au sujet: "Technologies de grille Lyon, 20 mars 2007 Sylvain Reynaud"— Transcription de la présentation:

1 Technologies de grille Lyon, 20 mars 2007 Sylvain Reynaud sylvain.reynaud@in2p3.fr

2 Technologies de grille2 Plan Pourquoi la grille ? Qu'est-ce que la grille ? –Les principes de la grille –Les principes du pair-à-pair Outils de base des grilles –Unicore –Globus Toolkit Le Globus Toolkit dans gLite Middlewares de grille et interopérabilité Les standards Architecture d'une grille (OGSA)

3 Technologies de grille3 Pourquoi la grille ? La recherche en Physique des Hautes Énergies nécessite le traitement d’énormes quantités de données Un exemple : l’expérience LHC au CERN va produire près de 30 péta-octets par an –Où stocker toutes ces données ? –Où trouver la puissance de calcul nécessaire pour les analyser ? Concorde (15 Km) Ballon (30 Km) Pile de CD avec 1 an de données du LHC (~ 20 Km) Mont-Blanc (4.8 Km)

4 Technologies de grille4 Pourquoi la grille ? Actuellement, aucun centre de calcul ne dispose seul de telles capacités. Les technologies de grille permettent d’interconnecter plusieurs sites, qui vont mutualiser leurs ressources informatiques.

5 Technologies de grille5 Pourquoi la grille ? En cas de besoin non régulier de stockage ou de calcul, pour réduire les coûts –matériels –logiciels –humains En cas d'utilisation de plusieurs sites pour leurs spécificités, pour réduire l'effort humain nécessaire En cas de multiples sources de financement pour un même projet En cas de travail coopératif

6 Technologies de grille6 Les principes de la grille VO-AVO-B R R R ? ? ? ? Ressources dispersées et hétérogènes État des ressources et connectivité variables Composition des groupes évolue de façon importante

7 Technologies de grille7 Les principes de la grille Mutualisation des ressources –Matérielles (calcul, stockage) –Logicielles (logiciels avec licences) Utilisation transparente de ressources hétérogènes –Interface commune –Services: sélection automatique de la ressource, … Accès sécurisé à ces ressources Utilisation de normes ouvertes

8 Technologies de grille8 Les principes de la grille Source: GridCafé

9 Technologies de grille9 Les principes du pair-à-pair Utilise les ressources vacantes fournies par des PC sur Internet pour exécuter des applications parallèles de grande taille à moindre coût. –Applications avec peu de données en entrée/sortie (e.g. SETI@Home) Volontariat, pas de réelle compensation –Choix des applications supportées Le propriétaire du PC ne doit pas être gêné –Prioritaire sur l'utilisation de sa machine

10 Technologies de grille10 Les principes du pair-à-pair Pas de garantie de QoS –Volatilité: extinction où utilisation intensive du PC possible à tout instant –35% des machines renvoient au moins un résultat erroné Ressources gratuites et nombreuses –Même calcul exécuté plusieurs fois pour tolérance aux fautes(e.g. BOINC) Hétérogénéité –Processeur, mémoire, réseau, OS Communications –Derrière les pare-feux ou depuis des espaces d'adressage privés Sécurité –Utilisation de techniques de sandboxing (e.g. XtremWeb) –Mais pas d'authentification de l'utilisateur: anonyme Facilité de déploiement et de maintenance

11 Technologies de grille11 Unicore Source: Michael Krüger (Intel)

12 Technologies de grille12 Grid Security Infrastructure (GSI) Globus Toolkit gestion de l’exécution (GRAM) gestion des données (GridFTP) système d’ information (MDS)

13 Technologies de grille13 Resource Broker -G gestion de l’exécution (GRAM) Le Globus Toolkit dans gLite JDL RSL LCG-CE gestion de l’exécution (GRAM) (GRAM)

14 Technologies de grille14 WN SRM Le Globus Toolkit dans gLite gestion des données (GridFTP) GridFTP

15 Technologies de grille15 Le Globus Toolkit dans gLite top-level GIIS sites régions recursive LDAP searches GRIS top-level BDII recursive LDAP searches système d’ information(MDS) site BDII site BDII site BDII site BDII site BDII GRISBDIIGRISBDIIGRISBDIIGRISBDIIGRIS GIP regional top-level BDII grille

16 Technologies de grille16 Le Globus Toolkit dans gLite Grid Security Infrastructure (GSI) gestion de l’exécution (GRAM) gestion des données (GridFTP) système d’ information (MDS)

17 Technologies de grille17 Proxy 1 LCG-CE gestion de l’exécution (GRAM) Proxy 1 Le Globus Toolkit dans gLite Grid Security Infrastructure (GSI) Proxy 1 + rôle Proxy 2 VOMS MyProxy signature

18 Technologies de grille18 Middlewares de grille et interopérabilité ARCGOSNAREGI

19 Technologies de grille19 Middlewares de grille et interopérabilité Redondance des efforts –chaque grille doit s'interfacer avec les autres grilles (SI, meta-scheduler, sécurité…) Interopérabilité parfois unilatérale Grilles régionales non supportées Ne permet pas de profiter des spécificités de chaque grille

20 Technologies de grille20 Les standards Internet soft/hard (TCP/IP, SNTP, …)

21 Technologies de grille21 Les standards Web Services De plus en plus de standards WS-* –WSRF, WSN, WS-Security… Support important de l’industrie Extensibilité –Favorise le consensus sur les standards Faible couplage entre les services Réutilisation –Encapsulation –Composition Portabilité –Machine, OS, langage Internet soft/hard (TCP/IP, SNTP, …) Internet techno (WSDL 2.0, SOAP, XML, XSD, WS-Addressing…) XSD, WS-Addressing…)

22 Technologies de grille22 Les standards WS-* Ressource –données concernant l'état d'une ressource physique ou logique (identifiant, durée, état, type) Notification –souscription à un sujet –envoi de notifications Gestion distribuée –start/stop, statistiques, … Sécurité –messages signés/encryptés –authentification et autorisation Internet soft/hard (TCP/IP, SNTP, …) WS technologies (WSRF, WSN, WSDM, WS-Security, SAML…) WS-Security, SAML…) Internet techno (WSDL 2.0, SOAP, XML, XSD, WS-Addressing…) XSD, WS-Addressing…)

23 Technologies de grille23 Grid technologies (OGSA, DRMAA, SRM, CDDLM, OGSI, CMM…) CDDLM, OGSI, CMM…) Les standards OGSA est une architecture Ouverte Orientée service (SOA) Construite sur une infrastructure de Web Services Construite sur un nombre limité de composants basés sur des standards Internet soft/hard (TCP/IP, SNTP, …) WS technologies (WSRF, WSN, WSDM, WS-Security, SAML…) WS-Security, SAML…) Internet techno (WSDL 2.0, SOAP, XML, XSD, WS-Addressing…) XSD, WS-Addressing…)

24 Technologies de grille24 Les standards: OGSA-WG Utilisation d’une infrastructure commune –WSRF, WSN, WSDM… Utilisation de technologies et standards existants –Évaluation de l’applicabilité des standards actuels pour la grille Analyse des lacunes basée sur les cas d’utilisation –Fournit les directions et les motivations pour engendrer de nouvelles activités de standardisation au sein de l'OGF –Influence/collabore avec les autres organisations de standardisation Intégration avec les ressources existantes –Séparation entre les interfaces et leur implémentation Favoriser l’extension

25 Technologies de grille25 Contexte Services d’ information Services d’ infrastructure Sécurité Gestion des ressources Gestion de l’exécution Services de données Policy Mgmt VO Mgmt Access Integration Transfer Replication Boundary Traversal Integrity Authorization Authentication Resource Notification Distributed Mgmt Event Mgmt MonitoringDiscovery Job Mgmt Logging Execution Planning Workflow Mgmt Workload Mgmt Provisioning Execution DeploymentConfigurationReservation Auto- gestion Heterogeneity Mgmt Service Level Attainment QoS Mgmt Optimization JSDL, OGSA-BES, OGSA-RSS, GRAAP UR, RUS, CDDLM, ACS, CGS OGSA-AuthZ, GSI, CAOPS OGSI, contribution à WSRF, WSN… GSM, DAIS, GFS, DFDL, GridFTP, ByteIO Contexte Services d’ information Services d’ infrastructure Sécurité Gestion des ressources Gestion de l’exécution Services de données Auto- gestion Source: Dave Berry (modified) Interfaces Applications Resource Mgmt Remote Procedure Call Info Retrieval DRMAA, Grid RPC, SAGA, GIR Interfaces Applications Naming Architecture d'une grille (OGSA)

26 Technologies de grille26 RB WMS Architecture d'une grille (OGSA) Job Manager Application Contents Service Config Desc, Deployment & Lifecycle Mgmt Resource Selection Service Basic Execution Service resourceuser Information Service ? ? ? AA AA EPR JSDL CDL data war Description du job (JSDL) Sélection de la ressource (RSS) Déploiement (CDDLM, ACS) Soumission, suivi et contrôle du job (DRMAA, BES) du job (DRMAA, BES) Source: Keisuke Fukui (ACS-WG) Contexte Services d’ information Services d’ infrastructure Sécurité Gestion des ressources Gestion de l’exécution Services de données … … … … … … …… …… …… …… Auto- gestion … … LCG-CE, gLite- CE, CREAM BDII pacman JDL

27 Technologies de grille27 Data Resources Managed Storage Data Resources Storage Element Contexte Services d’ information Services d’ infrastructure Sécurité Gestion des ressources Gestion de l’exécution Services de données … … … … … … …… …… …… …… Auto- gestion … … Architecture d'une grille (OGSA) Transfer Protocols Storage Managemen t Data Managemen t Other Data Services Transfer Registries Service interface Resource interface Source: The Open Grid Services Architecture, Version 1.5 Access Sink/ Source Description Access Sink/ Source Description TransferLookup Storage Non-OGSA client APIs & other services Accès aux données Catalogues Gestion de réplicats Transfert de données Gestion de stockage Gestion de cache File Transfer Service LCG File Catalog GridFTP

28 Technologies de grille28 Architecture d'une grille (OGSA) Authentification et autorisation Multiples infrastructures de sécurité Périmètres de sécurité IsolationDélégation Échange de politiques de sécurité Traçabilité, détection d’intrusion Source: The Open Grid Services Architecture, Version 1.5 Contexte Services d’ information Services d’ infrastructure Sécurité Gestion des ressources Gestion de l’exécution Services de données … … … … … … …… …… …… …… Auto- gestion … … *-proxy- init VOMS? LCAS / LCMAP S Configuration de LCAS/LCMAPS

29 Technologies de grille29 Contexte Services d’ information Services d’ infrastructure Sécurité Gestion des ressources Gestion de l’exécution Services de données … … … … … … …… …… …… …… Auto- gestion … … Architecture d'une grille (OGSA) Execution management Resource reservation Problem determination Accounting Application monitoring Load balancing Service discovery Consumers Information Services Reliable Secure Efficient Producers Asynchronous notification Retrieval Registry Logger Source: Hiro Kishimoto BDII GIP APEL LB R-GMA RB WMS lcg- infosite s Job Provenance

30 Technologies de grille30 Architecture d'une grille (OGSA) Auto-configuration –S’adapte aux changements de l’environnement Déploie/désinstalle suivant la charge Auto-optimisation –Optimise le système suivant les besoins de l’utilisateur Basé sur les SLAs Auto-guérison –Détecte et corrige les problèmes Défaillance d’un composant Violation de la sécurité Auto- Gestion Surveillance Projection Analyse Action Contexte Services d’ information Services d’ infrastructure Sécurité Gestion des ressources Gestion de l’exécution Services de données … … … … … … …… …… …… …… Auto- gestion … … Source: Hiro Kishimoto

31 Technologies de grille31 Architecture d'une grille (OGSA) Domain-specific capabilities OGSA Resources WSDM, WS-Management WSRF/WSN, WS-Transfer/Eventing Data services Security services Execution Management services Infrastructure services Source: Hiro Kishimoto Niveau ressource DMTF Niveau infra- -structure DMTF Contexte Services d’ information Services d’ infrastructure Sécurité Gestion des ressources Gestion de l’exécution Services de données … … … … … … …… …… …… …… Auto- gestion … … Niveau fonctionnel OGSA

32 Technologies de grille32 Architecture d'une grille (gLite) utilisateuradministrateur