Projet StratusLab Technologies Cloud et Virtualisation M. Airaj (CNRS/LAL), C. Loomis (CNRS/LAL) LCG-France, CPPM Marseille Juin 2010 The StratusLab project is partially funded by the European Commission through the grant agreement RI

2 Agenda Introduction Générale StratusLab : Le projet StratusLab : La Distribution Open-Source Cloud Intérêt du Cloud pour HEP Conclusions

3 Le « cloud » Cloud modèle de calcul Convergence de plusieurs idées  La maturité de la technologie de Virtualisation  APIs simples (REST, XMLRPC …)  Un besoin de ressource ponctuel Types de « cloud »  Infrastructure as a Service (IaaS)  Platform as a Service (PaaS)  Software as a Service (SaaS) Modèles de « cloud »  Public (Amazon Web service, Google AppEngine, …)  Privé (Interne, …)  Hybride (Fédération des modèles public et privé)

4 Infrastructure as a Service (IaaS) Architecture  Fournir des services virtuels (serveurs, stockage, réseau, …) disponibles comme service sur internet  Ex. Amazon Web Services, GoGrid, FlexiScale, ElasticHosts Avantages  Environnement d’exécution configurable  Accessible à tout moment via une API simple  Contrôle et gestion du cycle de vie des ressources virtualisées Inconvénients  Interfaces non standardisées  Création des machines virtuelles difficile

5 Virtualisation & Cloud CPU  Machines virtuelles créées par les utilisateurs  Dépôt des images virtuelles Gestion des données  La gestion des données dans le cloud : Amazon EBS, Amazon S3.  Gestion des fichiers, gestion des disques Réseau  Gestion (dynamique) des ports entrants et sortants  Attribution d’une adresse IP publique (sur demande) Logiciels « cloud »  Nimbus, Eucalyptus, OpenNebula

6 Grille et Cloud : Des technologies complémentaires Grille : Fédérer les ressources distribuées via des interfaces génériques  Un modèle de sécurité homogène  Partage des ressources via les organisations virtuelles  Une architecture « système de batch »  Gestion de fichiers « Cloud » : Déploiement ponctuel de ressources configurables  Environnement dynamique, élastique, et personnalisé  Des abstractions à plusieurs niveaux (IaaS, PaaS, et SaaS)  Axé sur les technologies de Virtualisation

7 L’Approche StratusLab Créer une distribution « cloud » complète et open-source  Utiliser les technologies grille et « cloud »  Optimiser et simplifier la mise en œuvre des sites  Permettre un accès « cloud » aux infrastructures existantes Qualité de production  Utilisation minimum de deux sites grilles en production  Etude de la performance sur des modèles génériques Des « benchmarks »  « Simulation » : CPU-intensive  « Analysis » : IO-intensive (entrée)  « Filtering » : IO-intensive (entrée & sortie)  « Shared Memory » : application avec plusieurs threads, OpenMP  « Parallel » : application MPI sur plusieurs machines

8 L’Approche StratusLab Exploration de nouvelles fonctionnalités  Mécanismes de partages entre communauté-chercheurs  Nouveaux modes de partage des ressources entre sites  Aspects dynamiques pour l’allocation des ressources Mode de fonctionnement  Engagement direct avec les Utilisateurs et les Administrateurs systèmes  Communauté Bioinformatique, Testeurs de la Distribution  La méthode « Agile », pour la gestion du projet et la publication des releases

9 Grid Resource Center Grid Resource Center with StratusLab Distribution StratusLab Distribution Private Cloud Cloud API Grid Services Public Clouds users

10 Bénéfices Environnement personnalisé et configurable  Réduire le taux d’échec des jobs lié aux environnements hétérogènes  Fournir une infrastructure attractive pour les disciplines scientifiques autre que HEP  Système flexible, pour le gestion des upgrades des systèmes d’exploitations et des logiciels clients Serveurs/services déployés par les organisations virtuelles  Plusieurs exemples existent : VOBoxes, DIRAC Task Queue, …  Actuellement hors grille ou quasi hors grille  Inclure l’orchestration des workflows dans l’infrastructure Amélioration du partage  Versions différentes de logiciels, de bases de données, …  Partage des ressources entre plusieurs sites, et/ou inter-site

11 StratusLab en chiffres StratusLab (StratusLab.eu)  Enhancing Grid Infra. with Virtualization and Cloud Technologies  1 June 2010—31 May 2012 (24 mois)  6 partners from 5 countries (FR, ES, GR, CH, IE)  Budget: 3.1 M€ (2.3 M€ EC)  Effort : 340 PM (~14 FTE) Activities  WP1 (NA): Project Coordination  WP2 (NA): Interaction with Targeted Communities  WP3 (NA): Dissemination  WP4 (SA): Software Integration and Distribution  WP5 (SA): Infrastructure Operation  WP6 (JRA): Innovative Cloud-like Mgt. of Grid Svcs. and Resources

12 Partenaires du projet StratusLab Centre Nationale de la Recherche Scientifique (CNRS, LAL et IBCP)  Coordination du projet, liaison avec les utilisateurs Universidad Complutense de Madrid (UCM)  Coordination technique, développeurs d’OpenNebula Greek Research and Technology Network (GRNET)  Gestion des infrastructures de tests et de la production SixSq Sàrl (SixSq)  Intégration des outils « cloud », gestion des processus du « build » Telefónica Investigación y Dessarrollo (TID)  Développement des fonctionnalités avancées Trinity College Dublin (TCD)  Dissémination, dépôt des images des machines

13 Collaboration Communauté des utilisateurs  Chercheurs  Ingénieurs en informatique, chercheurs-développeurs  Administrateurs de services « VO » Administrateurs de systèmes  Ingénieurs responsables des services grilles, …  Techniciens On cherche :  Chercheurs intéressés par un accès « cloud » aux ressources grilles  Les gens qui veulent déployé leurs services « VO » dynamiquement  Sites qui veulent installer la distribution StratusLab  Feedback de tous les acteurs

14 Conclusions StratusLab::Grille et Cloud Technologies  Complémentaires  Fédération des ressources via les services/techniques de grille  Environnement dynamique, personnalisé et configurable via les interfaces cloud  Première version septembre (M3) et une nouvelle version chaque mois après Bénéfices  Environnements configurables : taux d’erreurs réduit,…  Nouvelles solutions de partage : software configuré, base de données, partage inter-site  VO/User-level services : déploiement de systèmes d’analyses sur l’infrastructure On veut collaborer avec :  Les utilisateurs qui veulent utiliser une ressource « cloud »  Les administrateurs de systèmes qui veulent installer la distribution