Services de production grille en France Gilles Mathieu IN2P3-CC France Grilles Frédérique Chollet IN2P3-LAPP LCG France Rencontres France Grilles et LCG-France,

Présentation au sujet: "Services de production grille en France Gilles Mathieu IN2P3-CC France Grilles Frédérique Chollet IN2P3-LAPP LCG France Rencontres France Grilles et LCG-France,"— Transcription de la présentation:

1 Services de production grille en France Gilles Mathieu IN2P3-CC France Grilles Frédérique Chollet IN2P3-LAPP LCG France Rencontres France Grilles et LCG-France, novembre 2013, CC-IN2P3 (Lyon)

2 Contexte Une infrastructure Une infrastructure ◦ Grille de production française (NGI)  E-Infrastructure pour la recherche pluridisciplinaire  Services et ressources distribués deux organisations deux organisations ◦ France Grilles  Groupement d’Intérêt Scientifique entre 8 partenaires  Maître d’ouvrage et responsabilité opérationnelle de la NGI Française  Fédère 18 sites de production (21 laboratoires) ◦ LCG France  Projet de l’IN2P3 et de l’Irfu  Grille thématique au sein de France Grilles  Projet d’infrastructure pour le Calcul LHC en France  Contribution française à la collaboration WLCG  Fédère 10 sites de l’IN2P3/CEA (14 laboratoires et l’IRFU) intégrés à France Grilles Rencontres France Grilles et LCG-France - 11/2013

3 Positionnement France Grilles et LCG France ◦ Structures différentes ◦ Objectifs distincts mais complémentaires ◦ Nombreux intérêts communs ◦ Recouvrement important  Des personnes impliquées  Des ressources et services Est-ce vraiment un problème ? ◦ Pourquoi la complémentarité des missions poserait t- elle un problème ? ◦ Difficultés sans doute => Besoins de clarification Des points à clarifier, à discuter… Rencontres France Grilles et LCG-France - 11/2013

4 Positionnement Situation UK UK NGI et GridPP : un affichage clair Rencontres France Grilles et LCG-France - 11/2013 Source : Claire Devereux, GridPP

5 Positionnement Positionnement similaire en France ◦ LCG France collabore avec France Grilles en tant que grille thématique de la NGI française Rencontres France Grilles et LCG-France - 11/2013 Infrastructure de production de la NGI française, partie prenante de EGI Grille thématique dédiée au calcul LHC Autre Projet d’infrastructure

6 Positionnement Ou, selon le point de vue… ◦ LCG France s’appuie sur certains services opérationnels de France Grilles Rencontres France Grilles et LCG-France - 11/2013 Infrastructure française pour le Calcul LHC, partie prenante de WLCG s’appuie sur l’infrastructure de production de la NGI FR

7 Rappel des objectifs (mai 2013) Clarifier le rôle et les attentes de chacun, en tenant compte : ◦ Des spécificités & besoins de la communauté LHC ◦ De la mission et des moyens de la NGI française Rencontres France Grilles et LCG-France - 11/2013

8 Rappel des idées (mai 2013) Identifier les spécificités de chacun et les thématiques communes ◦ Services (infrastructures, outils, support…) ◦ Expertise (technique, thématique…) ◦ Technologie (middleware, outils…) Identifier les interactions ◦ Afficher les interactions existantes ◦ Repérer les zones d’interaction possible Proposer une démarche concertée Rencontres France Grilles et LCG-France - 11/2013

9 Premier axe de travail : Cartographie de la grille de production française (services, ressources) Rencontres France Grilles et LCG-France - 11/2013

10 Vue haut niveau Rencontres France Grilles et LCG-France - 11/2013 SERVICES OPERATIONNELS RESSOURCES Grille de production : Services sites Grille de production : Services centraux Services internes Réseaux Infrastructures matérielles Support Coordination Ressources humaines OFFRES DE SERVICES VERS LES UTILISATEURS Catalogues des VOS Catalogue France Grilles

11 Vue haut niveau Rencontres France Grilles et LCG-France - 11/2013 SERVICES OPERATIONNELS RESSOURCES Grille de production : Services sites Grille de production : Services centraux Services internes Réseaux Infrastructures matérielles Coordination Ressources humaines OFFRES DE SERVICES VERS LES UTILISATEURS Catalogues des VOS Catalogue France Grilles Services centraux ou collectifs, susceptibles de servir plus d'une VO ou plus d'un site Services à la charge des sites, qui assurent l’intégration au sein d’une infrastructure globale, fiable et sécurisée Services à usage interne aux équipes IT (services d’infrastructure, services techniques) répondant à des exigences d’exploitation plutôt qu’à des besoins utilisateur Services spécifiques aux VOS gérés par les équipes calcul ou support dédié des VOS ou expériences Support

12 Vue détaillée Rencontres France Grilles et LCG-France - 11/2013 SERVICES OPERATIONNELS RESSOURCES Grille de production : Services sites Grille de production : Services centraux Services internes Réseaux (RENATER, campus…) LHC-ONE/LHC-OPN Infrastructures et ressources matérielles des sites et partenaires TopBDII LFC WMS VOMS FTS ARGUS Frontier/SQUID Monitoring Accounting AC GRID2-FR Testbed Outils(wiki, listes, configuration…) CE Support Support Opérationnel Coordination Coordination Sécurité Coordination Technique FG Coordination Technique LCG-FR Ressources humaines : Personnel des laboratoires et partenaires OFFRE DE SERVICES VERS LES UTILISATEURS Catalogue des VOS LHC (PheDEx, AMI, CRAB…) Catalogue France Grilles (FG- DIRAC, FG-iRODS, formation…) Catalogue autres VOs (…) CVMFS Glexec/ARGUS VOboxSquid dCache DPM

13 Qui fait quoi ? Maitrise d’ouvrage (MoA) opérationnelle ◦ Porteur du besoin (pas forcément l’utilisateur) ◦ Celui pour qui est mis en place le service ou les ressources et qui rendra compte de leur utilisation Maitrise d’œuvre (MoE) opérationnelle ◦ Fournisseur du service ou des ressources ◦ Sites et partenaires Rencontres France Grilles et LCG-France - 11/2013

14 Service central - WMS  Porteur du besoin France-Grilles  Fournisseur du service : Sites France Grilles Infrastructure FR réseau LHCOPN / ONE  Porteur du besoin LCG France  Fournisseur du service : Partenaire (Renater) MoA et MoE : Illustration Rencontres France Grilles et LCG-France - 11/2013 MoA : France Grilles MoE : France Grilles MoA : LCG France MoE : Partenaire LHCOPN / LHCONE WMS

15 MoA et MoE : Illustration Rencontres France Grilles et LCG-France - 11/2013 SERVICES OPERATIONNELS RESSOURCES Grille de production : Services sites Grille de production : Services centraux Services internes Réseaux (RENATER, campus…) LHC-ONE/LHC-OPN Infrastructures et ressources matérielles des sites et partenaires TopBDII LFC WMS VOMS FTS ARGUS Frontier/SQUID Monitoring Accounting AC GRID2-FR Testbed Outils(wiki, listes, configuration…) CE Support Support Opérationnel Coordination Coordination Sécurité Coordination Technique FG Coordination Technique LCG-FR Ressources humaines : Personnel des laboratoires et partenaires OFFRE DE SERVICES VERS LES UTILISATEURS Catalogue des VOS LHC (PheDEx, AMI, CRAB…) Catalogue France Grilles (FG- DIRAC, FG-iRODS, formation…) Catalogue autres VOs (…) CVMFS Glexec/ARGUS VOboxSquid dCache DPM

16 Services essentiels au bon fonctionnement d’une infrastructure de production Maîtrise d’ouvrage (MoA) : ◦ doit être assurée par une organisation pérenne (France Grilles) ◦ Ces services ne peuvent pas être gérés en mode « projet » (par LCG-France par ex.) Requièrent une coordination technique et un support opérationnel au niveau de la NGI FR "Services essentiels" Rencontres France Grilles et LCG-France - 11/2013

17 "Services essentiels" Rencontres France Grilles et LCG-France - 11/2013 SERVICES OPERATIONNELS RESSOURCES Grille de production : Services sites Grille de production : Services centraux Services internes Réseaux (RENATER, campus…) LHC-ONE/LHC-OPN Infrastructures et ressources matérielles des sites et partenaires TopBDII LFC WMS VOMS FTS ARGUS Frontier/SQUID Monitoring Accounting AC GRID2-FR Testbed Outils(wiki, listes, configuration…) CE Support Support Opérationnel Coordination Coordination Sécurité Coordination Technique FG Coordination Technique LCG-FR Ressources humaines : Personnel des laboratoires et partenaires OFFRE DE SERVICES VERS LES UTILISATEURS Catalogue des VOS LHC (PheDEx, AMI, CRAB…) Catalogue France Grilles (FG- DIRAC, FG-iRODS, formation…) Catalogue autres VOs (…) CVMFS Glexec/ARGUS VOboxSquid dCache DPM Propriétaire du service (maîtrise d’ouvrage) Fournisseur du service (maîtrise d’œuvre) France Grilles Partenaire France Grilles

18 "Services essentiels" Rencontres France Grilles et LCG-France - 11/2013 SERVICES OPERATIONNELS RESSOURCES Grille de production : Services sites Grille de production : Services centraux Services internes Réseaux (RENATER, campus…) LHC-ONE/LHC-OPN Infrastructures et ressources matérielles des sites et partenaires TopBDII LFC WMS VOMS FTS ARGUS Frontier/SQUID Monitoring Accounting AC GRID2-FR Testbed Outils(wiki, listes, configuration…) CE Support Support Opérationnel Coordination Coordination Sécurité Coordination Technique FG Coordination Technique LCG-FR Ressources humaines : Personnel des laboratoires et partenaires OFFRE DE SERVICES VERS LES UTILISATEURS Catalogue des VOS LHC (PheDEx, AMI, CRAB…) Catalogue France Grilles (FG- DIRAC, FG-iRODS, formation…) Catalogue autres VOs (…) CVMFS Glexec/ARGUS VOboxSquid dCache DPM Propriétaire du service (maîtrise d’ouvrage) Fournisseur du service (maîtrise d’œuvre) France Grilles Partenaire France Grilles

19 Services collectifs servant plus d'une VO ou plus d’un site Gestion VO, Brokering des jobs, File Catalog, Système d’information…  Porteur du besoin : France Grilles  Fournisseur du service : sites France Grilles Cas des VOS LHC : ◦ Service VOMS opérés au CERN ◦ Dé-commissionnement en cours : WMS, LFC ◦ TopBDIIs : pas de spécificité LCG, valeur ajoutée instances FR pour LCG ? Services centraux France Grilles Rencontres France Grilles et LCG-France - 11/2013

20 Services centraux France Grilles Rencontres France Grilles et LCG-France - 11/2013 SERVICES OPERATIONNELS RESSOURCES Grille de production : Services sites Grille de production : Services centraux Services internes Réseaux (RENATER, campus…) LHC-ONE/LHC-OPN Infrastructures et ressources matérielles des sites et partenaires TopBDII LFC WMS VOMS FTS ARGUS Frontier/SQUID Monitoring Accounting AC GRID2-FR Testbed Outils(wiki, listes, configuration…) CE Support Support Opérationnel Coordination Coordination Sécurité Coordination Technique FG Coordination Technique LCG-FR Ressources humaines : Personnel des laboratoires et partenaires OFFRE DE SERVICES VERS LES UTILISATEURS Catalogue des VOS LHC (PheDEx, AMI, CRAB…) Catalogue France Grilles (FG- DIRAC, FG-iRODS, formation…) Catalogue autres VOs (…) CVMFS Glexec/ARGUS VOboxSquid dCache DPM Propriétaire du service (maîtrise d’ouvrage) Fournisseur du service (maîtrise d’œuvre) France Grilles Partenaire France Grilles

21 Services utilisés par plusieurs VOS LHC  Porteur du besoin : LCG-France  Fournisseur du service : CC-IN2P3 (site LCG-France)  Support dédié LCG (support Tier-1, experts expériences) Cache de métadonnées LCG (Frontier / SQUID) Transfert de fichiers (FTS)  Utilisé par plusieurs VOs LHC (+ VO Auger)  Supporté par EGI, donc intérêt potentiel au-delà LCG Quid d’un éventuel service de bannissement / Gestion des autorisations centralisée (ARGUS) ? MoA-MoE : LCG-France Encore une coordination technique (!) Mutualisation du Support opérationnel Et les autres services centraux… Et les autres services centraux… Rencontres France Grilles et LCG-France - 11/2013

22 Services centraux (tous) Rencontres France Grilles et LCG-France - 11/2013 SERVICES OPERATIONNELS RESSOURCES Grille de production : Services sites Grille de production : Services centraux Services internes Réseaux (RENATER, campus…) LHC-ONE/LHC-OPN Infrastructures et ressources matérielles des sites et partenaires TopBDII LFC WMS VOMS FTS ARGUS Frontier/SQUID Monitoring Accounting AC GRID2-FR Testbed Outils(wiki, listes, configuration…) CE Support Support Opérationnel Coordination Coordination Sécurité Coordination Technique FG Coordination Technique LCG-FR Ressources humaines : Personnel des laboratoires et partenaires OFFRE DE SERVICES VERS LES UTILISATEURS Catalogue des VOS LHC (PheDEx, AMI, CRAB…) Catalogue France Grilles (FG- DIRAC, FG-iRODS, formation…) Catalogue autres VOs (…) CVMFS Glexec/ARGUS VOboxSquid dCache DPM Propriétaire du service (maîtrise d’ouvrage) Fournisseur du service (maîtrise d’œuvre) France Grilles LCG France Partenaire Mutualisé France Grilles LCG France

23 Services sites : spécificités LCG Rencontres France Grilles et LCG-France - 11/2013 SERVICES OPERATIONNELS RESSOURCES Grille de production : Services sites Grille de production : Services centraux Services internes Réseaux (RENATER, campus…) LHC-ONE/LHC-OPN Infrastructures et ressources matérielles des sites et partenaires TopBDII LFC WMS VOMS FTS ARGUS Frontier/SQUID Monitoring Accounting AC GRID2-FR Testbed Outils(wiki, listes, configuration…) CE Support Support Opérationnel Coordination Coordination Sécurité Coordination Technique FG Coordination Technique LCG-FR Ressources humaines : Personnel des laboratoires et partenaires OFFRE DE SERVICES VERS LES UTILISATEURS Catalogue des VOS LHC (PheDEx, AMI, CRAB…) Catalogue France Grilles (FG- DIRAC, FG-iRODS, formation…) Catalogue autres VOs (…) CVMFS Glexec/ARGUS VOboxSquid dCache DPM Propriétaire du service (maîtrise d’ouvrage) Fournisseur du service (maîtrise d’œuvre) France Grilles LCG France Partenaire Mutualisé France Grilles LCG France

24 Services sites : Mutualisés Rencontres France Grilles et LCG-France - 11/2013 SERVICES OPERATIONNELS RESSOURCES Grille de production : Services sites Grille de production : Services centraux Services internes Réseaux (RENATER, campus…) LHC-ONE/LHC-OPN Infrastructures et ressources matérielles des sites et partenaires TopBDII LFC WMS VOMS FTS ARGUS Frontier/SQUID Monitoring Accounting AC GRID2-FR Testbed Outils(wiki, listes, configuration…) CE Support Support Opérationnel Coordination Coordination Sécurité Coordination Technique FG Coordination Technique LCG-FR Ressources humaines : Personnel des laboratoires et partenaires OFFRE DE SERVICES VERS LES UTILISATEURS Catalogue des VOS LHC (PheDEx, AMI, CRAB…) Catalogue France Grilles (FG- DIRAC, FG-iRODS, formation…) Catalogue autres VOs (…) CVMFS Glexec/ARGUS VOboxSquid dCache DPM Propriétaire du service (maîtrise d’ouvrage) Fournisseur du service (maîtrise d’œuvre) France Grilles LCG France Partenaire Mutualisé France Grilles LCG France

25 Vue détaillée complète Rencontres France Grilles et LCG-France - 11/2013 SERVICES OPERATIONNELS RESSOURCES Grille de production : Services sites Grille de production : Services centraux Services internes Réseaux (RENATER, campus…) LHC-ONE/LHC-OPN Infrastructures et ressources matérielles des sites et partenaires TopBDII LFC WMS VOMS FTS ARGUS Frontier/SQUID Monitoring Accounting AC GRID2-FR Testbed Outils(wiki, listes, configuration…) CE Support Support Opérationnel Coordination Coordination Sécurité Coordination Technique FG Coordination Technique LCG-FR Ressources humaines : Personnel des laboratoires et partenaires OFFRE DE SERVICES VERS LES UTILISATEURS Catalogue des VOS LHC (PheDEx, AMI, CRAB…) Catalogue France Grilles (FG- DIRAC, FG-iRODS, formation…) Catalogue autres VOs (…) CVMFS Glexec/ARGUS VOboxSquid dCache DPM Propriétaire du service (maîtrise d’ouvrage) Fournisseur du service (maîtrise d’œuvre) France Grilles LCG France Partenaire Mutualisé France Grilles LCG France

26 Analyse et suite à donner L’organisation actuelle est trop compliquée ◦ 2 directions techniques ◦ Difficultés de gestion globale Support opérationnel ◦ Indispensable pour les "Services Essentiels" ◦ Point d’accès unique sinon rien ◦ Utile pour l’ensemble des services ◦ Doit être mutualisé Rencontres France Grilles et LCG-France - 11/2013

27 Vue LCG-France LCG-France ne devrait être maître d’ouvrage QUE de quelques services spécifiques via : ◦ une direction technique ◦ un support dédié au calcul LHC Au-delà, LCG-France doit s’appuyer sur une infrastructure opérée par différents partenaires : ◦ France Grilles : les "services essentiels" ◦ Renater / CC-Telecom : connectivité réseau LCHOPN / LHCONE ◦ CC-IN2P3 : FTS, Frontier / Squid Rencontres France Grilles et LCG-France - 11/2013

28 Vue France Grilles France Grilles doit continuer d’assurer la Maîtrise d’Ouvrage des "services essentiels" via : ◦ Une direction technique ◦ Un support opérationnel FG doit s’appuyer sur les projets d’infrastructures (dont LCG France) pour opérer certains services et mutualiser le support Rencontres France Grilles et LCG-France - 11/2013

29 Vue commune Complémentarité des organisations ◦ FG et LCG-FR doivent proposer une répartition "logique" de la maîtrise d’ouvrage des services Mutualisation des services ◦ doit permettre d’optimiser les coûts opérationnels Rencontres France Grilles et LCG-France - 11/2013

30 Eléments de discussion Rencontres France Grilles et LCG-France - 11/2013

31 Une proposition France Grilles assure un rôle moteur pour fédérer le calcul (grilles et Cloud) LCG France assure un rôle de fédération au niveau du stockage La maîtrise d’œuvre est assurée par les sites, indépendamment de la MoA Le support opérationnel est mutualisé (entre toutes les MoE concernées) Rencontres France Grilles et LCG-France - 11/2013

32 Pour aller plus loin : que se passerait-il si… Quelques scénarios imaginatifs : ◦ FG disparait  Fin de notre participation à EGI  Fin de la grille pluridisciplinaire  LCG-FR doit reprendre à son compte les services nécessaires ◦ LCG-FR délègue son infrastructure à FG  LCG-FR devient « client » de FG sur un modèle de contribution en nature  L’opération de l’infrastructure sort des missions de LCG-FR Rencontres France Grilles et LCG-France - 11/2013