Réunion des sites LCG France- Marseille 24-25 juin 2010 1 ACTIVITES DU GROUPE ACCOUNTING FRANCE GRILLES Cécile Barbier (LAPP)

Présentation au sujet: "Réunion des sites LCG France- Marseille 24-25 juin 2010 1 ACTIVITES DU GROUPE ACCOUNTING FRANCE GRILLES Cécile Barbier (LAPP)"— Transcription de la présentation:

1 Réunion des sites LCG France- Marseille 24-25 juin 2010 1 ACTIVITES DU GROUPE ACCOUNTING FRANCE GRILLES Cécile Barbier (LAPP)

2 Réunion des sites LCG France- Marseille 24-25 juin 2010 2 Le groupe de travail Groupe de travail créé en 2008 pour LCG-FR / SA1-FR : mandat avec 3 activités principales  Accounting dans le cadre EGEE/WLCG  Accounting local ou régional  Utilisation des informations nominatives dans le cadre de l’accounting Groupe actuel dans le cadre d’EGI et la NGI France Grilles : nouveau mandat d’un an avec évaluation des besoins humains et matériels pour  L’accounting local à l’échelle des sites  L’accounting spécifique aux projets partenaires  L’accounting régional au niveau de France Grilles  La remontée des enregistrements requis par EGI wiki : https://francegrid.in2p3.fr/index.php?title=Accountinghttps://francegrid.in2p3.fr/index.php?title=Accounting

3 Accounting local Importance pour les sites de disposer d'un outil local d'accounting complémentaire aux outils de grille mais difficile d’avoir tous le même (spécificités dans chaque site) Pour le GRIF, mise en place d’un outil graphique à l’IRFU via eclipse BIRT (système de reporting open-source) :  Affichage des données d’APEL  Cron qui interroge le SI toutes les 5 mn sur les queues/CE  stockage du nombre de CPUs disponibles avec specint, status Réunion des sites LCG France- Marseille 24-25 juin 2010 3

4 Exemples de graphes au GRIF Réunion des sites LCG France- Marseille 24-25 juin 2010 4

5 Accounting local pour les sites Au LAPP, outil développé depuis fin 2006 :  Affichage des données issues des logs Torque/MAUI  stockage du nombre de CPUs disponibles  Cron qui tourne une fois par nuit A l’IPHC depuis 2008, version dérivée de celle du LAPP A Subatech et au LPSC, tests depuis 2009 avec version du LAPP Mise en commun des versions IPHC et LAPP pour en faire une version plus générique :  Meilleure portabilité  Tests en cours au LAPP Réunion des sites LCG France- Marseille 24-25 juin 2010 5

6 Accounting local Réunion des sites LCG France- Marseille 24-25 juin 2010 6

7 Rappel sur l’accounting EGEE Les enregistrements d’accounting sont envoyées des sites vers la base de données centralisée de l’accounting hébergée au GOC (Grid Operations Centre). Portail web pour visualiser l’usage des ressources de grille EGEE/WLCG : http://www3.egee.cesga.es/ gridsite/accounting/CESGA/ egee_view.html http://www3.egee.cesga.es/ gridsite/accounting/CESGA/ egee_view.html Réunion des sites LCG France- Marseille 24-25 juin 2010 7

8 GOCDB et client APEL  STFC-RAL (UK) Portail de visualisation  CESGA (Spain) La France, au travers du groupe de travail Accounting France Grilles, participe au projet EGI-InSPIRE (coordination EGI) pour la partie WP4 (SA1 - Operations) au niveau de 3 tâches :  TSA1.3 : Service Deployment Validation  TSA1.5 : Accounting  TSA1.8 : Providing a Reliable Grid Infrastructure Activité répartie entre IRFU et CNRS L’accounting dans EGI Réunion des sites LCG France- Marseille 24-25 juin 2010 8

9 En cours depuis EGEE III :  Suppression de la dépendance à la couche de transport R-GMA : ActiveMQ est en cours de déploiement sous forme d’un réseau de brokers (Msg Servers) :Msg Servers Déploiement par étapes : déjà déployé au CERN, en Croatie et en Grèce Installation au CC d’un broker commun avec d’autres activités (monitoring, dashboard) Module APEL client en test au CPPM, à l’IRFU et au LAPP : pas de développement nécessaire mais nouveau gLite-APEL en gLite 3.2 à la place de gLite-MON  Nouvelle architecture pour la GOCDB pour permettre la régionalisation de l’accounting version 4 en cours de mise en place : version centrale avec module régional APEL et le portail de l’accounting sont en train de faire la migration vers la GOCDB4 Une instance régional va être déployée au CC Nombreuses actions en cours pour mettre ces fonctionnalités en place et résoudre les problèmes :  cf EGI-InSPIRE – JRA1 Kick-off meeting, 03/06/2010 Activités accounting pour EGI Réunion des sites LCG France- Marseille 24-25 juin 2010 9

10 En France on s’oriente vers une version régionale hébergée au CC :  qui centralisera les données et enverra les données utiles au GOC  intérêt : recueillir aussi les données des sites ‘‘non-EGI’’ : universités, sites en pré-production ou en cours de certification GOCDB4 pour EGI Réunion des sites LCG France- Marseille 24-25 juin 2010 10

11 Autres activités :  Accounting du stockage  Accounting des jobs locaux  Notification automatique des sites en cas de problème de publication  Travail sur la normalisation des données pour les publier indépendamment du système d’accounting (interopération et intégration des données OSG…) L’accounting dans EGI Réunion des sites LCG France- Marseille 24-25 juin 2010 11

12 Le Portail Régional pour EGI OTAG: Accounting portal development plans -Transition to EGI, Amsterdam, March 3, 2010:  Roadmap  Regional Accounting Portal  Requirements from NGIs Portail d’Accounting régional pour les NGI :  basé sur le portail global existant  nouvelles fonctionnalités par rapport portail EGEE 1ère version disponible :  déployée pour Ibergrid (NGI-ES + NGI-PT)‏  recherche de volontaires pour tester dans d’autres NGI  La NGI France l’installera éventuellement lorsque le broker ActiveMQ et la GOCDB régionale seront en place : d’ici là, quelques tests seront effectués sur le package existant Réunion des sites LCG France- Marseille 24-25 juin 2010 12

13 Les portails de l’accounting EGI Réunion des sites LCG France- Marseille 24-25 juin 2010 13

14 Conclusion Transition EGEE  EGI : Bonne visibilité des actions à court terme Travail en commun avec d’autres groupes Beaucoup de glissement dans le déploiement des nouvelles fonctionnalités Pas d’impact particulier sur la disponibilité des informations, les versions centralisées restant à disposition pour l’instant Contact : LCG-SA1FR-ACCOUNTING-L (at) in2p3.fr Réunion des sites LCG France- Marseille 24-25 juin 2010 14

15 Questions ? Réunion des sites LCG France- Marseille 24-25 juin 2010 15