Réunion LCG France18-19 mai ACTIVITES DU GROUPE DE TRAVAIL ACCOUNTING LCG-FR / SA1-FR Cécile Barbier (LAPP)

Réunion LCG France18-19 mai Le groupe de travail Groupe créé en 2008 Mandat avec 3 activités principales :  Accounting dans le cadre EGEE/WLCG  Accounting local ou régional  Point prioritaire : Utilisation des informations nominatives dans le cadre de l’accounting pour le 3 ème point, faire l’analyse détaillée de la situation pour passer le relais aux personnes compétentes :  Recenser les cas d’utilisation  Recenser les documents de référence et politiques applicables  Rédiger un document de synthèse à transmettre à la CNIL tout en suivant les orientations EGEE et WLCG wiki :

Réunion LCG France18-19 mai Avancement du point prioritaire Utilisation des informations nominatives dans le cadre de l’accounting Contexte : nouvelle possibilité de visualisation dans le portail d’accounting EGEE (cf Intra-VO and individual user level accounting in EGEE by Sergio EGEE’08)Intra-VO and individual user level accounting in EGEE Status : informations non remontées pour l’instant par les sites Français en attendant l’avis de la CNIL

Réunion LCG France18-19 mai Rappel sur l’accounting EGEE Les données d’accounting sont envoyées régulièrement des sites vers la base de données centralisée de l’accounting. Cette base de données est hébergée au Grid Operations Centre (GOC) et est utilisée pour fournir un portail web, qui génère une synthèse de l’usage des ressources de grille EGEE/WLCG.

Réunion LCG France18-19 mai Le portail de l’accounting EGEE Les statistiques d’usage sont disponibles pour les utilisateurs de la grille, les administrateurs de VO et les administrateurs de site.

Réunion LCG France18-19 mai Un nouveau niveau de détail La collecte d’informations nominatives encryptées (user DN et userFQAN) est maintenant possible dans l’infrastructure de l’accounting EGEE. Avec ces informations, les VOs peuvent par exemple analyser comment leur production est réalisée entre les différents groupes et rôles qu’elles ont définis et tout utilisateur peut voir la distribution de ses jobs entre ROCs, sites, CPUs, etc... dans chaque site/ROC.

Réunion LCG France18-19 mai Un nouveau niveau de détail Les nouvelles vues permettent de générer dynamiquement différents types de graphes.

Réunion LCG France18-19 mai En résumé 4 nouvelles vues disponibles sur le Portail de l’Accounting EGEE avec de nouvelles fonctionnalités pouvant améliorer la productivité pour les administrateurs des VOs et des sites, les membres des VOs et les utilisateurs. Un portail plus versatile, fournissant des statistiques dynamiques sur les utilisateurs individuels. Des administrateurs de VO qui peuvent analyser la répartition de leur production entre les différents groupes et rôles prédéfinis. Ils peuvent aussi voir la contribution de chacun des Top 10 Users de leur VO à un niveau global ou régional. Des membres de VO qui peuvent voir l’état des différents groupes et rôles de leur VO. Des administrateurs de site qui peuvent vérifier la contribution de chacun des Top 10 Users qui exécutent des jobs sur leur site. Enfin, des utilisateurs qui peuvent voir la répartition de leurs jobs.

Condition sine qua none Chaque site doit autoriser la diffusion de ses informations nominatives vers le GOC en respectant:  la politique locale = aspects légaux français (CNIL)  la politique EGEE/WLCG en veillant particulièrement à :  la confidentialité des données (transmission et archivage)  la durée de rétention des informations incluant le droit à l’oubli  le périmètre de diffusion Nécessité de recenser les cas d’utilisation, les documents de référence et politiques applicables pour rédiger un document de synthèse Colloque LCG France14-15 mars 20079

Réunion LCG France18-19 mai Documents de référence JSPG policiesJSPG policies :

Réunion LCG France18-19 mai Bilan pour le point prioritaire Pas de souci majeur à notre avis par rapport aux critères de la CNIL :  Les informatives nominatives concernées sont celles du certificat GRID2- FR (nom, prénom, professionnel, laboratoire)  Finalité du traitement : statistiques d’usage de ressources informatiques  Information de l’utilisateur assurée lors de son inscription au CNRS et dans la grille EGEE  Diffusion vers un partenaire européen (pas de déclaration supplémentaire à la CNIL) de manière entièrement sécurisée Rédaction d’un document de synthèse détaillé à partir du document mis à jour début 2009 par Dave Kelsey (Grid Policy on the Handling of User-Level Job Accounting Data) accompagné d’une demande de déclaration à la CNIL :Grid Policy on the Handling of User-Level Job Accounting Data  Rédigés dans le contexte actuel de la manière la plus générique possible  Concernant toutes les unités CNRS et les organismes partenaires dans la perspective de la future NGI française : l’Institut des Grilles du CNRS est le déclarant et le chargé du droit d’accès.

Etat actuel du dossier Le dossier sera transmis à la CNIL par Thierry Mouthuy (Responsable Sécurité IN2P3) via la DSI DU CNRS après signature de Guy Wormser en tant que Directeur de l’Institut des Grilles Feedback effectué auprès de Dave Kelsey pour faire préciser les durées de rétention maximale des données statistiques individuelles : laissées pour l’instant à la liberté des administrateurs des VOs et du management de la grille Colloque LCG France14-15 mars

Points 1 et 2 Colloque LCG France14-15 mars Suivi de :  Accounting dans le cadre EGEE/WLCG  Accounting local ou régional En cours pour accounting EGEE/WLCG et régional:  Remplacement de la couche de transport R-GMA par le bus de message ActiveMQ : transparent pour les sites publiant avec APEL (aucun développement nécessaire)  Architecture permettant la régionalisation de l’accounting Le choix se fera dans les régions pour leurs sites : –publier centralement –passer par un système d'accounting régional L'intérêt sera de filtrer les informations données au niveau central.  Travail sur la normalisation des données pour les publier indépendamment du système d’accounting (interopération et intégration des données OSG…) Août 2009 Fin Début 2010

Réunion LCG France18-19 mai Accounting local Importance pour les sites de disposer d'un outil local d'accounting complémentaire aux outils de grille mais difficile d’avoir tous le même (spécificités dans chaque site) Pour le GRIF, mise en place d’un outil graphique à l’IRFU via eclipse BIRT (système de reporting open-source) :  Affichage des données d’APEL  Cron qui interroge le SI toutes les 5 mn sur les queues/CE + stockage du nombre de CPUs disponibles avec specint, status  Comparaison temps CPU disponible/walltime consommé

Réunion LCG France18-19 mai Exemples de graphes au GRIF

Réunion LCG France18-19 mai Accounting local Au LAPP, outil développé depuis fin 2006, en constante évolution et utilisé quotidiennement :  Visualisation de la consommation des ressources de calcul  Surveillance : respect des priorités, répartition des jobs  Analyse des problèmes : demande utilisateur ou administrateur  Suivi de l’utilisation avec compte-rendus (mensuels, annuels) : comité de pilotage, réunions des utilisateurs  Seul inconvénient : outil pas très portable car fortement lié à la configuration de TORQUE/MAUI au LAPP (batch/grille) mais quand même récupéré par l’IPHC pour en faire une version allégée

Réunion LCG France18-19 mai Principe accounting local LAPP DB MySQL Dates Utilisateurs, groupes Nombre de jobs Nombre de CPUs utilisés Temps en queue Temps de calcul Mémoire … Informations TORQUE/MAUI

Réunion LCG France18-19 mai Exemples de graphes au LAPP

Réunion LCG France18-19 mai Questions ?