Réunion LCG France18-19 mai 20091 ACTIVITES DU GROUPE DE TRAVAIL ACCOUNTING LCG-FR / SA1-FR Cécile Barbier (LAPP)

Présentation au sujet: "Réunion LCG France18-19 mai 20091 ACTIVITES DU GROUPE DE TRAVAIL ACCOUNTING LCG-FR / SA1-FR Cécile Barbier (LAPP)"— Transcription de la présentation:

1 Réunion LCG France18-19 mai 20091 ACTIVITES DU GROUPE DE TRAVAIL ACCOUNTING LCG-FR / SA1-FR Cécile Barbier (LAPP)

2 Réunion LCG France18-19 mai 2009 2 Le groupe de travail Groupe créé en 2008 Mandat avec 3 activités principales :  Accounting dans le cadre EGEE/WLCG  Accounting local ou régional  Point prioritaire : Utilisation des informations nominatives dans le cadre de l’accounting pour le 3 ème point, faire l’analyse détaillée de la situation pour passer le relais aux personnes compétentes :  Recenser les cas d’utilisation  Recenser les documents de référence et politiques applicables  Rédiger un document de synthèse à transmettre à la CNIL tout en suivant les orientations EGEE et WLCG wiki : http://lcg.in2p3.fr/wiki/index.php/LCG-FR_/_SA1-FR_Accounting_WG http://lcg.in2p3.fr/wiki/index.php/LCG-FR_/_SA1-FR_Accounting_WG

3 Réunion LCG France18-19 mai 2009 3 Avancement du point prioritaire Utilisation des informations nominatives dans le cadre de l’accounting Contexte : nouvelle possibilité de visualisation dans le portail d’accounting EGEE (cf Intra-VO and individual user level accounting in EGEE by Sergio Díaz @ EGEE’08)Intra-VO and individual user level accounting in EGEE Status : informations non remontées pour l’instant par les sites Français en attendant l’avis de la CNIL

4 Réunion LCG France18-19 mai 2009 4 Rappel sur l’accounting EGEE Les données d’accounting sont envoyées régulièrement des sites vers la base de données centralisée de l’accounting. Cette base de données est hébergée au Grid Operations Centre (GOC) et est utilisée pour fournir un portail web, qui génère une synthèse de l’usage des ressources de grille EGEE/WLCG.

5 Réunion LCG France18-19 mai 2009 5 Le portail de l’accounting EGEE Les statistiques d’usage sont disponibles pour les utilisateurs de la grille, les administrateurs de VO et les administrateurs de site.

6 Réunion LCG France18-19 mai 2009 6 Un nouveau niveau de détail La collecte d’informations nominatives encryptées (user DN et userFQAN) est maintenant possible dans l’infrastructure de l’accounting EGEE. Avec ces informations, les VOs peuvent par exemple analyser comment leur production est réalisée entre les différents groupes et rôles qu’elles ont définis et tout utilisateur peut voir la distribution de ses jobs entre ROCs, sites, CPUs, etc... dans chaque site/ROC.

7 Réunion LCG France18-19 mai 2009 7 Un nouveau niveau de détail Les nouvelles vues permettent de générer dynamiquement différents types de graphes.

8 Réunion LCG France18-19 mai 2009 8 En résumé 4 nouvelles vues disponibles sur le Portail de l’Accounting EGEE avec de nouvelles fonctionnalités pouvant améliorer la productivité pour les administrateurs des VOs et des sites, les membres des VOs et les utilisateurs. Un portail plus versatile, fournissant des statistiques dynamiques sur les utilisateurs individuels. Des administrateurs de VO qui peuvent analyser la répartition de leur production entre les différents groupes et rôles prédéfinis. Ils peuvent aussi voir la contribution de chacun des Top 10 Users de leur VO à un niveau global ou régional. Des membres de VO qui peuvent voir l’état des différents groupes et rôles de leur VO. Des administrateurs de site qui peuvent vérifier la contribution de chacun des Top 10 Users qui exécutent des jobs sur leur site. Enfin, des utilisateurs qui peuvent voir la répartition de leurs jobs.

9 Condition sine qua none Chaque site doit autoriser la diffusion de ses informations nominatives vers le GOC en respectant:  la politique locale = aspects légaux français (CNIL)  la politique EGEE/WLCG en veillant particulièrement à :  la confidentialité des données (transmission et archivage)  la durée de rétention des informations incluant le droit à l’oubli  le périmètre de diffusion Nécessité de recenser les cas d’utilisation, les documents de référence et politiques applicables pour rédiger un document de synthèse Colloque LCG France14-15 mars 20079

10 Réunion LCG France18-19 mai 2009 10 Documents de référence JSPG policiesJSPG policies :

11 Réunion LCG France18-19 mai 2009 11 Bilan pour le point prioritaire Pas de souci majeur à notre avis par rapport aux critères de la CNIL :  Les informatives nominatives concernées sont celles du certificat GRID2- FR (nom, prénom, e-mail professionnel, laboratoire)  Finalité du traitement : statistiques d’usage de ressources informatiques  Information de l’utilisateur assurée lors de son inscription au CNRS et dans la grille EGEE  Diffusion vers un partenaire européen (pas de déclaration supplémentaire à la CNIL) de manière entièrement sécurisée Rédaction d’un document de synthèse détaillé à partir du document mis à jour début 2009 par Dave Kelsey (Grid Policy on the Handling of User-Level Job Accounting Data) accompagné d’une demande de déclaration à la CNIL :Grid Policy on the Handling of User-Level Job Accounting Data  Rédigés dans le contexte actuel de la manière la plus générique possible  Concernant toutes les unités CNRS et les organismes partenaires dans la perspective de la future NGI française : l’Institut des Grilles du CNRS est le déclarant et le chargé du droit d’accès.

12 Etat actuel du dossier Le dossier sera transmis à la CNIL par Thierry Mouthuy (Responsable Sécurité IN2P3) via la DSI DU CNRS après signature de Guy Wormser en tant que Directeur de l’Institut des Grilles Feedback effectué auprès de Dave Kelsey pour faire préciser les durées de rétention maximale des données statistiques individuelles : laissées pour l’instant à la liberté des administrateurs des VOs et du management de la grille Colloque LCG France14-15 mars 200712

13 Points 1 et 2 Colloque LCG France14-15 mars 200713 Suivi de :  Accounting dans le cadre EGEE/WLCG  Accounting local ou régional En cours pour accounting EGEE/WLCG et régional:  Remplacement de la couche de transport R-GMA par le bus de message ActiveMQ : transparent pour les sites publiant avec APEL (aucun développement nécessaire)  Architecture permettant la régionalisation de l’accounting Le choix se fera dans les régions pour leurs sites : –publier centralement –passer par un système d'accounting régional L'intérêt sera de filtrer les informations données au niveau central.  Travail sur la normalisation des données pour les publier indépendamment du système d’accounting (interopération et intégration des données OSG…) Août 2009 Fin 2009 - Début 2010

14 Réunion LCG France18-19 mai 2009 14 Accounting local Importance pour les sites de disposer d'un outil local d'accounting complémentaire aux outils de grille mais difficile d’avoir tous le même (spécificités dans chaque site) Pour le GRIF, mise en place d’un outil graphique à l’IRFU via eclipse BIRT (système de reporting open-source) :  Affichage des données d’APEL  Cron qui interroge le SI toutes les 5 mn sur les queues/CE + stockage du nombre de CPUs disponibles avec specint, status  Comparaison temps CPU disponible/walltime consommé

15 Réunion LCG France18-19 mai 2009 15 Exemples de graphes au GRIF

16 Réunion LCG France18-19 mai 2009 16 Accounting local Au LAPP, outil développé depuis fin 2006, en constante évolution et utilisé quotidiennement :  Visualisation de la consommation des ressources de calcul  Surveillance : respect des priorités, répartition des jobs  Analyse des problèmes : demande utilisateur ou administrateur  Suivi de l’utilisation avec compte-rendus (mensuels, annuels) : comité de pilotage, réunions des utilisateurs  Seul inconvénient : outil pas très portable car fortement lié à la configuration de TORQUE/MAUI au LAPP (batch/grille) mais quand même récupéré par l’IPHC pour en faire une version allégée

17 Réunion LCG France18-19 mai 2009 17 Principe accounting local LAPP DB MySQL Dates Utilisateurs, groupes Nombre de jobs Nombre de CPUs utilisés Temps en queue Temps de calcul Mémoire … Informations TORQUE/MAUI

18 Réunion LCG France18-19 mai 2009 18 Exemples de graphes au LAPP

19 Réunion LCG France18-19 mai 2009 19 Questions ?