Accounting régional. Status actuel Base de données node56 : – 22GiB de données – 16 sites – 3.7TiB disponibles… Tous sites sur la base de données node56.

Présentation au sujet: "Accounting régional. Status actuel Base de données node56 : – 22GiB de données – 16 sites – 3.7TiB disponibles… Tous sites sur la base de données node56."— Transcription de la présentation:

1 Accounting régional

2 Status actuel Base de données node56 : – 22GiB de données – 16 sites – 3.7TiB disponibles… Tous sites sur la base de données node56 – Y compris BRGM et UNIV-LILLE – Sauf GRIF : 37 GiB… – Sauf CC : publication directe et trop volumineuse pour appel (cf GRIF ?)

3 Administratif Wiki: – Procédure de migration et avancement : https://francegrid.in2p3.fr/index.php?title=NGI%2 BActiveMQ%2Baccounting https://francegrid.in2p3.fr/index.php?title=NGI%2 BActiveMQ%2Baccounting Mailing list de support et discussion : accounting-l@france-grilles.fr accounting-l@france-grilles.fr Mailing list operations : operations- l@FRANCE-GRILLES.FRoperations- l@FRANCE-GRILLES.FR

4 Administratif bis Gestion/implémentation technique : pour l’instant, F.Schaer + Z.Georgette Corvées administratives : Cécile Barbier Volontaires bienvenus

5 Architecture CE 1 java apel- parser CREAM CE 1 java apel- parser CE 2 java apel- parser CREAM CE 2 java apel- parser … Node56 (mysql) Node56 (mysql) Node06 Java Config ActiveMQ apel-publisher 1 apel-publisher 2 apel-publisher 3 … GOC ActiveMQ CE XACE XB CE YACE YB CE ZACE ZC IRFU

6 Intégration/Modification de site Prise de contact avec accounting-l@france-grilles.fraccounting-l@france-grilles.fr Configuration précoce du site: pas de perte de données induite Création de la base de données (node56) Ouverture du firewall vers chaque IP de CE Création et restriction des accès MySQL Déploiement d’un publisher (compte « cron_publisher » ayant un accès restreint à toutes les bases)  en pratique : ~15 minutes requises pour glaner les données, et déployer les changements. + Le temps nécessaire aux échanges de mails/passwords/config.

7 Rappel : apel-parser Crontab qui va – chercher les logs Du batch system (sge/torque/lsf) Du gatekeeper (logs « dgas ») – Chercher la puissance du CE publiée dans le GIIS/site BDII – publier les données brutes dans une BDD ATTENTION : trop de fichiers dans /var/spool/pbs/server_priv/accounting ET les sous répertoires crashent le parser ! Ménage (bi)annuel requis !

8 Rappel : apel-publisher Crontab qui va – Chercher des données brutes dans une base de données – « Mixer » ces données pour sortir un enregistrement par job – Envoyer cet enregistrement au GOC et le stocker dans la même base de données

9 Travail restant Validation des sauvegardes – Incrémentales journalières – 1 Full dump par semaine – 2 semaines d’historique Mise à jour de la déclaration CNIL

10 Travail restant Ménage automatisé: exemple de GRIF – Table LcgRecords + index : 19.2 GiB – Données temporaires pour 6 mois Table Blah + index : 9.6 GiB Table EventRecords + index : 6.1 GiB – Temps requis pour publisher : > 7H (augmentation rapide) Query_time: 26530 Rows_sent: 504 Rows_examined: 1 143 300 724 !!! Menage REQUIS !! – Temps requis pour nettoyage d’une seule table avec index : >5H

11 Travail restant Monitoring des I/O disque Répartition dans le temps des accès des sites (crontab apel-parser) Création d’une base/table régionale de résumés – Pour un portail régional – Pour des statistiques régionales Mise à disposition d’informations apel-publisher MAIS : – en attente du nouveau schéma d’accounting – En attente d’un éventuel portail régional « tout fait et imminent» – Intégration du CC

12 Conclusion Pour le moment – Un admin SQL + 1 backup officiel – Déploiements firewall/quattor nécessitent une action des admins IRFU (irfugrid_administration@cea.fr)irfugrid_administration@cea.fr Certaines actions « au ralenti » – Seulement 8H par jour (dans l’idéal) à multiplier par le nombre de participants. Veille technologique – Des changements dans l’accounting EMI/gLite sont à venir à moyen terme.