Accounting régional

Status actuel Base de données node56 : – 22GiB de données – 16 sites – 3.7TiB disponibles… Tous sites sur la base de données node56 – Y compris BRGM et UNIV-LILLE – Sauf GRIF : 37 GiB… – Sauf CC : publication directe et trop volumineuse pour appel (cf GRIF ?)

Administratif Wiki: – Procédure de migration et avancement : BActiveMQ%2Baccounting BActiveMQ%2Baccounting Mailing list de support et discussion : Mailing list operations : operations-

Administratif bis Gestion/implémentation technique : pour l’instant, F.Schaer + Z.Georgette Corvées administratives : Cécile Barbier Volontaires bienvenus

Architecture CE 1 java apel- parser CREAM CE 1 java apel- parser CE 2 java apel- parser CREAM CE 2 java apel- parser … Node56 (mysql) Node56 (mysql) Node06 Java Config ActiveMQ apel-publisher 1 apel-publisher 2 apel-publisher 3 … GOC ActiveMQ CE XACE XB CE YACE YB CE ZACE ZC IRFU

Intégration/Modification de site Prise de contact avec Configuration précoce du site: pas de perte de données induite Création de la base de données (node56) Ouverture du firewall vers chaque IP de CE Création et restriction des accès MySQL Déploiement d’un publisher (compte « cron_publisher » ayant un accès restreint à toutes les bases)  en pratique : ~15 minutes requises pour glaner les données, et déployer les changements. + Le temps nécessaire aux échanges de mails/passwords/config.

Rappel : apel-parser Crontab qui va – chercher les logs Du batch system (sge/torque/lsf) Du gatekeeper (logs « dgas ») – Chercher la puissance du CE publiée dans le GIIS/site BDII – publier les données brutes dans une BDD ATTENTION : trop de fichiers dans /var/spool/pbs/server_priv/accounting ET les sous répertoires crashent le parser ! Ménage (bi)annuel requis !

Rappel : apel-publisher Crontab qui va – Chercher des données brutes dans une base de données – « Mixer » ces données pour sortir un enregistrement par job – Envoyer cet enregistrement au GOC et le stocker dans la même base de données

Travail restant Validation des sauvegardes – Incrémentales journalières – 1 Full dump par semaine – 2 semaines d’historique Mise à jour de la déclaration CNIL

Travail restant Ménage automatisé: exemple de GRIF – Table LcgRecords + index : 19.2 GiB – Données temporaires pour 6 mois Table Blah + index : 9.6 GiB Table EventRecords + index : 6.1 GiB – Temps requis pour publisher : > 7H (augmentation rapide) Query_time: Rows_sent: 504 Rows_examined: !!! Menage REQUIS !! – Temps requis pour nettoyage d’une seule table avec index : >5H

Travail restant Monitoring des I/O disque Répartition dans le temps des accès des sites (crontab apel-parser) Création d’une base/table régionale de résumés – Pour un portail régional – Pour des statistiques régionales Mise à disposition d’informations apel-publisher MAIS : – en attente du nouveau schéma d’accounting – En attente d’un éventuel portail régional « tout fait et imminent» – Intégration du CC

Conclusion Pour le moment – Un admin SQL + 1 backup officiel – Déploiements firewall/quattor nécessitent une action des admins IRFU Certaines actions « au ralenti » – Seulement 8H par jour (dans l’idéal) à multiplier par le nombre de participants. Veille technologique – Des changements dans l’accounting EMI/gLite sont à venir à moyen terme.