ALICE February/March exercise summary Latchezar Betev WLCG Collaboration Workshop 22 April 2008.

Présentation au sujet: "ALICE February/March exercise summary Latchezar Betev WLCG Collaboration Workshop 22 April 2008."— Transcription de la présentation:

1 ALICE February/March exercise summary Latchezar Betev WLCG Collaboration Workshop 22 April 2008

2 WLCG Collaboration Workshop2 ALICE pendant le CCRC février/mars Le CCRC’08 pendant février/mars coincide avec les tests détecteur (RUN II) Le CCRC’08 pendant février/mars coincide avec les tests détecteur (RUN II) Données détecteur en temps réel – déclenchement cosmique, données pour calibration Données détecteur en temps réel – déclenchement cosmique, données pour calibration Tous les détecteurs ALICE installés étaient actifs Tous les détecteurs ALICE installés étaient actifs Mode d’acquisition standard - ‘global runs’ – incluant tous les détecteurs Mode d’acquisition standard - ‘global runs’ – incluant tous les détecteurs

3 WLCG Collaboration Workshop3 Tâches Offline Enregistrement des données dans CASTOR2 (T0) et dans le catalogue GRILLE Enregistrement des données dans CASTOR2 (T0) et dans le catalogue GRILLE Réplication T0->T1 Réplication T0->T1 Collection des données d’Etat et publication sur la GRILLE Collection des données d’Etat et publication sur la GRILLE Reconstruction quasi en ligne Reconstruction quasi en ligne Passage 1dans T0 Passage 1dans T0 Passage 2 dans les T1s Passage 2 dans les T1s Réplication des ESDs dans CAF/T2s Réplication des ESDs dans CAF/T2s Contrôle qualité Contrôle qualité Production MC et analyse utilisateur dans CAF/T2s Production MC et analyse utilisateur dans CAF/T2s

4 4 Flux et taux des donnée CASTOR2DAQ rfcp 30MB/s moyenne 1.5GB/s pic CAF xrootd T1 storage reco@T0 FTS gridftp 60MB/s xrootd Les taux correspondent à ½ taux de l’acquisition standard p+p (DAQ) + taux réel p+p pour la réplication WLCG Collaboration Workshop

5 5 Time line Les tests ALICE se sont déroulés du 15 février au 10 mars Les tests ALICE se sont déroulés du 15 février au 10 mars 82TB total pour 90K fichiers (0.9 GB/fichier) 70% du volume mensuel p+p

6 6 Réplication T0->T1 Fin de la prise de données 10 mars WLCG Collaboration Workshop Objectif: 60 MB/s

7 7 Réplication T0->IN2P3-CC End of data taking March 10 WLCG Collaboration Workshop WLCG Collaboration Workshop Test avant le Run-III (mai) Fin de la prise de données 10 mars

8 8 Réplication T0->T1 End of data taking March 10 WLCG Collaboration Workshop

9 9 Réplication T0->IN2P3-CC End of data taking March 10 WLCG Collaboration Workshop WLCG Collaboration Workshop

10 10 Réplication des données RAW Résumé L’objectif de 60MB/sec a été atteint, la moyenne sur 3 semaines a été de 125MB/sec Après le 10 mars: reliquat de fichiers, réplication de données particulières dans T2s (données de calibration) 90% des données ont été répliquées en ligne Réplication simultanée avec celle de ATLAS/ CMS and LHCb n’a pas créé de problèmes Des interruptions de transfert momentanées (jusqu’à une journée) sont gérables – les données restent sur disques le temps nécessaire WLCG Collaboration Workshop

11 11 Opération MSS Optimisation de la taille des fichiers et des configurations d’accès Optimisation de la taille des fichiers et des configurations d’accès Tests étendus au CERN pendant les tests de février/mars (applicable à MSS dans T1s?) Tests étendus au CERN pendant les tests de février/mars (applicable à MSS dans T1s?) Points concernés Points concernés La taille moyenne des fichiers est trop basse (écriture sur bande inefficace) La taille moyenne des fichiers est trop basse (écriture sur bande inefficace) Trop de montage des mêmes bandes (utilisation du robot inefficace) Trop de montage des mêmes bandes (utilisation du robot inefficace)

12 WLCG Collaboration Workshop12 Opération MSS (2) Solutions (partielles) applicables dès mai Solutions (partielles) applicables dès mai Données RAW par paquets de 10GB au lieu de 1GB Données RAW par paquets de 10GB au lieu de 1GB ESDs passent de 0.1 GB à 1GB (sans besoin de fusion supplémentaire) ESDs passent de 0.1 GB à 1GB (sans besoin de fusion supplémentaire) Pre-staging de jeux de données ciblant la réplication FTS Pre-staging de jeux de données ciblant la réplication FTS Pour les transferts tardifs, les fichiers ne résident plus sur te tampon disque Pour les transferts tardifs, les fichiers ne résident plus sur te tampon disque Optimisation des points de montage MS Optimisation des points de montage MS Différents pour les données RAW et ESDs Différents pour les données RAW et ESDs Utilisation de l’archivage des fichiers Utilisation de l’archivage des fichiers Tous les fichiers produits pr un job dans un fichier unique enregistré dans MSS Tous les fichiers produits pr un job dans un fichier unique enregistré dans MSS Réunions régulières avec les utilisateurs sur le bon usage de la GRILLE Réunions régulières avec les utilisateurs sur le bon usage de la GRILLE Les fichiers utilisateurs résident dorénavant sur disque et sont répliqués Les fichiers utilisateurs résident dorénavant sur disque et sont répliqués

13 13 Stockage interfacé avec xrootd dCache – stable, nouveaux développements incluant des fonctionnalités supplémentaires de xrootd en cours CCIN2P3, GridKA, NDGF, NL-T1 CASTOR2 – stable, le plus couramment utilisé (version 2.1.6) CERN, CNAF, RAL dCache and DPM dans les T2s (30 SEs actifs) – stable, utilisés pour la production MC et l’analyse utilisateurs GRIF, Clermont, Strasbourg,.. ? WLCG Collaboration Workshop

14 14 T2s et CCRC’08 Fonctionnement normal – production MC et analyse Effort particulier pour installer les SE + xrootd (dCache and DPM) Ces derniers mois - 15 nouveaux SE dans les T2 en Allemagne, Italie, France, République Tchèque, Roumanie, Russie Capacité totale ~200TB HowTo’s et manuels développés avec la participation d’experts des T2s WLCG Collaboration Workshop

15 15 T2s et CCRC’08 (2) Stockage utilisé pour Traitement des données ESDs de MC et RAW Runs de calibration User storage WLCG Collaboration Workshop Traffic des données dans quelques T2s

16 16 Traitement des données Reconstruction Pass 1 @T0 des données de février/mars Reconstruction Pass 1 @T0 des données de février/mars Plusieurs mises à jour du code de reconstruction nécessaires Plusieurs mises à jour du code de reconstruction nécessaires Ressources utilisées au CERN T0 pour la reconstruction des données RAW Une moyenne de 590 jobs pendant 43 jours RB WMS WLCG Collaboration Workshop

17 17 Traitement des données (2) Reconstruction quasi-en ligne difficile à mettre en oeuvre au démarrage: Reconstruction quasi-en ligne difficile à mettre en oeuvre au démarrage: Première fois que la reconstruction est confrontée à des données réelles Première fois que la reconstruction est confrontée à des données réelles Nécessité de révisés le code fréquemment Nécessité de révisés le code fréquemment Toutes les données RAW de février/mars ont été traitées Toutes les données RAW de février/mars ont été traitées Pass 1 dans T0 – CASTOR2 + xrootd a été testé avec succès Pass 1 dans T0 – CASTOR2 + xrootd a été testé avec succès Pass 2 dans T1s – en cours avec une version amélioré du code de reconstruction Pass 2 dans T1s – en cours avec une version amélioré du code de reconstruction WLCG Collaboration Workshop

18 18 Accès au données Reconstruction des données RAW et analyse – accès direct aux données parxrootd Reconstruction des données RAW et analyse – accès direct aux données parxrootd Pas besoin de copier les données sur WN Pas besoin de copier les données sur WN Rapport temps CPU/Wall time amélioré, en particulier pour les jobs d’analyse (surtout I/O) Rapport temps CPU/Wall time amélioré, en particulier pour les jobs d’analyse (surtout I/O) Configuration optimale déterminée suite à des tests intensifs Configuration optimale déterminée suite à des tests intensifs Au CERN (CASTOR2) pour la reconstruction des données RAW Au CERN (CASTOR2) pour la reconstruction des données RAW Idem dans T1s (avril/mai) Idem dans T1s (avril/mai) Dans T2s (dCache, DPM) pour les jobs d’analyse Dans T2s (dCache, DPM) pour les jobs d’analyse Jusqu’à 200-300 tâches simultanées Jusqu’à 200-300 tâches simultanées WLCG Collaboration Workshop

19 19 Résumé Pour ALICE, le CCRC’08 en février/mars a été un succès Pour ALICE, le CCRC’08 en février/mars a été un succès Gestion des données Gestion des données Toutes les expériences en même temps Toutes les expériences en même temps Tests contrôlés et organisation Tests contrôlés et organisation En juin, poursuite sur la gestion des données En juin, poursuite sur la gestion des données Dans T1s – ajout de capacité supplémentaire Dans T1s – ajout de capacité supplémentaire Dans T2s – idem, période d’ajustement nécessaire Dans T2s – idem, période d’ajustement nécessaire WLCG Collaboration Workshop

20 20 Résumé(2) En général, l’enregistrement, le transfert et le traitement des données ont bien fonctionné En général, l’enregistrement, le transfert et le traitement des données ont bien fonctionné ALICE a démarré le RUN3; vitesse de croisière prévue en juin ALICE a démarré le RUN3; vitesse de croisière prévue en juin Nouvelles productions MC dans T2 et analyse Nouvelles productions MC dans T2 et analyse WLCG Collaboration Workshop