Gestion des données : DDM Distributed Data Management

Présentation au sujet: "Gestion des données : DDM Distributed Data Management"— Transcription de la présentation:

1 Gestion des données : DDM Distributed Data Management
L. Poggioli Préambule Le modèle ATLAS DDM Principe, Tests, Suivi, Problèmes Next 11/9/07-PAF L.Poggioli/LAL

2 Préambule Ce talk devrait être donné par S. Jézéquel
Il possède la compétence, connaissance, expertise, suivi, depuis le début Stéphane est maintenant responsable de ATLAS Data Placement Il transmet son savoir à M. Ridel & LP Mélissa : opérations de suivi, cleaning (scripts) Luc : Data placement pour le nuage français Mille mercis à Stéphane, Mélissa, Eric, Alexei Klimentov (CERN DDM) 11/9/07-PAF L.Poggioli/LAL

3 Le modèle ATLAS A.Farbin/UTA Cf; Stathis 11/9/07-PAF L.Poggioli/LAL

4 Le modèle ATLAS (2) 40+ sites Worldwide A.Farbin/UTA 11/9/07-PAF
L.Poggioli/LAL

5 Règle de base : Calculer où sont les données
Le principe Règle de base : Calculer où sont les données Optimiser les ressources de calcul CE (Computing Elements) via la GRILLE Optimiser les ressources de stockage SE (Storage Elements) Distribution des données via DDM Outils d’analyse distribuée : GANGA/PANDA Sur AOD : Pas de problème Sur ESD : Difficile à grande échelle Gros fichier -> moins de réplications Doit se faire au niveau T1 (OK pour Lyon avec AF) Mais pas toutes les T1 (sauf BNL ?). A suivre 11/9/07-PAF L.Poggioli/LAL

6 Production des données
Tier-0 (CERN) Production des ESD/AOD : données ATLAS, cosmiques (M4) Tier-1 Possède ~ 10% ESD & RAW (random) Data ATLAS & Prod MC venant de ses T2 Reprocessing de ses propres RAW Reproduit ESD/AOD associées Tier-2 Analyse Production Monte-Carlo Remonte les données vers son Tier-1 11/9/07-PAF L.Poggioli/LAL

7 Réplication des données (DDM)
Centralisé & automatique (Cf. Computing Model) Données simulées AOD/NTUP/TAG (volume actuel ~1.5 TB/semaine) Chaque T1 a une réplique complète Les T2 définissent quelle fraction ils ont ESD Seuls les T1 en ont une fraction donnée et random (~10%) Release des base de données Répliquées dans chaque Tier . Faible volume de données (~100MB) “Conditions data” Répliquées dans chaque Tier-1 Données Cosmiques RAW : Fraction répliquée à chaque Tier-1s (selon répartition prévue) ESDs : répliquées à chaque T1 & T2selon demande according Un T2 peut demander la réplication des RAW via DDM 11/9/07-PAF L.Poggioli/LAL

8 Recherche d’un dataset : AMI (LPSC)
Fondé sur metadata Fournit tout l’historique d’un dataset 11/9/07-PAF L.Poggioli/LAL

9 Recherche d’un dataset : Panda Monitor (BNL)
Fournit la liste des réplications 11/9/07-PAF L.Poggioli/LAL

10 Transfert des données : Principe
VO box : computer dédié pour transferts et réplications VO box T1 déplacé au CERN Demande au catalogue central : liste des datasets a répliquer Gestion transfert Enregistrement informations dans catalogues locaux et centraux T0 VO box LFC NEW : Déplacé au CERN T1 T1 VO box LFC …. Catalogues généraux centralisés (LFC): Contenus des datasets Localisation des datasets dans les T0-T1-T2 Liste des requêtes de transferts des datasets Catalogues locaux (LFC) Localisation dans le centre des fichiers de chaque dataset Tokyo T2 T2 11/9/07-PAF L.Poggioli/LAL

11 DDM : composants DQ2 dataset catalogs File Transfer Service DQ2
Part of DQ2 Slide from M.Branco Not part of DQ2 DQ2 dataset catalogs Not part of DQ2 File Transfer Service DQ2 “Queued Transfers” Local File Catalog DQ2 Subscription Agents 11/9/07-PAF L.Poggioli/LAL

12 DDM et dq2_ DDM : dq2_ : (dq2_get, _register,_delete…)
Transfert massif de données et enregistrement des nouveaux replicats dans les catalogues dq2_ : (dq2_get, _register,_delete…) Copie locale de quelques fichiers Surcouche sur certains composants de DDM Partie commune : Recherche fichiers d'un dataset et leur localisation Différence principale DDM : Organisation et mise en queue des transferts dq2_ Transfert dès que possible->Stress sur élément de stockage -> Limiter l’usage de DQ2_ au débugging, mais difficile tant que DDM pas totalement opérationnel 11/9/07-PAF L.Poggioli/LAL

13 Requête DDM officielle
Bientôt seul moyen Doit être accréditée par le responsable du data placement du nuage 11/9/07-PAF L.Poggioli/LAL

14 Activités DDM Equipes centrales (CERN) et régionales (T1)
Support de la production MC Réplication des données vers les sites Développement d’outils de monitoring “Data integrity” contrôle (Mélissa) Données dans DDM vs entrées dans LFC DDM est le juge de paix ’zombies’ et fichiers ‘longueur nulle’ Destruction de données invalides/obsolètes Mouvement des données dans un nuage 11/9/07-PAF L.Poggioli/LAL

15 DDM Monitoring : ARDA (1)
T0-> T1 11/9/07-PAF L.Poggioli/LAL

16 DDM Monitoring : ARDA (2)
A gauche liste de tout le nuage associé 11/9/07-PAF L.Poggioli/LAL

17 Monitoring des réplications
Ici nuage français (fonctionne pour autres nuages) 11/9/07-PAF L.Poggioli/LAL

18 Monitoring dans le temps
Ici taille en GB (AOD, ESD, HITS,…) @ LYONDISK (250 TB stockage) 1/04 -> 1/09/2007 AOD : 20 TB today ESD : 50 TB today RDO : 40 TB today (après archivage/cleaning) HITS : 10 TB today (après archivage/cleaning) 11/9/07-PAF L.Poggioli/LAL

19 Prise de donnés cosmiques M4 (1)
En plus de la prod MC Lecture de tout ATLAS avec cosmiques : Run M4 Ecriture sur MBytes/s !! A priori pas d’OFC corrects por LAR reco A reprocesser Réplication RAW : Fraction répliquée à chaque Tier-1s (selon répartition prévue) ESDs : répliquées à chaque T1 & T2 selon demande Un T2 peut demander la réplication des RAW via DDM Test en vraie grandeur T0-> T1s -> T2s 11/9/07-PAF L.Poggioli/LAL

20 Prise de données cosmique M4 (2)
Transferts T1 (LYON) -> T2’s ESD Toutes les T1s Toutes les LYON (requête) ESD réparties dans T2s nuage français Transferts T0 -> T1’s eg LYONDISK (ESD) et LYONTAPE (RAW) LYON 11/9/07-PAF L.Poggioli/LAL

21 Datasets disponibles Exemple LPNHE AOD 11/9/07-PAF L.Poggioli/LAL

22 Volume de données wrt ATHENA
Expérimental (Stéphane) pour données MC 11/9/07-PAF L.Poggioli/LAL

23 Au quotidien Les choses bougent très vite Développement d’outils
Suivi hebdomadaire des meetings Computing Ops (K. Bos) et DDM Ops (A. Klimentov) Développement d’outils Finalité : Automatiques pour limiter manpower Dégager de l’espace disque sur T1 & T2 (Mélissa pour la destruction des datasets obsoletes) eg RAW de prod MC dans T2 une fois remontées au T1 si problème (sinon automatique) Archivage/suppression des RDO en cours Organisation des zones disques pour faciliter transferts & relecture des fichiers 11/9/07-PAF L.Poggioli/LAL

24 Problèmes DDM Taille fichiers Outils Grille encore peu stables
CMS transfère 1k fichiers/jours (But ATLAS 20K fichiers) Gros overhead à chaque réplication (en sus du transfert) FTS -> Regrouper les HITS en fichiers de evts (actuellement 50 evts) Suppression des RDOs Outils Grille encore peu stables Manquent des outils de monitoring eg quelques semaines entre fichier perdu et découverte de la perte 11/9/07-PAF L.Poggioli/LAL

25 Liens utiles AMI Panda Browser ARDA DDM monitoring DDM Wiki
Panda Browser ARDA DDM monitoring DDM Wiki ATLAS France Listes des fichiers sur le nuage Français 11/9/07-PAF L.Poggioli/LAL

26 Next Renforcer DDM ATLAS (orga., manpower) Progrès
Avoir des outils stables de migration FTS Avoir des outils pour blacklister des sites Avoir une ligne de transferts express (eg. EVGEN ou condition database) Plus d’outils de monitoring Comprendre l’utilisation des datasets (analyse/transfert) Besoin d’utilisateurs « disciplinés » Quid des transferts dans les T3 11/9/07-PAF L.Poggioli/LAL

27 Backup 11/9/07-PAF L.Poggioli/LAL

28 ST2 : 100 % AOD, petite fraction ESD,RAW
Le modèle ATLAS A l'intérieur d'un nuage T1: 10 % RAW, 20 % ESD, 100% AOD ST2 : 100 % AOD, petite fraction ESD,RAW “Tier Cloud Model” Unit : 1 T1 + n T2/T3 NG PIC RAL CNAF SARA TWT2 T3 GRIF ASGC Cloud LYON Cloud CERN ASGC LYON Melbourne Tokyo Pékin TRIUMF FZK LPC Romania BNL BNL Cloud GLT2 NET2 MWT2 T1 WT2 T2 T3 VO box, dedicated computer to run DDM services SWT2 11/9/07-PAF L.Poggioli/LAL

29 Le nuage francais Tier-2: GRIF Tier-3: LAPP Tier-2: LPC AF: CC-IN2P3
CEA/DAPNIA LAL LLR LPNHE IPNO Pekin Tokyo Roumanie Strasbourg Ile de France Nantes Tier-3: LAPP Tier-2: LPC Clermont-Ferrand AF: CC-IN2P3 Annecy Lyon Tier-1: CC-IN2P3 Marseille Tier-3: CPPM 11/9/07-PAF L.Poggioli/LAL

30 DDM : Transferts FTS 11/9/07-PAF L.Poggioli/LAL