D0 Data Pass and Data Tiers Status et perspectives

Présentation au sujet: "D0 Data Pass and Data Tiers Status et perspectives"— Transcription de la présentation:

1 D0 Data Pass and Data Tiers Status et perspectives
9/14/2018 D0 Data Pass and Data Tiers Status et perspectives après 10 mois d’existence du groupe Common Sample Frédéric Déliot CEA-Saclay Data Pass: fixing (pass-2) datasets skimming corrections communes (d0correct) Data Tiers: D0 Data Format Working Group 26-MAI-04, F. Déliot D0-France

2 D0 Data Pass SAM SAM tmb dst tmb d0reco fixer skimmer raw-data tmb tmb
9/14/2018 D0 Data Pass SAM SAM tmb dst tmb d0reco fixer skimmer raw-data tmb tmb SAM SAM SAM Root-output maker d0correct tmb root tmb disque 26-MAI-04, F. Déliot D0-France

3 fixing but: pass-2: pour avoir les dernières corrections /bug fixes
9/14/2018 fixing but: pour avoir les dernières corrections /bug fixes un moyen de re-reconstruire à partir des thumbnails (possible car inclus CalDataChunk) pass-1 (vertexing, corrections de problèmes calorimétriques hardware): 388M d’evts sur CAB de p14.03 à p pass-2: pour: 2nd pass vertexing (si nécessaire), CPS links (si possible) calorimètre: checker board fixing, noise cell killer, T42 en mode killing pour toutes les données (même p ) sur CAB + UTA, près à être testé sur les fermes de FNAL ailleurs (CCIN2P3 ?) si on veut accélérer le processus, besoin de volontaires 26-MAI-04, F. Déliot D0-France

4 9/14/2018 Status du fixing pass-2 vérifications « finales » des objets la semaine dernière actuellement: 10M evts / jour timescale: « terminé » début/milieu juillet (+ skimming) 26-MAI-04, F. Déliot D0-France

5 Datasets Décisions prises au meeting conveners la semaine dernière:
9/14/2018 Datasets Décisions prises au meeting conveners la semaine dernière: TMB pass-2 fixed dataset jusqu’au shutdown d’août (~400 pb-1 avec T42) IDs certification pour la fin août (EM, muon, Jet/MET) JES pour la fin septembre b-id pour septembre/octobre p17: 40 pb-1 pendant le shutdown 1 mois pour certification + améliorations ? installation sur la ferme a la fin du shutdown ID certification + remote reprocessing en 2005 Datasets pour les analyses: été 2004: pass-1 (~150 pb-1) automne 2004: pass-1 (~ 400 pb-1) hiver 2005: pass-2 (~ 400 pb-1) 26-MAI-04, F. Déliot D0-France

6 9/14/2018 Skimming but/status: réduire la taille des datasets utilisées pour l’analyse pour Moriond 2004: 524 M d’evts skimmés sur CAB en 23 skims dans SAM disponible: pass-1 data + données p mise en place du skimming des données pass-2 26-MAI-04, F. Déliot D0-France

7 Futur du skimming futur: carte d’eventflags dans le « event header »
9/14/2018 Futur du skimming futur: carte d’eventflags dans le « event header » filtrage rapide, combinaison de conditions juste après d0reco dans p17 26-MAI-04, F. Déliot D0-France

8 Corrections communes: d0correct
9/14/2018 Corrections communes: d0correct d0correct: but: réunir/standardiser les codes de certification des objets (EM, muon, jets, MET) au niveau des thumbnails formellement, d0correct ne contient pas de code mais appelle les codes de post-processing des différents objets appelé au niveau du root-tuple maker nouveautés: nouvelle version sera directement incluse dans p s’occupe d’enlever les evts dupliqués (dataset Moriond 04) possibilité d’écrire tous les chunks certifiés dans un thumbnail full T42 compatible EM: nouveau likelihood Jet: bug fix dans l’appariement Jet-muon MET: Patrice … 26-MAI-04, F. Déliot D0-France

9 Le futur de d0correct quelques réflexions:
9/14/2018 Le futur de d0correct quelques réflexions: sans doute toujours besoin de d0correct (  fixing) volonté de conserver d0correct au niveau des thumbnails (cf. Common Root Format) pb de définition des « bons » objets pour différentes analyses 26-MAI-04, F. Déliot D0-France

10 D0 Data Format Working Group
9/14/2018 D0 Data Format Working Group qu’est-ce que c’est ? un groupe de travail créé par Jianming il y a ~ 1 mois après le Physics Workshop de l’hiver membres: Herb Greenlee, Slava Kulik, Adam Lyon, Serban Protopopescu, Gordon Watts, Frédéric Déliot pour quoi faire ? charge: revue des formats de data (root) actuellement utilisés pour l’analyse (avantages, inconvénients) recommandations, développement, implémentation d’un format root commun pour les analyses de D0 (en partant de ce qui existe) timescale: premières recommandations à Fresno, implémentation et test pour les données p17. bénéfices: produire centralement un format root pour l’analyse, réduire le développement de software pour l’analyse, faciliter le partage de code, les checks… 26-MAI-04, F. Déliot D0-France

11 Travaux du d0dfwg review:
9/14/2018 Travaux du d0dfwg review: questionnaires à tous les conveners (schéma d’analyse actuel, attentes d’un format root commun) avantages/inconvénients des formats existants (tmb_tree, top_tree, wz_analyze, qcd_analyze, Athena, AADST, edmroot) performances:

12 Quelques points de discussion du d0dfwg
9/14/2018 Quelques points de discussion du d0dfwg spécifications root: MakeClass vs object-based analyses possibilités d’allumer/d’éteindre des branches critères de base du format commun: contenu: suffisamment exclusif pour la plupart des analyses (mais pas toutes!) taille: pas plus gros que les thumbnails actuels (20 kB/evt, si possible moins) vitesse de lecture: beaucoup plus rapide que les thumbnails cycle de développement: plus rapide de celui des packages du framework actuel première décision (non officielle !): un format qui supporte l’analyse object-based est préféré (ça ne veut pas dire plus de MakeClass) 26-MAI-04, F. Déliot D0-France

13 Le Futur du format root commun
9/14/2018 Le Futur du format root commun on est des gens raisonnables ! ça ne va pas résoudre tous les problèmes ça ne doit/va pas remplacer les thumbnails implémentation: on partira de ce qui existe on doit prendre en compte les ressources de computing production/utilisation: progressive d’abord un code commun qui chaque groupe pourra adapter production par groupe puis production centralisée ? possibilités: further skimming à partir du format root commun, production de votre root-tuple favori à partir du format commun 26-MAI-04, F. Déliot D0-France