Un outil pour découper les arbres ROOT

Slides:



Advertisements
Présentations similaires
TSkim Un outil pour découper les arbres ROOT. Introduction De nombreuses expériences de physique stockent leurs données sous forme d’arbres ROOT. Une.
Advertisements

Developpement Process « Coding party !! » Tony Carnal Altran.
GIS Working Group coordonné par UNJLC Base de données géographiques Les trois axes d’actions d’UNJLC Réunion du 04/03/2006 GIS Unit - UNJLC.
FAIRE SA BIBLIOGRAPHIE DE THESE AVEC ZOTERO Traitements de texte pris en compte: Word et LibreOffice.
GCstar Gestionnaire de collections personnelles Christian Jodar (Tian)
1 Après 3 séances ● Utilisation du système Linux – Il faut maîtriser l'utilisation de la souris (« copy/paste » des textes donnés) – Utilisation de la.
PRESENTATION DU LOGICIEL Edité par. … et plus encore - De gérer vos présentations : individuelle, découverte ou en réunion et de générer vos précommandes.
1 Après 5 séances ● Utilisation du système Linux – Il faut maîtriser l'utilisation de la souris (« copy/paste » des textes donnés) – Utilisation de la.
Présentation python : Épisode 1 ● Introduction à Python ● Les types de base et leur manipulation ● Les structures de contrôle ● Les fonctions Étienne Loks.
1 Le stage informatique de Masters APIM et PIE (2012/2013) Ivana Hrivnacova Vincent Lafage Basé sur le stage informatique du LAL et IPN par (2005/2006):
1 Programmation en C++ Fonctions ● Déclaration et définition de fonctions ● Arguments ● Surcharge ● Arguments optionnels ● Fonctions constantes ● Fonctions.
Plugin Eclipse pour le langage LUA Responsable Fabrice Huet Chef de Projet Jérôme Poisson Développeurs Lu Deng Guillaume Ghibaudo Julien Raverdino Anthony.
Portage d'une application sur GPU CreditCruncher.
Février 2006X. Belanger / Guilde Introduction à. Février 2006X. Belanger / Guilde Qu'est ce que Samba ? ● Implémentation libre du protocole CIFS/SMB (client.
Go2ACT Echange de données entre les géomètres officiels et l’Administration du Cadastre et de la Topographie.
Partager plus pour travailler mieux : La bourse aux échanges CÉSAR.
Système d’annotation et de détection de modèle de véhicule Université de Sfax *** Institut Supérieur d’Informatique et de Multimédia de Sfax Réalisé par.
A partir du 1er mars 2016 : 2 offres
Windows NT/2000/XP Enjeux et contraintes techniques
AMUE – SIFAC Intégration Fichier Mouvements BDF
Licence Informatique DEVELOPPEUR ANDROID
Environnement de développement des BD
Construire des requêtes
Plateforme CountrySTAT Aperçu global des métadonnées dans la nouvelle plateforme CountrySTAT FORMATION DES POINTS FOCAUX SUR LE SYSTEME CountrySTAT.
Les P G I Les Progiciels de Gestion Intégrés
Le Répertoire National des Structures de Recherche – RNSR
Gestion de version centralisée et décentralisée
Sous menu de l’application «micro» (‘IHM’)
Le « Bugtracking » Alejandro FERNANDEZ – Etienne FONTEIX
Le suivi de fabrication
Résolution de grilles Slither Link
Séminaire EOLE Beaune Septembre 2007
Javadoc et débogueur Semaine 03 Version A17.
Status logiciel 29 avril 2010.
OWL-S.
De l’étude du système d’information à la mise en œuvre sous Access
Les objectifs du cours Savoir utiliser un Tableur
Stage-ingénieur dans la société TOOL
Session 1 31 mai 2017 Plateforme ICONICS Justine Guégan
Esabora.archives 28/07/2010.
Comptes régionaux Perspectives
Amélioration de la qualité des forfaits
C. Loomis (LAL-Orsay) Tutorial EGEE Utilisateur (LAL) 2 février 2007
Fonctionnement et workflow
Elaboré par Ahmed BESSAIDI
Technologies de l’intelligence d’affaires Séance 12
Sicpa Ovins-Caprins (Geedoc) Réforme - Lot Physique - Expérimentation
Programmation en C++ Fonctions
Chapitre 7 Configuration de l'environnement du bureau
TreqS TReqS 1.0.
 Introduction L’électrotechnique et l’électronique de puissance ont leur place dans les fonctions de traction/freinage dynamique et les auxiliaires associés.
Type Concret – Type Abstrait
UNITE 3: Production du jeu vidéo
LCG –France Tier2 & AF Réunion de Coordination – Problèmes récurrents des VOs 10 Septembre – 21 Octobre Hélène CORDIER.
Capitalisation des bases de données des expériences innovantes
Royaume de Maroc Université Hassan Premier Settat Faculté des Sciences et Techniques de Settat LA CLASSIFICATION K-MEANS SOUS R /MATLAB Master :Automatique.
Amélioration de la qualité des forfaits Vers la démarche CMM.
Plateforme CountrySTAT Aperçu global des métadonnées dans la nouvelle plateforme CountrySTAT FORMATION DES POINTS FOCAUX SUR LE SYSTEME CountrySTAT.
L1 Technique informatique
Production Activity Control
TGV Trigger Générique Vme Face avant Tri d’événements de physique
Pascal Belaud – Microsoft France
Conseils d’utilisation
KoXo Développement Outils de gestion de réseaux
PLATE FORME DE GESTION ÉLECTRONIQUE DE DOCUMENTS Présenté par: Amine LARIBI.
Projet CRImage UNIVERSITE STENDHAL GRENOBLE
Boulain Joris, Handouz Yassine, Regnier Fabien, Giraud Antoine
Les données structurées et leur traitement
DONNÉE DE BASE QM Manuel de formation. Agenda 2  Introduction  Objectif de la formation  Données de base QM: Caractéristique de contrôle Catalogue.
Business Intelligence en ACube OLAP et Reporting avec ACubeOLAP et GRaM.
Transcription de la présentation:

Un outil pour découper les arbres ROOT TSkim Un outil pour découper les arbres ROOT Subversion == SVN

Motivation De nombreuses expériences de physique stockent leurs données sous forme d’arbres ROOT. Une activité récurrente des chercheurs consiste à établir des critères pour définir quels événements physiques sont intéressants, et à extraire des fichiers ROOT les données attachées à ces événements particuliers . TSkim a été développé pour les y aider. Initialement un simple couple de scripts PERL et ROOT pour l’expérience FERMI, l'outil est à présent devenu suffisamment élaboré pour s’ouvrir à d'autres expériences.

Plan Présupposés sur l’organisation des données Configuration et Entrées/Sorties de TSkim Détails sur les variables d’environnement et les fichiers de configuration Quelques détails d’implémentation. Perspectives et conclusions

Organisation des données m_runId EvtRun m_runId m_eventId EvtEventId m_eventId 2 15 2 15 2 15

Config/Entrées/Sorties de TSkim MetaData.txt LibraryList.txt BranchList.txt FileList.txt EventList.txt TSkim BeamTest_jobinfo.root BeamTest_merit.root BeamTest_digi.root BeamTest_X.root BeamTest_X.root libBeamTestDigi.so

Exemple de job csh> setenv ROOTSYS /…/v5.18.00c/root csh> setenv TS_META_DATA .../MetaData.txt csh> setenv TS_INPUT_LIBRARY_LIST .../LibraryList.txt csh> setenv TS_INPUT_FILE_LIST .../FileList.txt csh> setenv TS_INPUT_BRANCH_LIST .../BranchList.txt csh> setenv TS_INPUT_EVENT_LIST .../EventList.txt csh> setenv TS_DATA_TYPES "merit:jobinfo:digi" csh> setenv TS_OUT_DIR $PWD csh> tskim setenv GLAST_TASK " … " setenv GLAST_RUN_MIN 0 setenv GLAST_RUN_MAX 9 setenv TS_TCUT_DATA_TYPE "merit" setenv TS_TCUT "ObfGamStatus>0"

Types de données #! SECTION MetaData (merit.treeName) MeritTuple MetaData.txt #! SECTION MetaData (merit.treeName) MeritTuple (merit.runIdBranchName) EvtRun (merit.eventIdBranchName) EvtEventId (jobinfo.treeName) jobinfo (digi.treeName) Digi (digi.runIdBranchName) m_runId (digi.eventIdBranchName) m_eventId (digi.topBranchName) DigiEvent (digi.topBranchType) DigiEvent (digi.libName) libdigiRootData.so

Bibliothèques C++ précompilées LibraryList.txt #! SECTION Libraries /nfs/u09/builds/rh9_gcc32/Beamtest/v3r0907p0/libcommon.so (mc)/nfs/u09/builds/rh9_gcc32/Beamtest/v3r0907p0/libmc.so (digi)/nfs/u09/builds/rh9_gcc32/Beamtest/v3r0907p0/libdigi.so (recon)/nfs/u09/builds/rh9_gcc32/Beamtest/v3r0907p0/librecon.so TS_LIB_DIRS = /nfs/u09/builds/rh9_gcc32/ : … : … TS_LIB_DIR = Beamtest/v3r0907p0 Pour Fermi, mécanisme de détection automatique de la version à partir d’un objet « entête » stocké dans tous les fichiers.

Fichiers ROOT d’entrée FileList.txt #! SECTION Files (merit:jobinfo)/nfs/u35/MC-tasks/BeamTest-10_0000_merit.root (merit:jobinfo)/nfs/u35/MC-tasks/BeamTest-10_0001_merit.root (merit:jobinfo)… (merit:jobinfo)/nfs/u35/MC-tasks/BeamTest-10_0008_merit.root (merit:jobinfo)/nfs/u35/MC-tasks/BeamTest-10_0009_merit.root (digi)/nfs/u35/MC-tasks/BeamTest-10_0000_digi.root (digi)/nfs/u35/MC-tasks/BeamTest-10_0001_digi.root (digi)… (digi)/nfs/u35/MC-tasks/BeamTest-10_0008_digi.root (digi)/nfs/u35/MC-tasks/BeamTest-10_0009_digi.root TS_DATA_DIRS = … : … : … root://… FERMI_TASK = BeamTest-10 FERMI_RUN_MIN = 0 FERMI_RUN_MAX = 9

Sélection des branches BranchList.txt #! SECTION Branches (merit) -* (merit) +PtT* (merit) +Cal* (digi) +m_eventId (digi) +m_runId (digi) +m_acd (digi) -m_cal (digi) …

Sélection des évènements EventList.txt #! SECTION Events #! 2000 entries in original dataset. #! 7 events after cut: 1 8 1 183 1 344 1 553 2 117 2 517 2 980 TS_TCUT = « TkrEnergy>200  » TS_TCUT_DATA_TYPE = merit En l’absence de TCUT et de liste d’évènements, TSkim fusionne les données.

Utilisation d’un fichier CEL MetaData.txt LibraryList.txt BranchList.txt FileList.txt TCUT TSkim BeamTest_jobinfo.root BeamTest_merit.root BeamTest_digi.root BeamTest_X.root Je peux filer un fichier CEL à un collègue, pour qu’il travaille sur le même sous-ensemble d’évènements que moi. On est en train de faire converger les formats txt et le format cel. BeamTest.cel.root BeamTest_X.root libBeamTestDigi.so

Implémentation 1ère Couche en PERL : prépare les variables, attribue les valeurs par défaut, gère la rétro-compatibilité. 2ème Couche en C++ compilé (pour chaque version de ROOT) Ne lit que les branches utiles. Sélection le « Fast Merge » quand c’est approprié. Vérifie que les valeurs de Run/Event IDs sont compatibles avec les indexes ROOT. Outillage : Eclipse, Subversion, Trac, gmake, Oval. Code compilé à cause des limites de l’interpréteur ROOT => sur chaque site il faut précompiler TSkim pour toutes les versions de ROOT mises à disposition des utilisateurs.

Perspectives Appariemment des morçeaux d’événement en utilisant des “time-stamps”. Détection automatiquement des méta-données. Généraliser certaines fonctionnalités FERMI : Analyse automatique des fichiers de données pour établir la version des bibliothèques de description de données. Récupération des noms de fichiers d’entrée depuis une base de données. Gestion de l’évolution des méta-données. Amélioration du format CEL, fourniture d’une API et d’outils pour manipuler les fichiers CEL. Détection automatique des méta-données : dans des cas simples, façon hadd.

Conclusions En production pour FERMI. Très récemment ouvert aux autres expériences. On recherche : De nouveaux utilisateurs hors FERMI. De nouveaux développeurs ?

Références http://llr.in2p3.fr/trac/tskim http://root.cern.ch