Mod è le de Calcul CMS C. Charlot / LLR CTDR: https://cmsdoc.cern.ch/cms/cpt/tdr/cms-ctdr-bw.pdfhttps://cmsdoc.cern.ch/cms/cpt/tdr/cms-ctdr-bw.pdf.

Présentation au sujet: "Mod è le de Calcul CMS C. Charlot / LLR CTDR: https://cmsdoc.cern.ch/cms/cpt/tdr/cms-ctdr-bw.pdfhttps://cmsdoc.cern.ch/cms/cpt/tdr/cms-ctdr-bw.pdf."— Transcription de la présentation:

1 Mod è le de Calcul CMS C. Charlot / LLR CTDR: https://cmsdoc.cern.ch/cms/cpt/tdr/cms-ctdr-bw.pdfhttps://cmsdoc.cern.ch/cms/cpt/tdr/cms-ctdr-bw.pdf

2 C. Charlot, Colloque LCG-France, déc. 2005 Les donn é es du probl è me Taille des RAW data estimée à 1.5MB pour le run de physique à 2x10 33 ~300kB d’après MC actuel Facteurs multiplicatifs d’après Tevatron  Sous-estimation MC/vraies données: x1.6  HLT commissioning: x1.25  Démarrage, seuils, zéro suppression: x2.5 Taille réelle plus proche de 1.5MB Diminuera avec la connaissance du détecteur  Mais augmentera avec accroissement de la luminosité Taux de déclenchement estimé à 150Hz pour le run de physique à 2x10 33 Taux minimal pour la physique et la calibration: ~100Hz Physique « Standard Model »: + 50 Hz

3 C. Charlot, Colloque LCG-France, déc. 2005 Principes de base Code de reconstruction rapide Re-processing fréquents Traitement des données suivant les priorités décidées par l’expérience Calibration aussi bien que données « Higgs » Streamed primary datasets distribution et processing « priority driven » Distribution jointe des RAW+REC Accès aisé à l’information « brute » Formats de données compacts Copies multiples à de multiples sites

4 C. Charlot, Colloque LCG-France, déc. 2005 Les lots de donn é es primaires Rôle prédominant de la sélection trigger dans l’analyse des données en physique pp Part prédominante du filtrage dans l’analyse Rappel: collisions 40MHz(collisions)  150Hz(offline)  10 -5 Hz(100 évts Higgs dans un plot pour 1 an de stat.) CMS prévoit de s’appuyer fortement sur la définition de lots de données primaires par le système de déclenchement o(50) « primary datasets » (single électrons, diélectons, diphotons,..) Permet une affectation aisée de priorités pour l’analyse et le traitement des données Distribution des données suivant les « primary datasets » Conséquences importantes sur la physique supportée au site i

5 C. Charlot, Colloque LCG-France, déc. 2005 Les tiers de donn é es Données brutes (« RAW »): 1.5MB/evt* Produites par la DAQ du détecteur 150Hz x 1.5MB x 10 7 sec/an: 2.25PB/an 1 copie au T0 et une répartie sur les T1s Données reconstruites (« REC »): 250kB/evt* Produites par le programme de reconstruction Objets reco de bas niveau  Hits reconstruits, clusters calorimétriques, traces, vertex reconstruits,.. Links vers l’information (« RAW ») 1 copie au T0 et une répartie sur les T1s, distribuée avec les RAW => FEVT, utilisée lors des premières analyses Données d’analyse (« AOD »): 50kB/evt* Produites par le programme de reconstruction Objets reco de haut niveau: Electrons, Muons, Taus,..  Track refit possible mais pas pattern recognition répliquées partout, ultimement utilisées dans la plupart des analyses * : pour 2 10 33

6 C. Charlot, Colloque LCG-France, déc. 2005 Data Flow

7 C. Charlot, Colloque LCG-France, déc. 2005 Data Flow

8 C. Charlot, Colloque LCG-France, déc. 2005 Op é rations au Tier0 Les streams du ONLINE arrivent dans un buffer de ~20 jours Séparés en ~50 « primary datasets » comprimés en tailles de fichiers raisonables bâtis suivant les trigger paths Le RAW « primary dataset » est  Archivé sur bande –Place sur le buffer libérée  Envoyé aux machines batch pour la reconstruction au Tier0 Les données RECO produites sont comprimées avec les données RAW correspondantes pour former le format distribuable FEVT RECO archivée sur bande au Tier0 FEVT distribuée aux Tier1s (souscription + push)  Chaque Tier1 reçoit 1/Ntier1 des FEVT soit ~5-10 « primary datasets » –Les « primary dataset » chauds peuvent être distribués à plus que 1 Tier1 Une copie complète des AOD est envoyée à chaque Tier1

9 C. Charlot, Colloque LCG-France, déc. 2005 Les centres Tier1 États actuels des centres ayant déclaré des ressources pour CMS: ASGC (Taiwan) CCIN2P3 (France) CERN CAF FNAL (USA) GridKA (Allemagne) INFN-CNAF (Italie) PIC (Espagne) RAL (UK) Plus déclarations d’intention additionelles de: Chine (IHEP), Corée (CHEP), États nordiques Définition finale et contributions sujettent au MOU LCG entre le CERN et les agences fournissant des moyens de calcul Tier1 ou Tier2

10 C. Charlot, Colloque LCG-France, déc. 2005 Op é rations aux Tier1s Reçoivent et prennent la responsabilité des données FEVT et AOD Dataset courant sur disque Le reste des données principalement sur bande avec cache disque frontal Reçoivent les données simulées reconstruites des Tier2s Les archivent Distribuent les AOD de SIMU à tous les autres Tier1s Servent les données courantes à tous les groupes d’analyses faisant des sélections Possibilités d’analyses locales La plupart des produits d’analyse envoyés aux Tier2 pour analyse Effectuent le reprocessing officiel des données RAW/RECO et SIMU Données SIMU importés depuis Tier2s

11 C. Charlot, Colloque LCG-France, déc. 2005 Les centres Tier2s Les ressources Tier2 font parties du MOU et comptabilisées comme ressources de CMS Chaque Tier2 est associé à un Tier1 particulier, qui lui fournit des services de stockage et d’accès aux données don’t il a besoin Les Tier1 participent également au support des Tier2s La totalité du MC est faite aux Tier2s Rapport MC / data réelles: 1 / 1 Trois types d’utilisation des ressources Tier2 sont envisagés: « local community use » : une fraction des ressource est complètement controlées par les « propriétaires » « CMS controlled use » : une fraction est dédiée à des activitées de processing générales de CMS, i.e. MC et processing d’analyse recquis par les groupes de physiques « Opportunistic use » : chaque physicien de CMS peut utiliser ces ressources via la grille

12 C. Charlot, Colloque LCG-France, déc. 2005 Op é rations aux Tier2s Simulation et reconstruction de la simulation Soumission probablement de façon centralisée via la grille Support aux groupes d’analyses 20-50 utilisateurs, 1-3 groups Groupés par intérêts locaux et de physique Important les dataset depuis les Tier1 CPU disponible pour analyse Études d’amélioration de la reconstruction

13 C. Charlot, Colloque LCG-France, déc. 2005 Les centres Tier3 Structures de calcul servant les besoins des instituts Peuvent fournir des ressources à CMS sur une base « opportunistic » Ne font pas partie du MOU Pas partie intégrante du processing centralisé de CMS pas de support fournit par le computing de CMS Néanmoins une partie importante des ressources pour l’analyse

14 C. Charlot, Colloque LCG-France, déc. 2005 Estimation des besoins

15 C. Charlot, Colloque LCG-France, déc. 2005 Mise en oeuvre du mod è le SC3 « service phase » utilisée comme test d’integration ~0.29PB transférés via PhEDEx (tout SC3) SC3 Phase 2 (2 semaines): 140TB, ~autant que 2004! Débit moyens ~20MB/s end-to- end

16 C. Charlot, Colloque LCG-France, déc. 2005 Mise en oeuvre du mod è le CRAB jobs depuis juillet 2005 (P-TDR analyses jobs) O(100k) jobs 32k en 2 semaines sur 38M evts Taux d’échec encore très important Instabilités RLS, non disponibilités des sites, accès aux données

17 C. Charlot, Colloque LCG-France, déc. 2005 Conclusions Modèle complexe dû à la volumétrie des données à traiter Impossibilité matérielle de traiter/servir l’ensemble des données en un seul site On s’attend à être submergé par les données Aux Tier1s, aux Tier2s, aux Tier3s,.. Nécessité de gérer des priorités, logique de filtrage Néanmoins, un modèle de calcul qui sera déjà beaucoup testé.. ~4ans de pratique de transfert massifs de datasets, assemblage de collections, placement de données pour analyses remote par les end-users via la grille.. mais à coup sûr pas assez!