Compte-rendu W-LCG Workshop & CHEP2007

Slides:



Advertisements
Présentations similaires
Déploiement LCG-2 Etat actuel au CC-IN2P3 Fabio Hernandez Centre de Calcul de l’IN2P3 Lyon, 22 juillet 2004.
Advertisements

LCG-France Edith Knoops CPPM. Le LHC LEP LHC > 95% UNKNOWN STUFF OUT THERE > 95% UNKNOWN STUFF OUT THERE Black hole 3.
Biennale du LPNHE 2011, 20/09/ Le projet GRIF-UPMC : évolution et utilisation Liliana Martin Victor Mendoza Frédéric Derue
Relations Supercalculateurs et Réseaux Dominique Boutigny Prospective Nationale sur les Grilles de Production.
Le Centre de Calcul de l'IN2P3 7 septembre 2010 Dominique Boutigny Un instrument informatique de pointe au service de la recherche Rencontre avec Oracle.
05-fevrier-2007Eric Lancon1 ATLAS Bilan Planning 2007.
Jeudi 12 decembre 2007 Le CC-IN2P3 Un instrument informatique de pointe au service de la recherche Traitement intensif de données et Sciences de la Vie.
Fabio HERNANDEZ Responsable Grid Computing Centre de Calcul de l'IN2P3 - Lyon Lyon, 30 avril 2004 Déploiement LCG-2 au CC-IN2P3 Etat d’avancement.
Evaluation de requêtes Quelques résultats préliminaires 1 Amin Mesmoudi.
Programmation Financière (PF) Gestion financière des projets.
INFSO-RI Enabling Grids for E-sciencE Statistiques d'usage d'un site de la grille LCG/EGEE Emmanuel Medernach, IN2P3 LPC.
Evolution des services Retour sur les incidents récents: Disfonctionnements cluster SUN (répertoires disques) : – Incidents et actions réalisées Disfonctionnements.
INFSO-RI Enabling Grids for E-sciencE Les enjeux des nouvelles applications C. Loomis (LAL-Orsay) Journées Informatiques (Lyon-Valpré)
1 Nombre total de canaux: 1698 x 768 x 2 = 2,6 M ElémentCouche 5Couche 6 Rayons37,8 - 38,4 cm42, cm Surfaces2.2 m m 2 Nombre d’échelles3438.
Alice LCG Task Force Meeting 16 Oct 2008 BARBET Jean-Michel - 1 /20 LCGFR-T2T3, Annecy Mai 2009Jean-Michel BARBET Subatech 1 /18 IN2P3-SUBATECH :
Facilité d'Analyse au CC-IN2P3 (LAF) Renaud Vernet Journées LCG France 22 novembre 2010.
Présentation LabPlus v3. Solution novatrice en Technologies de l’information Solution novatrice en Technologies de l’information Application pour la Gestion.
Yannick Patois 1 Utilisation LCG-France Les Technical Evolution Groups et LCG-France.
INFSO-RI Enabling Grids for E-sciencE Les projets EGEE et LCG C. Loomis (LAL-Orsay) EGEE Tutorial (Marseille) 3-4 octobre 2006.
ALICE February/March exercise summary Latchezar Betev WLCG Collaboration Workshop 22 April 2008.
C. Charlot, Calcul CMS, LCG-DIR, fév 2007 Calcul CMS 2006 TDR de Physique CMS Physics TDR, Volume 1, CERN-LHCC , feb. 2006, 548pp CMS Physics TDR,
2.8 Présentation des appels
La Grille de Calcul du LHC La Grille de Calcul du LHC
Activités LHC pour BE/ICS Systèmes d’Alarmes YETS et LS2
Fedora 26 Quelles nouveautés ? License CC-BY-SA.
AugerDb / SimDb Gestion des simulations Auger Java
Architecture de machines Le microprocesseur
Compte rendu HEPIX et CHEP2015 Stockage et gestion des données
Virtualisation d’applications mobiles dans un réseau de Cloudlets
Filtre sur réseau d’eau Cryo circuit SD/SUH
Les nouveautés dans les modèles de Calcul au LHC
Vue d'ensemble de l'utilisation du CCIN2P3 par les expériences LHC
Un instrument informatique de pointe au service de la recherche
Etat des services grid de production
Projet eXtreme DataCloud XDC
Fonctionnement de la grille
Activités présentes et à venir
Surveillance des services grille par NAGIOS
Réunion coordination WLCG Lyon, le 13 mars 2008
LCG-France Tier-1 & AF Réunion mensuelle de coordination
David Bouvet LCG France T2 T3 – LPNHE
Jobs ATLAS sur la grille
Résumé CB WLCG du 3 février 2005
L’exploitation des données du collisionneur LHC: un défi pour le calcul scientifique un enjeu pour le LAPP S. Jézéquel.
Le Projet GRIF Efficient Handling and processing of
La méthode ITIL.
mardi 11 septembre 2018mardi 11 septembre 2018
Vérification avec Uppaal de l'architecture
La grille de calcul EGEE
Résumé de la réunion PAF-CAF 12/04/2010
Bilan reprocessing données cosmiques Atlas
Un Projet IaaS ? Emmanuel Braux
Groupe d’élaboration des normes financières et comptables
Infrastructure Opérationnelle d’EGEE
Introduction à la Grille
AMI (ATLAS METADATA INTERFACES)
Mésocentre de calcul et de stockage ouvert sur la grille EGEE (MUST) LAPP/ Université de Savoie / EGEE.
Déploiement Windows 10 Forum du CEG 2017 Polyvalence Qualité
RELAIS de TRAMES FRAME RELAY
Le programme de gestion des actifs de la Nouvelle-Écosse
Introduction à GENIUS et GILDA
Des données numériques aux résultats de physique
Représentant technique Représentant scientifique
Middleware : Status et Evolution
Infrastructure Opérationnelle d’EGEE2
DC04 CMS Objectif Status Planning
L’analyse de la valeur des projets informatiques
LCG – France et ALICE Bilan 2006 Planning fevrier 2007
Résumé des Actions Suite aux Réunions CB et MB
CR-GR-HSE-414 Exigences HSE pour l’opération des pipelines
Transcription de la présentation:

Compte-rendu W-LCG Workshop & CHEP2007 Victoria, BC, Canada http://www.chep2007.com/

Workshop WLCG Worldwide LHC Computing Grid Objectif : Évaluer l’état d’avancement des sites, du middleware de grille, des expériences La grille WLCG est-elle prête ? Prise de données en 2008? Non Tests prévus en 2007 par les expériences Sans doute moyennant beaucoup de travail A partir de maintenant, WLCG est totalement dépendant du planning des activités des expériences

Très orientée grille et LHC CHEP- Computing in High Energy and Nuclear Physics Conférence multi-sessions plus de 450 participants Séances plénières Séances parallèles : Infrastructures de grille - Réseaux Outils collaboratifs Traitement Offline Middleware de grille Traitement Online Composants logiciels, outils, bases de données Analyse et gestion de données distribuées Très orientée grille et LHC

Planning LHC Maria Girone (CERN) Délai pour la réparation des supports des quadripoles de focalisation déjà en place Mise en froid progressive des différents secteurs du LHC PB avec la qualité des interconnexions Machine : ultime vérification 15 april 08 – fermeture fin avril 2008 Mise en route – Tests et Validation des faisceaux à partir de Mai 2008 : au moins 2 mois nécessaires pour obtenir les premières collisions Premières collisions à 14 Tev prévues pour fin juillet 2008 Montée en puisance du LHC = augmentation du taux de collisions quantifié par la luminosité des faisceaux : nbre de protons par paquet, taille et espacement des paquets Valeurs nominales pas avant 2010 SGi Facility concerns 96 % Data center’s will run out of capacity by 2011 Computer cycle 2-5 years Facility 10 – 25 years IT equipmt 50 % Cooling 25 % Electricity transf.. 10% Weight Processor trends 80 _ 2000 augmentation de l fréquence d’horloge 2 cores per socket Gap speed of processor consuming data Copper wire – pair bandwidth does not increase so fast Copper prices direction optical fiber connection Reducing cables between blades. Switch integrated but no standard backplane Energy efficiency of power supply system 48 V – 12 V 14 kW rack needs 7.9 kW air cooling facilitu power and only 4 kW water cooling Film industry film digitized at 4K resolution = 4TB/hour NOAA’s HPCs

LHC Computing I.Fisk (FermiLab) Le calcul LHC depend de plusieurs infrastructures opérationnelles de grille : EGEE (DataGrid) OSG (IVGDL NorduGrid

Running Experiments using the Grid F.Wuerthwein

WLCG Etat d’avancement Les Robertson CERN centre Tier0 : Stockage des données brutes et traitement initial - Distibution des données vers les Tier1s 11 centres Tier1s « fonctionnement en ligne » en charge des traitements « lourds » (reconstruction, une partie de l’analyse) et de la distribution des données réduites vers les Tier2s 112 centres Tier2s en charge de la simulation et de l’analyse finale Enjeux actuels : Déploiement des ressources et montée en puissance Mise en place d’un réseau optique dédié entre le CERN et les Tier1s Déploiement du middleware et des services de grille

WLCG Etat d’avancement – Enjeux Les Robertson

WLCG Etat des sites Enjeux majeurs : Montée en puissance des ressources pour 2008 Mise en place du stockage et des outils de gestion des données support 24 by 7 operations ready support des services et configurations spécifiques aux expériences (VObox pour Alice – Configuration stockage ATLAS, LHCb, gestion priorités des jobs…) Etat des sites : Tests SAM (Service availability Monitoring) tests soumis plusieurs fois par jour sur l’ensemble des sites : https://lcg-sam.cern.ch:8443/sam/sam.py tests dédiés aux différentes expériences et autres VOS la références : calcul de la disponibilité du site Site GRIDVIEW : http://gridview.cern.ch/GRIDVIEW/ va progressivement remplacer le site SAM

SAM - GRIDVIEW Grid Operation tools Site information ws Oracle DB Other Tools ws ws ws Submission Framework Sam Displays SAM Displays Antonio Retico

Détail de la disponibilité du site IN2P3-LAPP

WLCG Etat du Middleware Encore des évolutions attendues sur les composants majeurs de gLite Gestion du stockage / Storage Element SRM Storage Resource Manager version 2 : Interface standard de gestion de l’espace de stockage sur la grille indépendant de l’infrastructure sous-jacente (disque, mss…) Au LAPP Implémentation DPM (Disque Pool Manager) ok / SRM V2.2 Gestion du calcul / Computing Element nouveau composant CE CREAM capable de supporter :~10 K jobs/jour – jusqu’à 6000 jobs gérés par le CE en meme temps Migration SL4 – 32 bit passage à prévoir avant la fin de l’année support 64 bit uniquement pour un gain significant en performances gLite Workload management system : nouvelle version et nouvelles performances en remplacement du RB actuel . 10 k jobs> jour

Quel ordonnancement sur la grille? Service d'allocation des resources / jobs pilotes

Service d’allocation des ressources Mode push : les jobs sont poussés vers les sites

Jobs pilotes à la LHCb Mode pull : les jobs sont tirés vers les sites, une fois l’environnement validé

Pilot jobs – and variants: Such a good idea – everyone wants one …

Activités des expériences (ATLAS) Kors Bos NIKHEF , Amsterdam Distribution de données cosmiques

Interoperabilité entre grilles L.Field (CERN) 18

Pb Infrastructures A.Boehnlein (Fermilab)

Pb Infrastructures Richard Mount (SLAC) Current power consumed: CPU: 0.08 Watts/$ Disk: 0.05 Watts/$ Cooling systems: ~50% on top of these

Evolution de la techno Eng Lim Goh (SGI) 96 % centres de calcul devront revoir leur infrastructure d’ici 2011 Computer cycle 2-5 years Facility 10 – 25 years Les pistes à l’étude Consommation électrique : Amélioration des différents étages de transformation électrique 48 V – 12V Prix du cuivre / Poids : Amélioration de l’integration rack mais toujours pas d’accord sur un fond de panier standard Aller vers les connexions fibre Attention le cout de la mémoire ne baissera pas Efficacité du refroidissement à eau : 14 kW rack needs 7.9 kW air cooling facilitu power and only 4 kW water cooling Besoins du marché Film industry film digitized at 4K resolution = 4TB/hour

Evolution Multi-coeur Stephen S.Palowski (Intel) Les futurs gains de performance sont liés à la multiplication des cœurs (plus à l’augmentation de la fréquence de processeurs) Risque : stagnation des performances, si l'on se borne à conserver une approche monothread (augmentation parallélisme d’instructions) Recherche gain de performances en augmentant le parallélisme et en améliorant la bande passante mémoire

Software LHC Software et architectures CPU Sverre Jarp (CERN Openlab) CHEP 95 : début de l’ère x86 Pas de changement de notre modèle software : 1 coeur – 1 tache Préoccupation quant aux besoins mémoire Calcul HEP : pas seulement de la logique INT / FLP : calcul en flottant ~50 % code HEP Essayer d’augmenter le // d’instructions : 1 instruction par cycle actuellement 2 coeurs pouvant gérer 4 instructions Regarder du coté du multi-threading