La Grille de Calcul du LHC

Slides:



Advertisements
Présentations similaires
Mais vous comprenez qu’il s’agit d’une « tromperie ».
Advertisements

Les numéros 70 –
ACTIVITES Le calcul littéral (3).
GEF499 Systèmes en temps réel
1 ATLAS France 2006 Comité Organisateur : Nathalie BESSON…..(Dapnia) Jean ERNWEIN………(Dapnia) Daniel FOURNIER………(LAL) Philippe GRENIER (LPCC) Marumi.
Fête de la Science 2011 Le LHC et ses expériences des géants pour sonder le coeur de la matière Bienvenue au Laboratoire De Physique Subatomique et de.
Grille Régionale Rhône-Alpes Institut des Grilles du CNRS Yonny CARDENAS CC-IN2P3 Réunion du groupe de travail grilles Projet CIRA Grenoble, le 2 Juin.
Pourquoi le nombre de cancers augmente-t-il ?
Lecture de graphiques a. b. c. d. e. a. b. c. 1) 2)a. 2)b. 3)a. 3)b.
LES TRIANGLES 1. Définitions 2. Constructions 3. Propriétés.
Recherche de similarité de séquences à grande échelle S. Penel, P. Calvat, Y. Cardenas LBBE, CCIN2P3 Calculs BLAST intensifs sur la plateforme TIDRA -
Révision (p. 130, texte) Nombres (1-100).
1 LENT, an X Quelques observations issues du dispositif national de mesure daudience des ENT Educatice 2013, Sylvie Le Loup.
1 5 octobre 2011 / paw Présentation du 7 octobre 2011.
Le centre de calcul de l'IN2P3 : une architecture pour le calcul intensif et le stockage de masse Pascal Calvat.
14 et 15 novembre 2006Colloque « Parlons davenir » de lAide financière aux études 1 Regard sur les bureaux daide financière Collaboration Prestation de.
Présentation générale
La Grille de Calcul du LHC La Grille de Calcul du LHC
Test bilan de calcul mental N°1 :
1 Le calcul et linformatique à lIN2P3 et au DAPNIA Prospectives, La colle sur Loup 2004 Contributions:B. Boutherin (sécurité), J. Delabrouille (Astro-particules),
ATLAS Data Challenges. Les Data Challenges (DC) en français Challenges des Données ont pour but de Valider: –le modèle dorganisation et dutilisation des.
L’expérience ATLAS au LHC
1 Grille de calcul et physique des particules Vincent Garonne CPPM, Marseille Novembre 2003 Contenu de la présentation Etat de lart : Grille de calcul.
MAGIE Réalisé par Mons. RITTER J-P Le 24 octobre 2004.
C'est pour bientôt.....
Veuillez trouver ci-joint
Aire d’une figure par encadrement
Les fondements constitutionnels
MAGIE Réalisé par Mons. RITTER J-P Le 24 octobre 2004.
1 Modèle pédagogique d’un système d’apprentissage (SA)
Frédéric Hemmer, CERN, Département ITLa Grille de Calcul du LHC – novembre 2007 Wolfgang von Rüden, CERN, IT Department Frédéric Hemmer Chef-adjoint du.
Les Mathématiques- 9e Plus de révision pour le test majeur en novembre.
Etienne Augé D.A.S. IN2P3 Physique des particules
CALENDRIER-PLAYBOY 2020.
Planification budgétaire Tier-2s Tier-3s Fairouz Malek, Fabio Hernandez, Frédérique Chollet Comité de direction 7 juillet 2008.
Biennale du LPNHE 2011, 20/09/ Le projet GRIF-UPMC : évolution et utilisation Liliana Martin Victor Mendoza Frédéric Derue
Réseaux LCG France Réunion LCG France 18 Mai 2009.
Centre de Calcul de l'IN2P3 - Lyon Toulouse - Lyon, 21 décembre 2004 Les projets de grille au Centre de Calcul de l’IN2P3.
Réunion LCG-France, 7/4/2008 C.Charlot Acc è s aux donn é es Accès à dCache Problèmes de stageout des fichiers produits sur les WNs  Aussi pour le stagein.
Projet LCG-France Planning Ressources humaines
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Rapport du ROC France Pierre Girard French.
19 janvier 2006J-P Meyer1 Revue du projet GRIF  Les enjeux scientifiques (J-P Meyer)  Le calcul au LHC  Les Projet EGEE et LCG  Le projet GRIF  La.
Recapitulatif des sujets abordés Frédérique Chollet Fabio Hernandez Fairouz Malek Réunion LCG-France Tier-2s & Tier-3s Paris, 20 mars 2008.
Frédéric Hemmer, CERN, Département ITLa Grille de Calcul du LHC – septembre 2007 La Grille de Calcul du LHC Frédéric Hemmer Adjoint au Chef du Département.
La Grille de Calcul du LHC Visite de Bernard Le Solleu
Calcul et Grille CMS ou comment on extrait les aiguilles de la botte de foin Conseil scientifique LLR 14/10/2010 C. Charlot.
9ème Forum Utilisateurs CATIA CERN Retour d‘expérience IN2P3 08 novembre 2011V. Boninchi1.
GRIF Status Michel Jouvin LAL/Orsay
Dominique Boutigny Une infrastructure informatique au service des chercheurs et des industriels rhônalpins Journée de lancement de l’initiative TIDRA Traitement.
Journée Projets, 23 novembre 2010 Etienne Augé Directeur Adjoint Scientifique Physique des Particules Physique des Particules Projets 2011.
Enjeux, succès et défis des grilles en physique des hautes énergies Faïrouz Malek, CNRS Paris le 3 Décembre 2007.
Eric Lançon1 Calcul ATLAS en France Le CAF au PAF * CAF : Calcul Atlas France *Célèbre contrepèterie.
04/06/20151J-P Meyer GRIF-10ans déjà! ( )
LCG-France Edith Knoops CPPM. Le LHC LEP LHC > 95% UNKNOWN STUFF OUT THERE > 95% UNKNOWN STUFF OUT THERE Black hole 3.
CAF LCG-FRANCE A.Rozanov LCG France 22 Juillet SOMMAIRE Composition CAF DC2 ATLAS Demandes fin 2004.
Biennale du LPNHE 2011, 20/09/ Le projet GRIF-UPMC : évolution et utilisation Liliana Martin Victor Mendoza Frédéric Derue
C. Charlot, LLR Ecole Polytechnique DC04 CMS Objectif numéro 1: préparation du traitement offline Différent des productions MC précédentes Mise en route.
Projet LCG: Vue d’Ensemble Fabio Hernandez Responsable Technique LCG-France Centre de Calcul de l’IN2P3 Rencontre IN2P3/STIC Grenoble, 25.
Réunion des sites LCG France- Marseille juin ACTIVITES DU GROUPE ACCOUNTING FRANCE GRILLES Cécile Barbier (LAPP)
LCG France point Réseau Mai 2013.
Tier2: Subatech Tier2: LPC Tier2: GRIF CEA/DAPNIA LAL LLR LPNHE IPNO Tier2: GRIF CEA/DAPNIA LAL LLR LPNHE IPNO AF: CC-IN2P3 Tier3: LAPP Tier1: CC- IN2P3.
F. DERUE, Réunion des sites LCG France, LPNHE, 20 mars Historique et but 2. Projet scientifique 3. Projet technique 4. Suivi des productions.
CALCUL ATLAS LCG France (CC IN2P3 Lyon) 30 Avril SOMMAIRE Data Challenge 2 (DC2) d’ATLAS Utilisation du CC IN2P3.
Jeudi 12 decembre 2007 Le CC-IN2P3 Un instrument informatique de pointe au service de la recherche Traitement intensif de données et Sciences de la Vie.
Projet LCG-France Planning Fairouz Malek, Fabio Hernandez Responsables LCG-France Journées projets de l’ IN2P3 Paris, 5 juillet 2007.
Réseau LCG-France LCG France 11/2008 Centre de Calcul de l'IN2P3/CNRS.
La Grille de Calcul du LHC
Un instrument informatique de pointe au service de la recherche
Transcription de la présentation:

La Grille de Calcul du LHC Visite des Membres du Conseil Régional d’Ile de France Frédéric Hemmer Adjoint au Chef du Département IT 24 novembre 2008 1

Le pari informatique du LHC L’accélérateur sera mis en route en 2009 et fonctionnera 10-15 ans Les expériences vont produire environ 15 millions de Gigaoctets de données chaque année (environ 20 millions de CD!) L’analyse des données du LHC requiert une puissance informatique équivalente à ±100’000 processeurs actuels les plus puissants Cela nécessite la coopération de plusieurs centres de calcul étant donné que le CERN ne peut fournir que ± 20% de cette capacité

La solution: la Grille Utiliser la Grille pour réunir les ressources informatiques des instituts en physique des particules du monde entier Le World Wide Web fournit un accès simplifié à de l’information stockée en des millions d’endroits La Grille est une infrastructure fournissant un accès simplifié à de la puissance de calcul et de stockage distribué tout autour du globe

Comment fonctionne la Grille? Pour l’utilisateur final, elle donne à de nombreux centres de calcul l’apparence d’un seul système L’intergiciel, un logiciel de pointe, trouve automatiquement les données et la puissance de calcul nécessaires aux scientifiques L’intergiciel distribue la charge entre les différentes ressources. Il gère également la sécurité, la comptabilisation, la surveillance et bien plus…

L’ experience “ATLAS” 7000 tonnes, 150 million de capteurs générant des données 40 millions de fois par seconde soit 1 petaoctet/s

Le projet WLHC Computing Grid (WLCG) Plus de 140 centres de calcul 12 grands centres pour la gestion initiale: le CERN (Tiers-0) et onze Tiers-1 38 réseaux de plus petits centres (Tiers-2) ± 35 pays impliqués

La Hiérarchie des Services du LCG Tier-0: l’accélérateur Acquisition de données et traitement initial Archivage à long terme Distribution des données  Centres Tier-1 Canada – Triumf (Vancouver) France – IN2P3 (Lyon) Germany – Forschunszentrum Karlsruhe Italy – CNAF (Bologna) Netherlands – NIKHEF/SARA (Amsterdam) Nordic countries – distributed Tier-1 Spain – PIC (Barcelona) Taiwan – Academia SInica (Taipei) UK – CLRC (Oxford) US – FermiLab (Illinois) – Brookhaven (NY) Tier-1: “en ligne” avec l’acquisition des données haute disponibilité Stockage de masse  Données accessibles à la grille Analyse de données intensive Support national, régional Tier-2: ~140 centres dans ~35 pays Simulation Analyse par l’utilisateur final - batch et interactif

Infrastructure LCG-France en 2008 Tier-2: GRIF CEA/DAPNIA LAL LLR LPNHE IPNO Tier-3: IPHC Strasbourg Ile de France Tier-3: IPNL Nantes Tier-2: Subatech Tier-2: LAPP Clermont-Ferrand Tier-2: LPC Annecy Lyon Tier-3: LPSC Grenoble Tier-1: CC-IN2P3 AF: CC-IN2P3 Marseille Tier-3: CPPM

Frédéric Hemmer, CERN, IT Department WLCG LCG a exécuté ~ 44 M jobs en 2007 – la charge continue d’augmenter La distribution du travail aux Tier 0/Tier 1/Tier 2 illustre réellement l’importance de la grille Les Tier 2 contribuent a ~ 50%; > 85% est en dehors du CERN Distribution des données vers Tier 1s Les objectifs des taux de transfert maximums ont été obtenus avec des charges de travail réelles pour ATLAS et CMS Frédéric Hemmer, CERN, IT Department

CCRC’08 et au delà

Modèles d’utilisation CCRC’08 Simulations/cosmics Modèles d’utilisation Peuvent changer de manière significative (ex: entre CCRC’08 au mois de Mai et cosmics/simulations en septembre) Tier 2s livrent régulièrement ~50% du total

Frédéric Hemmer, CERN, IT Department Evolution du job rate En moyenne en mai: (10.5 M) 340k jobs / jour Moyenne ATLAS >200k jobs/jour Moyenne CMS > 100k jobs/jour avec des pointes à 200k C’est le niveau requis pour 2008/9 La charge continue d’augmenter, maintenant à ~ 230k jobs/jour, et va probablement atteindre ~100 M jobs en 2008 Frédéric Hemmer, CERN, IT Department

Evolution du taux de tâches (job rate) En moyenne, en septembre: 435 tâches/ jour Moyenne ATLAS >200k tâches/jour Moyenne CMS > 100k tâches/jour avec des pointes à 200k La charge continue d’augmenter, maintenant à ~ 230k jobs/jour, et va probablement atteindre ~100 M jobs en 2008 Frédéric Hemmer, CERN, IT Department

CERN et Tier-1s Janvier-Septembre 2008

CERN et Tier-1s Janvier-Septembre 2008

Fiabilité des Tier 0/Tier 1 Sep 07 Oct 07 Nov 07 Dec 07 Jan 08 Feb 08 All 89% 86% 92% 87% 84% 8 best 93% 95% 96% Above target (+>90% target) 9 11 10

Fiabilité des Tier 2 Fiabilité publiée régulièrement depuis octobre En février, 47 sites ont eu une fiabilité > 90% Overall Top 50% Top 20% Sites 76% 95% 99% 89100 Les sites Tier 2 fournissant un rapport: Parmi les sites Tier 2, sans rapport, 12 sont dans le top 20 du CPU fourni Sites Top 50% Top 20% Sites>90% %CPU 72% 40% 70% Jan 08

Fiabilités Amélioration pendant CCRC et l’évolution encourageante/prometteuse Les tests ne donnent pas une réelle image/représentation – ex: issues spécifiques – expériences cachées, “OU” service instances trop sommaires a) publication constante des tests VO-specific; b) réétudier l’algorithm associant les services instances(for combining service instances)

Tier 2 Fiabilités Aimeraient fixer l’objectif à 95% Grande amélioration Moyenne par Federation devrait (bientôt) se compter en #CPU Aimeraient fixer l’objectif à 95% Devrait être réalisable Pourcentage enregistré lors d’une interruption (disponibilité<< fiabilité) Federations qui ne transmettent aucun rapport/aucune donnée

Amélioration de la disponibilité des sites CMS en mai 2008

Impact de la Grille de Calcul du LHC en Europe Le projet LCG a donné un coup d’accélérateur au projet européen d’une Grille scientifique multi-usage EGEE (Enabling Grids for E-sciencE) EGEE est maintenant un projet global et la plus grande Grille au monde Cofinancé par la Commission européenne (coût: ±130 M€ sur 4 ans, financé par l’UE à hauteur de 70M€) EGEE est déjà utile à plus de 20 applications dont… Bio-informatique Education, Formation Imagerie Médicale

Le projet EGEE EGEE Objectifs Démarré en avril 2004, maintenant dans sa 3ème phase (2008-2010) avec plus de 240 institutions dans 45 pays Objectifs Etablir une grille productive pour l’e-Science à très grande échelle Attirer de nouvelles ressources et des utilisateurs issus de l’industrie et de la science Maintenir et améliorer “gLite”, la couche intergicielle pour la Grille Partenaires EGEE-III en France: BT Infrastructures Critiques, CEA, CNRS, CGG Services, CRSA Frédéric Hemmer, CERN, IT Department 26

Applications sur EGEE Plus de 25 applications dans un nombre croissant de domaines Astrophysique Chimie par modélisation numérique Sciences de la Terre Simulation financière Fusion Géophysique Physique des Haute Energies Sciences de la Vie Multimédia Sciences de la matière ….. Rapport disponible sur : https://edms.cern.ch/document/722132

Exemple: la grippe aviaire EGEE a été utilisé pour analyser 300’000 médicaments potentiels contre le H5N1, le virus de la grippe aviaire. 2000 ordinateurs dans 60 centres de calcul en Europe, en Russie, en Asie et au Moyen-Orient ont tourné pendant 4 semaines en avril: l’équivalent de 100 années sur un seul ordinateur! Les médicaments les plus prometteurs ont été identifiés et classés. Neuraminidase, one of the two major surface proteins of influenza viruses, facilitating the release of virions from infected cells. Image Courtesy Ying-Ta Wu, AcademiaSinica.

Exemple: analyse du sous-sol Première application industrielle fonctionnant sur EGEE Développée par la Compagnie Générale de Géophysique (CGG) en France, qui effectue des simulations géophysiques pour le pétrole, le gaz, les mines etc... EGEE a aidé la CGG à mettre en réseau ses ressources informatiques à travers le monde.

Pérennité Nécessité de préparer une Grille permanente Garantir un haut niveau de service à tous les utilisateurs Ne plus dépendre des financements de projet à court terme Gérer l’infrastructure en collaboration avec les projets nationaux (National Grid Initiatives - NGI) European Grid Initiative (EGI)

Pour plus d’informations sur la Grille: Merci pour votre attention! www.gridcafe.org www.cern.ch/lcg www.eu-egee.org Merci pour votre attention! 31