1 Le calcul et linformatique à lIN2P3 et au DAPNIA Prospectives, La colle sur Loup 2004 Contributions:B. Boutherin (sécurité), J. Delabrouille (Astro-particules), F. Etienne (Coordination, IN2P3), F. Hernandez (CC-IN2P3 et LCG), P. Micout (Dapnia), G. Wormser (EGEE) Linformatique des laboratoires de lIN2P3 et du Dapnia Le calcul pour les astroparticules Le calcul pour le LHC Fairouz O-Malek

2 F. Le Diberder (IN2P3) F. Etienne (IN2P3) F. Le Diberder (IN2P3) F. Etienne (IN2P3) Organisation de lInformatique et du calcul J-P. Génin (CEA/DSM) J. Le Foll (DAPNIA) J-P. Génin (CEA/DSM) J. Le Foll (DAPNIA) Informatique labo IN2P3 CC-IN2P3 D. Linglin Calcul LHC: LCG Utilisateurs IN2P3/Dapnia Comité des utilisateurs Responsables Informatique des labos BaBar Resp. Calcul exp. Informatique labo IN2P3 D0 Théorie Gestion des ressources

3 Linformatique des laboratoires de lIN2P3 et du Dapnia Le calcul pour les astroparticules Le calcul pour le LHC

4 233 Informaticiens à lIN2P3 (juin 2004) Informaticiens = 6% effectifs Informaticiens = 15% ITA Développeurs= Offline+Online ASR=administrateurs systèmes et réseaux

5 La sécurité informatique Enjeux de la sécurité informatique à lIN2P3 –Continuité du service –Risque juridique –Vol de ressources –Image de marque Menace : liée au nombre de machines visibles sur Internet (3000) Vulnérabilité : 500 avis de sécurité par an SQL injection Buffer overflow Ver Virus Actions mises en place Filtrage en entrée, cloisonnement des réseaux, chiffrement des communications (SSH), surveillance réseau. Juridique : mettre en place une structure pour pour dégager la responsabilité de lIN2P3 en cas de plainte. Code pénal

6 Le CC-IN2P3 Chiffres –54 personnes (07/10/04) dont CDDs: 25 (46%), Permanents: 29 (54%) financements des CDDs: Sur convention: 13 personnes (EPT) CNRS: 4 personnes (2 EPT) EGEE (Grille de calcul): 7 personnes -- bientôt 10 RUGBI (Grille bio): 1 personne –Budget (2004) Origine k % Total CNRS DSM-CEA Autres, CDD (EGEE, Grille, …) Total

7 Le CC-IN2P3 Chiffres (suite) – CPU: 1,2 MSI2K Linux (environ 700 machines biprocesseurs) –disque ~ 100 TO –bande ~ 700 TO –2500 comptes –~40 expériences (+groupes bio) Évolution –Dun centre de ressources vers un centre de services –Mise en place de solutions élaborées adaptées aux expériences y compris des services autres que le calcul et le stockage (hébergement web, visio- conférence, webcast,…)

8 Le CC-IN2P3 Gestion des ressources: Gestion des ressources: un comité IN2P3 qui se réunit 1 fois par trimestre pour régler et corriger les répartitions calcul par expérience: Les ressources demandées sont au delà des capacités du Centre de calcul !!!! 10 expériences consomment 85% des ressources du CC-IN2P3

9 Le CC-IN2P3 Croissance 100% par an de la puissance CPU et de la capacité de stockage sur bande (à budget constant) Légèrement moins en stockage disque DAPNIA: depuis 1993 Une convention triennale le lie à lIN2P3 pour lutilisation des moyens de calcul centraux. Annèe Contribution au CC en k

10 Le CC-IN2P3 LCG: ~70% LCG: 20%

11 Le CC-IN2P3 Les expériences LHC deviennent prioritaires –Budget et ressources humaines actuellement disponibles ne permettront pas de satisfaire les besoins à venir –Rôle prépondérant du CC-IN2P3 pour la composante française de ces expériences en tant que centre de services connecté à la grille Travail Collaboratif: Dans un modèle de calcul global, le travail en étroite collaboration entre le représentant expert de chaque expérience au CC-IN2P3 est fondamental –Success Stories: Babar et D0 –En cours de mise en place: LCG –Le CC souhaite que la composante française de chaque expérience tienne compte des besoins en ressources humaines correspondantes

12 Linformatique des laboratoires de lIN2P3 et du Dapnia Le calcul pour les astroparticules Le calcul pour le LHC

13 Expériences astroparticule préparation acquisition analyse AMS Antares Archeops Auger Edelweiss GLAST HESS LISA NEMO Planck SNLS VIRGO

14 Besoins spécifiques à l'Astroparticule - Augmentation du stockage disque (données modestes mais beaucoup d'accès) - Besoin de bande passante spécifiquement pour la visualisation - Besoin de manipuler des dizaines de GO en mémoire (ou des centaines) Questions ouvertes - Pic dans les besoins de disque et de CPU en même temps que LHC (2007) pour les expériences HESS, Planck, VIRGO, GLAST - Rôle du CC pour l'organisation / la distribution des données astroparticule ? (implication pour les moyens humains au CC et dans les labos) Evaluation des besoins -Dépend fortement du taux d'implication du CC (de 0% à 100% des moyens) -Dépend fortement du rôle du CC (e.g. service pour la composante française de l'expérience, pour toute l'expérience ou pour toute la communauté scientifique ?) -Dépend des méthodes de traitement encore en cours de développement -Dépend de la qualité ultime des données (ex. Planck, problème de "trivial" à "insoluble")

15 TO/an science Total TO produits Stockage (TO)Disque (TO)RAM (GO) "partagée" AMS n ans <1 Archeops ANTARES n ans <1 AUGER1 1 n ans EDELWEISS4 4 n ans 20<1 GLAST HESS15-30 (15-30) n ans 30 n ans <1 LISA0,05 (TBC)???? NEMO???? Planck (TBC) (TBC) SNLS10 10 n ans 3 (TBC) VIRGO n ans 2?

16 UI 2004 demandé Gflop/s à prévoir à terme Dates approx.Heures CPU 1GHz Personnes dédiées CC % au CC pour l'exp. AMS0.3M? ?? Archeops0.6M MHr/an0100% ANTARES0.5M …10 MHr/an? AUGER7M …10 MHr/an EDELWEISS …100% GLAST? …??20% (TBC) HESS4M … 1. MHr/an 1.5 MHr/an 100% LISA? …??20-50% NEMO6M??? Planck MHr/an1 ?10-30% (en négociation avec lINSU) SNLS MHr/an VIRGO2M …15 MHr/an050%

17 Le calcul astroparticule est en augmentation au centre (en %) (Remarque : ~16% demandé, ~38% consommé les 4 premiers mois de 2004 !) Ceci correspond à un besoin réel et traduit l'investissement croissant des équipes IN2P3 dans le traitement des données des expériences astroparticule et cosmologie La montée en puissance des activités VIRGO, Planck, LISA va encore augmenter considérablement les besoins d'ici quelques années %

18 Estimation des demandes pour les 5 ans à venir Stockage : ~ 3-6 PO Disque :~ 700 TO MHr 1GHz :~ 70 MHr/an …soit ~ 8000 CPU à 1 GHz… (1500 machines actuelles) PLANCK: Une machine dédiée au calcul parallèle disposant de 500 processeurs et dun réseau haute performance est actuellement envisagée (1 M)

19 Linformatique des laboratoires de lIN2P3 et du Dapnia Le calcul pour les astroparticules Le calcul pour le LHC

LCG 20 LHC Computing Grid Project – LCG

LCG 40 million de collisions par seconde Après filtrage, ~100 collisions dintérêt physique par seconde 1-10 Megabytes de données digitisées pour chaque collision taux stockage: GigaBytes/sec ~ collisions enregistrées par an quelques PetaBytes/an CMSLHCbATLASALICE LHC Computing Grid Project – LCG

LCG 22 Europe: 267 instituts 4603 utilisateurs Hors Europe: 208 instituts 1632 utilisateurs La communauté du CERN

LCG 23 Le LHC Computing GRID - LCG Objectif: fournir LINFRASTRUCTURE de calcul pour LHC 4 expériences, 1 seule infrastructure 20% des ressources seront présentes au CERN (80% du temps du LEP, 50% BABAR,..) Quatre zones dactivités Applications area (POOL, GEANT4, outils logiciels,..) Fabric management Grid technology area Grid deployment area Deux phases R&D : (Contribution volontaires des états membres) Déploiement

LCG 24 RAL IN2P3 BNL FZK CNAF PIC ICEPP FNAL Tier-1 Petits centres Tier-2 Postes de travail USC NIKHEF Krakow CIEMAT Rome Taipei TRIUMF CSCS Legnaro UB IFCA IC MSU Prague Budapest Cambridge IFIC LHC: 140 sites actuellement connectés sur la grille de calcul mondiale 3 différentes technologie (protocoles) de grille: LCG-2, GRID3, NorduGrid Mais dautres grilles HEP existent et sont performantes: SAM-GRID (D0)

LCG 25 LCG-2 Actuellement 80 sites Compagnie générale de géologie 2 sites Français

LCG 26 Current Grid3 Status ( 30 sites, multi-VO Grid 3

LCG 27 NorduGrid & Co. Resources 7 countries: Sites for ATLAS: 22 Dedicated: 3, the rest is shared CPUs for ATLAS: ~3280 Effectively available: ~800 Storage Elements for ATLAS: 10 Capacity: ~14 TB, all shared 30 sites

LCG 28 LCG-2 et les générations futures du logiciel (Middleware) LCG-2 est le service principal pour 2004 pour les data challenges Le logiciel (middleware) LCG-2 va être mantenu et développé jusquà ce que la nouvelle génération aura été éprouvée (et aura fait preuve de stabilité et defficacité) LCG-2 Nouvelle Génération prototypeproduit en développementService principal

LCG 29 RAL IN2P3 BNL FZK CNAF PIC ICEPP FNAL Tier-2 – stockage disque Simulation Travail danalyse du physicien Tier-1 Petits centres Tier-2 Postes de travail portables USC NIKHEF Krakow CIEMAT Rome Taipei TRIUMF CSCS Legnaro UB IFCA IC MSU Prague Budapest Cambridge IFIC Le modèle de computing du LHC Tier-0 – Le lieu de laccélérateur Données brutes Reconstruction des donn é es : ESD Stockage donn é es brutes et ESD Distribution données brutes et ESD aux Tier-1 Tier-1 – Management du stockage de mass services de la grille indispensables Retraitement données brutes ESD Support National et régional Budget global : 200M Tier-0+Tier-1 CERN: ~90 M

LCG 30 Estimations préparées pour la Task Force du MoU, Juin 2004, Guy Wormser

LCG M LCG-POB, Août 2004, Les Robertson - 12 M

LCG 32 Data Challenges Un effort de production à grande échelle pour les expériences LHC dans le cadre du projet LCG Tests et validation des modèles de calcul (computing models) Production des données nécessaires de simulation Test de la production dans le cadre de larchitecture du logiciel de lexpérience Test des logiciels de la grille de calcul Test des services fournis par LCG-2 Toutes les expériences ont utilisé LCG-2 en tout ou en partie de leur production

LCG 33

LCG 34 CERN Brookhaven INFN 1 Espagne UK

LCG 35

LCG 36 Phase 1 finie DIRAC alone LCG in action /day LCG paused /day LCG restarted 186 M Produced Events 186 M events et 61 TBytes Total CPU: 424 CPU an sur 43 sites LCG-2 et 20 sites DIRAC Jusquà 5600 jobs en compétition sur LCG-2

LCG 37 Partage DIRAC-LCG May: 89%:11% 11% of DC04 Jul: 77%:23% 22% of DC CPU · Years 5 à 6 fois plus que possible au CERN seul Aug: 27%:73% 42% of DC04 Jun: 80%:20% 25% of DC04

LCG 38 EGEE : Enabling Grids for EsciencE But Créer une infrastructure de qualité de la Grille Européenne (HEP + Bio + Météo + …)Status Plus grande collaboration développement de la grille dans le monde Budget: 100 millions /4 ansMoyens Soutenir les efforts actuels et plannifiés des programmes GRID nationaux et régionaux (e.g. LCG) Travailler étroitement avec les développements de la grille dans lIndustrie et collaborer avec les recherches hors Europe (US) EGEE applications Geant network

LCG 39 La complémentarité EGEE-LCG EGEE est un projet MultiSciences Européen LCG est un projet de la Physique des Particules au niveau mondial EGEE et LCG utilisent la même INFRASTRUCTURE constituée par des noeuds répartis à travers le monde (80 aujourdhui) et dun logiciel (actuellement LCG-2). La grande majorité de ces ressources et d'utilisateurs appartient à la communauté HEP. Le développement du middleware (logiciel intermédiaire) est assuré par EGEE, qui délivrera LCG-3=EGEE-1 au printemps EGEE exploitera l'infrastructure qui sera utilisée par LCG.

01/06/2004 Equipe LCG Tier-1 Services Grid, Exploitation & Support Equipe LCG Tier-1 Services Grid, Exploitation & Support Groupe Applications LHC Tier-2 LPC Clermont Ferrand Tier-2 LPC Clermont Ferrand Tier-2 Labo IN2P3/DAPNIA LAL … Tier-2 Labo IN2P3/DAPNIA LAL … Projet LCG Autres Tier-1 CC-IN2P3 Direction CC-IN2P3 Direction Le projet LCG-France responsable scientifique: F.OM (LPSC) responsable technique: F. Hernandez (CC-IN2P3) comité de pilotage (incluant resp. LCG/CERN) comité direction Tier-2 ? Subatech Tier-2 ? Subatech Data-Challenges ALICE Nœuds EGEE Resp. calcul expériences ALICE: Y. Schutz ATLAS: A. Rozanov CMS: C. Charlot LHCb: A. Tsaregorodtsev Financements locaux > 80% SC2, POB, GDB, GDA, …

Le Centre Tier-1 Français hébergé au CC-IN2P3 Au démarrage du LHC, il devra fournir: CPU: ~12M SpectInt2000 (équivalent 6000 machines biprocesseurs) Stockage disque et stockage permanent: ~ 6 PétaOctets Connectivité réseau (RENATER) avec le Tier-0 (CERN) de 10 Gbps Service et Support à la communauté d'utilisateurs de LCG, 24h/24 et 365 jours/an LCG: ~70% LCG: 20%

AnnéeBudget 20052,3 M 20063,3 M 20074,6 M 20086,2 M TOTAL16,4 M Année Personnel CC-IN2P3 affecté à LCG (ETP) Embauches nécessaires (ETP) Total (ETP) Demandes budgétaires et de ressources humaines Tier-1 Année Renouvellement du matériel LCG et frais de fonctionnement (M) Coût Annuel Ressources Humaines (M) Total annuel (M) 20093,02,25, ,02,25, ,02,25, ,02,25,2 Budget requis : 26 M Budget requis au-delà de 2008

43 Conclusions La sécurité est un domaine critique, important, sérieux et il faudra sattendre à des limitations des modes de travail Laugmentation des ressources du centre de calcul CC-IN2P3 par la loi de Moore (1.6) ne semble pas satisfaire les expériences LHC (et peut-être aussi les Astro) A la demande de LCG-France, le DG du CNRS semble avoir été réceptif à la nécessité daugmenter les ressources en calcul des expériences LHC Comment tout ceci sintègre-t-il au CNRS dans le cadre de la mise en place des TGE ??