15 décembre 2005C. Leroy1 État d’avancement du Projet GRIF  Le projet GRIF  État des lieux fin 2005  Vers un nœud unique multi site  Évolution du projet en 2006  Évolution du financement de GRIF  Conclusions 1er Colloque LCG-France, décembre LPNHE

15 décembre 2005C. Leroy2 Le projet GRIF (Grille de Recherche d’Île de France) But: Créer une ressource d’analyse et de simulation en région Île de France (~100 à 130 physiciens  ~ 40% LHC-France) Dimension en 2007: 1400 kSI2k et 370 To de disque 80% LCG (Tier2) et 20% EGEE et Local (Tier3) Structure: - Nœud EGEE-LCG multi-site - 3 sites fondateurs (DAPNIA,LAL,LPNHE) 2 sites (LLR et IPNO) viennent de rejoindre GRIF en septembre Entité unique vue de l’extérieur et une seule équipe technique constituée avec 2-3 FTE/labo - Coût total estimé ~ 1.8 M€ (hors infrastructures) Organisations Virtuelles (VO) : 4 expériences LHC et EGEODE, ESR, BIOMED,PLANCK

15 décembre 2005C. Leroy3 L’équipe GRIF LaboRep. Tech. Rep. Scien. Étude et exploitation DAPNIA P. MicoutJ.-P. MeyerZ. Georgette, S. Hernando, P.-F. Honoré, C. Leroy, M. Winkler IPNO H. HarrochC. SuireC. Diarra, N. Barre LAL M. JouvinC. Loomis, G. Wormser C. Duprillot, D. Jouvenot, G. Grosdidier LLR P. Mora de Freitas C. Charlot, Ph. Busson I. Semenjouk LPNHE L. MartinF. DerueM. Belkacem, M. Berggren, M. Detournay, D. Terront

15 décembre 2005C. Leroy4 État des différents sites fin 2005 (1/2) LAL: CPU  26 CPUs Worker Nodes (bi-pro) Disque  7.5 TB SAN based (4 ATLAS, 2 CMS, 1 Général) Réseau  1Gbits/s 85 k€ (COMI)  9 TB + 40 CPU en commande DAPNIA: CPU  20 CPUs Worker Nodes (mono) (PC DELL GX280 : PIV / 2.8 GHz / 2GB RAM) Disque  10.6 TB (bi opteron / linux SL3.05 / 64 bit / XFS / 2 baies de disks (2 * 6TB) (3.3 ATLAS, 2 CMS, 2 ALICE, 1.3 BioMed, 2 Dapnia) Réseau  100Mbits/s  1 Gbits/s prévu 2006? LPNHE: CPU  1 Worker Node 96 k€ (P6)  12 TB SAN based + 20 CPU en commande Réseau  1Gbits/s

15 décembre 2005C. Leroy5 État des différents sites fin /2 IPNO: 54k€  28 CPU (dual core) et 12 TB SAN based Réseau  1 Gbits/s LLR: 3 CPU Réseau  10 Mbits/s  100Mbits/s en 2006 TOTAL 2005: CPU  ~ 50 Worker Nodes (en production) Disque  ~ 18 TB (en production) Réseau  encore très inhomogène pour le moment Installation en janvier des commandes en cours (budgets 2005) CPU : +88  Total : 135 Disque : +33  Total : 50

15 décembre 2005C. Leroy6 Vers un nœud unique multi-site 1/4 Transfert de job Transfert de fichiers Transfert d’information Site du CEA SE Site du LAL UI RB Top BDII CE Site BDII WN20 ….. WN1 UI RB Top BDII CE WN8 ….. WN1 SE Première étape vers un noeud unique multi-site:  Création d’une BDII GRIF au LAL

15 décembre 2005C. Leroy7 Vers un nœud unique multi-site 2/4 Gros effort fin 2005 pour intégrer le déploiement du matériel sur les sites avec QUATTOR. Serveur QUATTOR Maître LAL Serveur QUATTOR DAPNIA Serveur QUATTOR LPNHE Serveur QUATTOR Site 3 ………… Installation des applications Utilisateur à l’aide de serveurs AFS: 1 er étape: Utilisation du serveur du DAPNIA pour des tests et installation des clients AFS sur les worker- nodes. 2 ème étape: Mise en place de serveur read-only sur les autres sites et renforcement du serveur Maître. Passage à une cellule AFS GRIF ?

15 décembre 2005C. Leroy8 Vers un nœud unique multi-site 3/4 Réalisation d’un élément de stockage 1/2: - Lustre?  évaluation faite au DAPNIA - possibilité de réaliser de très gros espaces de stockage performants mais: - pas très flexible à l’époque - pas interfacé avec la grille - pas multi site  Projet HIGS (ANR) pour développer LUSTRE (cea/dsm/DAPNIA,cea/dam/dssi,LAL,HP)  pas financé… -DPM?  - 1 ère installation en juillet au LAL et participation à SC3  35 Mbits/s soutenu sur 4 jours (GRIF  CCLyon) - pas fait dans l’autre sens (pb FTS)

15 décembre 2005C. Leroy9 Vers un nœud unique multi-site 3/4 Réalisation d’un élément de stockage 2/2: - Installation d’un serveur DPM au DAPNIA (10.6TB) et upgrade du serveur DPM du LAL ( 7.5 TB) - Mise en place d’un serveur DPM de test pour des tests de SE DPM multi site réussi (Serveur DPM au DAPNIA et Serveur de disques au LAL) performances à étudier avec un réseau au Gbit/s Autres pistes à explorer ? - XROOTD  sans doute indispensable à terme pour exploiter efficacement les metadata des rootuples pour l’analyse. - GPFS? (cher (IBM) et pas grille pb idem LUSTRE) CE : localité des ressources par site et globalisation - Batch scheduler unique, des clusters par site - Cross-submission : LSF multi-cluster (payant), SGE? VOMS  pour intégrer les ressources locales

15 décembre 2005C. Leroy10 Vers un nœud unique multi-site 4/4 Quattor AFS master Quattor master AFS CE Site BDII Quattor AFS CE Disk server CE Disk server SE_DPM Site 1Site 2Site 3 à n Comment ça marchera en 2006

15 décembre 2005C. Leroy11 Évolution de GRIF en 2006 (1/3) L’objectif poursuivi est de réaliser un prototype opérationnel de la version 2007 avec: - un site unique vu de la grille - éléments de stockage et de calcul distribués finaliser les études et choix - 20 à 25 % des ressources prévues pour 2007 en production - participation aux challenges SC4,DC3 et DC4

15 décembre 2005C. Leroy12 Évolution de GRIF en 2006 (2/3) LAL: 9 TB + 40 CPU en commande TB + 40 CPU en plus pour 2006 DAPNIA: 10 TB + 30 CPU en plus pour 2006 passage au Gbits/s LPNHE: 12 TB + 20 CPU en commande TB + 40 CPU en plus pour 2006 LLR: 15 ksi2k et 3.5 TB pour 2006  acquises 30 ksi2k et 7 TB pour ksi2k et 35 TB pour 2008  passage au Gbits/s 300 ksi2k et 70 TB pour 2009

15 décembre 2005C. Leroy13 Évolution de GRIF en 2006 (3/3) IPNO: Idée  tout passer sur la grille: Physique Théorique, Radio Chimie, ALICE, AGATA, Astro 2005 (fin)  28 CPU + 12 TB (ALICE: 4 CPU + 3 TB) 2006  90 CPU + 7 TB (ALICE: 30 CPU + 1TB de plus) 2007  106 CPU + 7 TB (ALICE: 50 CPU + 2TB de plus) TOTAL CPU Disque (TB) Report Prévisions en A noter l’originalité de IPNO: 30% LHC et 70% hors LHC  tendance future dans les labo? Pas de Pb de financement en 2006

15 décembre 2005C. Leroy14 Évolution du financement de GRIF (1/2) - Aucune demande de financement extérieur n’a abouti en 2005: ASTRE (91), ANRs ( MAGIE, HIGS )  pas de gros impacts sur la phase démonstrateur ( )  mais préoccupant pour k€ supplémentaires 2005 au LAL (COMI) - Nouveaux partenaires (LLR et IPNO)  moins sensible aux financements extérieurs mais: - nouveaux besoins (IPNO) - pb réseau et profile décalé d’un an au LLR à cause du réseau - Demande SESAME (région) en 2006  il faut coordonner nos efforts (CEA,CNRS, P6 et P11)

15 décembre 2005C. Leroy15 Sources2004 Reçu (k€) 2005 Reçu (k€) 2006 Prévu (k€) 2007 Prévu (k€) 2008 Prévu (k€) CNRS-COMI IN2P3-EGEE1210 U. Paris VI96132 U. Paris XI/BQR (LAL)7 SESAME(2006) CEA/DAPNIA LAL LPNHE2 LLR Acquis pour 2006 Prévu pour IPNO TOTAL Intégrale Évolution du financement de GRIF (2/2) Hors infrastructures

15 décembre 2005C. Leroy16 Conclusions Le projet avance bien malgré l’absence de financements externes  2005 et 2006 étaient déjà assurés  financement régional crucial pour 2007 Le projet est fédérateur (2 nouveaux labo dans GRIF)  tous les labo Île de France LHC nous ont rejoint  diminue la sensibilité à l’obtention de financement extérieur  augmente les équipes et les besoins hors LHC (Agata, discussion en cours avec ESR) 2006  demande SESAME (Région) à organiser  autres… (voir)  Année intense en travail à faire pour finir le prototype  faire les choix technologiques pour la phase 2007