Journées Informatique de l'IN2P3 et du DAPNIA Perspective et évolution du CC-IN2P3 Relations avec les labos 21 septembre 2006 Dominique Boutigny

Utilisation du CC-IN2P3  20% des ressources sont utilisées par des physiciens étrangers au travers des collaborations internationales ~70 groupes

Évolution de la puissance CPU Situation aujourd'hui ~1800 Processeurs Mises à jour majeures ×10 en 5 ans Installation de nouvelles armoires de clim en juillet Achat de 265 bi-opterons / bi-coeurs ~35 MUI / mois dispos dès septembre 2132 Processeurs 2.4 MSI2k >3000 jobs "running" en // ~80% d'efficacité

Stockage sur disque (1) IBM DS 8300 Acquisition en 2005 / 2006 d'un système IBM DS8300 d'une capacité de 250 To 60 serveurs SUN V40Z  Système SAN de très haute performance 7 € / Go serveurs compris Capacité totale du CC au printemps 2005 : ~350 To

Stockage sur disque (2)  Achat de 400 To SUN Thumper à 1.46 € / Go  2 livraisons de 200 To  Pb. Techniques chez SUN Retard à la livraison ~2 mois Première partie attendue au tout début octobre  Nécessité de maîtriser les coûts et de se diriger vers des systèmes moins chers  Notion de disques hautes performances et moyenne performance

Espace semi-permanent  Depuis plusieurs années, le CC-IN2P3 offre un espace de stockage dît "semi-permanent"  Fortement orienté vers l'analyse de données  Basé sur NFS  Difficulté de faire évoluer le système à l'échelle nécessaire  Évaluation de GPFS avec IBM (projet GRIPI)  Performances excellentes  Mais prix prohibitif   Négociation pour faire baisser le prix (1/10 !)  Évaluation de LUSTRE en cours  Éventuellement solution propriétaire à base de NAS Souci important pour le CC-IN2P3 … et les Tier-2 / 3

Stockage de masse Système STK (6 silos – cartouches) Plus supporté par SUN en 2011  Nécessité de faire évoluer la robotique Évaluation en cours de matériel IBM et SUN / STK Investissement ~400 – 450 k€ dès cette année Appel d'offre lancé début octobre Cassettes 500 Go puis évolution vers 1 To Remplacement de 2 silos

Procédure d'achat du matériel  Achat > 90 k€  Procédure complexe et longue  8 mois minimum entre la décision d'acheter et la mise en production  Nécessité de procéder à des tests détaillés avant de lancer la procédure d'acaht Prêt de matériel Benchmark  1 personne dédiée pour suivre la procédure d'un bout à l'autre Contact avec les fournisseurs Prêt de matériel Rédaction du marché Coordination avec les différents services du CC Crucial pour la réussite du processus Procédure lourde, mais obtention d'un matériel de qualité et de prix réellement bas (concurrence effective)

Construction du Tier-1 pour LHC  LHC est une priorité de l'IN2P3  Priorité du CC-IN2P3  Organisation en projet: LCG-France Budget dédié – Préservation d'un budget suffisant pour les autres expériences –On est capable de planifier précisément les achats de matériel pour LCG –Tout en mutualisant les ressources  En 2008, LHC devrait représenter ~80% de la puissance informatique du Centre (CPU & Stockage)  Les 20% restant représenteront ~2x la puissance du centre actuel

Budget du CC-IN2P3 DAPNIA: 1000 k€ non-LHC – 600 k€ LCG Pic !!!

Évolution de la capacité du CC-IN2P3 (1) 1000 à 1500 serveurs de disques nécessaires ! Capacité CPU et disque x10 entre 2005 et 2008 bien au-delà de la loi de Moore (x4)  Implique un changement d'échelle au niveau du CC

Évolution de la capacité du CC-IN2P3 (2)  Développement important du réseau WAN  Connexion 10 Gbps dédiée avec le CERN dans le cadre de LHC-OPN  Connexions avec les Tiers-2 en cours de discussion La bande passante nécessaire semble plus importante que prévue  Développement pour assurer la "scalabilité" du système de batch BQS  Actuellement ~3000 jobs "running" et en queue  Prochainement plusieurs dizaine de milliers de jobs "running"

Conséquences sur l'infrastructure du CC  Augmentation de la consommation électrique  Besoin de refroidissement  Besoin de place (augmentation du personnel: +3-4 / an jusqu'en 2008) Mise à niveau de la salle machine cette année: 1.5 M€ sur fond propre  Projet OPUS Modification profonde de l'infrastructure Réseau d'eau glacée Distribution électrique Courant secouru  1 MW de puissance électrique disponible en janvier

Infrastructure  Nécessité d'étendre les locaux du CC  Nouvelle salle machine  Bureaux  Salle de réunion  Amphi  A terme: salle machine capable de recevoir 2.5 MW de matériel informatique Cette mise à nouveau est insuffisante pour assurer le déploiement complet du Tier-1

Projet d'extension du CC-IN2P3 (1)  Projet déposé dans le cadre du CPER  3 M€ bâtiment – 4 M€ infrastructure salle machine  6 M€ matériel informatique (financement du pic)  Sélectionné au niveau du CNRS  Priorité de l'IN2P3  Transmis par la DRRT à la MSTP pour évaluation  Beaucoup d'acteurs dans le processus de décision  Région  État  CNRS  CEA ?  Communauté Urbaine du Grand Lyon Réponse attendue d'ici décembre Intégré dans un projet de développement du calcul intensif en région Rhône- Alpes

Projet d'extension du CC-IN2P3 (2)

Ouverture internationale  Participation à un LIA CNRS / Japon  Interopérabilité des grilles  SRB / IRODS  Développement des relations avec tous les centres de calcul HEP  Relations privilégiées avec SLAC et Fermilab Fermilab est associé à un projet ANR  Obtention d'une liaison dédiée 2 x 1 Gbps  Politique d'ouverture de l'IN2P3 vers l'Asie  Important pour W-LCG Connexions vers les Tiers-2 asiatiques –Chine – Corée - Japon  Connexion avec d'autres Tiers-2 –Belgique – Roumanie – Maroc – Afrique du Sud

Ouverture vers d'autres disciplines  Constatations:  La physique HEP à toujours été en pointe dans le domaine de l'informatique  Peu de disciplines disposent d'un centre de calcul dédié  Certaines disciplines commencent à avoir un besoin important de moyens informatique Biologie  Une ouverture limitée du CC a un impact énorme  Nécessité de rester dans notre domaine de compétence HTC Vs HPC Stockage de haute performance / Bases de données  Ouverture également vers l'industrie  Volonté de mener ces ouvertures de manière cohérente  Éviter d'ouvrir tout azimut  Se concentrer sur des domaines ou le CC-IN2P3 peut apporter une plus value importante  Centré sur la région Rhône-Alpes

Un groupe de recherche au CC ? CC-IN2P3 = USR 6402  Volonté de créer un groupe de recherche en informatique au CC-IN2P3  Développement de projets déjà engagés avec des laboratoires STIC Projet ANR sur l'interopérabilité des grilles et les transferts massifs de données (équipe RESO du LIP)  Conviction que l'avenir des Grilles passe par une collaboration étroite entre ceux qui opèrent et déploient les Grilles et ceux qui développent de nouveaux modèles  Stratégie  Recrutement d'un CR1 / HDR  Développement d'une équipe autour de ce CR1  Thèses  Plusieurs tentatives infructueuses par le passé  La collaboration avec STIC semble maintenant mûre pour obtenir ce poste. Recherche

Relations avec les labos (1) Quelques idées sur la structuration de l'informatique à l'IN2P3 (et au DAPNIA ?)  Constatation après ces journées:  Très forte communauté informatique à l'IN2P3 et au DAPNIA Nombreuses compétences Nombreux développements en cours Structuration autour de la grille (T1/T2/T3) –Sans précédent ?  Une certaine structuration autour des outils PHP-myResa Visio ….  Mais aussi beaucoup de redondance Mail Backup CDS Agenda Etc…

Structuration (2)  Le CC-IN2P3 peut jouer un rôle plus important au niveau de la mutualisation  Backup ?  Mail ?  Collaborations sur l'évaluation du matériel et des logiciels  Visite des constructeurs dans le cadre de LCG  Collaboration pour l'évaluation de GPFS  Pourrait être systématisé  Marché unique pour tout l'IN2P3 difficile à mettre en place Déjà vrai pour le réseau, les licences (MathLab – CAO etc…)

Structuration (3)  Nécessité de respecter l'autonomie des labos  Le CC est un bon candidat pour centraliser l'installation de certains outils  Mais ce n'est pas le seul !  Par ex: est-il nécessaire d'installer INDICO au CC s'il est maintenu ailleurs (au LAL ?) et ouvert à tout le monde ?  La prise en charge d'un service lourd par un service informatique doit être soutenue (Backup par exemple) Budget Postes

Structuration (4)  Une centralisation plus importante des tâches de bases permettrait de se consacrer à des développements plus intéressants  Quelques pistes:  C'est à la communauté de se structurer elle-même  Définir des projets transversaux entre plusieurs labos Proposer ces projets à la communauté Définir un système pour sélectionner les projets et suivre leur avancement Engagement moral de la communauté d'adhérer aux bons projets et de ne pas re-développer la même chose chez soit.  Reconnaissance et soutien de la direction de l'IN2P3

Un grand merci aux organisateurs pour ces excellentes Journées Informatiques