(Mon) Résumé (?) Fabio Hernandez Frédérique Chollet Fairouz Malek Réunion Sites LCG-France Marseille, 25 juin 2010.

Présentation au sujet: "(Mon) Résumé (?) Fabio Hernandez Frédérique Chollet Fairouz Malek Réunion Sites LCG-France Marseille, 25 juin 2010."— Transcription de la présentation:

1 (Mon) Résumé (?) Fabio Hernandez Frédérique Chollet Fairouz Malek Réunion Sites LCG-France Marseille, 25 juin 2010

2 Expériences ATLAS  popularité des données vs. large distribution  utilisation des tier-1s pour l'analyse, ce qui n'était pas initialement prévu  beaucoup de distribution de données sur les sites et pas accédées  utilisateurs préfèrent les ESDs (par opposition aux AODs)  placement de données pas optimal  envisage de stocker 100% des ESDs sur les gros nuages pour mieux redistribuer les jobs  1000 utilisateurs: en augmentation  forte contribution française à l'analyse ATLAS (15% des jobs)  reprocessing fait désormais de façon routinière sur l’ensemble des tier-1s  Comme la simulation F. Hernandez/F.Chollet/F.Malek 2

3 Expériences (suite) LHCb  nombre important de jobs d'analyse 60%, représentant 26% de la CPU consommée  faible volume de données réelles distribuées: 24 TB  utilisation du tier-1 français plus faible qu'attendu, en dessous du share  comment rendre le site plus attractif?  depuis mars 2010, modification implémentée pour optimiser l’utilisation de la ferme  pas (ou peu) de jobs pilotes sans payload  shared area: difficultés observées dans plusieurs sites F. Hernandez/F.Chollet/F.Malek 3

4 Expériences (suite) ALICE CMS F. Hernandez/F.Chollet/F.Malek 4

5 Sites CPPM  Volonté de passage en tier-2  Plus de visibilité pour le site sans nécessairement plus de contraintes qu’actuellement  Bénéfice pour les expériences pas complètement identifié  Contribution et intégration du site dans un projet plus ambitieux: Luminygrid  Financements supplémentaires attendus  Local Analysis Centre pour LHCb  Communauté cible, rôle et mode d’utilisation en cours de définition F. Hernandez/F.Chollet/F.Malek 5

6 Sites (suite) LPC Clermont  gros travail de refonte du réseau local et d’aménagement d'une nouvelle salle machine  pledges 2009 pas complètement satisfaits  Néanmoins, encore de l'espace libre pour ATLAS dans certains espaces IPHC  Amélioration du réseau local et prochainement du WAN  Généralisation des allées confinées  Intention d’utiliser plus intensivement la virtualisation pour les services grille F. Hernandez/F.Chollet/F.Malek 6

7 Sites (suite) Tokyo  location longue durée du matériel et une partie du service  à budget électrique et climatique constant  opération de remplacement délicate tous les 3 ans GRIF-LLR  Analyse local au site (via les outils grid) démontrée, malgré un taux d’échec élevé à cause des problèmes de stockage F. Hernandez/F.Chollet/F.Malek 7

8 Virtualisation Présentation très comprehensive de Michel Beaucoup d’activité dans le domaine de la virtualisation et les possibilités ouvertes pour rendre des services dynamiques et élastiques (i.e. cloud) Implications et mode de fonctionnement pas complètement compris  besoin d'expérimenter  Opportunités d’implication des acteurs français: par exemple à travers de StratusLab et les futurs projets dans ce domaine Le nombre de questions après cette présentation montrent l’intérêt par ce sujet F. Hernandez/F.Chollet/F.Malek 8

9 Données LHC: évolutions à moyen terme Andréa a présenté une vue d’ensemble des sujets abordés lors du jamboree  Distribution, accès et cataloguage des données Démonstrateurs à venir permettront de fixer les idées sur ce qui est possible/réaliste de faire dans les 2 années à venir F. Hernandez/F.Chollet/F.Malek 9

10 Accounting Mécanismes de transport de l’information d’accounting CPU basé sur ActiveMQ, en phase de transition Instance française du portail CESGA envisagée Instance française de GOCDB à venir F. Hernandez/F.Chollet/F.Malek 10

11 Jobs Pilote gLExec et ARGUS  Première camapgne complète de tests faite avec succès  Impression très favorable de ARGUS  À souligner pour un composant gLite F. Hernandez/F.Chollet/F.Malek 11

12 Analyse Plusieurs initiatives en cours  LAF (Lyon), SAF (Subatech), GAF (GRIF), LAC (CPPM/LHCb)  Travail de synthèse et de partage d’expérience à faire  L’implication des expériences est fortement bienvenue Lyon  Mise en production de la nouvelle plate-forme matérielle à venir  Echange de données avec les SEs grille à fluidifier Subatech  packaging prêt pour le déploiement des fermes d'analyse pour ALICE  Spécificités d’ALICE dans ce packaging? Dans quelle mesure la réutilisation est possible pour d’autres expériences?  sera validé par Subatech F. Hernandez/F.Chollet/F.Malek 12

13 Analyse (suite) GRIF  Analyse ROOT CPU bounded et non I/O bounded (données ATLAS)  Pas de duplication des données sur des SEs pour l’analyse  Utilisation directe du SE local géré par DPM  Résultats chiffrés et comparatifs à venir Rôle des différents outils d’analyse à trouver  Ordinateur personnel, ferme d’analyse sur site, ferme d’analyse nationale F. Hernandez/F.Chollet/F.Malek 13

14 Infrastructures Electriques et Climatiques Limitation dans les infrastructures salle machines de 5 sites LCG-France en 2011-2012  Impossibilité de suivre le plan de croissance prévu  Financements incertains Travail d’état de lieux très apprécié Suivi de l’évolution de la situation en concertation avec LCG-France, avec la fréquence appropriée à trouver F. Hernandez/F.Chollet/F.Malek 14

15 Monitoring Machine Nagios pour la surveillance de tous les sites français  En place  Deuxième instance à déployer hors CC Dashboard  En place. Feedback attendu.  Pas d’historisation des échecs des tests  Mécanisme de remontée d’alerte vers les sites, avec les informations appropriées pour détecter les causes de l’échec  Pas encore en place  Mécanisme pour réjouer les tests à la demande des administrateurs des sites  Pas prévu par EGI. Contribution de la NGI Française? F. Hernandez/F.Chollet/F.Malek 15

16 Tier-1 Pierre is your friend F. Hernandez/F.Chollet/F.Malek 16

17 Lustre au CEA/DAM Déploiement de Lustre à grande échelle  En termes de volumétrie et de nombre de composants Contribution du CEA au développements de l’outil et de son écosystème  Administration à grande échelle  Surveillance des systèmes de fichiers et outils de respect de politiques sur les fichiers  Export via NFS Intégration avec des HSM (dont HPSS) à venir Performant mais complexe F. Hernandez/F.Chollet/F.Malek 17

18 Prochaine édition Lieu et dates à déterminer Sujet central  Bilan des 4 premiers mois de prise de données de collisions, avec un focus particulier sur le comportement des sites LCG-France F. Hernandez/F.Chollet/F.Malek 18

19 Remerciements Merci aux organisateurs locaux  Edith &Thierry Merci aux présentateurs Merci à Frédérique pour l’animation efficace F. Hernandez/F.Chollet/F.Malek 19

20 Au revoir 再见 [zài jiàn] F. Hernandez/F.Chollet/F.Malek 20