Réunion Analyse D0 France au CCIN2P3 19 janvier 2004

Présentation au sujet: "Réunion Analyse D0 France au CCIN2P3 19 janvier 2004"— Transcription de la présentation:

1 Réunion Analyse D0 France au CCIN2P3 19 janvier 2004
Patrice Lebrun

2 Ordre du jour Accueil et discussion de l'ordre du jour
Descriptions des moyens de stockages du centre (phg,Thomas) Etats actuel des ressources de D0 et demandes (Patrice) Transferts de fichiers (Laurent) Production MC (Patrice, Michel) Gestion des fichiers (Laurent) Sam et d0grid (Patrice, Tibor) Parole aux utilisateurs (Bernard, PatriceV ...) Répartitions des responsabilités, rôle du comité analyse AOB

3 Utilisation actuelle des ressources
Group_dir 136 Go (66%) Throng_dir 8 Go (68 %) Espace SPS 20 Go (39 %) HPSS 64 To 2 serveurs avec 2.5 To CPU 15 M UI demandés en 2003 ! Production: h UI Analyses (autres): h UI

4 Demandes 2004 HPSS Transfert Disques Logiciels
Trois serveurs avec 2 To de disque par serveur 30 To Transfert Carte ethernet 100 Mb/s sur ccd0? Disques THRONG: 32 Go GROUP: 184 Go SPS: 1 To Logiciels Prolongation de la licence KCC xrootd ?

5 Demandes 2004 suite machine proxy database … ?
Pour l ’accès aux données de calibration (reprocessing RAW data). A priori une grosse configuration sur une machine Linux bi-processaur devrait être suffisant … … ?

6 Réseau FNAL via Renater 3 (1 Gb/s) -> Geant US (2.5 Gb/s) -> ESNET (622 Mb/s) La ligne CERN est encore un chemin possible utilisé Taux de Transfert actuel Actuellement FNAL-CCIN2P3: ~ 30 Mb/s 100 Mb/s (Laurent ?)

7 La Production MC MC_RUNJOB Database Oracle Mécanisme des requests
L’environnement a été modifié (utilisation « à la CAB ») pour ne plus avoir à l ’adapter au ccin2p3 à chaque version. (Merci Michel) Database Oracle Permet le suivi de la production (interface PHP) Procédure de « Merging » des thumbnails disponible Mécanisme des requests Fichiers pythons en entrée Productions privées possible à mettre en service Documentations et formations Prévoir des réunions pages HTML à éditer

8 SAM et JIM Tâches de fond sur CCD0 Rôles SAM et HPSS 1 station
ccin2p3-analysis ccin2p3-production n ’existe plus !! Rôles Gestion des fichiers et de projets Transfert des fichiers entre les sites Soumission des jobs (depuis n ’importe quel site) SAM et HPSS Sam reconnaît les fichiers dans HPSS comme des fichiers locaux Cache sur CCD0 sert de passerelle avec l ’extérieur Risque d ’utilisation inflationniste de HPSS

9 Solution possible au problème d’optimisation de SAM avec HPSS
Sortir les serveurs de HPSS les disques des serveurs sont gérés par SAM (cache) SAM sait il équilibrer la charge des serveurs ? HPSS est vu comme ENSTORE (staging) SAM doit être de nouveau modifié pour cela. URL hpss et rfio à définir et non pas seulement rfio. Les applications accèdent les fichiers sur les serveurs avec RFIO SAM doit savoir le faire car c’est qu’il fait actuellement avec HPSS

10 Grille de Calcul Début d’installation au ccin2p3
premiers tests configuration des queues de soumission des job (Laurent) Première réunion européennes au ccin2p3 le 7 mai JIM Estimation des forces dans chaque laboratoire Coopération avec CMS sur les métadata S’impliquer plus avec le groupe grille de calcul du ccin2p3

11 Reprocessing des données: quelques chiffres
Période du 20 Novembre au 6 janvier Michel,Laurent, Tibor, Patrice 6.8 To de DST transférées de FNAL à Lyon 7.3 To de DST produites et stockè à Lyon 0.66 To de thumbnails transférées à FNAL 35 M evts (15s, cpu 1 Ghz) CPU: ~ 160 processeurs à 1 GHz soit 1 MhUI (10 % des ressources en CPU du centre sur cette période). La répartition en type de processeurs est la suivante: ~ 70 % PIV 2.4 GHz ~ 20 % PIII 1.4 GHz ~ 10 % PIII 1 GHz

12 Comité Analyse Redéfinir son rôle et organiser son fonctionnement
Avoir un responsable de ce comité Nom: Bernard Andrieu ? Membres (à réactualiser ?) Sabine Crépé Michel Jaffre Bruno Thooris Pierre Lutz Patrice Lebrun Denis Gelé Bernard Andrieu Laurent Duflot Eric Kajfasz Smaïn Kermiche

13 MAN POWER Recrutement d’un CDD au ccin2p3 dédié à D0
Tibor Kurca début de contrat: 1er septembre Amélioration des outils de production Production MC et Reprocessing Développement d ’outils pour l ’aide à l ’analyse Utilisation de D0-Grid Utilisation des services informatiques des laboratoires Possible si l’on demande un développement ponctuel bien définit ex: nouvelle classe THPSSFile écrite à Lyon pour utiliser RFCP de manière transparente (reste à en faire la publicité)