Service Challenge 4 – Tests de Débit Bilan pour le Tier-1 LCG-France Fabio Hernandez Responsable Technique LCG-France Centre de Calcul de l’IN2P3

Slides:



Advertisements
Présentations similaires
© IBM Corporation, IBM Canada Ltée, Changement apporté à l'heure avancée Présentation à la direction Novembre 2006.
Advertisements

C.Piolat ACOPHRA 30 mai 2002 Chambéry
1 CNAM Vendredi 29 Novembre 2002 Bases de Données Avancées UV C Responsable : Mr Scholl PROTOCOLE A DEUX PHASES Meryem Guerrouani.
PACS Picture Archiving and Communication System Support, Maintenance
Cahier de textes Souhaitez-vous un cahier de texte en ligne???
LCG DATAGRID - France 8 Juillet 2002 LCG : LHC Grid computing - qui, quoi, quand, comment ? Quoi ? But : préparer l'infrastructure informatique des 4 expériences.
Utilisons free Utilisons ou Comment faire pour envoyer un gros fichier ou un dossier (zipé) de 1 Mo à 1000 Mo CE février.
Rapport périodique Europe et Amérique du Nord Rapport intermédiaire et stratégie future 11 mars 2004 Réunion dinformation Siège de lUNESCO.
I - Introduction II - Description des lots III - Intégration et tests IV - Bilan.
en management de projet
Le centre de calcul de l'IN2P3 : une architecture pour le calcul intensif et le stockage de masse Pascal Calvat.
Nouveau système de courriel à la FMSS
Stage de Maîtrise GMI – IUP STIC
Les interrogations formatives Une nécessité. Public concerné Première baccalauréat en médecine et dentisterie Premier baccalauréat en kinésithérapie et.
LEAN EN BACK OFFICE Geoffrey Noble
L’APPLICATION DE P2P DANS UN RESEAUADHOC
Présentation au colloque de Mons 2008
Un serveur de données au format ROOT.
Bilan d’étape du conventionnement sur objectifs Journée des Centres régionaux du Sudoc-PS 22 mai 2014.
Renforcement des relations : L'entretien en tête-à-tête
Services de production grille en France Gilles Mathieu IN2P3-CC France Grilles Frédérique Chollet IN2P3-LAPP LCG France Rencontres France Grilles et LCG-France,
Warehouse management system (système de gestion des entrepôts)
1 P.0878 Implantation des moniteurs Spacelabs Rencontre de fermeture de projet.
Amélioration de la Performance des Systèmes d’Information de Routine (SISR) et de l’Utilisation de l’Information pour la Gestion des Systèmes de Santé.
Réunion LCG-France, 7/4/2008 C.Charlot Acc è s aux donn é es Accès à dCache Problèmes de stageout des fichiers produits sur les WNs  Aussi pour le stagein.
Calcul CMS: bilan CCRC08 C. Charlot / LLR LCGFR, 3 mars 2008.
Calcul CMS: bilan 2008 C. Charlot / LLR LCG-DIR mars 2009.
LCG-France: Tier-1 au CC-IN2P3 Bilan 2005 et perspectives 2006 Fabio Hernandez Responsable Technique LCG-France Centre de Calcul de l’IN2P3
Présentation Finale Spirit 07 / 03 / 2011 Groupe Vert 1 Equipe Verte.
Présentation Finale Spirit 07 / 03 / 2011 Groupe Vert 1 Equipe Verte.
Période de formation en entreprise
Déploiement LCG-2 Etat actuel au CC-IN2P3 Fabio Hernandez Centre de Calcul de l’IN2P3 Lyon, 22 juillet 2004.
Supervision à distance d’une ligne de conditionnement temps réel 16/12/20101INSA de LYON - H4201.
Présentation de la gestion centralisée Siège – unités EM - RES3000.
Palaiseau Réunion CCIN2P3/LCG 22/07/2004 Distribution des données CMS Distribution des données et préparation de l’analyse Production MC distribuée et.
Sites Pilotes Généralisation
Réalisé par : Grégory CORDIER Promotion : RIE03 UE : Management Social & Humain Réalisé par : Grégory CORDIER Promotion : RIE03 UE : Management Social.
Thibault ROY & Olivier SAGIT Exposé du mercredi 17 décembre 2003 Apprentissage Interactif Apprentissage avec SpamAssassin UFR de Sciences Département d’Informatique.
1 Audit du CESP Assemblée Générale du CESSIM Mercredi 11 juin 2014.
Recapitulatif des sujets abordés Frédérique Chollet Fabio Hernandez Fairouz Malek Réunion LCG-France Tier-2s & Tier-3s Paris, 20 mars 2008.
SC4 ATLAS Ghita Rahal CC-IN2P3 Réunion LCG FRANCE Direction 3 Juillet 2006.
ATLAS Ghita Rahal CC-IN2P3 Novembre 9, /6/2006Réunion CAF2 Activités Création et externalisation d’outils de monitoring de l’état du T1 (CPU,
Rapport de stage Effectué dans la société ExPCres
NOUVELLES TECHNOLOGIES APPLIQUEES A LA SECURITE
Introduction L’équipe ODIN Notre client Le projet La cible La gestion de projet SCRUM Estimation des charges La qualité La planification Les livrables.
TD 2: La gestion des stocks avec le logiciel Odyssée
29 mars 2006J-P Meyer1 Evaluation des besoins en infrastructures et réseau  Evaluation des besoins en infrastructures  Evaluation des besoins réseau.
GRIF Status Michel Jouvin LAL/Orsay
1 18 mars 2010 Exercices PRA Mainframe Lionel PHELPIN.
BaBar France 18/01/2010 Vincent Poireau 1 Page d’aide :
TV diffusion Le système de diffusion permet d’afficher sur plusieurs écrans des médias provenant de sources accessibles en réseau.
Bilan 2012, perspectives 2013 Conseil de Groupement – 21/2/2013 V. Breton La grandeur des actions humaines se mesure à l’inspiration qui les fait naître.
Maître d’ouvrage : COMMUNAUTE DE COMMUNES DU CANTON DE MONTBENOIT ETUDE DIAGNOSTIQUE DU SYSTÈME D’ASSAINISSEMENT COLLECTIF SECTEUR VAL SAUGEAIS REUNION.
Développement des templates Quattor de gLite à EMI Guillaume PHILIPPON.
Présentation de la planification au Mali 1 [Intervenant] Dr Patrice COULIBALY, Responsable du Programme ACCESS-SMC MALI [18 Janvier 2016]
Gestion Electronique des Documents pour l’IN2P3 COMUTI 06 juin 2014.
CAF LCG-FRANCE A.Rozanov LCG France 22 Juillet SOMMAIRE Composition CAF DC2 ATLAS Demandes fin 2004.
CMS CCRC08 phase 2 C. Charlot / LLR LCG-DIR juin 2008.
8 avril 2005Comité lcg France1 Comité LCG France du 8 avril 2005 Philippe GAILLARDON Équipe stockage URL Marchés de stockage.
Conclusions (?) Fabio Hernandez Frédérique Chollet Fairouz Malek Réunion Sites LCG-France Annecy, May
C. Charlot, LLR Ecole Polytechnique DC04 CMS Objectif numéro 1: préparation du traitement offline Différent des productions MC précédentes Mise en route.
Projet LCG: Vue d’Ensemble Fabio Hernandez Responsable Technique LCG-France Centre de Calcul de l’IN2P3 Rencontre IN2P3/STIC Grenoble, 25.
1er septembre 2005J-P Meyer1 Statut du projet GRIF (Grille de Recherche d’Île de France) Rappel du projet But: Mettre en place une ressource d’analyse.
Fabio Hernandez Lyon, 9 novembre 2006 LCG-France Tier-1 Réunion de Coordination.
20-mars-2008Eric Lançon1 Activités ATLAS sur le nuage Français Emprunts a K. Bernardet, C. Biscarat, S. Jezequel, G. Rahal.
CALCUL ATLAS LCG France (CC IN2P3 Lyon) 30 Avril SOMMAIRE Data Challenge 2 (DC2) d’ATLAS Utilisation du CC IN2P3.
Fabio HERNANDEZ Responsable Grid Computing Centre de Calcul de l'IN2P3 - Lyon Lyon, 30 avril 2004 Déploiement LCG-2 au CC-IN2P3 Etat d’avancement.
Vue d'ensemble de l'utilisation du CCIN2P3 par les expériences LHC
Workshop dCache.
Transcription de la présentation:

Service Challenge 4 – Tests de Débit Bilan pour le Tier-1 LCG-France Fabio Hernandez Responsable Technique LCG-France Centre de Calcul de l’IN2P3 Comité de Direction LCG-France 15 mai 2006

F. Hernandez 2 SC4 – Tests de Débit Objectif pour le CC-IN2P3  Recevoir des données en provenance du Tier-0 (disque)  Sur disque (dCache) à 200 MO/sec pendant 2 semaines (24h/24)  Sur bande (dCache + HPSS) à 75 MO/sec pendant 1 semaine (24h/24)  Dans les deux cas, comprendre les fluctuations de débit et être en mesure de dépasser le taux nominal ciblé Calendrier  30 mars – 2 avril: préparation, montée en charge  3 avril – 17 avril: transferts CERN → CC-IN2P3 (disque)  NOTE: 15 au 17 avril (weekend de pâques) - transferts sans intervention humaine  18 avril – 24 avril: transferts CERN → CC-IN2P3 (bande) Rappel: l’objectif à terme est une réception de données sur bande en continu en provenance du T0 CERN à un débit de 200 MO/sec

F. Hernandez 3 Phase I: CERN → CC-IN2P3 (disque) 1/4 CC-IN2P3

F. Hernandez 4 Phase I: CERN → CC-IN2P3 (disque) 2/4 Objectif: 200 MO/sec

F. Hernandez 5 Phase I: CERN → CC-IN2P3 (disque) 3/4 Week-end de Pâques Fin des transferts disque→disque Début de transferts disque→bande

F. Hernandez 6 Phase I: CERN → CC-IN2P3 (disque) 4/4 Qualité des transferts  371 erreurs / transferts  Taux d’erreur: 0,18%

F. Hernandez 7 Phase II: CERN → CC-IN2P3 (bande) 1/2 Objectif: 75 MO/sec Note: les transferts vers la bande ont débuté le 19/04 à 15h00. La moyenne montrée pour ce jour inclut aussi les transferts vers disque jusqu’à cette heure.

F. Hernandez 8 Phase II: CERN → CC-IN2P3 (bande) 2/2 Qualité des transferts  306 erreurs / transferts  Taux d’erreur: 0,76%  Beaucoup d’erreurs peuvent être évités en améliorant la gestion d’erreurs dans les transferts disque (dCache) → HPSS

F. Hernandez 9 Phase I [bis]: CERN → CC-IN2P3 (disque) Objectif: 200 MO/sec Serveur disque supplémentaire (4), par rapport à la phase I. Résultat: +25% du taux nominal pendant 3+ jours. Retrait du serveur disque supplémentaire. Résultat: on retombe sur le taux nominal démontré les 3 premiers jours de la phase I. Problèmes avec CASTOR au CERN. Détails dans le blog.blog

F. Hernandez 10 Conclusions Réseau, serveurs de disque, dCache, HPSS stables pendant tout l’exercice  Utilisation de HPSS en production  1 serveur de disque dCache est tombé en panne: la configuration en place a permis de maintenir le débit avec un serveur en moins Débit à disque non regulier pendant toute la période de tests  Hypothèse: contention à la source (très probablement dans FTS) - impossibilité de remplir les canaux de tous les sites  Paramétrage du nombre des fichiers dépendant du site. Modification des paramètres du canal d’un site impacte plusieurs autres (ex. BNL et FNAL).  La configuration utilisée est suffisante pour atteindre un débit nominal +25%, tel que montrée dans la deuxième itération des transferts disque. L’exploitation de l’ensemble de la chaîne reste à améliorer  Outils de monitoring à mettre en place  Intégration au service d’astreinte  Quelques bugs dCache identifiés et soumis aux développeurs Plus de détails  Rapport joint à l’agenda de cette réunionl’agenda de cette réunion  Présentation de Jamie Shiers au LHCC Referees Meeting le 9 mai Présentation de Jamie Shiers LHCC Referees Meeting Merci à Lionel Schwarz et toute l’équipe Stockage pour cet excellent travail!!!

F. Hernandez 11 Questions