Compte rendu HEPIX et CHEP2015 Stockage et gestion des données

Présentation au sujet: "Compte rendu HEPIX et CHEP2015 Stockage et gestion des données"— Transcription de la présentation:

1 Compte rendu HEPIX et CHEP2015 Stockage et gestion des données
Pierre-Emmanuel Brinette, 29/05/2015

2 2/3 des présentations stockage à HEPIX était relatives à CEPH
CEPH à toutes les sauces CEPH : Système de stockage objet distribué à usage multiple, tolérant aux pannes et extensible Stockage objet : Accès via une API ou une interface HTTP/REST Stockage en mode bloc : Disque virtuel accédé par des VM Système de fichier : CephFS compatible POSIX 2/3 des présentations stockage à HEPIX était relatives à CEPH Enabling Object Storage via shims for Grid Middleware Current Status of the Ceph Based Storage Systems at the RACF Ceph storage at RAL POSIX and Object Distributed Storage Systems: Performance Comparison … Ceph-based storage services for Run2 and beyond Integrating CEPH in EOS Ceph development update CHEP : HEPIX : CR HEPIX & CHEP 2014 29/05/2015

3 Disque dur Ethernet Disque dur embarque un CPU 1 CPU ARM / RAM / Ethernet OS s’exécute dans le disque (ie Linux) Accès au donnée via protocole réseau Exemples d’applications : Nœud OSD CEPH Pool dcache Avantagse : Abandon du RAID Sécurisation des donnée par "Erasure Code” ou duplication Meilleurs performances Augmentation de la densité (plus de serveurs dédié), baisse de la consommation Desy : Embarque un pool dCache dans directement dans le disque (Western Digital HGST Open Ethernet): 1 CERN : Test Disques Seagate Kinetics dans CEPH : 7 Assemblée générale 2011 20/11/2011

4 MPTF "Mean PB To Failure" : Etude de BNL qui met en évidence le taux de panne des HDD des workers node en fonction de l'activité et du profil d'I/O Remplacer le MTBF (temps moyen entre 2 pannes) par le nombre de TB lu ou écrit avant un panne. Assemblée générale 2011 20/11/2011

5 Data popularity et machine learning
Optimisation des accès aux données Data popularity LHCb Soft de prédiction des datasets qui ne seront plus utilisés. Possibilite d'un gain de 40% sur le disque et 30% en transferts reseau. Data popularity et machine learning CMS cherche à prédire la popularité des données avant qu'elles ne soient disponibles. Assemblée générale 2011 20/11/2011

6 Data Preservation @ DESY
Préservation des données Data DESY Arrêt de l’experience HERA en 2017 preservation with dCache definition : archiving = bit preservation + documentation + software Data Preservation a Fermilab Arret du Tevatron (D0 et CDF) fin 2011 Objectif : Garder l'infrastructure d'analyse opérationnelle jusqu'en 2020 Données (10PB) + Métadonnées (DB Oracle pour la calibration) Arret des cluster physique, utilisation de la grille et de VM Migration des code sur SL6/64 bits, CVMFS Environnement de soumission de job (SamGrid,…) Documentation : doc depuis 1978 Assemblée générale 2011 20/11/2011

7 Divers EOS au CERN : Tape @ BNL Tape @ CERN
EOS : 140 PB déployé et en production Fonctionnalité d’archivage avec CASTOR Utilisé comme backend pour CERNBOX BNL Il assurent un tape write speed >= data flow. Pour cela, ils s'assurent que le tuyau est systematiquement plus petit que le debit que peuvent recevoir les drives. Augmentation capacite des bandes → plus gros risque de perte importante de donnees. Besoin de backup dans certains cas (?) CERN 100 PB pour 100 drives T10K-D sur castor + 50 drives T10K-C TSM. Incident sur des bande dues à de la poussières  Fabrication d’un détecteur pour mesurer la densité de poussière (basé sur un RPi) technologie: +30%/year d'augmentation de capacite a cout constant La vitesse de lecture sur les drives augmente aussi, mais pas aussi vite que la capacite des cartouches.  il faut donc augmenter le nombre de drives plus vite que la capacite. Assemblée générale 2011 20/11/2011