HEPIX N. Neyroud 1

SciDB testé à NERSC (Berkeley) – Base de données distribuée et plateforme d’analyse (Array DB) – Ecriture une fois/Lectures multiples – Evolutive jusqu’à plusieurs milliers de processeurs et des Pbytes de données – Jointures de type SQL – Logiciel opensource (Paradigm4) 2 END-USER (Lundi 14h00)

End-User (Mardi 11h00) Les services Collaboratifs du CERN – Issue tracking:JIRA ( – Repository: SVN & GIT, GITHUB (Pour les projets Opensource avec des partenaires externes) – Etape suivante: Gitlab (GITHUB à la maison) « Code repository, Code review, Issue tracking, Wiki, Continuous Integration », en test depuis mi

STORAGE (Mardi 17h00) “Evaluation of distributed open source solutions in CERN database use cases” – Motivations: gros volume de données en lecture seule – HADOOP avec differents SQL query Engine (APACHE HIVE, Cloudera Impala, Apache Spark SQL)  Le format des données et le type de compression ont une très grosse importance 4

STORAGE (Mercredi) CEPH dans de très nombreuses présentations associés avec le Cloud: – DESY (GY), RAL(UK) en pre-production – Le CERN en production (2.5PB dont 850TB utiles: 3 replicas) => A tester une nouvelle technologie pour éviter les 3 replicas (Erasure Coding) 5

STORAGE (Mercredi) BNL (RACF) en production – Architecture, tests de performance 6

Basic IT Services (Jeudi matin) – Configuration management Puppet Jenkins (CI) MCCollective (Server orchestration and parallel processing) Quattor Mise à jour téléphonie du CERN Sonorisation du monitoring 7

Cloud (Jeudi) – De nombreux Cloud en production OpenNebula à RAL (Self service test and development VMs) OpenStack au CERN depuis juillet 2013 – 5000 Hyperviseurs dont 800 en Hongrie – 1600 utilisateurs, 100k cœurs, 140TB sur CEPH, VMs actives 8

Cloud (Jeudi 16h00) – Analyse ATLAS sur le Cloud (BNL) Testé en grandeur réelle sur Amazon EC2 Computing: Offre SPOT market (On annonce le prix que l’on veut payer et c’est la loi de l’offre et de la demande). Des jobs de 10 minutes. Network: Lien dédié avec ESNet (le réseau américain => Offre DirectConnect à 10Gbps) Stockage (Temporaire dans le cloud, les résultats sont récupérés dès que possible) Novembre 2014: cœurs, 2500 nœuds (25000 $ calcul $ Transfert des données), 7 jours. Activité et taille de BNL Tier1 ATLAS.  ½ performance de BNL mais économiquement intéressant  Prévu en avril 2015 avec 6000 nœuds, cœurs et 3 régions Amazon puis cœurs. 9

Questions ? 10