HEPIX 2015 https://indico.cern.ch/event/346931/ N. Neyroud 1.

Présentation au sujet: "HEPIX 2015 https://indico.cern.ch/event/346931/ N. Neyroud 1."— Transcription de la présentation:

1 HEPIX 2015 https://indico.cern.ch/event/346931/ N. Neyroud 1

2 SciDB testé à NERSC (Berkeley) – Base de données distribuée et plateforme d’analyse (Array DB) – Ecriture une fois/Lectures multiples – Evolutive jusqu’à plusieurs milliers de processeurs et des Pbytes de données – Jointures de type SQL – Logiciel opensource (Paradigm4) 2 END-USER (Lundi 14h00)

3 End-User (Mardi 11h00) Les services Collaboratifs du CERN – Issue tracking:JIRA (http://cern.ch/its) – Repository: SVN & GIT, GITHUB (Pour les projets Opensource avec des partenaires externes) – Etape suivante: Gitlab (GITHUB à la maison) « Code repository, Code review, Issue tracking, Wiki, Continuous Integration », en test depuis mi- 2014 3

4 STORAGE (Mardi 17h00) “Evaluation of distributed open source solutions in CERN database use cases” – Motivations: gros volume de données en lecture seule – HADOOP avec differents SQL query Engine (APACHE HIVE, Cloudera Impala, Apache Spark SQL)  Le format des données et le type de compression ont une très grosse importance 4

5 STORAGE (Mercredi) CEPH dans de très nombreuses présentations associés avec le Cloud: – DESY (GY), RAL(UK) en pre-production – Le CERN en production (2.5PB dont 850TB utiles: 3 replicas) => A tester une nouvelle technologie pour éviter les 3 replicas (Erasure Coding) 5

6 STORAGE (Mercredi) BNL (RACF) en production – Architecture, tests de performance 6

7 Basic IT Services (Jeudi matin) – Configuration management Puppet Jenkins (CI) MCCollective (Server orchestration and parallel processing) Quattor Mise à jour téléphonie du CERN Sonorisation du monitoring 7

8 Cloud (Jeudi) – De nombreux Cloud en production OpenNebula à RAL (Self service test and development VMs) OpenStack au CERN depuis juillet 2013 – 5000 Hyperviseurs dont 800 en Hongrie – 1600 utilisateurs, 100k cœurs, 140TB sur CEPH, 10000 VMs actives 8

9 Cloud (Jeudi 16h00) – Analyse ATLAS sur le Cloud (BNL) Testé en grandeur réelle sur Amazon EC2 Computing: Offre SPOT market (On annonce le prix que l’on veut payer et c’est la loi de l’offre et de la demande). Des jobs de 10 minutes. Network: Lien dédié avec ESNet (le réseau américain => Offre DirectConnect à 10Gbps) Stockage (Temporaire dans le cloud, les résultats sont récupérés dès que possible) Novembre 2014: 20000 cœurs, 2500 nœuds (25000 $ calcul + 2500 $ Transfert des données), 7 jours. Activité et taille de BNL Tier1 ATLAS.  ½ performance de BNL mais économiquement intéressant  Prévu en avril 2015 avec 6000 nœuds, 50000 cœurs et 3 régions Amazon puis 100000 cœurs. 9

10 Questions ? 10