LSST : Big data = Big science? Reunion Renoir 18 Nov 2013.

Présentation au sujet: "LSST : Big data = Big science? Reunion Renoir 18 Nov 2013."— Transcription de la présentation:

1 LSST : Big data = Big science? Reunion Renoir 18 Nov 2013

2 Plan Le projet LSST, rappels Le Calcul LSST et la science Le Calcul LSST en France Le Data Challenge « Summer 2013 »

3 Le projet LSST General presentation Data Oriented presentation

4 Le calcul LSST et la science SWG et DESC...... … digression : mesure de distances

5 Le Calcul LSST en france Dizaine de personnes actives 8 labos in2p3 Reunion bi-mensuelle + wiki Activite jusqu’à maintenant DM : installation/comprehension du code au CC DM : Data Challenge Summer 2013 DB : groupe (Clermont) Qserv

6 Le data Challenge Summer 2013 Installation du « Stack au CC» Plusieurs reunions «TP», dont une au CPPM. Collaboration étroite avec les US

7 Le Data Chalenge « Summer 2013 » L’input : SDSS stripe82stripe82 Les operations de traitement d’image processSdssCcd.py ingestProcessed.py makeCoaddTempExp.py assembleCoadd.py processCoadd.py ingestCoadd.py forcedPhot.py ingestForcedSource.py

8 Le Data Chalenge « Summer 2013 » Les Chiffres Input = 4,8 To / 4,4 M fichiers 40 000 jobs Grid Engine accedant a GPFS Utilisation de DIRAC (partielle) 100 000 heures de calcul (1 000 000 HS06) Output = 85 To / 19 M fichiers Server Mysql 3To / 10 000 000 lignes Big Data !

9 Le Data Chalenge « Summer 2013 » Résultats Deep Coadd du stripe 82 >1 000 000 courbes de lumières

10 Prospectives Data challenge 2014 ? all sky SDSS ? CFHT DEEP ? Science avec les resultats SDSS/CFHT ? Science avec DESC Science avec DES (utilisation du stack)