LSST : Big data = Big science? Reunion Renoir 18 Nov 2013
Plan Le projet LSST, rappels Le Calcul LSST et la science Le Calcul LSST en France Le Data Challenge « Summer 2013 »
Le projet LSST General presentation Data Oriented presentation
Le calcul LSST et la science SWG et DESC … digression : mesure de distances
Le Calcul LSST en france Dizaine de personnes actives 8 labos in2p3 Reunion bi-mensuelle + wiki Activite jusqu’à maintenant DM : installation/comprehension du code au CC DM : Data Challenge Summer 2013 DB : groupe (Clermont) Qserv
Le data Challenge Summer 2013 Installation du « Stack au CC» Plusieurs reunions «TP», dont une au CPPM. Collaboration étroite avec les US
Le Data Chalenge « Summer 2013 » L’input : SDSS stripe82stripe82 Les operations de traitement d’image processSdssCcd.py ingestProcessed.py makeCoaddTempExp.py assembleCoadd.py processCoadd.py ingestCoadd.py forcedPhot.py ingestForcedSource.py
Le Data Chalenge « Summer 2013 » Les Chiffres Input = 4,8 To / 4,4 M fichiers jobs Grid Engine accedant a GPFS Utilisation de DIRAC (partielle) heures de calcul ( HS06) Output = 85 To / 19 M fichiers Server Mysql 3To / lignes Big Data !
Le Data Chalenge « Summer 2013 » Résultats Deep Coadd du stripe 82 > courbes de lumières
Prospectives Data challenge 2014 ? all sky SDSS ? CFHT DEEP ? Science avec les resultats SDSS/CFHT ? Science avec DESC Science avec DES (utilisation du stack)