LSST Wide, Deep, Fast… Le projet LSST Dominique Boutigny

Slides:



Advertisements
Présentations similaires
LSST : Big data = Big science? Reunion Renoir 18 Nov 2013.
Advertisements

L'étude des rayons gammas, au sol, ne peut se faire de façon directe en raison de leur absorption par les atomes de l'atmosphère terrestre. Lorsqu'un rayon.
GAIA et le système solaire GAIA et le système solaire n La mission n L’instrument n Les objets observables n La science, applications n À venir, étapes.
Le projet LSST 21 juin Le Large Synoptic Survey Telescope LSST Wide, Deep, Fast… Dominique Boutigny – CC-IN2P3Séminaire au LAPP – 21 juin 2013.
PetaSky: Expérimentations avec HadoopDB et Hive 1 Amin Mesmoudi.
Jeudi 12 decembre 2007 Le CC-IN2P3 Un instrument informatique de pointe au service de la recherche Traitement intensif de données et Sciences de la Vie.
Le projet MUST Méso infrastructure de calcul et de stockage ouverte sur la grille européenne LCG/EGEE Colloque Grille Rhône-Alpes 10 janvier 2008.
Accélérateurs et détecteurs de particules
Vendredi 23 mars 2007 Le CC-IN2P3 Un instrument informatique de pointe au service de la recherche.
L'infrarouge,Herschelet la formation des étoiles dans notre Galaxie D. Russeil Laboratoire d'astrophysique de Marseille Université de Provence.
Réseau "Détecteurs semi-conducteurs" Journée instrumentation, Paris, 25 novembre 2013.
Créer un site Web avec Eva Spip Première approche B. Gugger – Mars 2006 – Département RTC.
CC By-Nc-Sa : François Barillon, 2011 Usages pédagogiques d'un TBI Écoles numériques rurales.
1 Le stage informatique de Masters APIM et PIE (2012/2013) Ivana Hrivnacova Vincent Lafage Basé sur le stage informatique du LAL et IPN par (2005/2006):
______________________________________________ Christina Cantrel Réunion correspondants com Paris – 23/11/11 Bars des sciences – Posters
21 septembre 2005Présentation Groupe développements du SI Le groupe développements du service informatique du LAL 21 septembre 2005 (Guy Le Meur)
Perspectives Cloud dans le cadre du projet EQUIPEX CAPRI 1 décembre 2011 Dominique Boutigny.
LE REPIQUAGE DU RIZ DE BAS-FOND 1. OBJECTIFS PEDAGOGIQUES (1) A la fin du cours, l’apprenant doit être en mesure de connaitre:  L’importance du repiquage.
JJC 2008 – Cosmologie Cosmologie = étude de l’histoire de l’Univers dans son ensemble dans son ensemble Arch é ologie cosmique Julien Serreau, APC.
Les Satellites Auteur : Gilles Petitjean, EADS. Plan  Les différents types de satellites  Les applications des satellites et l’Observation de la Terre.
A partir du 1er mars 2016 : 2 offres
e-Prelude.com Analyse globale du flux
Utilisation des Gammes La chaîne numérique en Productique
Positionnement et stratégie d’évolution du CC-IN2P3
Rôle de l’équipier au sein du binôme de reconnaissance
Utiliser le dossier Mon EBSCOhost
Albertine DUBOIS et Alexandre LIEGE
Utilisation de PostgreSQL
CHAPITRE 04 Ondes et Particules
Cahier des charges Hôpital Avicenne.
Journée Analyse D0, 19 janvier 2004
Spark et LSST Christian Arnault.
Laboratoire d’Informatique Système
ENREGISTREMENT DE L’INFORMATION.
La Wallonie monte en ligne
Le stage informatique de l'IPN
Illumination du Plan Focal pour le Cryostat d’EUCLID
Astronomie au Cycle III
HTML & css.
Vue d'ensemble de l'utilisation du CCIN2P3 par les expériences LHC
Un instrument informatique de pointe au service de la recherche
POSITIONNEMENT CNES SUR LISA
Développement d’une application Android destinée aux commerciaux
AUPRES DES ENTREPRISES
Laboratoire Univers et Particules de Montpellier
Statut du T2 Île de France
CeMEB La plateforme MBB
Sommaire Qu’est ce que l’internet ? Quand a-t-il vu le jour ?
Bases de données et simulations planétologiques à
L’exploitation des données du collisionneur LHC: un défi pour le calcul scientifique un enjeu pour le LAPP S. Jézéquel.
Le Projet GRIF Efficient Handling and processing of
Miroirs Rédacteur : J.Mourlhou Lycée Toulouse-Lautrec Toulouse.
OPTIQUE GEOMETRIQUE J. BOUGUECHAL
Chapitre2: SGBD et Datawarehouse. On pourrait se demander pourquoi ne pas utiliser un SGBD pour réaliser cette structure d'informatique décisionnelle.
CHAPITRE 3 : Les longueurs à l’échelle astronomique
Introduction à la Grille
Pré-projet ANR 2017 Données du Projet MIAMM
Data Mining Fait par : Belhaj Nadia Derouich Maryem.
Support de formation Administrateur Temps & activités
Un cloud de production et de stockage
BD TOPAGE® Laurent Breton, AFB/DAPP
Les différentes Situations d’apprentissages :.  Rougier (2009) explique que les situations d'apprentissage, choisies après avoir déterminé les objectifs,
Présentation RDC Environment
Diags ThomX Autres diags et conclusions
Le modèle standard : les grandes questions qui subsistent …
PROJET DE CARTOGRAPHIE NUMÉRIQUE POUR LE TRANSPORT DES BOIS
Les TICE à l’école élémentaire Contribution à l’étude des compétences et des représentations des élèves de l’école élémentaire concernant les nouvelles.
Tableau de bord d’un système de recommandation
Les Sciences de l’Ingénieur dans un continuum de formation du lycée à l’enseignement supérieur Poursuites d’études Les élèves qui suivront cet enseignement.
DONNÉE DE BASE QM Manuel de formation. Agenda 2  Introduction  Objectif de la formation  Données de base QM: Caractéristique de contrôle Catalogue.
Transcription de la présentation:

LSST Wide, Deep, Fast… Le projet LSST Dominique Boutigny http://www.lsst.org/lsst/ 5 mars 2013

La Science (1) Existence d'importantes quantités de matière noire dans l'univers 5 mars 2013

La Science (2) 1998 : L'étude des supernovæ de type 1A montre que l'expansion de l'univers semble s'accélérer  Conséquences extrêmement importante sur notre compréhension de l'évolution de l'univers. Pb : Il y a peu de supernovæ 1A et on ne sait pas jusqu'à quel point toutes les SN sont standards et évoluent de la même manière 5 mars 2013

La Science (3) Mesures du rayonnement de fond cosmologique de l'univers  COBE – WMAP et bientôt PLANCK Il y a très peu d'information sur la nature de cette énergie noire 5 mars 2013

Large Synoptic Survey Telescope L'idée de LSST est d'observer l'univers visible aussi globalement que possible  Observation systématique de tout ce qui est observable ! Synoptique : "qui permet de saisir d'un coup d'œil les parties d'un ensemble" LSST va observer et imager le ciel de manière systématique pendant 10 ans L'optique très lumineuse, permet d'observer des objets extrêmement faibles avec des poses très courtes (2 x 15 s) On voit loin dans l'univers On remonte loin dans le passé Possibilité de détecter des phénomènes transitoires avec une excellente efficacité  Supernovæ par exemple (~107 en 10 ans) 5 mars 2013

Le site de construction Cerro Pachón 2700 m Seeing moyen : 0.67 arcsec VLT site Télescopes Gemini-sud et SOAR 5 mars 2013

Le télescope F/D = 1.23 Diamètre 8.4 m Formule optique à 3 miroirs "Paul Baker" F/D = 1.23 M1 : 8.4 m f/1.14 M2 : 3.4 m f/1.05 M3 : 3.5 m f/1.19 Structure mobile de 350 tonnes (dont 60 tonnes pour le système optique seul) 5 mars 2013

Les miroirs 24 tonnes de verre Substrat des miroirs primaire et tertiaire Les miroirs Substrat du miroir secondaire 24 tonnes de verre 5 mars 2013

La caméra Pose de 15 s Positionnement de l'obturateur durant 1 s Champ de vue : 9.6 deg2 3.2 milliards de pixels 6 filtres : UV (320 nm)  IR (1070 nm) résolution : 0.2 arcsec / pixel Pose de 15 s Positionnement de l'obturateur durant 1 s Lecture des CCD durant 2 s Nouvelle pose de 15 s Positionnement du télescope sur une nouvelle zone (proche) durant 5 s 189 plans de CCD (4k x 4k) assemblés dans 21 modules de 3x3 CCD 5 mars 2013

Les images 15 To de données chaque nuit Image simulée 16 Mpixels 1/189ème d'une pose complète de LSST 15 To de données chaque nuit Chaque zone du ciel est photographiée ~1000 fois en 10 ans  On additionne les images ce qui permet de gagner en profondeur au cours du temps (magnitude 24  27) Pré-traitement quasi en ligne des données Alertes générées en moins de 60s >1 000 000 d'alertes / nuit  50 Po d'images brutes 5 mars 2013

Calendrier / Collaboration Démarrage prévu en 2018 pour 2 ans de validations ("commisionning") de l'instrument 10 ans de prise de données : 2020 - 2029 Le calendrier est susceptible de glisser un peu en raison de la situation économique mondiale … LSST est une expérience prioritaire du DOE et de la NSF Le rôle pionnier de l'IN2P3 dans LSST lui vaut d'être considéré comme un contributeur américain (seul dans ce cas)  51ème état  Collaboration française : LPNHE – LAL – APC – LPC – CPPM – LPSC – LMA et CC-IN2P3 Les données seront publiques ! Des collaborations se forment pour exploiter ces données :IN2P3  Dark Energy Science Collaboration (DESC) LSST est un grand instrument (comme le LHC) : La collaboration LSST met à disposition des catalogues d'objets 5 mars 2013

CC-IN2P3 NCSA Le NCSA et le CC se partageront le traitement des données – 50% - 50% Les données seront ensuite ré-échangées de façon à ce que chaque site dispose d'un lot complet 5 mars 2013

Contribution du CC au traitement de données Investissement matériel : ~1.5 M€ / an Il faudra également fournir des ressources pour l'exploitation des données de la Dark Energy Science Collaboration 5 mars 2013

Le système de base de données de LSST Après le traitement des images des algorithmes permettent d'identifier les objets astrophysiques présents (étoiles, galaxies, quasars, candidats SN, astéroïdes, etc. Une requête dans une telle DB peut nécessiter un temps quasi infini pour aboutir  Mieux vaut être astucieux ! A terme : 20-30 Po de données dans la base de données Pour DESC il sera sans doute nécessaire de remonter à l'information "pixels" La table des "sources" contiendra 250 milliards de lignes après la première année et croitra jusqu'à 5000 milliards au bout de 10 ans 5 mars 2013

Bases de données Les tables dans la DB correspondent à un pavage géométrique du ciel observable Optimisé pour la plupart des recherches astro Certaines requêtes ne peuvent pas aboutir en un temps raisonnable  "give me the 5 most brightest objects of the sky" is an impossible query ! http://www.lsst.org/News/enews/data-searching-201210.html 5 mars 2013

Qserv: une base de donnée distribuée "shared nothing" Main developers : Daniel L. Wang (SLAC), Serge M. Monkewitz (IPAC), Kian‐Tat Lim (SLAC), Jacek Becla (SLAC), Douglas Smith (SLAC) MySQL n'est pas une techno obligatoire PetaSky 5 mars 2013

Rôle du CC dans Qserv Actuellement Qserv est installé sur 4 nœuds iDataplex au CC (1 master + 3 nœuds) File System de 5 To monté via NFS sur le master pour le chargement des données Le CC fournira un banc de test de 50 nœuds iDataplex dès que la procédure de déploiement automatique des nœuds sera disponible Tests systématiques Optimisation des paramètres (taille des tables, …) Tests des versions successives de Qserv En vue de la Final Design Review de LSST (fin de l'année) nous étendrons le banc de test à 250 nœuds pour réaliser un test à grande échelle Mise à disposition des 250 nœuds pour quelques semaines Apport majeur pour la collaboration ! 5 mars 2013

Data Challenge Le CC va être fortement impliqué dans le prochain data challenge (été) L'un des buts principaux est de démontrer la capacité de LSST à traiter les données sur 2 sites 1 – 2 MHS06 100 To de stockage (3 X4540 – iRODS) Liaison transatlantique Utilisation d'iRODS pour gérer les échanges de données 2 possibilités : Machines virtuelles + GE  GE seul mais la migration vers SL6 est nécessaire  L'IN2P3 propose l'utilisation de DIRAC comme outil de gestions des jobs En plus du Data Challenge, il y aura un traitement spécifique de données du CFHT-LS avec le code LSST  possibilité d'utiliser des données pour de "vraies" études scientifiques 5 mars 2013

Autres pistes de travail Simulation : LSST est la première collaboration à développer un simulateur complet d'objet astrophysique : Physique Génération et propagation des photons (des centaines de milliards) Modélisation de l'atmosphère Simulation complète de l'optique du télescope et des CCD Volonté d'utiliser massivement le cloud pour ces simulations  "use case" comme demandé par le COS D'une manière générale : exploration des possibilités offertes par le cloud OpenStack du CC LSST est volontaire pour tester la partie "storage cloud" dès qu'elle sera disponible Tester les GPU et autres processeurs multicore (Xeon Phi…) pour le traitement des images et les simulations. 5 mars 2013