Calcul pour le spatial & le CC-IN2P3 Jean-Yves Nief (CC-IN2P3)

Présentation au sujet: "Calcul pour le spatial & le CC-IN2P3 Jean-Yves Nief (CC-IN2P3)"— Transcription de la présentation:

1 Calcul pour le spatial & le CC-IN2P3 Jean-Yves Nief (CC-IN2P3)

2 Les besoins Calcul: –Traitement des données brutes et produits dérivés. –Simulations. –Analyses. Accès aux données: –Accès performant en lecture/écriture aux données sur disques. –Accès online à des volumes importants stockés sur bandes. Stockage et archivage pérenne des données: –Quid des données dans 5 ans, 10 ans et bien au-delà…. 19/02/09Calcul pour le spatial - Journée spatiale IN2P32

3 L’astroparticule au CC-IN2P3 Liste non exhaustive. Etude du rayonnement cosmique: –Observatoire Pierre Auger, Antares, AMS. Astronomie dans le rayonnement gamma: –HESS, Fermi. Mesure du CMB: –Archeops, Planck. Etude des ondes gravitationnelles: –Virgo, Lisa. Supernovae: –SNLS, Supernovae Factory. Recherche de la matière noire: –Eros. –Edelweiss. Futures implications ?: –LSST. –Autres … 19/02/09Calcul pour le spatial - Journée spatiale IN2P33

4 Les modèles de calcul en astroparticule Modèle quasi-HEP 19/02/09Calcul pour le spatial - Journée spatiale IN2P34 AugerFermi Antares Hess

5 Les modèles de calcul en astroparticule Traitement du signal 1d 19/02/09Calcul pour le spatial - Journée spatiale IN2P35 Lisa-PathFinder ? Virgo

6 Les modèles de calcul en astroparticule Traitement du signal 1d-2d. 19/02/09Calcul pour le spatial - Journée spatiale IN2P36 Planck Archeops Données acquises en 1d, à projeter en 2d.

7 Traitement d’images. 19/02/09Calcul pour le spatial - Journée spatiale IN2P37 Les modèles de calcul en astroparticule SNLS, Supernovae Factory, Eros…

8 Calcul Calculs (simulation, reprocessing, analyse) sur: Fermes de PCs standards: tâches sériels (bientôt 10000 coeurs). Fermes de calcul parallèle: MPI, PVM, etc… Traitements du signal 1d-2d: Pour certaines tâches, besoins importants en terme de RAM (> 10 Go). Efficacité fortement contrainte par l’accès aux données. 19/02/09Calcul pour le spatial - Journée spatiale IN2P38

9 Stockage et accès aux données Traitement du signal 1d-2d, d’images: –Débit de lecture/écriture important (ex: débits agrégés de 640 Mo/s pour 120 tâches en //). –Nécessité de systèmes d’accès aux données performants. –Réseau performant. –Plus de 1 Go/s atteint (sur une journée  80 To). Traitement d’images, du signal 1d-2d: –Peu de données produites mais besoins de grands volumes de disques pour les produits dérivés (> 80 TB), accès intensif. Utilisation de stockage hybride (disques+bandes) pour la gestion de très grosses volumétries (> 100 To). 19/02/09Calcul pour le spatial - Journée spatiale IN2P39

10 Archivage pérenne des données Evolution rapide des technologies: –Nécessité de migrer les données sur de nouveaux supports de façon transparente. –Migration vers de nouveaux formats de données. Se protéger des défaillances humaines et matérielles: –Sauvegarde des données. –Contrôle de l’intégrité des fichiers. Mise à disposition des données sur le long terme: –Interface avec l’Obs virtuel, encore du travail à effectuer. Bien d’autres critères à prendre en compte: –Provenance des données, gestion des replicas, etc… 19/02/09Calcul pour le spatial - Journée spatiale IN2P310

11 L’exemple de Fermi Utilisation du CC-IN2P3 pour la production de simulations Monte-Carlo (format ROOT). Soumission centralisée des jobs pilotée à partir de SLAC: –Jobs envoyés à un serveur au CC-IN2P3 qui soumet le job en machine. –Résultats transférés immédiatement à SLAC. –Très léger et très efficace. 19/02/09Calcul pour le spatial - Journée spatiale IN2P311

12 L’exemple de Planck Besoin d’un accès performant en lecture/écriture pour les simulations. –Débits observés: 500 Mo/s pour 60-70 tâches simultanées. –Système de fichiers performants nécessaire: GPFS. Certaines tâches nécessitent jusqu’à 10 Go de RAM voire plus. Utilisation de calcul //: MPI, PVM. Utilisation de stockages sur bandes pour les simulations (1 simulation = 3 To). A terme, des centaines de To à stocker ? 19/02/09Calcul pour le spatial - Journée spatiale IN2P312

13 Conclusion Besoins essentiels: –Calcul sur architecture distribuée et calcul parallèle. –Besoin d’un accès très efficace aux données (système de fichiers performants), stockage de masse sur bandes avec accès efficace. –Archivage pérenne des données. CC-IN2P3: –Permet de répondre a priori à tous ces éventails de besoins pour les expériences dans le domaine spatial. –En phase de croissance forte. –Volonté de muscler la ferme de calcul parallèle. 19/02/09Calcul pour le spatial - Journée spatiale IN2P313