Le dépouillement de données THEMIS à BASS2000 Nice, mai 2005 Présentation de BASS2000 – Tarbes Contexte : évolution de la base Mise en place du dépouillement.

Présentation au sujet: "Le dépouillement de données THEMIS à BASS2000 Nice, mai 2005 Présentation de BASS2000 – Tarbes Contexte : évolution de la base Mise en place du dépouillement."— Transcription de la présentation:

1 Le dépouillement de données THEMIS à BASS2000 Nice, mai 2005 Présentation de BASS2000 – Tarbes Contexte : évolution de la base Mise en place du dépouillement Une archive remodelée Le dépouillement DPSM le dépouillement MTR Conclusion

2 Objectifs de BASS2000 Permettre une sauvegarde à long terme des données solaires sol Construire un outil pour leur exploitation Favoriser une standardisation de ce type de données Développer un outil pédagogique Tarbes Archive long terme Meudon Archive données systématiques 2 composantes complémentaires

3

4 Notre équipe Equipe technique Martine Lafon (IE, responsable technique) Patrick Maeght (AI) Frank Grimaud (AT) Marie-Pierre Arberet (mi-temps secrétariat) Equipe scientifique Nadège Meunier (AA, responsable scientifique) Thierry Roudier (CR1) Conseil scientifique (15 membres, dont 7 invités permanents)

5 Données archivées THEMIS : MTR et DPSM (99-04) Coupole Tourelle Pic du Midi (88) Radiohéliographe de Nancay (97-04) Coronographe Pic du Midi (95-) Données brutes

6 Contenu du catalogue et diffusion de données Données intégrées : THEMIS 1999-2004 : 4.2 To dont 660 Go en 2004 NRH 1997-2004 : 625 Go dont 67 Go en 2004 Coupole-Tourelle : 3 Go Requêtes (1.5 To) : surtout PIs et coIs 354 Go en 2000 339 Go en 2001 87 Go en 2002 630 Go en 2003 235 Go en 2004 + 9 requêtes NRH (8 Go) THEMIS

7 Principales réalisations 2004 Fonctionnement de base : Intégrations Sauvegardes Diffusion de données Système Réponses aux questions en ligne (site pédagogique) Nouveaux mots-clés THEMIS pris en compte : pour des requêtes plus sélectives Développement dun nouveau schéma de la base Etude de faisabilité technique suite au cahier des charges scientifiques Réalisation du code dintégration Réalisation dune nouvelle page dinterrogation Modification mode de fonctionnement THEMIS-BASS2000 Mise en place du dépouillement DPSM Refonte page web commune Meudon-Tarbes et page principale Tarbes

8 Exemple de pages html requete + resultat

9

10 Nouvelle imagette : html avec liens utiles

11 Page html sequence publi

12

13

14 Contexte : évolution de la base Archive de données brutes Opérationnelle depuis 2000 Nouvelles fonctionnalités Constat : trop peu de requêtes (hors PI / CoI) Solutions : Côté THEMIS : résultats, publicité, … Côté BASS2000 : mettre à disposition des données dépouillées, pour certaines utilisations

15 3 grands axes de développement Nouveaux producteurs Valeur ajoutée Interopérabilité entre bases

16 Producteurs : pistes … THEMIS : renouvellement de contrat en 2009, quelle évolution ? Radiohéliographe de Nancay : très peu de travail, situation NRH en 2010 ? Lunette Jean Rösch Pic du Midi Numérisation données anciennes 2006-2007 CALAS : en opération 2005-2015 (1 cycle solaire) mais peu de séquences (bien que gros volume), peu de développement nécessaire Coronographe Pic du Midi Coronographe actuel : fin vers 2010 ? Avant ? Projet de nouveau coronographe pour ~2007+ ? Projet de mesures B couronne ~2010+ ? Narval/Espadons/Musicos : Début des observations en 2005-2006 Archive à développer en 2005-2006 Autre solaire ? Dôme C ?

17 Valeurs ajoutées Dépouillement de données : THEMIS : en cours CALAS : en projet Narval/Espadons : à discuter Organisation dateliers : dépouillement des données brutes du catalogue (THEMIS) Organisation de campagnes dobservations coordonnées

18 Interopérabilité Dans un premier temps : Bases françaises BASS2000 – Meudon MEDOC Avancée possible en 2005-2006, avec respect des standards européens Projets européens EGSO Observatoire Virtuel (US)

19 Intégration des données dépouillées : cahier des charges Cahier des charges présentées au CS automne 2003 Nouveau code dintégration : tables spécifiques (THEMIS, Coronographe, Tourelle), page de requête adaptée Mise en place du dépouillement à BASS2000

20 THEMIS : données dépouillées Brutes (MTR, DPSM) « Spectres propres »=calibrés, recentrés, correction grandissement (MTR) ; Manque dinformation sur les calibrations (sensibilisation des observateurs, problème de la taille du pixel spatial en MTR) Demande de prise en compte dans daily report : pas fait Demande historique (position des lames polarimètre, voie haute / basse) depuis juillet 2003 : rien reçu Paramètres de Stokes (MTR, DPSM) Cartes de B//,V//,I (MTR, DPSM) Cartes de vecteur B (MTR) : + long terme Extrapolation

21 Dépouillement DPSM Visite P. Mein octobre 2004 Objectif : dépouillement par BASS2000, intégration dans le catalogue, avec le moins dinterventions manuelles possibles Choix des options de dépouillement Un seul mode standard (mais variation /année) Profils de Stokes (I, Q, U, V) sur 17 points Cartes B//, V//, I (bissecteur) à 2 Δ λ, 4 Δ λ 2 niveaux : avant et après recentrage λ Test intensif du code sur données 2004 puis 2003 Objectif : Identification des principaux problèmes Modification du code fortran par P. Mein pour les résoudre automatiquement Modification du code idl (appel du code fortran) pour éviter les interruptions (exemple : gestion mauvais naxis3) Bilan pour 2004 : plusieurs problèmes identifiés, en cours Vérification manuelle (balayages, signe B avec MDI) : trop difficile, trop long

22 Réalisation dun module pour automatiser le traitement (gestion des fichiers) Fabrication automatique des fichiers de lancement sequence.par (1 par journée) à partir du listing dun répertoire et de la lecture des entêtes (choix des calibrations) Lancement possible sur le DLT complet Formatage des fichiers en sortie Ajout de mots-clés spécifiques au dépouillement (catalogue ou information) Unités standard (m/s, gauss) Création des fichiers html (imagettes quicklook) et historique du traitement (fichiers de paramètre, sorties importantes) Dépouillement et intégration dans le catalogue : courant 2005 Campagnes 2004 et 2003 pour commencer Vérification par léquipe technique + chercheur Intégration dans le catalogue si validé

23 Dépouillement MTR Plus complexe : plus de modes dobservations différents, plus de cas exotiques, beaucoup de codes différents ! 2 codes envisagés à ce stade code local (J. Arnaud, N. Meunier) code THEMIS (A. Sainz) Besoins Pouvoir traiter le maximum de cas Automatiser le maximum de choses (gestion des fichiers, découpage des spectres, sélection de zones continu, …) Regrouper les traitements (toutes les longueurs dondes dune séquence, toute une journée) Rapidité Formatage intégré Remarques : Tests de robustesse Nécessité que le code utilisé soit rendu public (moyennant contrôle de la diffusion), copyright / remerciement Responsabilité THEMIS (CS 2003)

24 Automatisations nécessaires Détection mauvaises images Détections mauvaises image flats Détection mauvais darks Elimination des bords noirs / optimisation Détection et correction mauvais naxis3 (trop gtrands, trop petits) Recherche auto des flats + darks, adptation à diverses procédures observationnelles Extraction des Stokes avec correction crosstalk auto Détection de décalages en début de séquence 99-2000 (?) Détection mauvaises lignes Fabrication / mise à jour info html + prochist Formatage spécifique (ajout de mots-clés, modif PHYSPARA) Correction des franges Niveau de traitement : correction grandissement / focus Regroupement des différentes étapes en un seul code Choix des positions de continus raies pour calculs courbures, recentrages Choix des raies pour le calcul des cartes B//, V//

25 Code A. Sainz Code « local » Avantages : Responsabilité THEMIS Traite les 3 modes MTR Semble robuste Inconvénients à ce jour : Utilisation pour une longueur donde Interactif (choix position continu, découpage ?) Formatage et fichiers annexes à intégrer Problème de mise à jour si BASS2000 modifie le code en conséquence Avantages : Nombreuses automatisation déjà intégrées, dont lancement global (calibrations) Formatage partiellement intégrée Peut-être moins robuste (à tester) Inconvénients à ce jour : Pas adapté à la grille Nest pas sous la responsabilité THEMIS

26 Calendrier Printemps 2005 : Comparer en détails les possibilités des 2 codes Visite A. Sainz probable en mars Tests du code A. Sainz à BASS 2000 Conclure sur le choix du code : nécessité dun engagement officiel de THEMIS Automne 2005 : Tests plus exhaustifs (configurations dobservation différentes) : robustesse Développement : collaboration forte THEMIS / BASS 2000 (automatisation / interactivité) Réalisation de linterface BASS2000 Courant 2006 : Mise en service

27 Ateliers dépouillement Derniers ateliers : MTR printemps 2003, DPSM décembre 2003 Financement PNST : priorité Pas organisés en 2004 pour des raisons pratiques En 2005 : DPSM : atelier plus international ? (besoins exprimés lors du dernier atelier de la part d1 personne) MTR : ? (possibilité de double emploi avec atelier de Nice fin mai ?) ; pb de calendrier (choix code, mise en place dépouillement) ; dépend des objectifs Remarque : pas vraiment de pression !!!

28

29

30 Mode de fonctionnement Sélection des données commencer par les régions actives, les observations coordonnées traiter par runs complets Objectifs traiter le maximum de données rendre disponible le maximum dinformations permettant à lutilisateur de juger le résultat Besoins code informations sur les données (observateurs, THEMIS)

31 Conclusion Priorité 2005 : mise en place du dépouillement Prospective : nécessité de consacrer du temps sur dautres projets Interopérabilité Nouveaux types de données La communauté doit se sentir concernée