Introduction de données MTR-THEMIS dépouillées dans le catalogue BASS2000 Nadège Meunier Atelier MTR, 17 janvier 2006, Tarbes.

Présentation au sujet: "Introduction de données MTR-THEMIS dépouillées dans le catalogue BASS2000 Nadège Meunier Atelier MTR, 17 janvier 2006, Tarbes."— Transcription de la présentation:

1 Introduction de données MTR-THEMIS dépouillées dans le catalogue BASS2000 Nadège Meunier Atelier MTR, 17 janvier 2006, Tarbes

2 Plan Objectifs et historique Etapes à suivre Spécificités traitement de routine (homogénéité du dépouillement) Exemple du DPSM Niveaux de traitement Automatisations Informations sur les données Calendrier

3 Objectifs et historique Objectifs (Attirer le maximum dutilisateurs) Traiter le maximum de données Rendre disponible le maximum dinformations permettant à lutilisateur de juger le résultat Avoir 1 (ou 2 maxi) modes de traitement standard, pas plus : les utilisateurs doivent pouvoir savoir comment les données ont été dépouillées Historique (du point de vue de BASS2000) Automne 2003 : Cahier des charges présentées au CS-BASS2000 automne 2003 (proposition de niveaux de traitement pour les modes MTR et DPSM) 2004 : développement du logiciel intégration nécessaires et tables (MTR+DPSM), nouvelles pages de requête Fin 2004 – début 2005 : développement interface lancement du code DPSM ; tests robustesse du code P. Mein et itération avec lui Printemps 2004 : Echanges avec Alberto et Arturo pour le dépouillement MTR Mi-2005 : début du dépouillement DPSM en routine (continue…) Comme pour les données brutes : fits hors ligne ; jpeg attrayants en ligne ; délai d1 an après les observations pour la diffusion des fits

4

5 Définition des niveaux de dépouillement (hors-ligne et en ligne), organisation du dépouillement Besoins dinformations sur les données Choix du code de traitement Figer les choix !!! (conditions, niveaux hors ligne et en ligne) Développement dun code interface BASS2000 (gestion des fichiers, automatisations diverses, formatage, fichiers annexes) Tests (robustesse) sur jeu de données « limité » Sélection de données ? Traitement par run complet ? Dépouillement + vérification (manuelle !) Sauvegarde, intégration dans le catalogue Etapes de la mise en place du dépouillement à BASS2000

6 Niveaux de données Brutes (MTR, DPSM) « Spectres propres »=calibrés, recentrés, autres ? (MTR) ; i.e. juste avant calcul paramètre de Stokes Paramètres de Stokes (MTR, DPSM), sans moyenner le long de la fente Cartes de B//, V//, I (MTR, DPSM) éventuellement à différentes positions dans la raie Cartes de vecteur B (MTR) Extrapolation : lien vers FROMAGE uniquement ( mention de lexistence dune extrapolation ) Fichiers hors ligne FITS Fichiers en ligne JPEG (sélection) PROCHIST

7 Homogénéité du dépouillement Pas de dépouillement par lobservateur mais voir prop. V. Bommier : lien vers pages personnelles, ou stockage à bass2000 qui peut héberger des pages Attention au dépouillement partagé BASS2000 / THEMIS Accord avant acceptation de données dans le catalogue (code final, définition des sorties, formatage, …) Il faut travailler ensemble Attention à lévolution du code au cours du temps

8 Dépouillement DPSM Visite P. Mein octobre 2004 Objectif : dépouillement par BASS2000, intégration dans le catalogue, avec le moins dinterventions manuelles possibles + homogénéité Choix des options de dépouillement Un seul mode standard (mais variation du code /année) Profils de Stokes (I, Q, U, V) sur 17 points dans la raie Cartes B//, V//, I : positionnement bissecteur à 2Δ λ, 4Δ λ, somme et différence bleu-rouge à 3Δ λ (selon la longueur donde) 2 niveaux sauvegardés : avant et après recentrage λ Informations complémentaires (cospatialité) Choix des images en ligne : variable selon λ, année (liée à qualité des données de facto)

9 Le code de base Fonctionnement du code de P. Mein Un fichier sequence.par : une ligne par séquence et λ Fichiers de paramètres (modifiables manuellement) Lancement dun routine idl / appel du code fortran Fichiers sorties format « maison » Test intensif du code à BASS2000 sur données 2004 puis 2003 Objectif : Identification des principaux problèmes Identification des limitations Modification du code fortran par P. Mein pour les résoudre automatiquement quand cest possible Modification du code idl (appel du code fortran) pour éviter les interruptions (exemple : gestion mauvais naxis3) Remarque : Vérification manuelle du sens des balayages et du signe B avec MDI (dû à problème de formatage) ; trop difficile, trop long dans certains cas donc à la charge des utilisateurs !

10 Réalisation dun module pour automatiser le traitement (gestion des fichiers) Fabrication automatique des fichiers de lancement sequence.par (1 par journée) à partir du listing dun répertoire et de la lecture des entêtes (choix des calibrations) ; 2 versions (2004 et 2000-2003) Lancement possible sur le DLT complet Formatage des fichiers en sortie Ajout de mots-clés spécifiques au dépouillement (pour catalogue ou information) Unités standards (m/s, gauss) Création des jpeg, fits Création des fichiers html (imagettes quicklook) et historique du traitement (fichiers de paramètre, sorties importantes) : en ligne ; fichiers fits : hors ligne Interfaces BASS2000

11

12 Bilan dépouillement DPSM Vérifications manuelle, itérations avec Pierre Années dépouillées : 3 ans 2004 : 6 runs, 296 (280) séquences ; 130 ok (sans compter run Chambe, pas reçu) 44% 2003 : 4 runs, 170 (155) séquences ; 17 ok pour les 2 raies & 33 ok 1 raie seulement (inclus mauvais seeing et nuages non incluses dans le catalogue)22% 2002 : 5 runs, 169 (153) séquences ; 48 ok ; 31% Principaux problèmes Scans exotiques (protubérances, mauvais mots-clés de balayage) Mauvais nom de fichiers Mauvaises données (niveau I faible / DC, problème de mot-clé configuration polar) Calibration, géométrie Interruptions du code Futur : il reste à traiter 2000, 2001, 2005

13 Niveaux de traitement FITS (défini dans le cahier des charges) : Spectres « propres » Profils de Stokes Cartes B//, V//, I Cartes vecteur B etc. JPEG en ligne extrait des profils de Stokes ? À définir (cf DPSM) Cartes B//, V//, I Cartes vecteur B Autre ? PROCHIST en ligne jpeg flat field Info co-spatialité Autre ?

14 Selon le type dobservation, niveau de traitement final différent ? Effet Zeeman : spectres propres, paramètres de Stokes, cartes de V//, V//, I, vecteur B Effet Hanle : spectres propres, paramètres de Stokes (sans moyenner / fente ?) Comment faire la différence a priori ? Suggestions bienvenues … Dans un domaine spectral : plusieurs raies en général. Quel traitement ? Toujours une raie ou plusieurs quand cest possible ? Choix automatique possible ? Examen manuel par run ? Liste de raies … Archivage de ces longueurs donde ? Garder la longueur donde du domaine spectral pour la requête : est-ce suffisant ? Besoin de la demande de temps du PI pour passer moins de temps à faire ces choix ? Mais pas si simple ?

15 Automatisations Autant de choses que possibles doivent être automatisé Tout ce qui reste manuel : doit être limité et en début de run, si possible pour un run ou un grand nombre de séquences en même temps Liste (non exhaustive) montrée à Nice en mai 2005 + message juin Que reste-t-il à automatiser dans le code dAlberto? Lautomatisation inclus : sélection des fichiers de calibration prise en compte dinfos absentes du header pour les données < 2004 Cest différent dutiliser un code à BASS2000 et par un autre utilisateur

16 Automatisations nécessaires (non exhaustif !) Détection mauvaises images (sauts) Détections mauvaises images dans les flats fields Détection des mauvais darks Elimination des bords noirs / optimisation Détection et correction mauvais naxis3 (trop grands, trop petits) Recherche auto des flats + darks, adaptation à diverses procédures observationnelles (pas pris en compte dans le daily report) Extraction des paramètres de Stokes avec correction crosstalks Demande historique configuration instrumentales : position des lames polarimètre, voie haute / basse pour la période 1999-2003 Détection mauvaises lignes Taille pixel (spatial, spectral) Fabrication / mise à jour info html (visu) + historique traitement Formatage spécifique (ajout de mots-clés, modif PHYSPARA) Correction des franges ? Niveau de traitement : correction grandissement / focus ? Choix des positions de continus et raies pour les calculs de courbures de raies et de recentrage : manuel ? Choix des raies pour le calcul des cartes B//, V// Niveau de traitement variable selon lobservation ?

17 Discussions mai / Nice Niveau de dépouillement automatisations définition jpeg en ligne Diffusion de code Informations pour le traitement

18 Informations sur les données Manque dinformation sur les conditions dobservation Configuration, position des lames polarimètre (<2004) Conditions atmosphériques et techniques (sélection de séquence, élimination de séquences complètement mauvaises) Manque dinformation sur les calibrations (type co-spatialité, que sont les fichiers c3) Les rapports quotidien ne contienne pas les informations nécessaires (et rapport de mission jamais envoyé à BASS2000) Autres ?

19 Calendrier Choix du code développé à THEMIS : bien avancé, utilisé en quicklook au télescope Echanges THEMIS – BASS2000 nécessaires : Automatisations Figer les choix en terme de fichiers de sortie PUIS Développement des interfaces possible à BASS2000 dérivé de linterface DPSM Ajout des spécificités Tests de robustesse Mise en route du dépouillement avant fin 2006? données 2004+ dans un premier temps Données anciennes si infos disponibles