AMDA Automated Multi Dataset Analysis un outil du CDPP cdpp-amda.cesr.fr Vincent Génot, C. Jacquey, E. Budnik, R. Hitier, M. Bouchemit, M. Gangloff, E.

Présentation au sujet: "AMDA Automated Multi Dataset Analysis un outil du CDPP cdpp-amda.cesr.fr Vincent Génot, C. Jacquey, E. Budnik, R. Hitier, M. Bouchemit, M. Gangloff, E."— Transcription de la présentation:

1 AMDA Automated Multi Dataset Analysis un outil du CDPP cdpp-amda.cesr.fr Vincent Génot, C. Jacquey, E. Budnik, R. Hitier, M. Bouchemit, M. Gangloff, E. Pallier

2 Evolution du CDPP Créé en 1998 par lINSU et le CNES Missions: - Archivage à long terme des données obtenues par des expériences à partcipation française - Valorisation des données, SVA (Services à Valeur Ajoutée) - Projets dinteropérabilité, Observatoires Virtuels Juin 2005 >: extension des objectifs, accrétion E. Budnik et C. Jacquey - Mise à disposition de données fraiches (THEMIS, CLUSTER,..) - Mise à disposition à des données complémentaires - Développement doutils en ligne génériques et automatisés - Animation et accueil scientifique autour de ses services présentation K. Bocchialini

3 Plan de lexposé - motivation, génèse, objectifs du projet - le coeur dAMDA : paramètres et tables dévénements - vers une insertion dans lOV : connexion à des bases extérieures - la science avec AMDA

4 Motivation / génèse du projet - Initialement pensé pour valoriser les données du CDPP - Une première phase : réutilisation de lexistant, test dintégration - Idée de lespace de travail qui centralise toute la production de lutilisateur - Construit autour dune base + outil de visualisation développé pour la mission magnétosphérique CLUSTER (DD-Cluster, interface web) Développement : - Principalement 2 développeurs dans les murs (IDL, C, Fortran, javascript) - 1ère version en quelques mois -Amélioration constante du prototype en relation avec les avis du Comité des Utilisateurs (CU) du CDPP -Nouvelles fonctionnalités -Intégration de standards (SPASE) -Ouverture vers les VO

5 Spécificités / contraintes de la discipline 1/ + Les données archivées sont des scalaires, des vecteurs, des tenseurs, des spectres,... ordonnés par le temps - Il nexiste pas un format de données standard adopté par tous 2/ + Il existe une multitude de bases de données spécialisées -Le travail scientifique requiert une confrontation des résultats de plusieurs instruments simultanément : études multi-échelles, en météorologie spatiale, héliophysique, planétologie comparée Nécessité dun outil intégré (gain de temps et dénergie) Nécessité dun moyen de communiquer linformation (entre utilisateurs et entre bases)

6 End products :- simple browse - data download - generate and export time tables (and catalogues) - perform statistics - extract sub-databases AMDA : Objectives Ease manipulation of data from heterogeneous origins Plot Combine Search Mission Instrument Model Local Remote User owned

7 1/ Activité 2/ Données 3/ Période temporelle Débuter avec AMDA 4/ Transformations

8 Le paramètre : Un paramètre est une série temporelle : - champ magnétique ou électrique - moment particule - indice -... - une combinaison valide sur un intervalle de temps à une résolution temporelle donnée utilisé pour : - la représentation visuelle - la recherche conditionnelle - le téléchargement,... 17/11/1994 31/12/2005 Sampling 4s Lorganisation en fichiers dans larchive est cachéée à lutilisateur

9 Contruction dun paramètre 1/2 clics Résolution temporelle Nom du paramètre Description

10 nouveau paramètre dans lespace de travail Le nouveau paramètre est maintenant un élément virtuel de la base de données. Il sera calculé à la volée seulement quand il sera demandé pour un tracé, une recherche conditionnelle, un téléchargement Des paramètres de - différentes missions - différents instruments - avec différentes résolution peuvent être combinés Contruction dun paramètre 2/2 Base locale Espace utilisateur

11 Les tables dévénements 1/2 -Les tables dévénements (time tables, event lists) sont une collection de temps quand quelque chose se passe ou dintervalles quand une condition est vérifiée -Elles sont produites et gérées manuellement par les scientifiques pour leur usage propre ou celui dune communauté restreinte -AMDA augmente les potentialités de ce vecteur dinformation en offrant un outil générique pour créer, gérer et communiquer ces objets Les tables dévénements peuvent être utilisées pour : - extraire une sous base de données, - exécuter des traitement massifs ou interactifs, - créer des catalogues, - servir de référence à la communauté

12 Créer une table dévénements : 1- Recherche conditionelle Editer une condition avec des opérateurs/fonctions mathématiques clics T /T // > 1 Definir un intervalle de temps ou utiliser une autre table dévénements

13 Exemple: recherche des événements de courants de queue encerclés par CLUSTER Test: X1< -10 Re BX 1 * BX 2 * BX 3 * BX 4 > 0 min([BX 1 BX 2 BX 3 BX 4 ]) < 0 max([BX 1 BX 2 BX 3 BX 4 ]) > 0 position : dans la queue magnétosphérique 2 satellites sont au dessus de la couche de courant et 2 autres en dessous champ magnétique champ magnétique X coordinate cf exposé de C. Jacquey

14 Créer une table dévénements : 2- Inspection visuelle Les intervalles intéressants sont sélectionnés par clics et ajoutés à la table dévénements

15 The time table may be edited in the user workspace

16 Tables may be exported in VOTable format Time Table format

17 VOTable latest release: Version 1.1 - August 11, 2004 VO standard and as such supported by IVOA VOTable is designed as a flexible storage and exchange format for tabular data, with particular emphasis on astronomical tables.

18 Complex tables (catalogues) may be produced with: - multiple time tags - associated parameters : average, max, min - localisation information - user supplied classification indices Extension des tables dévénement : catalogue

19 Temps débutTemps finP1 : P2 : P3 : P4 : User_clas s P5 : temps 2008-01-29T 08:30:30 2008-01-29T 08:40:30 6.12.44.22008-01-29T08:32:30 2008-01-29T 09:30:30 2008-01-29T 10:30:30 7.10.45.12008-01-29T10:05:30 ………………… + + ++ ++ + + + + + + ++ + + + + + ++ + P2 P1 P3 P1 + + ++++ ++ +++ Table dévénementsParamètres statistiques, classification, temps Visualisation graphique : Extension des tables dévénement : catalogue

20 Tables dévénements 2/2 - La description complète dune table dévénements peut être compliquée -sources de données : origine, résolution, modes,... -critères de sélection : mathématiques / visuels -paramétrage des méthodes utilisées (filtre temporel, modèles) -... + Les tables dévénements peuvent être un vecteur déchanges entre centres de données et entre utilisateurs - collaboration entre larchive CLUSTER (CAA), CDPP et QSAS, CL - 1ère réunion : 25 et 26 février 2008 - définition : time format (ISO), table format (VOTable) - mise en place doutils de gestion des tables dévénements : - union, intersection, extension, shift, upload - réflexion sur les catalogues

21 Service 1 Service 2 Magnetospheric data Service 3 Solar archive Ionosphere Thermosphere archive CDAWebCDPPCAA HR archive 2 Time table - AMDA What were the input conditions ? What are the consequences ? Time table circulation in a multi-archive environment applying delay QSAS

22 Commande de données directe à larchive CLUSTER (CAA) CAA : à terme, archive de toutes les données haute résolution de CLUSTER

23 Connexion à des bases externes 1. Lorsquune base est connectée à AMDA toutes les données de la base peuvent être visibles dans AMDA (FTP, WebService) 2. Lutilisateur définit le groupe de paramètres de la base externe quil veut analyser (Interface de construction darbre) 3. A la volée, les paramètres sont directement intégrés dans AMDA afin dêtre manipulés comme des paramètres de la base locale Lutilisateur peut se construire facilement sa base de données personnelle à partir de bases existantes base 1 base 2 base utilisateur

24 Interface de construction de larbre de données extérieures Base externe Arbre des données choisies par lutilisateur - mise à jour quotidienne des données disponibles sur les bases distantes - pas de notion de fichier pour lutilisateur - AMDA peut fonctionner sans base locale intégration dans les Observatoires Virtuels

25 Arbre de données extérieures Base locale Extrait de la base externe Les paramètres sont disponibles pour des tracés, la recherche conditionnelle,... à la volée, ce qui implique : -le téléchargement des données (par bloc de 3j min) -la transformation de format -la création du paramètre AMDA

26 Bases accessibles à travers AMDA Actuellement : - CDAWeb (multi-missions) - MAPSKP (Cassini: MAG/CAPS/RPWS/TRAJ, démonstrateur Europlanet) Prochainement : - Themis (base miroir au CESR) - Cluster Active Archive (CAA) - SKR (Cassini: RPWS/HFR) - Venus Express (champ magnétique)

27 Base locale AMDA Système Constructeur de paramètres CDAWeb CDPP MAPSKP Connexion à des bases externes Connecteur standardisé = méthodes de requête (SOAP) + description des données (SPASE, IVOA) Connecteur « maison » others

28 Production scientifique avec AMDA Analyses statistiques multi-missions Principe dutilisation -Définition dun critère sélectif sur les données -Critère mathématique -Critère visuel -Création de table dévénements -Itération avec combinaison possible de critères -Extraction des données et travail hors-ligne Exemples -Multi-mission study of plasma sheet conditions minutes before substorm onsets (Jacquey et al.) -The active plasma sheet: definition of 'events' and statistical analysis (Louarn et al.) -Statistical study of Alfvénic fluctuations in the Earth magnetosheath (Alexandrova et al.) -Statistical study of mirror mode fluctuations in the Earth magnetosheath (Génot et al.) Collaborations - Visites scientifiques au CDPP - Organisation dateliers : - Themis (novembre 2007) - magnétogaine (courant 2008)

29 Statistics of mirror mode events in the Earths magnetosheath F=1 F=0 F=1 Relative number of mirror mode events Total number of 5 min magnetosheath crossings magnetopause shock Génot et al. 2008

30 Statistical study of Alfvénic fluctuations in the Earth magnetosheath O. Alexandrova (1), E. Budnik (2), V. Génot (2), C. Lacombe (1), C. Jacquey (2), I. Dandouras (2), E. Lucek (3) (1) LESIA/CNRS, Observatoire de Paris, France (2) CESR/CNRS, Toulouse, France (3) Imperial College, London, UK EGU General Assembly Vienna, Austria, 15-20 April 2007 Condition = A B >1 magnetopause shock

31 ... other ways to make science with AMDA 1/ Multi-mission study of plasma sheet conditions minutes before substorm onsets (Jacquey et al.) : - 25 years of data : ISEE, IMP, IRM, POLAR, GEOTAIL, WIND, ACE, CLUSTER - combined approach: -automatic search = mathematical description of the temporal change in the AL index -semi automatic = visual inspection to classify cases in different catalogues 2/ The active plasma sheet: definition of 'events' and statistical analysis (Louarn et al., 2006, ICS8) - define conditions : a lower threshold for the low frequency magnetic fluctuations and a minimal duration for each events - produce time tables accordingly - download a wide (resampled) dataset and work offline

32 Actions dans le cadre de Europlanet / FP6 Registry : -Description SPASE of several planetary plasma data (MAPSKP, VEX, MEX) -Building a registry -Building a search engine -Goals: demonstration and experimentation (standard versus user requirements, SPASE extensions, …) Démonstrateur scientifique: -Based on AMDA -Using distant data (MAPSKP, VEX-MAG, HST) and local data -High level tools and functionalities -Goals: demonstration and experimentation

33 AMDA est un outil au service de la communauté vos commentaires, critiques et contributions sont les bienvenus...... et même nécessaires ! - amda@cesr.framda@cesr.fr - forum (lien feedback à partir de linterface web) - twiki (contributions aux nouvelles fonctionnalités par ex.) - contact avec le CU (présidé par J.L. Pinçon) permet de définir les priorités de développement scientifique en accord avec le CU en interne, permet de définir les évolutions darchitecture nécessaire Démonstration dAMDA à la session poster - Si le réseau fonctionne - Si tout le monde nest pas connecté en même temps ! cdpp-amda.cesr.fr

34 ...

35 Application du démonstrateur sur le cas scientifique Solar wind / saturn magnetosphere interaction and auroras Prototype de Registry Recherche de la localisation de la resource (MAPSKP, HST aurora, VEX, ACE) Access, extraction of the targeted data (distant or local) Integrated analysis user MAPSKP Base locale VEX-MAG Graz HST Request AMDA/Planéto

36 AMDA-NG AMDA refactoring ÞModularisation ÞDocumentation ÞFiabilisation ÞFonctionnement universel (indépendent de la plate-forme, de lOS, du navigateur, …) Mise en place de nouvelles fonctions Þ Fonctions temporelles Þ Time-Table Manager Þ Fonctions physiques Þ… Développement des capacités dinteropérabilité dAMDA Þ SPASE-based connector Þ IVOA-based connector Þ Time-Table exchange

37 Architecture dAMDA

38 Contexte national - Mission du CDPP : valoriser les données de missions satellites françaises ou à participation française dans le domaine de la physique des plasmas - Pour dynamiser lutilisation du centre : nécessité de dépasser le cadre de la simple archive développement dun outil au service de la communauté Contexte international - Les observatoires virtuels en physique spatiale sont balbutiants - Implication du CDPP dès lorigine dans la mise au point de standard (modèle de données SPASE) - Implication dans Europlanet On peut se mettre dans la course

39 http://vspo.gsfc.nasa.gov/websearch/dispatcher An example of registry for space physics: VSPO