S. Derriere –Ecole CNRS Vars, 25/03/ Nouvelles techniques d'observation et bases de données: apports en astrométrie et mécanique céleste. 25/03/2005 Sébastien Derriere

S. Derriere –Ecole CNRS Vars, 25/03/ Plan Introduction Les principaux services du CDS: Le CDS dans l'Observatoire Virtuel Démo

S. Derriere –Ecole CNRS Vars, 25/03/ Le CDS - plus de 30 ans d'histoire 1972: création du Centre de Données Stellaires. – Données électroniques – Expertise sur les données – Centre international – Objectif: recherche 1983: extension aux galaxies et autres objets non-stellaires: Centre de Données astronomiques de Strasbourg Collecter, homogénéiser, distribuer, préserver l'information astronomique pour l'ensemble de la communauté.

S. Derriere –Ecole CNRS Vars, 25/03/ Le CDS - plus de 30 ans d'histoire 1993/94: révolution du WWW 2001: le CDS participe aux projets d'observatoire virtuel Le CDS aujourd'hui: – Collaboration INSU/ULP – Equipe d'environ 25 personnes à Strasbourg + OP, IAP, OMP, GRAAL (dont temps partiel): chercheurs documentalistes informaticiens – Nombreuses collaborations – Plusieurs dizaines de milliers de requêtes/jour

S. Derriere –Ecole CNRS Vars, 25/03/ Centre de données (1) Pourquoi se soucier de préserver les données en astronomie? – Les instruments sont de plus en plus puissants, à quoi bon garder les "vieilles" données? Mission indispensable de préservation: – base de temps pour étudier les phénomènes variables: variations de luminosité ou de positions, parfois avec des périodes très longues (siècle) – statistiques – re-exploitation: gain de temps et d'argent (observatoire virtuel: archive=télescope)

S. Derriere –Ecole CNRS Vars, 25/03/ Centre de données (2) Astronomie multi-longueur d'ondes – processus physiques, utilisation par des non- spécialistes Grands relevés – complexité et volumes augmentent WWW – accès direct aux données réparties en différents endroits

S. Derriere –Ecole CNRS Vars, 25/03/ Centre de données (3) Quelles données en astronomie? – bases de compilation (SIMBAD/NED) – observations (images de référence, grands relevés, archives d'observations sol/spatiales) – spectres – catalogues (d'observation, de compilation) – bibliographie (journaux, ADS, prépublications) – pages jaunes, logiciels – données personnelles Evolution exponentielle de la quantité de données disponibles

S. Derriere –Ecole CNRS Vars, 25/03/ Volumes de données 1801, Uranographia: 17,200 étoiles; , HD: 272,150 étoiles; 1989, IRAS: 500,000 sources; 1997, Tycho: 1,000,000 sources; 1997, USNO-A1 488,006,860 sources; 2003, USNO-B1 1,045,913,669 sources. + de 5000 références bilbiographiques par an 400/500 nouveaux catalogues (dont publication électronique de tables de journaux) relevés du ciel modernes: plusieurs Tb d'images

S. Derriere –Ecole CNRS Vars, 25/03/ Bande magnétique Carte perforée Disque dur 400ko DD 200Go CDrom 700Mo Stockage des données

S. Derriere –Ecole CNRS Vars, 25/03/ Centre de données (4) Un centre de données, ce n'est pas simplement un gros entrepôt de stockage Un travail de validation est indispensable Les données doivent être accompagnées de metadonnées de qualité, pour décrire – leur nature – leur provenance – les traitements éventuels subis – la qualité –...

S. Derriere –Ecole CNRS Vars, 25/03/ Activités du CDS (1) Services de référence à forte valeur ajoutée (pour communauté astronomique) Participation à des projets Veille technologique, R&D / actions pluridisciplinaires Observatoire virtuel – services de référence – standards et outils – pivot de l'organisation nationale (Action spécifique OV-France)

S. Derriere –Ecole CNRS Vars, 25/03/ Activités du CDS (2) Collecte sélective et distribution de données astronomiques (tables, logs, relevés, extraits des publications, images de référence): – mettre en valeur ces données par des évaluations et des comparaisons critiques; – distribuer les résultats dans la communauté astronomique; – conduire des recherches utilisant ces données.

S. Derriere –Ecole CNRS Vars, 25/03/ Activités du CDS (3) Développement de bases de données, et interfaces d'accès Accords internationaux (ESA, NASA, AAS) Copies miroir (journaux, BD biblio) Support utilisateurs ( ) Diffusion des connaissances Evolution des services – travail continu sur le contenu (+5000 références et 400 catalogues/an) et les fonctionalités – maintenance des services – validation des contenus

S. Derriere –Ecole CNRS Vars, 25/03/ Simbad: Objets Astronomique VizieR: Catalogues Yellow-Pages: Star*s family AstroWeb Aladin: Atlas Images Dictionnaire de nomenclature Bibliographie Copies miroir Résumés AstroGlu: Recherche de resources Services CDS

S. Derriere –Ecole CNRS Vars, 25/03/ Principaux services du CDS Fédérateur d'informations catalogues, tables publiées, logs d'observations, relevés Intégrateur d'informations images, bases de données, catalogues, archives, données de l'utilisateur Objets astronomiques identifications, bibliographie, mesures

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/ Identification, données de base, bibliographies et mesures a partir: des articles publiés de catalogues sélectionnés Dictionnaire de nomenclature (collab GEPI) Cross-identification systématique Contenu (mise à jour quotidienne): Bibliographie (90 journaux, collaborations Obs. Paris, IAP,...) Entrée de catalogues (couverture multi longueur d'ondes, grands projets) – souvent en collaboration avec spécialistes Collab. ch. OMP, GRAAL requetes/jour en 2003

S. Derriere –Ecole CNRS Vars, 25/03/ SIMBAD = Set of Identifications, Measurements and Bibliography for Astronomical Data.

S. Derriere –Ecole CNRS Vars, 25/03/ Donner une cible …et valider Interface Web SIMBAD

S. Derriere –Ecole CNRS Vars, 25/03/ Données Identificateurs Résultat...

S. Derriere –Ecole CNRS Vars, 25/03/ Liens vers images et cartes de champ Références bibliographiques Mesures Liens vers archives externes et catalogues VizieR Résultat...

S. Derriere –Ecole CNRS Vars, 25/03/ SIMBAD La syntaxe des identificateurs est contrôlée par le dictionnaire de nomenclature Service associé : Name Resolver – associe une coordonnée à un identificateur – utilisé par de nombreuses applications Il existe des liens entre SIMBAD et les services bibliographiques (ADS), VizieR, Aladin...

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/ Carte de champ des objets SIMBAD

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/ (parenthèse sur le VO

S. Derriere –Ecole CNRS Vars, 25/03/ L'Observatoire Virtuel Un Observatoire Virtuel pour l'astronomie: – Fournir aux astronomes des outils pour trouver, combiner et exploiter toutes les données et services disponibles. – International Virtual Observatory Alliance (IVOA) Il faut une bonne INTEROPERABILITÉ entre les differents services – Définition de standards pour l'échange de données. – Traitement des métadonnées avec les données.

S. Derriere –Ecole CNRS Vars, 25/03/ International Virtual Observatory Alliance

S. Derriere –Ecole CNRS Vars, 25/03/ Groupes de travail (WGs) 1.DM (Data Models) 2.WS (Web Services) & GRID 3.Registry 4.DAL (Data Access Layer) 5.VOQL (Query Language) 6.UCD (Unified Content Descriptors) 7.VOTable 8.Standards and processes

S. Derriere –Ecole CNRS Vars, 25/03/ (1) DM - objectifs Description abstraite de concepts et de leurs relations: – fixer les noms et le sens des concepts – structuration des concepts et interconnexions Production du WG: – White papers – Diagrammes UML – Schemas XML (serialisation) DM = sous-couche conceptuelle du VO

S. Derriere –Ecole CNRS Vars, 25/03/ (1) DM - Diagramme UML

S. Derriere –Ecole CNRS Vars, 25/03/ (1) DM - répercussions Sémantique pour les échanges de requêtes, metadonnées et données: – VOQL – DAL Description des ressources – registry Structuration des données – VOTable

S. Derriere –Ecole CNRS Vars, 25/03/ (2) WS & GRID Communication avec/entre les services: – HTTP GET/POST humain-service (ex: formulaire web) – SOAP (Simple Object Access Protocol) WSDL: auto-description service-service (ex: SESAME Name Resolver) – GRID SOAP + authentification, gestion d'etat,...

S. Derriere –Ecole CNRS Vars, 25/03/ (2) WS & GRID Chaque service choisit son mode de communication GRID: grille de calcul – grille de données Collaboration VO - GRID: – transférer les programmes plutôt que les données – réplication des données – authentification, autorisation – VOSpace (espace personnel de stockage, calcul...). ex: mySpace – construction de workflow (graphe de services)

S. Derriere –Ecole CNRS Vars, 25/03/ (3) Registry: principe Description des Resources VO (données & services) par des métadonnées – schéma XML (curation, couverture) – inspiré de OAI (library of Congress) – identificateur unique ivo:// pour 1 ressource 3 actions: – publication (fournisseur de données ou de service) – harvesting (échange entre les registries) – requête (localisation des ressources par les astronomes)

S. Derriere –Ecole CNRS Vars, 25/03/ (3) Registry: fonctionnement Registry3 Registry2 Registry1 Publication Données Service Harvesting Requête Accès

S. Derriere –Ecole CNRS Vars, 25/03/ (3) Registry: ressources VOResource v0.10 schema XML Standard ouvert, défini en collaboration entre les différents acteurs, et validé au niveau de l'IVOA: approche différente de la norme ISO 19115

S. Derriere –Ecole CNRS Vars, 25/03/ (3) Registry: harvesting Metadonnées requête OAI/PMH

S. Derriere –Ecole CNRS Vars, 25/03/ (4/5) DAL / VOQL Protocoles d'accès aux données Services simples: – Cone Search – catalogues avec positions – SIAP – Simple Image Access Protocol – SSAP – Simple Spectrum Access Protocol: spectres 1D OpenSkyQuery et ADQL – requêtes SQL / XML – plan d'exécution distribué sur plusieurs serveurs (SkyNode)

S. Derriere –Ecole CNRS Vars, 25/03/ (6) UCD UCD = Unified Content Descriptors Description sémantique du contenu Origine "ancienne" (1997) liée à VizieR – UCD1 Intérêt du VO pour un usage dans: – description des tables (VOTable) – registry – DAL (Cone Search) Passage à une forme plus souple: UCD1+

S. Derriere –Ecole CNRS Vars, 25/03/ (7) VOTable Format XML d'échange de données tabulaires – données et metadonnées dans un même fichier Adoption de VOTable 1.0 en avril 2002; actuellement: VOTable 1.1 Standard le plus utilisé du VO! (outils: VOPlot, Aladin,Mirage,...) Nombreuses librairies pour lire/écrire du VOTable

S. Derriere –Ecole CNRS Vars, 25/03/ <VOTABLE version="1.1" xmlns:xsi=" xsi:noNamespaceSchemaLocation=" Velocities and Distance estimations <PARAM name="Telescope" datatype="float" ucd="phys.size;instr.tel" unit="m" value="3.6"/> <FIELD name="RA" ID="col1" ucd="pos.eq.ra;meta.main" ref="J2000" datatype="float" width="6" precision="2" unit="deg"/> <FIELD name="Dec" ID="col2" ucd="pos.eq.dec;meta.main" ref="J2000" datatype="float" width="6" precision="2" unit="deg"/> <FIELD name="Name" ID="col3" ucd="meta.id;meta.main" datatype="char" arraysize="8*"/> <FIELD name="RVel" ID="col4" ucd="src.veloc.hc" datatype="int" width="5" unit="km/s"/> <FIELD name="e_RVel" ID="col5" ucd="stat.error;src.veloc.hc" datatype="int" width="3" unit="km/s"/> <FIELD name="R" ID="col6" ucd="phys.distance" datatype="float" width="4" precision="1" unit="Mpc"> Distance of Galaxy, assuming H=75km/s/Mpc N N N Exemple de VOTable 1.1: METADATA DATA

S. Derriere –Ecole CNRS Vars, 25/03/ Utilisation VOTable/UCD Il n'est pas nécessaire pour les fournisseurs de données de stocker les catalogues en VOTable, ni d'utiliser les UCD comme noms de colonnes – utilisation d'une "translation layer" Ajout UCD + XML VOTable SQL VO

S. Derriere –Ecole CNRS Vars, 25/03/ Etat d'avancement Data Models: dépend des sujets – parfois très avancé (STC) – ou encore en discussion (Quantity) GRID et WS – HTTP largement utilisé – WS (SOAP) se répandent – GRID encore en projet Registry - ® – schéma VOResource v0.10 bien avancé – encore des points à régler (miroirs,...)

S. Derriere –Ecole CNRS Vars, 25/03/ Etat d'avancement DAL – usage répandu: Cone Search, SIA, SSA – + récent: SkyNode ADQL / VOQL – problème complexe, plusieurs versions avec des niveaux de complexité variables UCD - quasi-® – liste de mots UCD1+ stabilisée VOTable - ® – VOTable 1.1 accepté et largement utilisé

S. Derriere –Ecole CNRS Vars, 25/03/ fin de la parenthèse )

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/ | | | | | 0.09| 0.19| 9.99| | | | | | | | 0.07| 0.17| 9.99| | | | | | | | 0.04| 0.11| 9.99| | | | | | | | 0.18| 0.19| 9.99| | | | | | | | 0.10| 9.99| 9.99| | | | | | | | 0.09| 0.18| 9.99| | | | | | | | 9.99| 0.27| 0.22| | | | | | | | 0.05| 0.13| 9.99| | | | | | | | 0.04| 0.08| 9.99| | | | | | | | 0.04| 0.10| 9.99| | | | | | | | 0.05| 0.09| 9.99| | | | | | | | 0.15| 0.23| 9.99| | | | | | | | 0.06| 0.09| 0.12| | | | | | | | 0.13| 9.99| 9.99| | | | | | | | 9.99| 0.21| 9.99| | | | | | | | 0.06| 0.09| 0.14| | | | | | | | 0.19| 9.99| 9.99| | | | | | | | 0.11| 0.20| 9.99| | | | | | | | 0.10| 0.14| 9.99| | | | | | | | 0.13| 0.18| 9.99| | | | | | | | 0.06| 0.11| 0.16| | | | | | | | 0.11| 0.20| 9.99| | | | | | | | 0.07| 0.12| 0.18| | | | | | | | 0.10| 0.13| 0.22| | | | | | | | 0.11| 9.99| 9.99| | | | | | | | 0.05| 0.12| 9.99| | | | | | | | 9.99| 0.19| 9.99| | | | | | | | 0.10| 0.18| 9.99| | | | | | | | 0.06| 0.09| 0.12| | | | | | | | 9.99| 0.23| 0.27| | | | | | | | 0.05| 0.12| 9.99| | | | | | | | 9.99| 0.24| 9.99| | | | | | | | 0.17| 0.19| 9.99| | | | | | | | 0.05| 0.08| 0.09| | | | | | | | 0.20| 9.99| 9.99| | |

S. Derriere –Ecole CNRS Vars, 25/03/ requetes/jour en 2003 Collection de 4500 catalogues astro ! Metadonnées calibrées, homogènes. Description standardisée (ReadMe). Partenariat avec les journaux (A&A depuis 1993). Acces aux grands relevés avec la même interface (USNO, GSC, DENIS, 2MASS, UCAC,...). Nombreux miroirs (USA, Inde, Chine, Japon,...).

S. Derriere –Ecole CNRS Vars, 25/03/ : 680 catalogues - 3Go 2004 : 4000 catalogues - (210 Go, jusqu'à un milliard de sources pour l'USNOB1.0)

S. Derriere –Ecole CNRS Vars, 25/03/ VizieR Provenance des catalogues: – publication électronique de tables des journaux – numérisation de plaques photo – relevés récents avec détecteurs numériques – listes d'observations des archives (logs) Comment trouver le(s) catalogue(s) souhaités parmi les 4500? – requêtes multicritères: auteur, domaine spectral, type d'objet, mission,...

S. Derriere –Ecole CNRS Vars, 25/03/ La mine de VizieR

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/ Ex: Catalogue HIPPARCOS Contraintes sur colonnes Recherche par position ou nom Possibilité de requêtes sur des listes d'objets.

S. Derriere –Ecole CNRS Vars, 25/03/ Résultat : HTML TSV VOTable ASCII

S. Derriere –Ecole CNRS Vars, 25/03/ VizieR Catalogues de référence astrométriques: – VLBI / ICRF – Hipparcos, Tycho – 2MASS, USNO Nombreux liens vers des données complémentaires (à Strasbourg ou distantes) Nombreux formats de sortie possibles, y compris visualisation par VOPlot (développé par VO- India) Certains catalogues augmentent régulièrement

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/ requetes/jour en 2003 Le plus récent des 3 services: 1997 Deux aspects: – serveur images – interface utilisateur (X-windows, puis Java) Trois niveaux d'utilisation: – Previewer (le plus simple) – Applet Java dans une page Web – Aladin Standalone : outil complet 2005: Aladin v3.0

S. Derriere –Ecole CNRS Vars, 25/03/ Intégrateur de données Bases de données images à Strasbourg: – MAMA, DSS1, DSS2, 2MASS, EROS1 Accès à des serveurs distants: – HST, VLA/FIRST, SuperCOSMOS, Skyview, SDSS,... Accès aux données locales de l'utilisateur. Nombreuses fonctions: – superposition images, contours, catalogues, NED, SIMBAD, champs de vue, filtres... – calibration astrométrique, resampling, composition colorée, blinking, multi-vue, mode script, cross-match, diagrammes 2D (VOPlot)...

S. Derriere –Ecole CNRS Vars, 25/03/ Atlas interactif du ciel. Intégrateur de données: images et catalogues locaux ou distants. Gratuit ! Base du prototype AVO.

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/ "Metadata tree"

S. Derriere –Ecole CNRS Vars, 25/03/ Multiples serveurs de données

S. Derriere –Ecole CNRS Vars, 25/03/ Visualisation des champs de vue des images

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/ Nouveau ! (en construction) Accès à une base d'éphémérides de l'IMCCE couvrant 70 ans ( ) pour les positions des astéroides...

S. Derriere –Ecole CNRS Vars, 25/03/ Le CDS et l'Observatoire Virtuel De par son expérience, le CDS est un des acteurs principaux de la construction de l'Observatoire Virtuel (VO-France, AVO, IVOA). Il participe activement à la définition des formats d'échange et de description standard de l'astronomie de demain (VOTable, UCD). Il conseille les projets qui souhaitent intégrer leurs données à l'Observatoire Virtuel.

S. Derriere –Ecole CNRS Vars, 25/03/ Aladin: un portail du VO Accès au VO pour les astronomes: – découvrir les données et services disponibles – accès et interrogation – manipulation et analyse – publication, dissémination des résultats Le prototype du projet européen AVO reposait sur Aladin Des développements nouveaux faits pour AVO ont été intégrés depuis dans Aladin

S. Derriere –Ecole CNRS Vars, 25/03/ ex: portail prototype AVO Acces aux données:

S. Derriere –Ecole CNRS Vars, 25/03/ Accès images – DAL: SIA – le serveur image (ici Aladin) renvoie les metadonnées des images dans la région demandée – construction dynamique d'un 'metadata tree' ex: portail prototype AVO

S. Derriere –Ecole CNRS Vars, 25/03/ ex: portail prototype AVO Accès spectres – DAL: SSA – ex: méta- données serveur ESO

S. Derriere –Ecole CNRS Vars, 25/03/ ex: portail prototype AVO Accès catalogues – Cone Search – ex: VizieR

S. Derriere –Ecole CNRS Vars, 25/03/ ex: portail prototype AVO Accès services – SExtractor – Cross-match Protocole HTTP, WS... FITS, VOTable

S. Derriere –Ecole CNRS Vars, 25/03/ Portail: bientôt... Liste des données et services construite dynamiquement à partir du contenu du registry...

S. Derriere –Ecole CNRS Vars, 25/03/ Harvesting from STScI 2. Conversion and filtering into a GLU dic 3. GLU site synchronization 4.New Aladin form managing these VO GLU records... 5…to produce general metadata trees 6… to choose and manipulate images and catalogs..

S. Derriere –Ecole CNRS Vars, 25/03/ CDS: support aux projets Le CDS a déjà participé à de nombreux projets : – catalogues d'étoiles guides (EXOSAT, IRAS, Hipparcos, HST, ISO, SAX,...) – accès aux archives (IUE) – contribution au SSC XMM Utilisation personnalisée des services Distribution de données Consultance, conseil, revues A venir: Planck/Herschel, COROT, ALMA...

S. Derriere –Ecole CNRS Vars, 25/03/ Utilisateurs et développeurs Outils utilisables dans le "developer's corner" – librairies java (gestion des unités de mesure, conversion de coordonnées,...) – accès par Web Services Pour les utilisateurs exigeants: – Aladin (v3.0 téléchargeable en avril) – Tutoriaux (pour expliquer des services de + en + complexes), démos – cdsclient: ensemble de routines accessibles en ligne de commande

S. Derriere –Ecole CNRS Vars, 25/03/ Aspects pluridisciplinaires Collaborations avec des laboratoires STIC (surtout dans le cadre d'actions incitatives) – IDHA (Images Distribuées Hétérogènes pour l'Astronomie) – techniques de manipulation / visualisation d'images multibandes – MDA (Masse de données en astronomie) – description sémantique de l'astronomie Physique atomique et moléculaire à intérêt astronomique

S. Derriere –Ecole CNRS Vars, 25/03/

S. Derriere –Ecole CNRS Vars, 25/03/ Quelques liens utiles (1) Site Web du CDS: – SIMBAD: – – VizieR – – Aladin –

S. Derriere –Ecole CNRS Vars, 25/03/ Quelques liens utiles (2) Tutoriels CDS – – IVOA – Action Spécifique OV-France – Tutoriel OV France (2004) –