2006, August 22E. Slezak – IAU 26 th GA – SPS 3b session VIII1/12 Image Processing and Scientific Workflows in the VO context Observatoire de Strasbourg.

Présentation au sujet: "2006, August 22E. Slezak – IAU 26 th GA – SPS 3b session VIII1/12 Image Processing and Scientific Workflows in the VO context Observatoire de Strasbourg."— Transcription de la présentation:

1 2006, August 22E. Slezak – IAU 26 th GA – SPS 3b session VIII1/12 Image Processing and Scientific Workflows in the VO context Observatoire de Strasbourg (CDS) : A. Schaaff, J.J. Claudon Observatoire de la Cote dAzur : E. Slezak Action Spécifique Observatoires Virtuels France

2 2006, August 22E. Slezak – IAU 26 th GA – SPS 3b session VIII2/12 VO Science Cases (from the AstroGrid Top Ten Science Drivers) Physical processes within the solar corona ; Comparaisons between solar and stellar flares ; Brown Dwarf selections ; Supernova galaxy environments ; Detection of low surface brightness galaxies ; Deep extragalactic field surveys ; Locating clusters of galaxies at a range of redshift ; Discovery of high redshift quasars. Added-value of federated information

3 2006, August 22E. Slezak – IAU 26 th GA – SPS 3b session VIII3/12 Some Relevant Queries Analysis of catalogues – cross-matches between catalogues (multiple or lack of counterparts) ; spectral energy distribution, photometric redshifts – departures from homogeneity, hierarchical relationships ; – matched filters related to a given regularity in some properties ; – comparaisons to models and access to databases (images, spectra). Analysis of multispectral images from various detectors – optimal detection for objects with a more or less well-known shape ; – variable background, overlapping objects, with a hierarchy of features – noise characteristics, sampling, resolution, magnitude limit, consistency between measures in different bands, mosaics. > mixed queries < e.g. QSO host galaxies & BH masses

4 2006, August 22E. Slezak – IAU 26 th GA – SPS 3b session VIII4/12 but one has to cope with reality... The description levels of the data quality and of their calibration vary a lot across the databases ; Merging such heterogeneous data is tedious ; The quantity of pixels increases exponentially ; Any multi-source multi- data set is intrinsically complex ; > dedicated algorithms and processing methods are required < > which can operate on (distributed) large data sets < > user-tunable analysis pipelines must be available <

5 2006, August 22E. Slezak – IAU 26 th GA – SPS 3b session VIII5/12 The OV-France workflow WG. Action Spécifique Observatoires Virtuels France – defining use cases of general interest (images, spectra, simulations) ; – identifying the simplest workflow structure allowing portability ; – suggesting and evaluate solutions for designing and exploiting such workflows (eg. WebCom-G, AstroGrid, AIDA) Objectives : Workflow - our definition : sequence of tasks executed within a controlled context by an archictecture taking into account VO standards Observatoires de Strasbourg, de Paris, de Lyon, de la Côte dAzur, Laboratoire dAstrophysique de Marseille http://www.france-ov.org/twiki/bin/view/GROUPEStravail/Workflow start : 2005

6 2006, August 22E. Slezak – IAU 26 th GA – SPS 3b session VIII6/12 Multivariate Image Analysis multidimensional natural data are complex (non-gaussianity, inherent sparsity, hidden correlations) 3) Primitives extraction and classification 1) Dimensionality reduction select or build variables carrying relevant information choice of a noise model – (non-) linear global techniques vs. hidden low- D sub-spaces identification – model selection (cf. sparse representation) choice of the metrics ; PDFs estimation 2) Data segmentation – (un-)supervised methods, w/ or w/out hierarchical scheme, fuzzy/hard partitioning –

7 2006, August 22E. Slezak – IAU 26 th GA – SPS 3b session VIII7/12 Multisource Data Fusion combine in an optimal way all the data into a single model preserve all the information from the initial data set enhance the quality of the final output (denoising, spatial and/or spectral super-resolution) 1) Objectives 2) Strategy a group of 2D images of the same field ; a set of spectra ; a tridimensional data cube. 3) Tactic x eg. co-addition : chi2 image vs. probabilistic approach posterior marginal : P(X Y) P(X,Y,, ) d d

8 2006, August 22E. Slezak – IAU 26 th GA – SPS 3b session VIII8/12 Data Analysis Systems Computational ressources : GRID5000, EGEE 1) Use of a library of programs a unique way to configure and execute programs graphical construction of a fixed sequence of algorithms > capitalisation of the knowledge about the use of programs < > available for users not specialised in the domain < request on the data (goal) result (objective) AIDA Application 2) Knowledge-based program supervision system (eg. PEGASE engine /INRIA) automate the configuration of programs using operators and rules

9 2006, August 22E. Slezak – IAU 26 th GA – SPS 3b session VIII9/12 A basic request for a simple workflow goals : detect and measure connex objects in a single mono-band image (SExtractor). underlying model : separated diffuse sources in emission over a slowly variable ideal background. chosen methods : – estimate a background map ; – extract sources by a thresholding segmentation ; – elliptical modeling of the shape of each domain ; – construction of an azimuthal brightness profile ; – computation of compactness and flux indicators.

10 2006, August 22E. Slezak – IAU 26 th GA – SPS 3b session VIII10/12 Astron. Image proc. Distrib. Architecture chaining ( FORTRAN ) programs just by a few click-an-drops easy integration procedure file describing I/Os a configuration file > action plan < scheduling on the grid will be soon available

11 2006, August 22E. Slezak – IAU 26 th GA – SPS 3b session VIII11/12 Use within the CDS-Aladin VO portal a multicolour image with superimposed contours

12 2006, August 22E. Slezak – IAU 26 th GA – SPS 3b session VIII12/12 Some Future Developments Multiband, multisensor, multimodes image fusion ; ANR Space Fusion / LSIIT Strasbourg. Extraction and mesurements of fuzzy superimposed objects ; a webservice is under construction at OCA. Classification and data mining on massive multidimensional data sets. > OV : transfer of data vs. transfer of codes > Grid : load monitoring, submit whole or part of the workflow > AIDA : ergonomy, monitoring & log file, partial run – a library of modules from algorithms common to various use cases – – fruitful exchanges with the A strogrid and STIC communities –

13 2006, August 22E. Slezak – IAU 26 th GA – SPS 3b session VIII13/12

14 2006, August 22E. Slezak – IAU 26 th GA – SPS 3b session VIII14/12 Added-Value of Federated Information crab nebula multiwavelength composite image credit : Chandra X-Ray Observatory

15 2006, August 22E. Slezak – IAU 26 th GA – SPS 3b session VIII15/12 Initié en 2005 dans le cadre de lAction Spécifique « Observatoire Virtuel », le groupe de travail Workflow a pour but de produire des cas dutilisation dans plusieurs domaines (image, spectre, simulation, etc.) et de les confronter avec des outils, en particulier avec ceux du VO. Le développement de collaborations avec la communauté STIC (liens avec les grilles e.g. EGEE,...) est également un objectif essentiel. La dernière réunion plénière (16 juin 2006) était organisée à lIAP, réunissant plus de 30 participants. Le groupe de travail Workflow créé dans le cadre de lAS OV A. Schaaff 1, F. Le Petit 2, P. Prugniel 3, E. Slézak 4, C. Surace 5 1 Observatoire de Strasbourg, 2 Observatoire de Paris, 3 Observatoire de Lyon, 4 Observatoire de la Côte dAzur, 5 Laboratoire dAstrophysique de Marseille Un exemple de requête simple en imagerie monobande… opérations :détection et évaluation dobjets connexes dans une image mono-bande modèle sous-jacent: tâches diffuses disjointes en émission sur un fond lentement variable sans défauts. méthode adoptée:– cartographie du fond ; – seuillage par segmentation ; – ajustement dune ellipse de forme ; – évaluation du profil azimutal de brillance ; – calcul de mesures de forme et de flux. …et sa solution avec loutil AÏDA… … un pas vers la pérennisation des connaissances en traitement d'images des spécialistes de la communauté. Informations, dates des réunions, compte-rendu, présentations, liens vers les outils,… http://www.france-ov.org/twiki/bin/view/GROUPEStravail/Workflow Objectifs prioritaires du groupe de travail en 2006/2007 : Etendre la définition des cas dutilisation à dautres domaines Définir les différentes parties (briques) communes aux cas d'utilisations (spectres, imagerie...) et tendre vers une bibliothèque de modules. Poursuivre les échanges avec la communauté STIC et AstroGrid Promouvoir le travail réalisé lors des réunions Interop de lIVOA Les cas dutilisation sont utiles pour juger de la pertinence respective des différents modèles envisageables pour un workflow et des conditions de leur construction avec les outils disponibles ou en développement (ex. : AstroGrid, AÏDA, WebCom-G, …). Ces outils tendent à rendre presque transparente lexécution (machine locale, cluster, grille) et lutilisation des fonctionnalités VO (Web Services, GRID, VOSpace, …). Expérimentation de lutilisation de workflows dans Aladin, un portail du VO Le groupe de travail Workflow se consacre à : la mise en place de cas dutilisation et à la formalisation de la connaissance sous-jacente la recherche dune structure minimale pour la définition dun workflow afin de tendre vers la portabilité entre outils (de conception et d'exécution) en se basant sur les standards existants. lutilisation optimale des algorithmes de traitement de données et la construction de chaînes de traitements adaptées à la résolution de problèmes spécifiques. Extraction dune sous image dun catalogue en ligne à partir de son identification astronomique avec WebComG Notre définition dun Workflow : enchaînement de tâches réalisé dans un contexte maîtrisé (à divers niveaux : intelligence dans le choix des algorithmes, contrôle de flux, …), basé sur létude de « Cas dutilisation », dans une architecture prenant en compte les standards du VO.