F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Groupe de travail transverse « Grilles de Données »

Présentation au sujet: "F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Groupe de travail transverse « Grilles de Données »"— Transcription de la présentation:

1 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Groupe de travail transverse « Grilles de Données »

2 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Groupe de travail et rédacteurs Un travail par essence interdisciplinaire C. Blanchet (Institut de Biologie et De Chimie des Protéines), D. Boutigny (Centre de Calcul IN2P3), V. Breton (Laboratoire de Physique Corpusculaire de Clermont Ferrand), S. Denvil (Institut Pierre Simon Laplace), F. Genova (Centre de Données astronomiques de Strasbourg), M. Kern (DGRI), Y. Maignien (ADONIS), P. Micout (DSM/IRFU)

3 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Les données scientifiques Evolution de la perception de l’importance des données Utilisation > conservation, réutilisation Partage de l’information e-Infrastructure, Infrastructure des connaissances ESFRI, Très Grands Equipements Scientific Digital Repositories (7 ème PCRD)

4 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008

5 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Une problématique à plusieurs facettes Stockage, préservation, distribution Services pour faciliter l’utilisation Plusieurs aspects, parmi lesquels –Générique: conservation physique des données –Disciplines scientifiques: définition du cadre d’utilisation (description des données, services) –Producteurs de données: produire la description des données

6 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Interfaces avec la problématique grille Accès à des bases de données pré-existantes, hétérogènes, par les applications exécutées sur la Grille –Etude de l’inclusion des bases de données et de leurs technologies dans la Grille Accès « transparents » des utilisateurs à des données distribuées, services (accès, comparaison, combinaison) –« grille de données et de services», qui ne fait pas nécessairement appel aux technologies de la Grille

7 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Un paysage très divers Le besoins, la culture et le contexte de chaque discipline orientent le choix des solutions Etudes de cas pour identifier l’apport effectif ou potentiel de la Grille

8 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Santé publique (1) Un domaine d’application privilégié des technologies Grille: contrôle de l’accès aux données Partenariat en Auvergne: réseaux sentinelles –Régional: cancer –International: grippe aviaire Leadership international (HealthGrid, Wisdom) + grille régionale AuverGrid

9 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Santé publique (2) Les données sont stockées là où elles sont produites (hôpital, cabinet de radiologie, laboratoire d’anatomo-pathologie), et le propriétaire fixe les droits d’accès ni seconde saisie ni copie Utilisateurs accrédités pour des requêtes préalablement définies Grippe aviaire: mise en commun des informations au niveau mondial – recherche et alerte; grille de production

10 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Modélisation climatique (1) Données produites sur les centres de calculs nationaux ou internationaux Développement de standards pour décrire les modèles (METAFOR/Europe; CURATOR/USA) Développement d’une approche par bases de données dans les centres de calcul Accès unifiés – la Grille de Données doit inclure les centres de calculs nationaux, et quelques méso- centres

11 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Modélisation climatique (2) Le prochain rapport de l’ International Panel on Climate Change (AR5) s’appuie sur des données distribuées Etude IPSL de l’utilisation de la grille (data node dès 2009) Gateways: élargissement de la communauté des utilisateurs de données Earth System Grid (data nodes, gateways, global services)

12 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Fusion/ITER (1) Modèle validé de machine de fusion incluant le plasma: EUFORIA/Europe, ITM/USA Simulations sur clusters, EGEE, supercalculateurs (centres nationaux éventuellement connectés par DEISA)

13 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Fusion/ITER (2) Les codes doivent accéder aux données stockées en dehors de l’infrastructure de Grille Workflows: KEPLER, PTOLEMY-II

14 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Astronomie (1) Longue tradition de partage des données Données distribuées dans des centres de données autour du monde, en général en libre accès, pas de nœud central Observatoire Virtuel: accès transparent aux données, outils de visualisation et d’analyse Combinaison d’observations en optique et rayons X (centres de Données + portail OV)

15 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Astronomie (2) Standards d’interoperabilité définis par l’International Virtual Observatory Alliance Transition vers les opérations (EuroVO- AIDA) Interactions avec la Grille (OGF, EuroVO- DCA)

16 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Physique des hautes énergies (1) Très grandes masses de données, équipes d’utilisateurs distribuées Architecture de Grille (EGEE/Europe, OSG/USA, ARC/pays nordiques)

17 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Physique des hautes énergies (2) Architecture hiérarchique à 4 niveaux –Niveau 0: CERN –Niveau 3: Stations de utilisateurs finaux La grille fournit –la puissance de traitement nécessaire au traitement des données –l’architecture nécessaire au stockage pérenne, au catalogage, à la distribution et à la sécurisation des données L’accès est transparent pour les utilisateurs finaux quelle que soit la localisation des données

18 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Conclusions (1) Production et stockage de données distribués Certaines applications utilisent la Grille, d’autres éventuellement certains éléments de celle-ci

19 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Conclusions (2) Parmi les besoins –Accès aux données à partir de programmes exécutés sur la Grille –Sécurisation des accès/authentification des utilisateurs –Définition de standards d’interopérabilité –Développement d’outils pour la recherche et l’indexation dans un grand volume de données (recherche en informatique; partage d’expériences) Parmi les outils: Storage resource Broker/iRods Data Grids, Digital Libraries, Persistent Archives, and Real-time Data Systems

20 F. Genova et groupe de travail « Données » Prospective IDG, 6/10/2008 Conclusions (3) Domaine en émergence Mise en place d’un forum de discussion applications/spécialistes de la Grille Formation des débutants à l’utilisation de la Grille: aide à l’implémentation, tutoriels