Proposition de Programme Interdisciplinaire Infrastructure de Calcul Distribué (ICAD) Guy Wormser LAL Orsay 20 Juin 2006.

Présentation au sujet: "Proposition de Programme Interdisciplinaire Infrastructure de Calcul Distribué (ICAD) Guy Wormser LAL Orsay 20 Juin 2006."— Transcription de la présentation:

1 Proposition de Programme Interdisciplinaire Infrastructure de Calcul Distribué (ICAD) Guy Wormser LAL Orsay 20 Juin 2006

2 Guy Wormser, Conseil Scientifique du CNRS, 20 Juin 2006 2 Le projet ICAD Pourquoi une infrastructure de calcul distribué –Nouvel outil informatique offrant de réelles possibilités de percées scientifiques, très complémentaire de l’offre des supercalculateurs –Traitement de (très gros) volumes de données distribuées –Utilisation optimum des ressources partagées entre plusieurs communautés –Adapté à des communautés elles-mêmes réparties L’Infrastructure actuelle EGEE/LCG –Une infrastructure pluridisciplinaire de production opérationnelle 24h/24h de très grande dimension Pourquoi un programme interdisciplinaire autour de cette infrastructure –Structuration de cette activité en interne au CNRS –Axe central d’un programme national de grille nécessaire pour pérenniser l’infrastructure au niveau européen –Animation recherche en direction des applications et de la recherche en informatique –Actions de formation, de support, de dissémination –Point de contact avec les centres de calcul supercalculateur –Evaluation

3 Guy Wormser, Conseil Scientifique du CNRS, 20 Juin 2006 3 Définitions Grilles Grilles: Ensemble distribué de ressources informatiques reliées par des réseaux rapides et accessible de façon transparente par l’utilisateur EGEE: projet européen financé dans le cadre du 6 ème PCRD à vovation pluridisciplinaire s’appuyant sur la physique des hautes énergies mais ouverts à beaucoup d’autres sciences: Biologie/médecine, sciences de la Terre, Astrophysique, chimie LCG: LHC Computing GRID, grille internationale mise en place autour du CERN seul outil choisi pour satisfaire les besoins de calcul du LHC. EGEE et LCG partagent la même infrastructure, la même équipe logicielle,etc… Plus de 200 nœuds et 15000 processeurs sont opérationnels 24h/24 7jours/7. 30 000 travaux sont soumis chaque jour. Les Data Challenges des expériences LHC sont d’ores et déjà complètement basées sur cette infrastructure Tier1/2 Centres de ressources de la grille LCG/EGEE. –Tier1 : très fortes obligations de service, gros volume de stockage, dédié aux productions centralisées –Tier2 Forte réactivité pendant heures ouvrables, dédié analyses et simulation

4 Guy Wormser, Conseil Scientifique du CNRS, 20 Juin 2006 4

5 5 Revue finale d’EGEE-I par l’Union Européenne (Mai 2006) The main findings of this third review are as follows. The project was successfully completed and followed high standards with respect to project management, software development, integration and operations. The objective of a reliable production grid of significant size, which is professionally operated, monitored, maintained and continuously expanded, has been achieved. The average number of daily jobs and the number of involved sites are impressive. The EGEE brand was successfully introduced world-wide. The training efforts and achievements continued to be impressive. The successful merge of LCG and gLite middleware distributions provides a solid foundation for the future evolution of the EGEE middleware. The project management structure very well adapted to the evolving requirements of the project. EGEE successfully fulfilled its role as an incubator and as a driver for linking European grid projects to world-wide grid activities. The stronger involvement in international standardization efforts is well recognized, although the impact could have been stronger and more visible. For instance, the VO Management Service (VOMS) is becoming a de facto standard in many major research grids world-wide, but EGEE's contributions are not sufficiently well known. The review panel has compiled an extensive list of detailed, constructive recommendations. The review panel recommends that these recommendations be fully implemented in the successor project EGEE-II."

6 Guy Wormser, Conseil Scientifique du CNRS, 20 Juin 2006 6 Les activités françaises dans EGEE 85 agents et >50 FTE au CNRS Opérations: Faire tourner la grille française, fournir une des tours de contrôle d’EGEE –Nœuds: Lyon, Clermont, Orsay, Marseille, CINES/Montpellier, CGG, Ecole Centrale Middleware: Assurance qualité, Outils de développement logiciel (CS,STIC, IN2P3) Réseaux : Interface avec GEANT (STIC) Applications: –Coordination genérale (V. Breton, LPC Clermont) –Application pilote Biologie Médecine (J. Montagnat, CREATIS) –Industry Forum d’EGEE (C. Saguez(ECP), GW) –Equipe Test (E. Fede (CPPM), B.Meteyrie(CS) –EGEE Generic Applications Advisory Panel (GW)

7 Guy Wormser, Conseil Scientifique du CNRS, 20 Juin 2006 7 Grids: a great opportunity for interdisciplinary contacts Grids have become a great vehicle for promoting interdisciplinary contacts between HEP, many other application fields and computing scientists –Bioinformatics –Medecine –Chemistry –Fusion science –Earth sciences –Astrophysics/astronomy –Neuroinformatics –Climate –Finance –…..

8 Guy Wormser, Conseil Scientifique du CNRS, 20 Juin 2006 8 APPLICATIONS ported on EGEE Earth Observation by Satellite Hydrology Solid Earth Physics Climate Geosciences Chemistry of the Mars Upper Atmosphere Meteorology

9 Guy Wormser, Conseil Scientifique du CNRS, 20 Juin 2006 9 SEISMOLOGY[1] Fast Determination of mechanisms of important earthquakes (IPGP: E. Clévédé, G. Patau) Challenge Provide results 24h -48h after its occurrence Application to run on alert  Collect data of 30 seismic stations from GEOSCOPE worldwide network  Select stations and data  Definition of a spatial 3D grid +time  Run for example 50-100jobs Peru earthquake, 23/6/2001, Mw=8.3 Data used: 15 Geoscope Stations 5 Seisms already ported: Peru, Guadeloupe, Indonesia (Dec.), Japon, Indonesia (Feb.)

10 Guy Wormser, Conseil Scientifique du CNRS, 20 Juin 2006 10

11 Guy Wormser, Conseil Scientifique du CNRS, 20 Juin 2006 11 Clinical situation testbeds (2) 1 – YU Zhu Ping CHINA – Collaboration between Hospitals for International Neurosurgery Applications –A web-based application –Goals  Enable medical data exchange : Text-based data Medical images  Second remote diagnosis

12 Guy Wormser, Conseil Scientifique du CNRS, 20 Juin 2006 12 From PTM3D to gPTM3D Volume and organs reconstruction help the surgeon to plan the optimal path gPTM3D first result interactive response time for volume reconstruction

13 Guy Wormser, Conseil Scientifique du CNRS, 20 Juin 2006 13 Au-delà d’EGEE-II Transformer EGEE-II en une infrastructure PERENNE au service de la recherche européenne Schéma actuel: créer une structure similaire à GEANT (réseau informatique à haute vitesse européen): –Club de structures nationales ( cf RENATER) coordonnées au niveau européen –Confiant les responsabilités opérationnelles à une entité (DANTE) faisant largement appel à l’industrie –Cofinancé par l’UE et les Etats membres –Grand rayonnement international Gros handicap en France : Aucun véritable projet de grille nationale Le CNRS peut et doit jouer un rôle moteur dans la création d’une grille nationale

14 Guy Wormser, Conseil Scientifique du CNRS, 20 Juin 2006 14 Le projet ICAD Rôle Multiple: –Axe fort du CNRS pour les utilisateurs et pour la recherche sur les grilles –Structure fondatrice de la « National Grid Initiative » française Animation recherche en direction des applications et de la recherche en informatique Actions de formation, de support, de dissémination Point de contact avec les centres de calcul supercalculateurs Structuration de cette activité en interne au CNRS

15 Guy Wormser, Conseil Scientifique du CNRS, 20 Juin 2006 15 La planification budgétaire ICAD Projection 2006-2009 En 2006, 300 k€ déjà provisionnés (en augmentation notable par rapport à 2005 : 235 k€ (ex-COMI+IN2P3)): possibilité de démarrer même sans apport nouveau le démarrage de ces actions nouvelles à petite échelle Le financement de ce programme doit être pluri_organismes : CNRS, CEA, CNES, Ministère

16 Guy Wormser, Conseil Scientifique du CNRS, 20 Juin 2006 16 Conclusion Les grilles : Une très grande réussite en quelques années du concept à une réalité opérationnelle! « Huge infrastructure in place, other sciences embarked, very high political visibility, HEP role clearly recognised » Rôle très important de la France et du CNRS dans EGEE, notamment au cœur du secteur crucial des applications: notre mission d’ouvrir le spectre des applications d’EGEE a été réussie au-delà de toutes les espérances Il faut bâtir sur le succès d’EGEE pour donner à EGEE-II la place qui lui revient au sein du CNRS : le programme interdisciplinaire ICAD Il faut construire la suite pérenne de l’après EGEE-II: une « National Grid Initiative » française en partenariat avec RENATER et le ministère