20 mars 2006J-P Meyer1 Le Projet GRIF (Grille de Recherche d’Île de France)  La Grille de Calcul: Qu’est ce que c’est?  Histoire de la Grille: Morceaux.

Présentation au sujet: "20 mars 2006J-P Meyer1 Le Projet GRIF (Grille de Recherche d’Île de France)  La Grille de Calcul: Qu’est ce que c’est?  Histoire de la Grille: Morceaux."— Transcription de la présentation:

1 20 mars 2006J-P Meyer1 Le Projet GRIF (Grille de Recherche d’Île de France)  La Grille de Calcul: Qu’est ce que c’est?  Histoire de la Grille: Morceaux choisis  Les projets EGEE et EGEE2  Le projet LCG  Le projet GRIF  Description et partenaires  Etat actuel du projet  Les aspects financiers  Conclusions

2 20 mars 2006J-P Meyer2  La Grille de Calcul: Qu’est ce que c’est? Exploiter la puissance ou les ressources de stockage non utilisées des PC en réseau. Globalisation des ressources informatiques et des données. Objectif " de rendre l'accès aux ressources informatiques aussi transparent que l'électricité " Le rêve d'un ordinateur toujours plus puissant pourrait bien devenir obsolète. En mutualisant les ressources, on peut aller plus vite, plus loin, pour moins cher. On tape: « Grille de calcul » sur Les technologies de grilles de calcul (Grid computing) permettent d'optimiser l'utilisation de l'équipement informatique

3 20 mars 2006J-P Meyer3 En résumé: Le principe consiste à interconnecter des ressources de calcul et de stockage par un réseau puissant et de cacher la complexité et du système par une couche logicielle appelée « intergiciel » (middleware). Les ressources sont: Partagées: mise à disposition de différentes communautés  synergie, économie, interdisciplinarité,… Distribuées: situées dans les laboratoires, universités et chez les industries, les particuliers (seti@home). Hétérogènes: Toutes sortes d’ordinateurs et de configurations Coordonnées: Par les intergiciels et mise en relation par les réseaux. Externalisées: Accessible à la demande  énorme ordinateur virtuel accessible même à des petits groupes de chercheurs. Concepts et vertus de base

4 20 mars 2006J-P Meyer4  Histoire de la Grille: Morceaux choisis Un des précurseurs (96): Un logiciel utilisé en écran de veille pour rechercher une émission captée par un grand radio télescope en provenance d’une Intelligence Extra-Terrestre. Sur le même principe de nouveaux projets sont lancés comme par exemple: Utilisation des pc pendant les pauses et la nuit pour exécuter des tâches généralement courtes et faisant peu d’entrée-sortie.

5 20 mars 2006J-P Meyer5 Pour les applications plus lourdes en calcul et traitement de masses de données. Dans le monde LINUX  MONARC (1999) suivit en 2001 par DataGrid (CEE). Suivit par projet EGEE en avril 2004-mars 2006 et financé par la communauté européenne. En mai 2006 EGEE2 va prendre le relais pour finir le développement des intergiciels et aboutir à une grille pleinement opérationnelle. Se pose alors la question de la pérennisation de la grille en Europe  projet EGO au CERN (2007) Les projets Européens

6 20 mars 2006J-P Meyer6 Le projet EGEE (Enabling Grid for E-sciencE)  70 participants financés par l’Europe  30 participants qui ne sont pas financés  la grille mise en place par EGEE s’appuie sur le réseau GEANT  But:  Fournir une infrastructure de grille de calcul pour les applications scientifiques qui peuvent en avoir besoin  Garantir le développement et la maintenance des intergiciels (middleware) permettant l’accès et l’utilisation des ressources de cette grille  Diffuser les informations nécessaires pour solliciter d’autres intervenants à l’infrastructure de grille (soit des centres de calcul soit des utilisateurs)  Fourni du personnel pour développer et coordonner le fonctionnement de la Grille en Europe. (1/1 EGEE; 2/1 EGEE2)  Ne fourni pas d’infrastructure (matériel).

7 20 mars 2006J-P Meyer7 Les Réseaux utilisés par EGEE GEANT (réseau Européen)RENATER (partie Fr)

8 20 mars 2006J-P Meyer8 Les applications supportées par EGEE (1/2) Les applications biomédicales: plus de 50 utilisateurs dans 18 laboratoires de 7 pays avec 12 applications différentes. (ex: recherche de nouvelles molécules) Domaine Pilote Ressources: - 2000 CPU - 21 TB de disque Les sciences de la terre: - Observations de la terre - Climat - Hydrologie (ex: tsunami) - Géophysique  applications industrielles Month Number of jobs

9 20 mars 2006J-P Meyer9 Astronomie: - fond diffus cosmologique - astronomie des rayons gamma Economie: - simulations numériques de marché Physique des particules: - les expériences LHC:  ATLAS,CMS ALICE,LHCb - les expériences en Allemagne  H1,Zeus - les expériences aux USA  D0, CDF, Babar Domaine pilote Une Grille dédiée: LHC Computing Grid (LCG) Les applications supportées par EGEE (2/2)

10 20 mars 2006J-P Meyer10 Le projet EGEE2 (Enabling Grid for E-sciencE) Continuation naturelle de EGEE (1 avril 2006) buts principaux: - étendre l’usage de la grille à tous les domaines scientifiques - créer d’avantage de partenariats recherche-industrie - augmenter la couverture géographique de la grille  au-delà de l’Europe tout en gardant le leadership

11 20 mars 2006J-P Meyer11 Le projet LCG (LHC Computing Grid)  Le LHC: qu’est ce que c’est?  Le traitement des données au LHC  La Hiérarchie des centres LCG

12 20 mars 2006J-P Meyer12 Le LHC (Large Hadron Collider)  Le LHC (Large Hadron Collider) - Collisionneur proton–proton et ion-ion - 27 km de circonférence - Aimants supraconducteurs 8.3T - Énergie des protons 7 TeV -> √s = 14 TeV - 2800 paquets de 10 11 protons/faisceau - 25 ns entre deux paquets (40 MHz) - taille transverse des faisceaux ~ 1  m  10 9 collisions/s - Luminosité nominale 10 34 cm -2 s -1 (pp)  10 9 collisions/s 2007  démarrage à 10 7 collisions/s 2008 à 2009 10 8 collisions/s  basse luminosité 2010 à 2012 10 9 collisions/s  haute luminosité

13 20 mars 2006J-P Meyer13 Les données du LHC Longueur : ~ 46 m Diamètre : ~ 25 m Poids : ~ 7000 tonnes Coût : ~ 340 M€ / 10 ans Détecteur central: Traces chargées 1.4x10 8 voies Détecteur: Calorimètres: Énergie des particules 2x10 5 voies Spectromètre à muon: Impulsion des muons 7x10 5 voies Suppression de zéro en ligne  ~2 Mo/événement 10 8 à 10 9 collisions/s  sélection en ligne  100 Hz 1500 Physiciens

14 20 mars 2006J-P Meyer14 Génération Simulation des événements Simulation des événements Géométrie de Simulation Géométrie de Simulation Géométrie de Reconstruction Géométrie de Reconstruction Description détecteur Alignement détecteur Calibration détecteur Paramètres Reconstruction Reconst. des événements Reconst. des événements ESD AOD Analyse Physique données brutes Détecteur 2 Mo 500 ko 100 ko 3.5 Mo Le traitement des données au LHC (1/2)

15 20 mars 2006J-P Meyer15 Le traitement des données au LHC (2/2)  Chaque événement est indépendant des autres  Puissance de calcul  100000 pc x an (P4 3GHz, 2 Go ram)  Capacité de stockage pour les expériences LHC  20 PetaByte/ans sur bande magnétique (pérennité)  1 PetaByte/ans sur disque pour l’analyse  Possibilité d'accéder aux données depuis tous les instituts  production des données Monte-Carlo nécessaires à la compréhension des résultats d’analyse (30mns/événement)

16 20 mars 2006J-P Meyer16 Hiérarchie des centres (nœuds) de la grille LCG Le Tier0 (CERN): la réception des données brutes et 1ère reconstruction Distribution des données brutes vers les centres Tier1 Études des calibrations et des alignements Les Tier1 (partout sur la planète -> centres nationaux): reçoivent chacun une fraction des données brutes (stockage) reconstruction et re-reconstruction (alignements, calibrations) mise à disposition des données résumées centres d’analyse (Tier2) En France Centre de Calcul de Lyon (4 expériences) (80% IN2P3+20%DAPNIA) Les Tier2 (partout sur la planète -> près/dans les labos): analyse des données  production des ROOTup finaux production Monté-Carlo  retour des sorties vers les Tier1  projet GRIF 10 Gbits/s 1 Gbits/s

17 20 mars 2006J-P Meyer17 Etat actuel de LCG LCG Publicity map built daily.

18 20 mars 2006J-P Meyer18 LCG: En Europe et en France T2: GRIF T2: SUBATECH T2: AUVERGRID T3: CPPM T1: CC LYON T3: LAP Globalement la France est sensiblement en retard!

19 20 mars 2006J-P Meyer19  Le projet GRIF (Grille de Recherche d’Île de France) Buts: - Mettre en place une ressource d’analyse et de simulation en région Île de France. 80% LCG  (Tier2) + 20% EGEE et Local - Favoriser l’acquisition et la pérennisation du savoir faire d’une grille de production pour l’ensembles des communautés scientifiques de la région (BioMed, ESR, EGEODE,…) - Attirer de nouveaux partenaires de la région:  laboratoires, universités, écoles et industries Certains participent déjà à EGEE et EGEE2 comme par exemples: CGG, ECP, LRI (P11), IPSL (P6),… - champs d’applications actuels: Physique des Particules, Biomédical, Physique théorique, Radio chimie, Sciences de la Terre et Astrophysique

20 20 mars 2006J-P Meyer20 LPNHE 5 laboratoires de la région Ile de France: Mais aussi 3 universités et une école Les partenaires de GRIF: Nécessite de créer un GIS (rédaction en cours)

21 20 mars 2006J-P Meyer21 Structure du projet GRIF Représentant LCG-France et LCG-World (J-P Meyer) Comité de Pilotage scientifique (J-P Meyer) Comité de Pilotage technique (M. Jouvin) PartenairesReprésentant techniqueReprésentant scientifique DAPNIAP. MicoutJ.-P. Meyer IPNOC. DiarraC. Suire/H. Harroch LALM. JouvinC. Loomis/G. Wormser LLRP. Mora de FreitasC. Charlot/P. Busson LPNHEL. MartinF. Derue

22 20 mars 2006J-P Meyer22 Le Réseau RENATER en IdF CEA Saclay LLR 0,1G

23 20 mars 2006J-P Meyer23 Objectifs du projet GRIF Année Total CPU (ksi2k*) Total Disque (TB**) 2004200 200513050 200640095 2007960215 20082870715 Début EGEE Début GRIF Phase prototype Phase de démarrage du LHC (*) 1 ksi2k = 1000 specInt 2000 = 1 P4 à 3GHz (**) 1TB = 1000 Go Ces besoins sont dictés par la création d’un centre Tier2 LCG, les besoins propres des laboratoires et notre participation au projet EGEE.

24 20 mars 2006J-P Meyer24  Etat actuel du projet (1/2) - Démarrage de GRIF en mars 2005 avec 3 partenaires (DAPNIA,LAL et LPNHE) Deux nœuds existants (LAL et DAPNIA) - Septembre 2005 le LLR et L’IPNO nous rejoignent. - Demandes de budget et achats de matériels fin 2005 dans tous les laboratoires.  3 nœuds en production (DAPNIA, LAL, LPNHE)  2 nœuds en installation (IPNO et LLR) 100 CPU et 36 TB en production 35 CPU et 14 TB en installation (budget 2005) - Equipe technique: ~ 8FTE répartis sur les 5 labo. C’est encore insuffisant  EGEE2 (2 à 3 FTE)

25 20 mars 2006J-P Meyer25 De nouveaux contacts ont été pris avec: - SHFJ (CEA) et NeuroSpin - DRFC (fusion à Cadarache  EGEE2) - Laboratoire d’embryologie de l’école polytechnique - P11  initiative GridCampus - partenariat LRI – LAL pour étudier les SE - programme inter disciplinaire au CNRS pour créer une Grille nationale  il faut un nœud en IdF. Le potentiel en Région Ile de France est simplement énorme… et presque tout reste à faire…: - laboratoires - universités - industrie  Etat actuel du projet (2/2)

26 20 mars 2006J-P Meyer26  Les aspects financiers (1/3) ~30% ~28,5% ~17,5% DAPNIACPUDiskF.P.Intégrale 2005201053 2006802078131 20071674090221 2008435112200421 LALCPUDiskF.PIntégrale 200420045 20058024135180 20061383890270 200724969140410 2008382118140550 LPNHECPUDiskF.PIntégrale 2005241299 20069018107206 200717940142348 200825066102450 Fraction ressources

27 20 mars 2006J-P Meyer27 Les aspects financiers (2/3) ~10% ~14% Les fonds propres des laboratoires proviennent de sources très variées mais indépendantes du financement du Tier1.  possibilité de financement des Tier2 Français à partir de 2009? Fraction ressources LLRCPUDiskF.P.Intégrale 20050000 2006153,520 20073071434 20081503576110 IPNOCPUDiskF.P.Intégrale 2005281254 2006851654108 200719123135243 200826930135378

28 20 mars 2006J-P Meyer28 Les aspects financiers (3/3) AnnéeF. P. (k€) SESAME (k€) TOTAL (k€) Intégrale (k€) Balance (k€) 2004450 0 20052870 3320 20063500 6820 200752016568513677 200865393515882955-7 Proto Démar. LHC Prototype = 0,7 M€ (2004-2006) Demande déposée en 2006 pour couvrir la partie 2007 et 2008 du projet GRIF. Sur cette période: fond propre = 1,2 M€ Aide SESAME = 1,1 M€ Il faut rajouter les frais de fonctionnement et d’infrastructure qui ne sont pas encore estimés pour chaque partenaire.

29 20 mars 2006J-P Meyer29  Conclusions (1/4)  Ce projet garantie à la région Ile de France la pérennisation du savoir faire Grille dans nos laboratoires.  Le projet est fortement imbriqué dans EGEE(1 et 2) et dans LCG  garanties stabilité et d’aboutissement.  Dans une logique de Grille nationale, l’Ile de France se doit d’apporter sa contribution au moins au même titre que les régions PACA, Rhône Alpes, Auvergne,…  Le projet est fédérateur et ouvert: - 2 nouveaux labo dans GRIF en 2005 - de nombreux nouveaux contacts que l’on espère concrétiser ont été pris  effort à poursuivre - 5 grands laboratoires actuellement impliqués qui ont tous une obligation de réussite du projet. - équipe technique déjà constituée avec 100 CPU et 36 TB en production.

30 20 mars 2006J-P Meyer30 Conclusions (2/4)  Rapport OCDE du Workshop à Sydney (25-27 sep. 2005)  « Many experts believe that, within the next two decades, Grids will have in impact that is comparable to that of the WWW. »  le projet GRIF est une opportunité à ne pas rater.  La région Ile de France peut jouer un rôle important dans le développement d’une la grille régionale parce qu’elle a de nombreux atouts: - Un réseau RENATER existant  encore à développer - Une densité forte de centres de recherche - Le pôle de compétitivité SYSTEM@TIC (Le DAPNIA et le LAL participent à CARRIOCAS)  La région peut nous aider: - financièrement - mise en relation de partenaires - organisation de séminaires - ……

31 20 mars 2006J-P Meyer31 Conclusions (3/4)  Les points essentiels du projet GRIF (1/2):  Le projet GRIF permet à la région de s’approprier le savoir faire des grilles de calcul  modèle économique très séduisant (mutualisation des moyens)  favorise fortement l’interdisciplinarité: Physique des Particules, Biomédical, Physique théorique, Radio chimie, Sciences de la Terre, Astrophysique et bientôt l’embryologie,…  propose des infrastructures et une équipe technique déjà constituée  accueil de nouveaux partenaires facilité! Ex: le laboratoire d’embryologie de l’école polytechnique  besoin de stockage 50 GB par jour et par microscope. puis analyse des images (identification de type de cellules, comparaison d’images,…)

32 20 mars 2006J-P Meyer32 Conclusions (4/4)  Les points essentiels du projet GRIF (2/2):  Avec GRIF les partenaires industriels intéressés peuvent tester la grille et leurs applications immédiatement.  La Grille offre une flexibilité extrême:  Il est facile de rajouter des nouveaux nœuds pour les partenaire plus important désirant acquérir la compétence.  On peut aussi facilement héberger des ressources de calcul ou de stockage pour une communauté n’ayant pas ses propres infrastructures.