Grille de calcul et E-Science Farida Fassi Master de Physique Informatique Rabat, Maroc 24-27 May 2010.

Présentation au sujet: "Grille de calcul et E-Science Farida Fassi Master de Physique Informatique Rabat, Maroc 24-27 May 2010."— Transcription de la présentation:

1 Grille de calcul et E-Science Farida Fassi Master de Physique Informatique Rabat, Maroc 24-27 May 2010

2 Plan  Introduction: C'est quoi la grille de calcul?  Motivation scientifique  Incitation à la grille et ses composantes  Les projets: WLCG, EGEE et EGI  Applications  Qui l'utilise et pourquoi ?  Physique des particules  Bio-informatique  Sciences de la terre  …. 2

3 C'est quoi la grille de calcul? (1) Historique : Le nom de “Grille” a été choisi par analogie avec le réseau électrique (electric power grid) (Foster and Kesselman 1998)  Vision : brancher un ordinateur pour obtenir de la puissance de calcul comme brancher un grille pain pour avoir de l'électricité  Le concept était déjà présent avec le calcul distribué.  Différence clé : la grille réalise cette vision à une échelle globale.

4 C'est quoi la grille de calcul? (2)  Approche pour la distribution de la puissance informatique le réseau Internet et la haute-performance  Partage transparent de l'utilisation de ressources massivement distribuées par des utilisateurs de différentes disciplines  « A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive and inexpensive access to high computation capabilities » (The Grid, I.Foster and C.Kesselman 1998)

5

6  Simulations numériques  Grande précision  Phénomènes physiques complexes  Importants besoins  Efficacité d’interaction  Exploitation des résultats  Puissance de calcul  Espace de stockage  Applications distribuées sur plusieurs noeuds  Données partagées  Propriétés attendues  Transparence  Localisation, transfert, etc. Plus d’infos sur: http://www.gridcafe.org B esoins scientifique

7 CMSLHCbATLAS ALICE 1 Megabyte (1MB) A digital photo 1 Gigabyte (1GB) = 1000MB A DVD movie 1 Terabyte (1TB) = 1000GB World annual book production 1 Petabyte (1PB) = 1000TB Annual production of one LHC experiment 1 Exabyte (1EB) = 1000 PB World annual information production CD stack with 1 year LHC data! (~ 20 Km)  Les sciences de HEP sont devenues très gourmandes en données:  Simulations toujours plus détaillées  Sciences expérimentales utilisant des détecteurs toujours plus sensibles  Beaucoup de données produites  Grandes collaborations internationales Ex. Experiences de Large Hadron Collider (LHC) au CERN ~10 petabytes/an (~10 Million GBytes) Besoins scientifique: Exemple Physique de Particules (HEP)

8 La « Vision Grille »  Chercheurs répartis géographiquement, partageant des données et des moyens de calcul  Ressources et Services informatiques interconnectés sur le réseau  Instruments scientifiques produisant de gros volumes de données  Le but de la Vision Grille est de rassembler ces trois éléments pour fournir des solutions

9 La solution: Grille de calcul?  Grille de calcul, solution aux très grande puissance de calcul et d’une capacité de stockage de l’ordre du Peta Octet  Caractéristiques importantes de la Grille  Fédérer des ressources distribuées  CPU, stockage, algorithmes, expertises  Accès sécurisé entre des domaines différents  Confiance entre les administrateurs de système,  développeurs des applications, utilisateurs,...  Accès transparent à « toutes » les ressources  On se connecte à la grille une seule fois  Les aspects de calcul distribué sont cachés.  Ressources distribuées de manière sécurisée de façon que les utilisateurs peuvent collaborer de manière transparente au sein d'Organisations Virtuelles (VO)

10 What is e-Science ? E-Science (enhanced Science) refers to scientific activities that are carried out by using Resources distributed across Internet “E-Science is about global collaboration in key areas of science, and the next generation Of infrastructure that will enable it” John Taylor, Director of Research Councils. Office of Science and Technology * The use of distributed resources is both a necessity and an added value * More effective when associated to a global collaboration than at the individual level E-Science is supported by e-Infrastructures: new generation of research infrastructures Based on information and communication technologies

11 TEMPLATE SLIDE SHOW

12 Différentes grilles pour des besoins divers  Il n'y a pas encore une unique grille comme pour le web  Mais il y a plusieurs grilles pour diverses applications  Le mot « grille » est utilisé pour décrire différents types de calcul distribué:  grille d'entreprise au sein d'une entreprise  grille publique: mise à disposition de votre PC ex. : seti@Home: des millions de PC Utilisation des cycles processeurs  Recherche de signaux extra-terrestres  DECRYPTHON: Etablir la carte des 500 000 protéines du vivant  Nous allons nous focaliser sur les grilles scientifiques qui relient les centres de calcul des laboratoires de recherche et des universités.

13 Plus sur les types de grilles Grille des supercalculateurs ▫ Cher, procédure d'allocation lourde, bien adapté aux ▫ applications fortement parallèles ▫ ressources coordonnées par un projet, utilisateurs connus Grille institutionnelle ▫ LCG, WLCG, EGEE, EGI ▫ Moins cher, allocations faites par les propriétaires, ▫ accueille des applications variées ▫ intergiciel commun, applications stables Grille des « desktops » ▫ Bénévole (BOINC, http://boinc.berkely.edu/)http://boinc.berkely.edu/ ▫ ressources mise à disposition d'un projet, utilisateurs inconnus ▫ Beaucoup moins cher, ressources des bénévoles, ▫ transfert de données minimum

14 Fonctionnalités de base  Authentification par certificat: Proxy  Organisation Virtuelle : VO  Gestion de tâches (jobs) – sous Linux (SL)  Gestion des données – copie, catalogues,...  Monitoring des sites et des services  Le middleware « glite » fournit cela Le middleware « glite » fournit cela

15 Organisations Virtuelles (1)  Utilisateurs et ressources sont regroupés en Organisations Virtuelles:  un groupe de personnes de différents instituts travaillant dans un but commun  partageant des ressources communes distribuées (ordinateurs, fichiers de données, instruments scientifiques, codes, etc)  Ressources virtuelles partagées de calcul et de données  accès à des ressources hors de leur instituts pour les membres de la VO  Les fournisseurs de ressources négocient avec les VO

16 Organisations Virtuelles (2)  Ressources et personnes distribuées  Reliées par les réseaux, des structures administratives  Partageant des ressources, buts communs  Dynamique et tolérant à la panne

17 Les composants de la Grille  Le calcul sur la Grille nécessite:  Un réseau:  Connectivité entre les sites pour la distribution des données:  transferts de Tiers à Tiers (voir présentation LHC)  Du stockage pour:  déposer des données, les relire, les effacer  La puissance de calcul pour traiter les données.  En outre, il nécessite  La mise en place d’une couche logicielle pour uniformiser et « abstraire » les ressources  Du monitoring pour connaître l’état d’utilisation des ressources  Du monitoring et des tests pour connaître l’état de fonctionnement du système à tout moment. 17

18 18 RESEAU Réseau: épine dorsale de la grille  Sans un réseau haute performance, pas de grille ! LHC Optical Private Network (LHCOPN)  Réservé pour l'acheminement des données du T0 vers les T1 et pour l'échange entre les T1  Fibres optiques fournies et gérées par les réseaux nationaux académiques et de recherche  Bandwidth: 10 Gbps par lien  100/200 Gbps par lien en 2013

19 La qualité du réseau est primordiale pour le fonctionnement des grilles de calcul Importance du réseau On espérant que le Maroc peut avoir le 10 Gbps par lien!

20 Réseau au Maroc  Utilisé en Physique des Hautes Energies, essentiellement pour ATLAS:  Outre disciplines scientifiques RUPHE: -Universités: Rabat, Marrakech, Casablanca, Oujda, Tétouan -CNESTEN Réseau relié: MARWAN Etat actuel: ~34Mbps! RESEAU

21  Ambitious plans again underway to better-connect African continent, both East & West.  Potential increase in capacity 1000X: to multi-Terabit/s range.  Seacom, EASSy, TEAMS, MainOne already in production  Spurred by the World Cup: Outlook is some of these will succeed http://manypossibilities.net/african-undersea-cables For a more comprehensive map (with terrestrial fiber): http://www.ubuntunet.net/sites/ubuntunet.net/files/Intra-Arica_Fibre_Map_v6.pdf Espoire: New African Undersea Cables to Europe, India, Middle East

22 Worldwide LCG Collaboration (WLCG) But : développer, mettre en place et maintenir un environnement de calcul et de stockage distribués pour les données des 4 expériences du LHC  Ressources fournies par les pays participants aux expériences  Architecture de partage des ressources, des logiciels, des données et des services entre des équipes réparties géographiquement  Plus de détails dans les présentations postériori LHC Computing Grid

23 WLCG : architecture  Ensemble de services et d'applications tournant sur l'infrastructure de grille fournit par EGI (Europe et AsiePacifique), NorduGrid (pays nordiques) et Open Science Grid (USA) L'interopération entre grilles fonctionne

24 EGEE- Enabling Grids for E-sciencE  Une série de projets européens, financé par la Commission Européenne  Objectifs principaux infrastructure de grille de service cohérente, robuste et sécurisée  Amélioration et continuation de l'intergiciel  attirer de nouveaux utilisateurs de l'industrie et des sciences  s'assurer qu'ils reçoivent une formation et un support de qualité  Construire une grille de production a grande échelle  Pour les sciences et technologie international  Pour promouvoir la coopération international dans la création y utilisation de l’infrastructure  Reliée à y basée sur les initiatives national, régionales et internationales

25 Le project EGI  EGI : European Grid Infrastructure  Suite du projet EGEE (Enabling Grids for EsciencE),  Il vise à pérenniser la grille européenne (a débuté en avril 2010)  S'appuie sur les NGI (National Grid Initiative)  Structure  plus de 250 centres de calcul dans plus de  48 pays, fédérés en grilles régionales  60.000 CPUs, > 5 Petabytes de stockage

26 EGEE/EGI : applications  Physique des particules  Bioinformatique  Industrie  Astronomie  Chimie  Observation de la Terre  Géophysique  Biodiversité  Nanotechnologie  Modélisation climatique

27 Application: Besoins en Astroparticules http://www.dorii.eu/  Besoins « standards »:  Besoin de puissance CPU  Besoin d’accès intensifs (images)  Besoins de grosses production de Monte-Carlos  Besoins « spécifiques »  Pétaoctets de données existantes et inexploitées par manque de ressources informatiques.  Besoin de mise à disposition et partage de données par une large communauté  Fusion de données hétérogènes  Utilisation d’archives de données.

28 Application: besoins en biomédicales http://www.gridtalk.org/Documents/ehealth.pdf http://www.eu- egee.org/fileadmin/documents/UseCases/MedicalDataManagement.html Besoins de capacités importantes pour traiter toutes les données correspondant à leur domaine de recherche. ▫ Stockages et bases de données en croissance exponentielle et distribuées sur plusieurs sources ▫ CPU pour traiter les données avec des algorithmes de plus en plus complexes et de la modélisation. La Grille fournit les ressources à la demande ▫ Un environnement de stockage sûr et accessible ▫ Du CPU à la demande ▫ Un environnement collaboratif. ▫ Une intégration de ressources diverses dans une infrastructure commune

29 Application: besions en WISDOM 200520062007 2008 GRIDS EUROPEAN PROJECTS  WISDOM (World-wide In Silico Docking On Malaria) (http://wisdom.healthgrid.org/)  Développer de nouveaux médicaments «in silico»  Coûts réduits  Développement accéléré  p.ex. Malaria, grippe aviaire...  Trois « data challenge »  Wisdom-I  1M molécules, 1 TO  Grippe aviaire  300 k molécules, 750 GO  Wisdom-II  125 M molécules, 2 TO

30 Exemple: Découverte de nouveaux médicaments  Développement pharmaceutique:  Plus de 10 ans pour le développement d’un médicaments  Budgets >100M$  Concentration sur les maladies les plus fréquentes  Néglige les maladies rares et émergentes.  Développements informatiques:  De plus en plus de librairies et bases de données de structures 3D de molécules  De plus en plus de bibliothèques de composants chimiques  Reste à faire la sélection et le match (docking) Cette selection virtuelle utilise la Grille pour accélérer les processus de recherche et minimiser les coûts

31 Liens  Projets grille :  http://www.egi.eu/ http://www.egi.eu/  http://www.france-grilles.fr/, http://www.idgrilles.fr/ http://www.france-grilles.fr/http://www.idgrilles.fr/  http://lcg.web.cern.ch/lcg/ http://lcg.web.cern.ch/lcg/  http://www.eu-emi.eu http://www.eu-emi.eu  http://boinc.berkeley.edu http://boinc.berkeley.edu  https://www.grid5000.fr https://www.grid5000.fr  http://www.deisa.eu http://www.deisa.eu  Traitement d'incident  https://gus.fzk.de https://gus.fzk.de  Activité sur la grille  http://gridview.cern.ch http://gridview.cern.ch  http://gridportal.hep.ph.ic.ac.uk/rtm/ http://gridportal.hep.ph.ic.ac.uk/rtm/  http://gstat-prod.cern.ch/gstat http://gstat-prod.cern.ch/gstat