Grille de calcul et E-Science Farida Fassi Master de Physique Informatique Rabat, Maroc 24-27 May 2010

Plan Introduction: C'est quoi la grille de calcul? Motivation scientifique Incitation à la grille et ses composantes Les projets: WLCG, EGEE et EGI Applications Qui l'utilise et pourquoi ? Physique des particules Bio-informatique Sciences de la terre ….

C'est quoi la grille de calcul? (1) Historique : Le nom de “Grille” a été choisi par analogie avec le réseau électrique (electric power grid) (Foster and Kesselman 1998) Vision : brancher un ordinateur pour obtenir de la puissance de calcul comme brancher un grille pain pour avoir de l'électricité Le concept était déjà présent avec le calcul distribué. Différence clé : la grille réalise cette vision à une échelle globale.

C'est quoi la grille de calcul? (2) Approche pour la distribution de la puissance informatique le réseau Internet et la haute-performance Partage transparent de l'utilisation de ressources massivement distribuées par des utilisateurs de différentes disciplines « A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive and inexpensive access to high computation capabilities » (The Grid, I.Foster and C.Kesselman 1998)

Motivation

Besoins scientifique Plus d’infos sur: http://www.gridcafe.org Simulations numériques Grande précision Phénomènes physiques complexes Importants besoins Efficacité d’interaction Exploitation des résultats Puissance de calcul Espace de stockage Applications distribuées sur plusieurs noeuds Données partagées Propriétés attendues Transparence Localisation, transfert, etc. Plus d’infos sur: http://www.gridcafe.org

Besoins scientifique: Exemple Physique de Particules (HEP) 1 Megabyte (1MB) A digital photo 1 Gigabyte (1GB) = 1000MB A DVD movie 1 Terabyte (1TB) = 1000GB World annual book production 1 Petabyte (1PB) = 1000TB Annual production of one LHC experiment 1 Exabyte (1EB) = 1000 PB World annual information production Besoins scientifique: Exemple Physique de Particules (HEP) Les sciences de HEP sont devenues très gourmandes en données: Simulations toujours plus détaillées Sciences expérimentales utilisant des détecteurs toujours plus sensibles Beaucoup de données produites Grandes collaborations internationales Ex. Experiences de Large Hadron Collider (LHC) au CERN ~10 petabytes/an (~10 Million GBytes) CD stack with 1 year LHC data! (~ 20 Km) ALICE CMS LHCb ATLAS

La « Vision Grille » Chercheurs répartis géographiquement, partageant des données et des moyens de calcul Ressources et Services informatiques interconnectés sur le réseau Instruments scientifiques produisant de gros volumes de données Le but de la Vision Grille est de rassembler ces trois éléments pour fournir des solutions

La solution: Grille de calcul? Grille de calcul, solution aux très grande puissance de calcul et d’une capacité de stockage de l’ordre du Peta Octet Caractéristiques importantes de la Grille Fédérer des ressources distribuées CPU, stockage, algorithmes, expertises Accès sécurisé entre des domaines différents Confiance entre les administrateurs de système, développeurs des applications, utilisateurs,... Accès transparent à « toutes » les ressources On se connecte à la grille une seule fois Les aspects de calcul distribué sont cachés. Ressources distribuées de manière sécurisée de façon que les utilisateurs peuvent collaborer de manière transparente au sein d'Organisations Virtuelles (VO)

What is e-Science ? E-Science (enhanced Science) refers to scientific activities that are carried out by using Resources distributed across Internet “E-Science is about global collaboration in key areas of science, and the next generation Of infrastructure that will enable it” John Taylor, Director of Research Councils. Office of Science and Technology * The use of distributed resources is both a necessity and an added value * More effective when associated to a global collaboration than at the individual level E-Science is supported by e-Infrastructures: new generation of research infrastructures Based on information and communication technologies

TEMPLATE SLIDE SHOW

Différentes grilles pour des besoins divers Il n'y a pas encore une unique grille comme pour le web Mais il y a plusieurs grilles pour diverses applications Le mot « grille » est utilisé pour décrire différents types de calcul distribué: grille d'entreprise au sein d'une entreprise grille publique: mise à disposition de votre PC ex. : seti@Home: des millions de PC Utilisation des cycles processeurs Recherche de signaux extra-terrestres DECRYPTHON: Etablir la carte des 500 000 protéines du vivant Nous allons nous focaliser sur les grilles scientifiques qui relient les centres de calcul des laboratoires de recherche et des universités.

Plus sur les types de grilles Grille des supercalculateurs Cher, procédure d'allocation lourde, bien adapté aux applications fortement parallèles ressources coordonnées par un projet, utilisateurs connus Grille institutionnelle LCG, WLCG, EGEE, EGI Moins cher, allocations faites par les propriétaires, accueille des applications variées intergiciel commun, applications stables Grille des « desktops » Bénévole (BOINC, http://boinc.berkely.edu/) ressources mise à disposition d'un projet, utilisateurs inconnus Beaucoup moins cher, ressources des bénévoles, transfert de données minimum

Fonctionnalités de base Authentification par certificat: Proxy Organisation Virtuelle : VO Gestion de tâches (jobs) – sous Linux (SL) Gestion des données – copie, catalogues, ... Monitoring des sites et des services Le middleware « glite » fournit cela Le middleware « glite » fournit cela

Organisations Virtuelles (1) Utilisateurs et ressources sont regroupés en Organisations Virtuelles: un groupe de personnes de différents instituts travaillant dans un but commun partageant des ressources communes distribuées (ordinateurs, fichiers de données, instruments scientifiques, codes, etc) Ressources virtuelles partagées de calcul et de données accès à des ressources hors de leur instituts pour les membres de la VO Les fournisseurs de ressources négocient avec les VO

Organisations Virtuelles (2) Ressources et personnes distribuées Reliées par les réseaux, des structures administratives Partageant des ressources, buts communs Dynamique et tolérant à la panne

Les composants de la Grille Le calcul sur la Grille nécessite: Un réseau: Connectivité entre les sites pour la distribution des données: transferts de Tiers à Tiers (voir présentation LHC) Du stockage pour: déposer des données, les relire, les effacer La puissance de calcul pour traiter les données. En outre, il nécessite La mise en place d’une couche logicielle pour uniformiser et « abstraire » les ressources Du monitoring pour connaître l’état d’utilisation des ressources Du monitoring et des tests pour connaître l’état de fonctionnement du système à tout moment.

RESEAU LHC Optical Private Network (LHCOPN) Réseau: épine dorsale de la grille Sans un réseau haute performance, pas de grille ! LHC Optical Private Network (LHCOPN) Réservé pour l'acheminement des données du T0 vers les T1 et pour l'échange entre les T1 Fibres optiques fournies et gérées par les réseaux nationaux académiques et de recherche Bandwidth: 10 Gbps par lien 100/200 Gbps par lien en 2013

Importance du réseau La qualité du réseau est primordiale pour le fonctionnement des grilles de calcul On espérant que le Maroc peut avoir le 10 Gbps par lien!

RESEAU Réseau au Maroc Utilisé en Physique des Hautes Energies, essentiellement pour ATLAS: Outre disciplines scientifiques RUPHE: -Universités: Rabat, Marrakech, Casablanca, Oujda, Tétouan -CNESTEN Réseau relié: MARWAN Etat actuel: ~34Mbps!

Espoire: New African Undersea Cables to Europe, India, Middle East Ambitious plans again underway to better-connect African continent, both East & West. Potential increase in capacity 1000X: to multi-Terabit/s range. Seacom, EASSy, TEAMS, MainOne already in production Spurred by the World Cup: Outlook is some of these will succeed http://manypossibilities.net/african-undersea-cables For a more comprehensive map (with terrestrial fiber): http://www.ubuntunet.net/sites/ubuntunet.net/files/Intra-Arica_Fibre_Map_v6.pdf

Worldwide LCG Collaboration (WLCG) LHC Computing Grid But : développer, mettre en place et maintenir un environnement de calcul et de stockage distribués pour les données des 4 expériences du LHC Ressources fournies par les pays participants aux expériences Architecture de partage des ressources, des logiciels, des données et des services entre des équipes réparties géographiquement Plus de détails dans les présentations postériori

WLCG : architecture Ensemble de services et d'applications tournant sur l'infrastructure de grille fournit par EGI (Europe et AsiePacifique), NorduGrid (pays nordiques) et Open Science Grid (USA) L'interopération entre grilles fonctionne

EGEE- Enabling Grids for E-sciencE Une série de projets européens, financé par la Commission Européenne Objectifs principaux infrastructure de grille de service cohérente, robuste et sécurisée Amélioration et continuation de l'intergiciel attirer de nouveaux utilisateurs de l'industrie et des sciences s'assurer qu'ils reçoivent une formation et un support de qualité Construire une grille de production a grande échelle Pour les sciences et technologie international Pour promouvoir la coopération international dans la création y utilisation de l’infrastructure Reliée à y basée sur les initiatives national, régionales et internationales

Le project EGI EGI : European Grid Infrastructure Suite du projet EGEE (Enabling Grids for EsciencE), Il vise à pérenniser la grille européenne (a débuté en avril 2010) S'appuie sur les NGI (National Grid Initiative) Structure plus de 250 centres de calcul dans plus de 48 pays, fédérés en grilles régionales 60.000 CPUs, > 5 Petabytes de stockage

EGEE/EGI : applications Physique des particules Bioinformatique Industrie Astronomie Chimie Observation de la Terre Géophysique Biodiversité Nanotechnologie Modélisation climatique

Application: Besoins en Astroparticules Besoins « standards »: Besoin de puissance CPU Besoin d’accès intensifs (images) Besoins de grosses production de Monte-Carlos Besoins « spécifiques » Pétaoctets de données existantes et inexploitées par manque de ressources informatiques. Besoin de mise à disposition et partage de données par une large communauté Fusion de données hétérogènes Utilisation d’archives de données. http://www.dorii.eu/

Application: besoins en biomédicales http://www.gridtalk.org/Documents/ehealth.pdf Besoins de capacités importantes pour traiter toutes les données correspondant à leur domaine de recherche. Stockages et bases de données en croissance exponentielle et distribuées sur plusieurs sources CPU pour traiter les données avec des algorithmes de plus en plus complexes et de la modélisation. La Grille fournit les ressources à la demande Un environnement de stockage sûr et accessible Du CPU à la demande Un environnement collaboratif. Une intégration de ressources diverses dans une infrastructure commune http://www.eu-egee.org/fileadmin/documents/UseCases/MedicalDataManagement.html

Application: besions en WISDOM WISDOM (World-wide In Silico Docking On Malaria) (http://wisdom.healthgrid.org/) Développer de nouveaux médicaments «in silico» Coûts réduits Développement accéléré p.ex. Malaria, grippe aviaire... Trois « data challenge » Wisdom-I  1M molécules, 1 TO Grippe aviaire  300 k molécules, 750 GO Wisdom-II  125 M molécules, 2 TO 2005 2006 2007 2008 GRIDS EUROPEAN PROJECTS

Exemple: Découverte de nouveaux médicaments Développement pharmaceutique: Plus de 10 ans pour le développement d’un médicaments Budgets >100M$ Concentration sur les maladies les plus fréquentes Néglige les maladies rares et émergentes. Développements informatiques: De plus en plus de librairies et bases de données de structures 3D de molécules De plus en plus de bibliothèques de composants chimiques Reste à faire la sélection et le match (docking) Cette selection virtuelle utilise la Grille pour accélérer les processus de recherche et minimiser les coûts

Liens http://www.egi.eu/ Projets grille : http://www.egi.eu/ http://www.france-grilles.fr/ , http://www.idgrilles.fr/ http://lcg.web.cern.ch/lcg/ http://www.eu-emi.eu http://boinc.berkeley.edu https://www.grid5000.fr http://www.deisa.eu Traitement d'incident https://gus.fzk.de Activité sur la grille http://gridview.cern.ch http://gridportal.hep.ph.ic.ac.uk/rtm/ http://gstat-prod.cern.ch/gstat