Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 1 Datagrid Une grille de calcul sous Linux Yannick Patois.

Présentation au sujet: "Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 1 Datagrid Une grille de calcul sous Linux Yannick Patois."— Transcription de la présentation:

1 Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 1 Datagrid Une grille de calcul sous Linux Yannick Patois

2 Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 2 Sommaire  Le Centre de Calcul de l'IN2P3 Le Centre de Calcul près de chez vous Les moyens informatiques du centre (I) Les moyens informatiques du centre (II)  Le Projet Datagrid Le concept de Grille de Calcul Les problèmes à résoudre Le projet Datagrid  Applications Applications en Physiques des Hautes Énergies Applications en biologie Applications en sciences de la Terre  Et linux, dans tout ça ?

3 Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 3 Le Centre de Calcul près de chez vous  Le Centre de Calcul est situé sur la Doua (c'est le batiment brun avec des tubes rouges au dessus, vers le stade)  Il a pour mission de fournir des moyens de calcul et de stockage de données à l'ensemble des physiciens français impliqués dans de grandes expériences  http://webcc.in2p3.fr http://webcc.in2p3.fr

4 Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 4 Les moyens informatiques du centre (I)  Puissance de calcul 51 machines AIX (RS390, H50, B50), au total 69 procs. 22 machines Sun (U60, bipro) 201 machine Intel-Linux (bipro PIII) Au total une puissance disponible proche de 20.000 SI95 Un taux d'utilisation de 80%

5 Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 5 Les moyens informatiques du centre (II)  Stockage Serveur de disques: environ 50To disponible (Sun, IBM et Hitachi) Bandes: 2 robots servant environ 200To de données.  Réseau Plusieurs liaisons (Renater III, connexion directes avec le CERN et les USA) Une BP totale qui se compte en Gb/s (2,1Gb/s si je ne me trompe pas).

6 Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 6 DATAGRID Une grille de calcul....

7 Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 7 Le concept de Grille de Calcul Stockage Calcul ''Quincaillerie du Milieu'' Le MidleWare

8 Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 8 Les problèmes à résoudre  L'authentification  L'autorisation  La sélection des lieu de calcul  La localisation des données  Le transfers des données  La gestion d'un processus lancé sur la grille Contraintes (données,...), 'bac à sable' (sand-box), lancement Suivi de l'état Rapport de terminaison Rapatriement des résultats Gestion des erreurs ....

9 Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 9 Le projet Datagrid  Projet Européen 9,8 M Euro sur 3 ans (2000-2003) 21 partenaires  Coopération Mondiale GLOBUS (http://www.globus.org)http://www.globus.org Global Grid Forum

10 Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 10 Solutions  Authentification Certificats X509 délivré par des autorités de certifications (en France, le CNRS en est une). Les machines, les services, comme les utilisateurs doivent en être munis.  Autorisations Repose sur des listes de certificats gerées par des « organisations virtuelles » (Annuaire LDAP)  L'allocateur de ressource Interprète un langage de description de tâche (JDL) Choisi en fonction le lieu le plus approprié  Métacatalogue de données Index la/es localisations/s des fichiers Convertis le nom logique universel en nom physique local Abstraction du mode d'accès  Gestion des copies de fichier Transfers rapide (multi stream) Évaluation des coûts de transferts

11 Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 11 Computing Element Storage Element Ressource Broker Principe de fonctionnement Crédit: Fabio Hernandez UI JDL Information Service Replica Catalog Logging & Bookkeeping Job Submission Service Input Sandbox 1a2a 2b 3a 4a 1b Job Submit Event Job Status 3b 4b

12 Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 12 Applications en Physiques des Hautes Énergies CMS ATLAS LHCb Stockage: Taux d'enregistrement des données brutes: 0.1-1 GByte/sec Total des données stockées: 8-10 PetaBytes/an Seront nécéssaire a l'analyse: - 10 Po de disque -100,000 PC 'équivalent 2000'

13 Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 13 Applications en biologie  Biologie Banque de données génomiques Modélisations en biochimie moléculaire  Médecine Étude épidémologiques (croisements de données hospitalières) Reconstruction 3D interactives à partir de données médicales (scanners...)

14 Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 14 Applications en sciences de la Terre  Données satellites (100 Go/jour à l'ESA) Ozone Climat Végétation...  Paléoclimats  Modélisations climatiques à long terme (effet de serre...)  Autres calculs lourds  Accès facilité à ces données actuellement très dispersée

15 Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 15 Et linux, dans tout ça ?  Datagrid est supposé être multi- plateformes, mais... En pratique, et malgrés quelques tentatives du coté de Solaris, elle n'est actuellement que Linux La gestion des configurations logicielles reponse entièrement sur RPM  Pourquoi ? En HEP, le choix est fait depuis plusieurs années déjà (à l'exception du CERN ;). Tous les clusters installés maintenant sont sous Linux Rapport Puissance/Prix déterminant  Datagrid est un Logiciel Libre Sous une licence BSD-like La gestion des problèmes de licenses sur une grille à cette échelle est très complexe  Les solutions libres (y compris coté applicatif) seront donc inévitablement favorisées.

16 Yannick Patois _ Journée du Libre _ 1er Novembre 2002 - n° 16 Fin  Datagrid, page officielle : http://www.eu-datagrid.orghttp://www.eu-datagrid.org  Page du WP6 en France: http://marianne.in2p3.frhttp://marianne.in2p3.fr  Code source, packages et bidouilles de votre serviteur: http://datagrid.in2p3.frhttp://datagrid.in2p3.fr  Fini.