Grille de calcul et coopération Nord-sud (exemple Belgique-Maroc)

Présentation au sujet: "Grille de calcul et coopération Nord-sud (exemple Belgique-Maroc)"— Transcription de la présentation:

1 Grille de calcul et coopération Nord-sud (exemple Belgique-Maroc)
Othmane Bouhali Université Libre de Bruxelles 03/12/2006 Othmane Bouhali EumedGrid Workshop

2 Programme Motivations Introduction à la grille de calcul
Grille de calcul au Maroc? Collaboration UAE, ULB et CNRST Résumé et perspectives 03/12/2006 Othmane Bouhali EumedGrid Workshop

3 Motivations 03/12/2006 Othmane Bouhali EumedGrid Workshop

4 Motivations besoins en puissance de calcul et capacité de stockage importants systèmes de grande ampleur géographiquement dispersés utilisation des ressources informatiques: quelques exemples: fournir un accès au maximum d’utilisateurs à ces ressources exploitation optimale rationalisation (demande de budgets) 03/12/2006 Othmane Bouhali EumedGrid Workshop

5 Computing Intensive Science
Recherche sur les séquences de l’ADN Analyse génétique Processus souvent parallèles Nanotechnologie et sciences des matériaux Simulation à l’échelle moléculaire grande puissance de calcul 03/12/2006 Othmane Bouhali EumedGrid Workshop

6 Sciences de l’observation de la terre
Transmission: >200 Mbps Pbytes à sauvegarder/an plusieurs projets d’études Multi-Utilisateurs 03/12/2006 Othmane Bouhali EumedGrid Workshop

7 CERN: European Organisation for Nuclear Research
Concorde (15 Km) Balloon (30 Km) CD stack with 1 year LHC data! (~ 20 Km) Mt. Blanc (4.8 Km) CERN: European Organisation for Nuclear Research Tunnel d’accélération de 27km de circonférence Projet LHC 10 Petabytes de données/an 20 millions de CDs par an Where the web was born 03/12/2006 Othmane Bouhali EumedGrid Workshop

8 Aucun centre ne disposera de l’infrastructure pour autant de calcul
Nouveau concept de la collaboration combiner les ressources de calcul et de stockage des centres scientifiques Grille de calcul planétaire ou Grid computing 03/12/2006 Othmane Bouhali EumedGrid Workshop

9 Eléments d’une grille de calcul
ressources: fermes de calcul (cluster) stockage réseaux LAN-WAN services: sécurité: authentification  autorisation recherche de l’information gestion des jobs gestion de données: transfert, replication communication entre les processus (parallélisme) Middleware: Globus EDG LCG Applications Physique des hautes énergies BioInformatique Sciences de la terre … 03/12/2006 Othmane Bouhali EumedGrid Workshop

10 Avantages de la grille de calcul
Accès, selon des règles prédéfinies, aux ressources requises La faculté de résoudre des problèmes complexes Utilisation optimisée des ressources existantes (exploitation des ressources non ou peu utilisées) Travail collaboratif (mise en réseau des ressources informatiques) Nouvelles perspectives pour la recherche scientifique Initiatives nationales partout 03/12/2006 Othmane Bouhali EumedGrid Workshop

11 Grille de calcul au Maroc?
Situation de la Recherche Scientifique et nécessité d’une infrastructure de calcul mieux adaptée Exemple de « petit » pays ayant déjà opté pour la grille Existence d’un noyau de la diaspora marocaine (projet fincome et transfert de technologie) 03/12/2006 Othmane Bouhali EumedGrid Workshop

12 Recherche scientifique au Maroc
Etablissements 15 Universités plusieurs établissements publics: CNRST, INH, CNESTEN,.. Secteur privé: REMINEX, ST, Matra,.. 03/12/2006 Othmane Bouhali EumedGrid Workshop

13 Recherche scientifique au Maroc
Groupes de recherche Unités de Formation par la Recherche:  Assurer la formation par la recherche  804 UFR 03/12/2006 Othmane Bouhali EumedGrid Workshop

14 Recherche scientifique au Maroc
Groupes de recherche Pôles de compétences: PC Microbiologie du Sol et Biotechnologie de Plantes PC Pharmaco chimie PC des Sciences et Technologies de l’Information Réseau National de Physique Théorique PC Matière Condensée PC Electrochimie, Corrosion et Chimie Analaytique Réseau National des Sciences et techniques de l’Espace Réseau National d’Etude sur le Local et le Régional Réseau Marocain des Plantes Aromatiques et Médicinales PC Neurogénétique Réseau Universitaire de la Physique des hautes Energies Réseau National de Physico-Chimie Réseau National de Mécanique PC Qualité Réseau National des Sciences et Techniques de la Mer PC Eau & Environnement PC Patrimoine Culturel Réseaux thématiques de recherche orienter la RS vers des thèmes ayant un impact sur le développement du pays optimiser les moyens mis à la disposition de la RS créer une synergie entre les chercheurs au niveau national 03/12/2006 Othmane Bouhali EumedGrid Workshop

15 Recherche scientifique au Maroc
Budget et production Budget alloué à la RS: Production Scientifique 03/12/2006 Othmane Bouhali EumedGrid Workshop

16 Recherche scientifique au Maroc
Groupes de recherche Programmes visant à consolider la R (CNRST) Réseau MARWAN (Morocco Wide-Area Network) Unités d’Appui Technique à la RS (UATRS) Institut National de l’Information Scientifique et Technologique (IMIST) Froum International des COmpétences Marocaines à l’Etranger (FINCOME) Plateforme Nationale de Grille de calcul (MaGrid) 03/12/2006 Othmane Bouhali EumedGrid Workshop

17 Collaboration UAE(Maroc)-ULB(Belgique)
Motivations et plan d’action 2003: brainstorming sur la grille (O. Bouhali-ULB et C. El Amrani-UAE) acquérir et maîtriser les notions de bases inhérentes aux grilles de calcul ainsi que les outils nécessaires à leur déploiement campagne de sensibilisation auprès des chercheurs synergie entre partenaires (nationaux et autres) intéressés création d’un noyau national « grid computing »: - développement et maintien des compétences techniques - recherche liée au: grid, calcul distribué, services web,.. 03/12/2006 Othmane Bouhali EumedGrid Workshop

18 Collaboration UAE(Maroc)-ULB(Belgique)
Motivations et plan d’action identifier les applications et utilsateurs: (en commençant par les disciplines susceptibles de s’impliquer rapidement) plateforme de grille nationale implication dans les projets internationaux liés au grid. 03/12/2006 Othmane Bouhali EumedGrid Workshop

19 Collaboration UAE(Maroc)-ULB(Belgique)
activités de l’ULB (notamment de l’IIHE) UAE Collaboration UAE-ULB (et CNRST): histoire, résultats et futurs 03/12/2006 Othmane Bouhali EumedGrid Workshop

20 Collaboration UAE(Maroc)-ULB(Belgique)
ULB-IIHE (activités) participation aux expériences de physique des hautes énergies: (AMANDA/ICE3, CHORUS, CMS, H1, OPERA) PET (Tomographie à émission de poitrons) Computing: - CMS Tier2 centre (800 CPU et 200 TB ) - EGEE-II: NA2 (promotion de la grille) et SA3 (Test et certification de gLite) - Grille nationale belge de calcul: BEgrid 03/12/2006 Othmane Bouhali EumedGrid Workshop

21 Collaboration UAE(Maroc)-ULB(Belgique)
ULB-IIHE (activités) ULB VUB UCL CETIC FPMS VLIZ UGent UA BELNET ULG FUNDP 03/12/2006 Othmane Bouhali EumedGrid Workshop

22 Collaboration UAE(Maroc)-ULB(Belgique)
22000 étudiants 11 établissements (8 facultés) 2 sites (Tanget-Tétouan) 58 UFR 48 labratoires sites connectés via un réseau sans fil Tanger Martil Chaouen Ouezzane Larache Ksar El Kebir Asila Tétouan ~50km 03/12/2006 Othmane Bouhali EumedGrid Workshop

23 Collaboration UAE-ULB
Installation et administration d’un cluster 2003/2004 (Projet de fin d’études) techniques liées aux clusters - bachsystem, ordonnancement - parallélisme (MPI) - networking 03/12/2006 Othmane Bouhali EumedGrid Workshop

24 Collaboration UAE-ULB
Installation et administration d’un cluster 2003/2004 OS: Scientific Linux 3.0 gestionnaire de taches: Condor (environnement HPC) Interface graphique: soummission de jobs, gestion du cluster,.. 03/12/2006 Othmane Bouhali EumedGrid Workshop

25 Autorité de certification
Collaboration UAE-ULB Autorité de certification (DESA) acquisition des notions de base liées à la sécurité: cryptographie, déchiffrement,.. fonctions de hachage (MD5, SHA) principe des signatures numériques protocole en relation (SSL,..) installer un prototype d’autorité de certifications générer des certificats (machines et utilisateurs) 03/12/2006 Othmane Bouhali EumedGrid Workshop

26 Collaboration UAE-ULB
Autorité de certification installer un prototype d’autorité de certifications générer des certificats (machines et utilisateurs) administration du CA 03/12/2006 Othmane Bouhali EumedGrid Workshop

27 Collaboration UAE-ULB
Prototype d’une grille de clacul de base (DESA) expérience acquise sur les clusters expériences acquise sur les certificats Installation d’un intergiciel (middeleware) de base certificats machines et ustilsateurs exécution des jobs de test 03/12/2006 Othmane Bouhali EumedGrid Workshop

28 Collaboration CNRST-UAE-ULB
Contact avec le CNRST (groupe réseau MARWAN) lettre d’intention pour la création d’une plateforme grid mailing list: (discussion des sujets liés au grid) commission nationale: vision stratégique pour la grille nationale: MaGrid commencement du projet Eumedgrid: une chance historique plateforme CNRST et plateforme UAE déjà en place 03/12/2006 Othmane Bouhali EumedGrid Workshop

29 Collaboration CNRST-UAE-ULB
CNRST (Rabat): R. Merrouch, N. Talhaoui, UAE (Tanger/Tétouan): C. EL Amrani, A. Bendahmane et A. Younès ULB (Bruxelles): O. Bouhali plusieurs partenaires nationaux (utilisateurs potentiels) et internationaux 03/12/2006 Othmane Bouhali EumedGrid Workshop

30 Résumé et perspectives
Collaboration réussie entre CNRST, UAE et ULB renforcée par la participation au projet EumedGrid travaux présentés/publiés dans plusieurs manifestations nationales et internationales 1 PFE, 2 DESA + 2 thèses de doctorat en cours bonne expérience acquise: clustering, grid et CA noyau national grid computing 03/12/2006 Othmane Bouhali EumedGrid Workshop

31 Résumé et perspectives
application à tourner sur la grille  physique nucléaire  GEANT4 (applications médicales)  groupe HEP marocain élargissement vers d’autres universités et centre nationaux quelques projets déjà soumis avec des partenaires internationaux s’impliquer d’avantage dans EumedGrid 03/12/2006 Othmane Bouhali EumedGrid Workshop

32 03/12/2006 Othmane Bouhali EumedGrid Workshop

33 03/12/2006 Othmane Bouhali EumedGrid Workshop

34 03/12/2006 Othmane Bouhali EumedGrid Workshop

35 Castor MSS MSS MSS MSS Physique des hautes énergies Tier 0 Tier 1 T1
PC (2004) = ~1 kSpecInt2k ~Pb/sec Event Builder 10 GB/sec Event Filter ~7.5MSI2k Some data for calibration and monitoring to institutes Calibrations flow back T0 ~5MSI2k ~5 Pb/year No simulation Tier 0 Castor Tier 1 T1 T1 ~2MSI2k/T1 ~2 Pb/year/T1 T1 T1 MSS MSS MSS MSS Tier-1s reprocess house simulation Group Analysis Tier 2 ~800kSI2k ~800kSI2k Tier2 Centre ~200kSI2k ~200 Tb/year/T2 Tier2 Centre ~200kSI2k Each Tier 2 has ~20 physicists working on one or more channels Each Tier 2 should have the full AOD, TAG & relevant Physics Group summary data Tier 2 do bulk of simulation Physics data cache 03/12/2006 Othmane Bouhali EumedGrid Workshop Workstations