Architectures de grappes de PC

Présentation au sujet: "Architectures de grappes de PC"— Transcription de la présentation:

1 Architectures de grappes de PC
Philippe Augerat ID-IMAG CIMENT 9 MAI 2000

2 Grappe « BEOWULF » : Une grappe (cluster) est une collection de machines interconnectées, utilisée comme une ressource de calcul unifiée Une grappe « Beowulf » se définit par les propriétés suivantes : composants à grande diffusion composants réseau à faible coût système d ’exploitation « open source » hardware non propriétaire logiciel « open source » CIMENT 9 MAI 2000

3 Applications : projet du CEA : calcul haute performance intégration de machines performantes et d'un réseau commuté performant - perspective de changement d'échelle projet GRID : parallélisme faiblement couplé, du débit de calcul sur 6 mois plutôt que sur 24 heures. serveur WEB : faible charge CPU, importance de la mémoire HP : mélanger les usages CIMENT 9 MAI 2000

4 Medium size (240,000 cells) Fluent CFD computation.
CIMENT 9 MAI 2000

5 Des grappes de référence : le Top500
Sandia 592 procs alphas, myrinet, linux, #44 NCSA 256 pentiums, myrinet, NT, #68 Cornell 256 pentiums, giganet, NT, #198 Los Alamos 140 alphas, Ether100/1000, linux, #265 Paderborn 192 pentiums, SCI, solaris, #351 Bonn 144 pentiums, myrinet, linux, #454 Chiba, Los Lobos, CEA, FSL, … en 2000 CIMENT 9 MAI 2000

6 Technologies : SMP biproc quadriproc Mono ? IA64 Processeur Pentium
Alpha SCI Réseau Ethernet Giganet, ServerNet, ... Myrinet NT Linux OS Solaris,... CIMENT 9 MAI 2000

7 Machines/OS Une majorité de SMP CIMENT 9 MAI 2000

8 PIII / Alpha Performances P III Xeon 500 Mhz : Coût Dual CPU :
adressage 32 bits STREAM Copy : 188 MB/sec SpecFP95 : 15.1 Peak MFLOPS : 500 Coût Dual CPU : ~6K$ (512K L2) Logiciels Linux: beaucoup Performances Alpha Mhz : adressage 64 bits STREAM Copy : 1087 MB/sec SpecFP95 : 48.4 Peak MFLOPS : 1354 Coût Dual CPU : ~15K$ (4M L2) Logiciels Linux : quelques uns CIMENT 9 MAI 2000

9 Architecture d ’un PC Intel :
Pentium III Xeon 500 Mhz cache L1 ... ... <=2 Mo Cache L2 Bus système100 Mhz/800 Mo/s Mémoire <=8Go Contrôleur mémoire et pont E/S 100 Mhz 800 Mo/s 266 Mo/s Bus E/S CIMENT 9 MAI 2000 PCI 64 BITS ou 2 bus PCI 32 BITS

10 SMP : Pour : Contre : diminue la taille de l ’interconnexion
forme plus compacte rapport prix/performance plus intéressant Contre : accès sur le bus système/mémoire stressé composants plus chers Peut ajouter à la complexité logicielle CIMENT 9 MAI 2000

11 Souhaité et facultatif :
La meilleure offre en : vitesse des processeurs hiérarchie mémoire (vitesse, cache, …) bus PCI (64 bits, vitesse, nombre,..) CIMENT 9 MAI 2000

12 Prix Estimations par poste : Myrinet : 1,5 k$
ServerNet/Giganet/SCI : 1.5 k$ Gigabit Ethernet : 1 k$ Pentium bi procs : 6 k$ CIMENT 9 MAI 2000

13 L’interconnexion réseau
Infiniband SCI HIPPI VIA ATM Fibre Channel Myrinet WDM PCI ... Ethernet FDDI SCSI ... ... SAN LAN WAN MAN CIMENT 9 MAI 2000

14 Interconnexion : statistiques
CIMENT 9 MAI 2000

15 La technologie Myrinet
Commutation de paquets Topologie très souple Carte réseau muni d ’un processeur RISC pilotant plusieurs contrôleurs DMA Local memory PCI bus PCI BRIDGE DMA controller Host interface RISC processor Packet Interface network CIMENT 9 MAI 2000

16 La technologie SCI réseau à capacité d’adressage
adressage des mémoires distantes lecture/écriture distante sans interrompre le processeur distant plus de nécessité de programmation par échanges de messages Topologie en grille CIMENT 9 MAI 2000

17 La technologie VIA Une interface logicielle dont l’objectif est de limiter les accès au système et les copies de buffers. Peut être implémentée en hardware application application données VI contrôle contrôle Standard industriel proposé par Microsoft, Intel, Compaq. Aujourd’hui par Dell, Intel, Compaq Système d ’exploitation Système d ’exploitation données Contrôleur réseau Contrôleur réseau VIA Architecture TCP/IP Architecture VIA CIMENT 9 MAI 2000

18 Les autres candidats Memory channel :
espace d ’adressage mémoire unique bonne latence passage à l ’échelle par SMP donc limité SupperHIPPI, FibreChannel, Infiniband, ATM, WDM, Quadrics, ... offre cluster balbutiante ou de luxe CIMENT 9 MAI 2000

19 D ’un coup d’œil CIMENT 9 MAI 2000

20 Évolutions ? Topologie ? CIMENT 9 MAI 2000

21 SCI : pour/contre Myrinet : pour/contre manque de maturité
monopolise le CPU quelle fiabilité en cas de panne d ’un nœud espace d ’adressage mémoire unique latence/messages de petite taille Myrinet : pour/contre Plus grande maturité intégrateurs en France bande passante ? Autant de MPI/drivers/firmwareque de grappes CIMENT 9 MAI 2000

22 Comparatifs SCI/Myrinet
P II 450 Mhz carte scali 2D 32bits/33Mhz PALLAS BENCHMARK Myrinet : P II 450 Mhz carte Lanai 4 32bits/33Mhz CIMENT 9 MAI 2000

23 SCI/Myrinet (2) * P III 500 Mhz
IS benchmark de tri faisant parti des NAS parallel benchmarks communications collectives de petits paquets FT benchmark opérant plusieurs transformées de Fourrier communications collectives de gros paquets (1 MO pour 8 processeurs) CIMENT 9 MAI 2000

24 SCI/Myrinet (3) BT benchmark de multiplication de matrices spéciales - 80% de calcul communications non bloquantes de paquets de taille 100 ko pour 8 processeurs LU benchmark de factorisation de matrice - 80 % de calcul communications bloquantes de petits paquets de 3 ko pour 8 processeurs CIMENT 9 MAI 2000

25 Les autres possibles ServerNet II Giganet VIA
orienté haute disponibilité : contrôle d ’erreurs en hardware, redondance support de Compaq Giganet disponible sur NT/linux débit/messages de grande taille Mais quelle maturité ? Quel avenir pour VIA ? CIMENT 9 MAI 2000

26 Les autres possibles (Double) Fast Ethernet Gigabit Ethernet standard
le moins cher Mais latence importante et très forte utilisation du CPU (en attendant VIA et des cartes avec processeur) Gigabit Ethernet standard, plusieurs fournisseurs de moins en moins cher switches 64 ports CIMENT 9 MAI 2000

27 Logiciels gestionnaire de batch/ressources compilateurs MPI
pile TCP/IP outils de trace et de debug intégration et portabilité Linux-NT outils de déploiement et d ’administration systèmes de fichiers pile VIA image unique de système CIMENT 9 MAI 2000

28 Besoins logiciels (1) un (ou plusieurs) MPI adapté aux applications
thread aware (MPI/Pro, ScaMPI) faible latence (ScaMPI) bande passante élevée (BIP, MPI/PRO) très diffusé (MPICH, LAM) outils de déploiement pour stations : Rembo, HP Toptools, Norton Ghost pour clusters : scali, alinka, Compaq CMU outils propriétaires type IBM PSSP (?) CIMENT 9 MAI 2000

29 Besoins logiciels (2) gestionnaire de batch/ressources outils de trace
PBS Condor LSF Codine ... outils de trace Totalview Vampir portabilité : MPI/pro MPI sur Ethernet Fast messages CIMENT 9 MAI 2000

30 Besoins logiciels (3) systèmes de fichiers
NFS système de fichiers IRIX, True64, … réseau de stockage en amont image unique de système (autres thèmes) migration de processus mémoire partagée distribuée interface utilisateur unique administration centralisée espace d ’entrées/sorties partagé espace de processus unique pile VIA VIA hardware : Giganet, Server Net Myrinet et certaines cartes Ethernet fast et gigabit CIMENT 9 MAI 2000

31 L’intégrateur/vendeur
support scientifique support technique maintenance intégration hardware intégration software Minimum : intégration hardware et validation par déploiement du système et de benchmarks CIMENT 9 MAI 2000

32 Des options coûteuses :
Racks contrôle souhaité (BIOS, wake on line, boot PXE, lien série, …) concentrateurs d ’alimentation électrique écrans, switchs d ’écran ? disques locaux des serveurs supplémentaires : contrôle, login, fichier, développement, scheduler CIMENT 9 MAI 2000

33 Où en est on ? (1) Coopérations avec des constructeurs
HP : « cluster du pauvre » Microsoft : portage sur NT et metacomputing Compaq IBM, BULL, SGI, DELL Myrinet, Dolphin Utilisation et benchmarks de grandes grappes et des dernières générations de matériel CIMENT 9 MAI 2000

34 Où en est on ? (2) Budget : INRIA 2,5 MF Région ? MF MENRT (UJF 400 INPG 400) ENS-LYON 300 CNRS ? Solution en deux phases : Ethernet (+) puis SCI et/ou Myrinet CIMENT 9 MAI 2000

35 Evolution contexte grappe
3D SCI mesh Administration simplifiée True64/IRIX/AIX --> LINUX Grappe Linux 140 alphas #113 dans le TOP 500 Grappe Linux 144 pentiums #356 Réseaux de stockage Grappe NT 256 pentiums #198 Switch Myrinet 128 ports VIA sur Ethernet Compilateurs Digital sur Linux IA 64 InfiniBand Linux SMP 1998 1999 2000 2001 CIMENT 9 MAI 2000

36 A venir : Collaborations industrielles à conclure
Benchmarks au niveau Athapascan Rédiger l ’appel d ’offre (pour septembre) : décrire les paramètres de l ’architecture de machine De nouvelles problématiques de recherche, ex. autour de « l ’image unique de système » CIMENT 9 MAI 2000

37 Contact/infos : Philippe.Augerat@imag.fr http://grappe200.imag.fr
CIMENT 9 MAI 2000