La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

CIMENT 9 MAI 2000 Architectures de grappes de PC Philippe Augerat ID-IMAG.

Présentations similaires


Présentation au sujet: "CIMENT 9 MAI 2000 Architectures de grappes de PC Philippe Augerat ID-IMAG."— Transcription de la présentation:

1 CIMENT 9 MAI 2000 Architectures de grappes de PC Philippe Augerat ID-IMAG

2 CIMENT 9 MAI 2000 Grappe « BEOWULF » : zUne grappe (cluster) est une collection de machines interconnectées, utilisée comme une ressource de calcul unifiée zUne grappe « Beowulf » se définit par les propriétés suivantes : ycomposants à grande diffusion ycomposants réseau à faible coût ysystème d exploitation « open source » yhardware non propriétaire ylogiciel « open source »

3 CIMENT 9 MAI 2000 Applications : zprojet du CEA : calcul haute performance intégration de machines performantes et d'un réseau commuté performant - perspective de changement d'échelle zprojet GRID : parallélisme faiblement couplé, du débit de calcul sur 6 mois plutôt que sur 24 heures. zserveur WEB : faible charge CPU, importance de la mémoire zHP : mélanger les usages

4 CIMENT 9 MAI 2000 Medium size (240,000 cells) Fluent CFD computation.

5 CIMENT 9 MAI 2000 Des grappes de référence : le Top500 zSandia 592 procs alphas, myrinet, linux, #44 zNCSA 256 pentiums, myrinet, NT, #68 zCornell 256 pentiums, giganet, NT, #198 zLos Alamos 140 alphas, Ether100/1000, linux, #265 zPaderborn 192 pentiums, SCI, solaris, #351 zBonn 144 pentiums, myrinet, linux, #454 zChiba, Los Lobos, CEA, FSL, … en 2000

6 CIMENT 9 MAI 2000 Processeur Pentium Alpha NTLinux OS Solaris,... SCI Réseau Ethernet Giganet, ServerNet,... Myrinet SMP biproc quadriproc Mono Technologies : ? IA64

7 CIMENT 9 MAI 2000 Machines/OS Une majorité de SMP

8 CIMENT 9 MAI 2000 PIII / Alpha zPerformances P III Xeon 500 Mhz : yadressage 32 bits ySTREAM Copy : 188 MB/sec ySpecFP95 : 15.1 yPeak MFLOPS : 500 zCoût Dual CPU : y~6K$ (512K L2) zLogiciels Linux: beaucoup zPerformances Alpha Mhz : yadressage 64 bits ySTREAM Copy : 1087 MB/sec ySpecFP95 : 48.4 yPeak MFLOPS : 1354 zCoût Dual CPU : y~15K$ (4M L2) zLogiciels Linux : quelques uns

9 CIMENT 9 MAI 2000 Architecture d un PC Intel : Pentium III Xeon 500 Mhz cache L1... Cache L2... Contrôleur mémoire et pont E/S Mémoire <=8Go PCI 64 BITSou 2 bus PCI 32 BITS 266 Mo/s Bus système100 Mhz/800 Mo/s <=2 Mo 100 Mhz 800 Mo/s Bus E/S

10 CIMENT 9 MAI 2000 SMP : zPour : ydiminue la taille de l interconnexion yforme plus compacte yrapport prix/performance plus intéressant zContre : yaccès sur le bus système/mémoire stressé ycomposants plus chers yPeut ajouter à la complexité logicielle

11 CIMENT 9 MAI 2000 Souhaité et facultatif : zLa meilleure offre en : yvitesse des processeurs yhiérarchie mémoire (vitesse, cache, …) ybus PCI (64 bits, vitesse, nombre,..)

12 CIMENT 9 MAI 2000 Prix Estimations par poste : Myrinet : 1,5 k$ ServerNet/Giganet/SCI : 1.5 k$ Gigabit Ethernet : 1 k$ Pentium bi procs : 6 k$

13 CIMENT 9 MAI 2000 Linterconnexion réseau SCI VIA Fibre Channel HIPPI FDDI WDM Infiniband Ethernet PCI SAN WAN MAN LAN... ATM... SCSI Myrinet...

14 CIMENT 9 MAI 2000 Interconnexion : statistiques

15 CIMENT 9 MAI 2000 La technologie Myrinet zCommutation de paquets z Topologie très souple zCarte réseau muni d un processeur RISC pilotant plusieurs contrôleurs DMA PCI BRIDGE DMA controller RISC processor Host interface Packet Interface Local memory PCI bus network

16 CIMENT 9 MAI 2000 La technologie SCI zréseau à capacité dadressage yadressage des mémoires distantes ylecture/écriture distante sans interrompre le processeur distant yplus de nécessité de programmation par échanges de messages yTopologie en grille

17 CIMENT 9 MAI 2000 La technologie VIA Une interface logicielle dont lobjectif est de limiter les accès au système et les copies de buffers. Peut être implémentée en hardware Standard industriel proposé par Microsoft, Intel, Compaq. Aujourdhui par Dell, Intel, Compaq application Système d exploitation Contrôleur réseauContrôleur réseau VIA Système d exploitation VI contrôle données Architecture TCP/IP Architecture VIA

18 CIMENT 9 MAI 2000 Les autres candidats zMemory channel : yespace d adressage mémoire unique ybonne latence ypassage à l échelle par SMP donc limité z SupperHIPPI, FibreChannel, Infiniband, ATM, WDM, Quadrics,... yoffre cluster balbutiante ou de luxe

19 CIMENT 9 MAI 2000 D un coup dœil

20 CIMENT 9 MAI 2000 Évolutions ? Topologie ?

21 CIMENT 9 MAI 2000 SCI : pour/contre zespace d adressage mémoire unique zlatence/messages de petite taille z manque de maturité z monopolise le CPU z quelle fiabilité en cas de panne d un nœud Myrinet : pour/contre zPlus grande maturité zintégrateurs en France zbande passante z? Autant de MPI/drivers/firmware que de grappes

22 CIMENT 9 MAI 2000 Comparatifs SCI/Myrinet PALLAS BENCHMARK SCI : P II 450 Mhz carte scali 2D 32bits/33Mhz Myrinet : P II 450 Mhz carte Lanai 4 32bits/33Mhz

23 CIMENT 9 MAI 2000 SCI/Myrinet (2) IS benchmark de tri faisant parti des NAS parallel benchmarks communications collectives de petits paquets FT benchmark opérant plusieurs transformées de Fourrier communications collectives de gros paquets (1 MO pour 8 processeurs) * P III 500 Mhz

24 CIMENT 9 MAI 2000 SCI/Myrinet (3) BT benchmark de multiplication de matrices spéciales - 80% de calcul communications non bloquantes de paquets de taille 100 ko pour 8 processeurs LU benchmark de factorisation de matrice - 80 % de calcul communications bloquantes de petits paquets de 3 ko pour 8 processeurs

25 CIMENT 9 MAI 2000 Les autres possibles zServerNet II yVIA yorienté haute disponibilité : contrôle d erreurs en hardware, redondance ysupport de Compaq zGiganet yVIA ydisponible sur NT/linux ydébit/messages de grande taille Mais quelle maturité ? Quel avenir pour VIA ?

26 CIMENT 9 MAI 2000 Les autres possibles z(Double) Fast Ethernet ystandard yle moins cher Mais latence importante et très forte utilisation du CPU (en attendant VIA et des cartes avec processeur) zGigabit Ethernet ystandard, plusieurs fournisseurs yde moins en moins cher yswitches 64 ports

27 CIMENT 9 MAI 2000 Logiciels ¤gestionnaire de batch/ressources ªcompilateurs ªMPI ªpile TCP/IP ªoutils de trace et de debug £intégration et portabilité Linux-NT £outils de déploiement et d administration «systèmes de fichiers «pile VIA «image unique de système

28 CIMENT 9 MAI 2000 Besoins logiciels (1) zun (ou plusieurs) MPI adapté aux applications zthread aware (MPI/Pro, ScaMPI) zfaible latence (ScaMPI) zbande passante élevée (BIP, MPI/PRO) ztrès diffusé (MPICH, LAM) zoutils de déploiement ypour stations : Rembo, HP Toptools, Norton Ghost ypour clusters : scali, alinka, Compaq CMU youtils propriétaires type IBM PSSP (?)

29 CIMENT 9 MAI 2000 Besoins logiciels (2) zgestionnaire de batch/ressources yPBS yCondor yLSF yCodine y... zoutils de trace yTotalview yVampir zportabilité : yMPI/pro yMPI sur Ethernet yLSF yFast messages

30 CIMENT 9 MAI 2000 Besoins logiciels (3) zsystèmes de fichiers yNFS ysystème de fichiers IRIX, True64, … yréseau de stockage en amont zimage unique de système (autres thèmes) ymigration de processus ymémoire partagée distribuée yinterface utilisateur unique y administration centralisée yespace d entrées/sorties partagé yespace de processus unique zpile VIA yVIA hardware : Giganet, Server Net yMyrinet et certaines cartes Ethernet fast et gigabit

31 CIMENT 9 MAI 2000 Lintégrateur/vendeur zsupport scientifique zsupport technique zmaintenance zintégration hardware zintégration software Minimum : intégration hardware et validation par déploiement du système et de benchmarks

32 CIMENT 9 MAI 2000 Des options coûteuses : zRacks zcontrôle souhaité (BIOS, wake on line, boot PXE, lien série, …) zconcentrateurs d alimentation électrique zécrans, switchs d écran ? zdisques locaux zdes serveurs supplémentaires : contrôle, login, fichier, développement, scheduler

33 CIMENT 9 MAI 2000 Où en est on ? (1) yCoopérations avec des constructeurs xHP : « cluster du pauvre » xMicrosoft : portage sur NT et metacomputing xCompaq xIBM, BULL, SGI, DELL xMyrinet, Dolphin yUtilisation et benchmarks de grandes grappes et des dernières générations de matériel

34 CIMENT 9 MAI 2000 Où en est on ? (2) yBudget : xINRIA 2,5 MF xRégion ? MF xMENRT (UJF 400 INPG 400) xENS-LYON 300 xCNRS ? ySolution en deux phases : Ethernet (+) puis SCI et/ou Myrinet

35 CIMENT 9 MAI 2000 Evolution contexte grappe Grappe NT 256 pentiums #198 Grappe Linux 140 alphas #113 dans le TOP D SCI mesh Grappe Linux 144 pentiums #356 IA 64 Compilateurs Digital sur Linux Switch Myrinet 128 ports Linux SMP Réseaux de stockage VIA sur Ethernet InfiniBand Administration simplifiée True64/IRIX/AIX --> LINUX

36 CIMENT 9 MAI 2000 A venir : yCollaborations industrielles à conclure yBenchmarks au niveau Athapascan yRédiger l appel d offre (pour septembre) : décrire les paramètres de l architecture de machine yDe nouvelles problématiques de recherche, ex. autour de « l image unique de système »

37 CIMENT 9 MAI 2000 Contact/infos : yhttp://grappe200.imag.fr


Télécharger ppt "CIMENT 9 MAI 2000 Architectures de grappes de PC Philippe Augerat ID-IMAG."

Présentations similaires


Annonces Google