Master de recherche informatique Université de Montpellier 2

Présentation au sujet: "Master de recherche informatique Université de Montpellier 2"— Transcription de la présentation:

1 Master de recherche informatique Université de Montpellier 2
Calcul sur la grille Module optionnel Master de recherche informatique Université de Montpellier 2 2005/2006

2 Intervenants Vincent Boudet, et Rodolphe Giroudeau
Maîtres de Conférence LIRMM, équipe APR Algorithmique et Performance des Réseaux

3 Calendrier Le cours a lieu le lundi après-midi de 13h15 à 16h30.
19 septembre VB 26 septembre VB 3 octobre RG 10 octobre RG Plus tard : Vous

4 Plan du cours 1- Introduction
2- Equilibrage de charge et distribution dans les grilles Pourquoi ? Equilibrage 1D Equilibrage 2D Partitionnement Libre Approche Maître/Esclaves (si on a le temps) 3- Ordonnancement hiérarchique sur grille 4- Tâches malléables (si on a le temps)

5 Travail personnel Etude bibliographique Examen écrit
Lecture d’un article de recherche Présentation orale Examen écrit

6 Introduction Concept de grille

7 Machine à mémoire partagée
2100 G F L O P S 2100 Machine monoprocesseur Machine à mémoire partagée Grappe locale (cluster) Grappe globale (Grid)

8 Chaîne alimentaire informatique
Demise of Mainframes, Supercomputers, & MPPs 2

9 Principes de base Work harder : processeurs plus rapides
Pfister [In search of clusters,1998] “3 ways to improve performance : Work harder Work smarter Get help” Work harder : processeurs plus rapides Work smarter : algorithmique Get help : parallélisme/distribution

10 Historique Projet Beowulf (NASA, HPCC, début 1994) Octobre 1996
exploiter la puissance de calcul et le parallélisme potentiels d’une pile de PC pour l’exécution d’applications scientifiques adapter la configuration de ces systèmes à faible coût aux besoins de calcul de la Nasa Octobre 1996 1,25 Gflops sur une grappe de 16 machines standard valant moins de $50 K pour une application de simulation numérique

11 Beowulf PC Réseau standard Linux -> ExtremeLinux Ethernet
Système de communication par échange de messages : TCP/IP Linux -> ExtremeLinux

12

13 Une grappe N°2 du Top 500 LLNL, Livermore, USA. Intel Tiger4, Quadrix
19, 94 Tflops

14 Evolutions en 10 ans 100 x #processeurs
> 10 x fréquence d’horloge des processeurs 100 x capacité mémoire par processeur 100 x débit par lien réseau > 10 x réduction de la latence réseau > 100 x performance Linpack sur grappe

15 Evolutions des architectures à haute performance

16 Aujourd’hui

17

18 Spectre d’utilisation
Multiprogrammation Parallélisme Implicite ou explicite Haute disponibilité Calcul scientifique et applications commerciales

19 Grappe de calculateurs
Réseau de calculateurs indépendants interconnectés destinés à être utilisés comme une seule ressource de calcul nœuds (PC, station de travail, SMP) réseau à haut débit et faible latence Intersection de deux domaines les système distribués les architectures parallèles

20 Grappe Nœud de base Réseau à haut débit et faible latence
1 ou plusieurs processeurs périphériques d’E/S mémoire Exemples : PC, station de travail, SMP Réseau à haut débit et faible latence Myrinet, SCI, ATM, GigabitEthernet, ... Vers le 10 Gbps et au delà de débit et 1 µs de latence

21 Potentialités du matériel
Puissance des processeurs (GHz) Réseaux haut débit (Goctets) Quantité importante de mémoire et d’espace de stockage

22 Importance du logiciel
Tirer profit des potentialités matérielles performance redondance -> haut disponibilité Gestion globale des ressources exploiter le parallélisme rendre transparente la distribution Une application doit pouvoir utiliser efficacement l’ensemble des ressources de la grappe quelque soit leur localisation.

23 Réalité des grappes Des milliers de grappes installées
universités laboratoires de recherche industriels laboratoires publics Différentes configurations grappes assemblées à la main par l’utilisateur grappes vendues assemblées

24 Pourquoi pas avant ? Pas de logiciel offrant l’image d’une machine unique remplacer un super-calculateur par 20 machines a un impact sur l ’utilisation et l’administration solutions propriétaires onéreuses Digital Open VMS cluster Tandem clusters non propriétaires réservés à des sites experts

25 Axes de recherche Passage à l’échelle – millions de processeurs
Fédération de grappes Grilles Ordonnancement Qui fait quoi ? Et ou ? Gestion des données Ou placer les données ? Quelle influence ? Programmation au delà de MPI (assembleur des grappes !)

26 Pour conclure … Propos de Thomas Sterling à la conférence Cluster 2004
1994 Est-ce que les grappes peuvent fonctionner ? Peuvent-elles être utiles ? 1997 Est-ce qu’on peut construire des grappes et les programmer pour les rendre pratiques ? 2000 Est-ce que les grappes peuvent passer à l’échelle et peut-on les gérer de manière fiable ? 2003 Est-ce qu’on peut gagner [au top 500] ? Aujourd’hui Domination du marché des machines à haute performance