Architectures de calcul distribuées Le point de vue des communications Olivier Aumage Projet Runtime INRIA - LaBRI.

Présentation au sujet: "Architectures de calcul distribuées Le point de vue des communications Olivier Aumage Projet Runtime INRIA - LaBRI."— Transcription de la présentation:

1 Architectures de calcul distribuées Le point de vue des communications Olivier Aumage Projet Runtime INRIA - LaBRI

2 Une forte demande en puissance de calcul simulation et modélisation météo, climatologie chimie traitement des signaux images sons analyse de données génomes fouille de données en puissance de traitement bases de données serveurs multimédia Internet

3 Une forte demande en puissance de calcul simulation et modélisation météo, climatologie chimie traitement des signaux images sons analyse de données génomes fouille de données en puissance de traitement bases de données serveurs multimédia Internet

4 Une forte demande en puissance de calcul simulation et modélisation météo, climatologie chimie traitement des signaux images sons analyse de données génomes fouille de données en puissance de traitement bases de données serveurs multimédia Internet

5 Le parallélisme une tentative de réponse « l’union fait la force » > gauss

6 Le parallélisme une tentative de réponse « l’union fait la force » > gauss

7 Plusieurs niveaux machines architectures distribuées processeurs machines multi-processeurs unités de calcul processeurs superscalaires processus multi-programmation temps partagé threads multi-programmation à grain fin

8 Plusieurs approches machines à mémoire partagée > gauss

9 Plusieurs approches machines à mémoire distribuée > gauss

10 Plusieurs approches machines hybrides : Non-Uniform Memory Access (NUMA) > gauss

11 Contexte Historique Évolutions récentes

12 1950-1980 Matériel Début des recherches en parallélisme Machines peu fiables Coût extrêmes Logiciel Peu de chercheurs ont accès aux premiers supercalculateurs Peu de recherche Illiac-IV

13 1980-1990 Matériel Production commerciale de supercalculateurs Cray-1 (1976) Cray X-MP (1982) Recherche très active Calcultateurs massivements parallèles Hypercubes Utilisation de microprocesseurs Logiciel Les problèmes apparaissent La programmation parallèle est trop difficile Cray X-MP

14 Évolutions récentes Matériel Fort retrait des supercalculateurs entre 1990 et 1995 Nombreuses faillites Rachat de sociétés Disparition des architectures originales Micro-informatique Micro-processeurs rapides Réseaux haut débit/faible latence de plus en plus répandus Configurations PC/stations puissantes Logiciel Nécessité d’outils Compilateurs paralléliseurs Débogueurs Bibliothèques Essentiel des efforts de recherche

15 Pourquoi un tel déclin ? Peut-être un manque de réalisme Faible demande en supercalculateurs Coût d’achat et d’exploitation trop élevés Obsolescence rapide Viabilité des solutions pas toujours très étudiée Difficultés de mise au point Solutions dépassées dès leur disponibilité Une utilisation peu pratique Systèmes d’exploitation propriétaires Difficulté d’apprentissage Manque ou absence d’outils Difficulté d’exploitation

16 Conséquences Cahier des charges pour une machine parallèle

17 Objectifs é conomiques Acquisition Coût limité par rapport aux supercalculateurs Rapport puissance/coût élevé Exploitation Ergonomie Fiabilité Facilité de maintenance Scalabilité Evolutivité

18 Objectifs techniques Solutions non-propriétaires Nœuds à base d’ordinateurs personnels Systèmes d’exploitation classiques Linux, systèmes BSD, Solaris Windows NT Composants non-propriétaires Processeurs Intel / AMD (x86), DEC (Alpha), Motorola (PPC) Réseaux Ethernet, Myrinet, SCI, Giganet

19 Grappes d ’ ordinateurs Concepts et idées

20 Principes généraux Structure d’une grappe Grappe

21 Principes généraux Structure d’une grappe Un ensemble de machines Des PC du commerce Grappe Dell PowerEdge 2550

22 Principes généraux Structure d’une grappe Un ensemble de machines Des PC du commerce Un réseau classique Lent Réservé à l’administration Réseau lent Grappe

23 Principes généraux Structure d’une grappe Un ensemble de machines Des PC du commerce Un réseau classique Lent Réservé à l’administration Un réseau rapide Temps de transfert réduit Débit élevé Réservé aux applications Réseau rapide Réseau lent Grappe

24 Machines Quantité Grappes classiques 8, 16, 32 machines Grandes grappes Plusieurs centaines Processeur Nombre 1 ou 2 Type Pentium III/IV Athlon Autres : Alpha, Sparc Fréquence 1 GHz = 1.000.000.000 Hertz Mémoire Taille 1 Go = 1.073.741.824 octets Icluster (grappe de 100 pc, Grenoble)

25 Communications Réseaux rapides Grande fiabilité Faible latence Quelques µs Réactivité Haut débit 100 ~ 1000 Mbit/s Gros volumes Carte de communication Myricom Fibre optique

26 Comparatif Cray T3E

27 Exposé Madeleine

28 Le calcul hautes performances distribué Objectif Dépasser le rythme d’évolution de la puissance des machines de calcul Techniques Matérielles Multiplication des unités de traitement Logicielles Environnements de programmation distribuée Introduction

29 Évolution du domaine Matériel Diminution des travaux sur la conception de supercalculateurs Tendance à une simplification des solutions matérielles Diffusion des grappes de stations Utilisation de composants standards Logiciel Développement d’outils d’aide à la programmation distribuée > mpirun

30 Architectures en grappes Caractéristiques Un ensemble de machines Des PC du commerce Un réseau classique Lent Administration Services Un réseau rapide Faible latence Débit élevé Applications Réseau rapide Réseau lent Grappe

31 Trois modèles Environnements de programmation Échange de messages PVM, MPI Invocation de services RPC SUN, OVM, PM2, etc. RSR Nexus JAVA RMI CORBA Mémoire virtuellement partagée TreadMarks, DSMThreads, DSM-PM2 Coexistance de fait ? !

32 Problématique de recherche Interfaçage avec les technologies de communication ? Réseau Environnement de programmation Support de communication Échange de messages Invocation de services (RPC, RMI) ? Processus applicatifs EthernetMyrinetSCIGiganetInfiniband Mémoire virtuellement partagée ( DSM)

33 Caractéristiques recherchées Une interface de communication générique Neutralité Indépendance par rapport aux modèles des environnements cibles Échange de messages Invocation de services: RPC, RMI Mémoire virtuellement partagée: DSM Portabilité Indépendance par rapport au matériel Architecture Réseau Efficacité Performances intrinsèques Latence, débit, réactivité Performances applicatives

34 Solutions disponibles Interfaces de haut niveau ? Exemples Standard MPI Qualités Portabilité, normalisation Richesse fonctionnelle Efficacité Interface inadaptée aux schémas de communication complexes Description des relations entre les données d’un même message ? Problème d’expressivité

35 Exemple de problème Invocation de service à distance Requête Un entête : descripteur du service Un corps : argument(s) du service Première option – deux messages Connexion MPI Message MPI En-tête Message MPI Corps Requête Corps En-tête Corps ClientServeur Corps

36 Exemple de problème Invocation de service à distance Seconde option – une copie Dans les deux cas, l’interface MPI n’est pas assez générale ServeurClient En-tête Corps Requête Corps En-tête Connexion MPI Message MPI Corps En-tête Copie Corps En-tête Corps

37 Solutions disponibles (suite) Interfaces de bas niveau ? Exemples BIP, GAMMA, GM, SISCI, VIA Qualités Efficacité Exploitation du potentiel matériel Dépendance du matériel Niveau d’abstraction limité Développements plus complexes Programmation directe peu réutilisable Pérennité des développements ?

38 Solutions disponibles (fin) Interfaces intermédiaires ? Exemples Nexus, Active Messages, Fast Messages Qualités Abstraction Efficacité Portabilité relative Neutralité ? Expressivité ? Modèle de type messages actifs Traitements supplémentaires non indispensables Problème d’approche

39 Objectif Proposition d’un support générique des communications de niveau intermédiaire Indépendance par rapport aux environnements de programmation Modèle de programmation neutre Indépendance par rapport aux technologies de communication Portabilité des performances Env 1Env 2Env 3Env n Rés 1Rés 2Rés 3Rés m Env 1Env 2Env 3Env n Rés 1Rés 2Rés 3Rés m ?

40 Objectif Répartition rationnelle des tâches Environnement de programmation Interface de niveau intermédiaire Interface de bas niveau Réseau Application Pile logicielle Modèle Abstraction Contrôle du matériel

41 Madeleine Un support de communication pour grappes et grilles légères

42 Caractéristiques Interface abstraite Programmation par contrat Spécification de contraintes Latitude d’optimisation Support logiciel actif Optimisation dynamique Adaptativité Transparence

43 Interface Notions Connexion Liaison point à point unidirectionnelle Ordonnancement FIFO Canal Graphe (complet) de connexions Unité de multiplexage Virtualisation d’un réseau Connexion Processus Canal

44 Modèle de communication Caractéristiques Modèle Échange de messages Construction incrémentale des messages Expressivité Contrôle des blocs de données par drapeaux Notion de contrat programmeur/interface Express

45 Primitives Commandes essentielles Émission mad_begin_packing mad_pack … mad_pack mad_end_packing Réception mad_begin_unpacking mad_unpack … mad_unpack mad_end_unpacking

46 Construction des messages Commandes Mad_pack(cnx, buffer, len, pack_mode, unpack_mode) Mad_unpack(cnx, buffer, len, pack_mode, unpack_mode) Modes d’émission Send_CHEAPER Send_SAFER Send_LATER Modes de réception Receive_CHEAPER Receive_EXPRESS Contraintes d’utilisation Séquences pack/unpack strictement symétriques Triplets ( len, pack_mode, unpack_mode ) identiques en émission et en réception Cohérence des données

47 Émission Pack Modification End_packing Send_SAFERSend_LATERSend_CHEAPER

48 Contrat programmeur/interface Send_SAFER / Send_LATER / Send_CHEAPER Contrôle du transfert des données Latitude d’optimisation Engagement du programmeur Intégrité des données Services particuliers Émission différée Réutilisation de tampons Spécification au niveau sémantique Indépendance : service requis / technique sélectionnée

49 Réception Unpack Après Unpack End_unpacking Receive_EXPRESSReceive_CHEAPER Donnée disponibleDisponibilité ??? Donnée disponible

50 Structuration des messages Receive_CHEAPER / Receive_EXPRESS Receive_EXPRESS Réception immédiate impérative Interprétation/extraction du message Receive_CHEAPER Réception libre du bloc Contenu du message Express

51 Organisation Utilisation d’un modèle à deux couches Gestion des tampons Factorisation du code de traitements de données Abstraction du matériel Approche modulaire Module de gestion de tampons (MGT) Module de gestion de protocole (MGP) Module de transmission (MT) Interface Gestion des tampons Gestion de protocole MGT MT Réseau MGP

52 Modules de transmission Thread Réseau Pack Madeleine Interface MGT MT Processus

53

54 Mise en œuvre Chiffres et caractéristiques 58 000 lignes de code source C 39 000 pour Madeleine 134 fichiers source Réseaux TCP, VRP, GM, SISCI, BIP VIA, UDP, MPI, SBP Diffusion Licence GPL Disponibilité Linux IA32, Alpha, Sparc, PowerPC, IA64? Solaris IA32, Sparc MacOS/X G4 Aix PowerPC Windows NT IA32

55 Mesures – première partie Environnement de test Grappe de PC bi-Pentium II 450 MHz, 128 Mo Réseau Fast-Ethernet Réseau SISCI/SCI Réseau BIP/Myrinet Méthode de test Mesures : 1000 x (émission + réception) Résultat : ½ x moyenne sur 5 mesures

56 SISCI/SCI – temps de transfert Taille de paquet (octets) Temps de transfert (µs)

57 SISCI/SCI – débit Taille de paquet (octets) Débit (Mo/s)

58 SISCI/SCI – temps de transfert Packs/messages Taille de paquet (octets) Temps de transfert (µs)

59 SISCI/SCI – débit Packs/messages Taille de paquet (octets) Débit (Mo/s)

60 Mesures – seconde partie Environnement de test Grappe de PC bi-Pentium IV HT 2.66 GHz, 1 Go Réseau Giga-Ethernet Réseau SISCI/SCI Réseau GM/Myrinet Méthode de test Mesures : 1000 x (émission + réception) Résultat : ½ x moyenne sur 5 mesures

61 Temps de transfert Taille de paquet (octets) Temps de transfert (µs)

62 Débit Taille de paquet (octets) Débit (Mo/s)

63 Et les grilles ? Passage à l’échelle

64 Les grilles Principe Une grille Une machine Une interconnexion de grilles Mise en commun des ressources Thème stratégique Un des « défis » de l’INRIA France (Grid 5000) Paris, Lyon, Rennes, Grenoble, etc. Etats-Unis, Japon, Europe, etc.

65 Support multi-grappe Exploitation des grappes de grappes Réseaux intra-grappes rapides Liens inter-grappes rapides Hétérogénéité au niveau réseau Réseau à haut débit Réseau hautes performances

66 Principe Canaux réels Liés à un réseau Ne couvrent pas nécessairement tous les nœuds Canaux virtuels Couvrent tous les nœuds Contiennent plusieurs canaux réels Myrinet SCI Virtuel

67 Intégration Module de transmission générique Limitation du code traversé sur les passerelles Interface Gestion des tampons Gestion de protocole MGT MT Réseau MT générique

68 Module de retransmission Thread Réseau 2 Madeleine MGTMT Processus MT Interface Threads Réseau 1

69 Préservation du débit Pipeline Réception et ré-émission simultanée avec 2 tampons Une copie Même tampon pour la réception et la ré-émission Tampon 1 Tampon 2 Réception Ré-émission LANai

70 Déploiement Démarrage de session – module Léonie Sessions Flexibilité Configurations multi-grappes Lancement unifié Déploiement en rafale Extensibilité Support pour lanceurs optimisés Réseau Constructions des tables d’information Répertoire des processus Tables de routages des canaux virtuels Ordonnancement Initialisation des cartes, ouverture des canaux Madeleine Léonie

71 Connexions virtuelles – temps de transfert SISCI+BIP Taille de paquet (octets) Temps de transfert (µs) Myrinet SCI

72 Connexions virtuelles – débit SISCI+BIP Taille de paquet (octets) Débit (Mo/s)

73 API MPI Interface générique : communications pt à pt, communications collectives, construction de groupes Interface de périphérique abstraite (ADI) Interface générique : gestion des types de données, gestion des files de requêtes SMP_PLUG Comms. locales CH_SELF Boucle locale Madeleine CH_MAD Communications Boucles de scrutation Protocoles internes MPICH Communications Support multi-protocole SBPTCPUDPBIPMPIVIASISCI MPICH/Madeleine

74 MPICH/Mad/SCI – temps de transfert Taille de paquet (octets) Temps de transfert (µs)

75 MPICH/Mad/SCI – débit Taille de paquet (octets) Débit (Mo/s)

76 ACI « GRID RMI » VTHD MyrinetSCI… MadeleineMarcel PadicoTM MPI OpenCCM ProActive PDC Do! DSM Mome CORBA Java VM GK PaCO++ Simulation Code CouplingC3DPlants growing

77 Padico

78 Padico – temps de transfert Taille de paquet (octets) Temps de transfert (µs)

79 Padico – débit Taille de paquet (octets) Débit (Mo/s)

80 Diffusion Projets “externes” Projet Hyperion Machine virtuelle JAVA distribuée P. Hatcher University of New Hampshire, Durham, USA NSF/INRIA, équipe étrangère associée à l‘INRIA Padico Support exécutif multi-environnements Alexandre Denis, Christian Pérez, Thierry Priol Projet Paris, IRISA, RennesRuntime ACI GRID RMI

81 Diffusion Projets internes PM2, DSM-PM2 MPICH/Madeleine Guillaume Mercier, Loïc Prylli Global Arrays/Madeleine Nicolas Déjean Collaboration avec J. Nieplocha (Pacific Northwest National Lab.) Application NWChem Chimie quantique Code mixte C+Fortran, 1M de lignes Alta Calculs itératifs à tolérance de pertes

82 Conclusion Support de communication unificateur Interface abstraite Programmation par contrat Architecture modulaire adaptative Optimisation dynamique Prise en charge multi-grappe transparente

83 Perspectives Enrichissement de l’interface Structuration plus précise des messages Indications sur le futur proche Réduction des cas pathologiques Tolérance de pertes Traitement des séquences de communication Automatisation, spécialisation de code, compilation Gestion de session Déploiement Dynamicité Tolérance aux pannes Passage à l’échelle

84 Sortie

85