Architectures de calcul distribuées Le point de vue des communications

Présentation au sujet: "Architectures de calcul distribuées Le point de vue des communications"— Transcription de la présentation:

1 Architectures de calcul distribuées Le point de vue des communications
Olivier Aumage Projet Runtime INRIA - LaBRI

2 Introduction Le calcul hautes performances distribué Objectif
Dépasser le rythme d’évolution de la puissance des machines de calcul Techniques Matérielles Multiplication des unités de traitement Logicielles Environnements de programmation distribuée

3 Évolution du domaine Matériel Logiciel
Diminution des travaux sur la conception de supercalculateurs Tendance à une simplification des solutions matérielles Diffusion des grappes de stations Utilisation de composants standards Logiciel Développement d’outils d’aide à la programmation distribuée > mpirun > mpirun

4 Architectures en grappes
Caractéristiques Un ensemble de machines Des PC du commerce Un réseau classique Lent Administration Services Un réseau rapide Faible latence Débit élevé Applications Réseau rapide Réseau lent Grappe

5 Trois modèles ? ! Environnements de programmation Échange de messages
PVM, MPI Invocation de services RPC SUN, OVM, PM2, etc. RSR Nexus JAVA RMI CORBA Mémoire virtuellement partagée TreadMarks, DSMThreads, DSM-PM2 Coexistance de fait ? !

6 Problématique de recherche
Interfaçage avec les technologies de communication ? Processus applicatifs Mémoire virtuellement partagée (DSM) Environnement de programmation Invocation de services (RPC, RMI) Échange de messages Support de communication ? Réseau Ethernet Myrinet SCI Giganet Infiniband

7 Caractéristiques recherchées
Une interface de communication générique Neutralité Indépendance par rapport aux modèles des environnements cibles Échange de messages Invocation de services: RPC, RMI Mémoire virtuellement partagée: DSM Portabilité Indépendance par rapport au matériel Architecture Réseau Efficacité Performances intrinsèques Latence, débit, réactivité Performances applicatives

8 Solutions disponibles
Interfaces de haut niveau ? Exemples Standard MPI Qualités Portabilité, normalisation Richesse fonctionnelle Efficacité Interface inadaptée aux schémas de communication complexes Description des relations entre les données d’un même message ? Problème d’expressivité

9 Exemple de problème Invocation de service à distance Requête
Un entête : descripteur du service Un corps : argument(s) du service Première option – deux messages Requête En-tête Corps En-tête En-tête Message MPI Message MPI Corps Connexion MPI En-tête Corps Corps Client Serveur

10 Exemple de problème Invocation de service à distance
Seconde option – une copie Dans les deux cas, l’interface MPI n’est pas assez générale Requête En-tête Corps En-tête Corps En-tête Copie Message MPI Corps En-tête Corps Connexion MPI Corps Client Serveur

11 Solutions disponibles (suite)
Interfaces de bas niveau ? Exemples BIP, GAMMA, GM, SISCI, VIA Qualités Efficacité Exploitation du potentiel matériel Dépendance du matériel Niveau d’abstraction limité Développements plus complexes Programmation directe peu réutilisable Pérennité des développements ?

12 Solutions disponibles (fin)
Interfaces intermédiaires ? Exemples Nexus, Active Messages, Fast Messages Qualités Abstraction Efficacité Portabilité relative Neutralité ? Expressivité ? Modèle de type messages actifs Traitements supplémentaires non indispensables Problème d’approche

13 Objectif Proposition d’un support générique des communications de niveau intermédiaire Indépendance par rapport aux environnements de programmation Modèle de programmation neutre Indépendance par rapport aux technologies de communication Portabilité des performances Env 1 Env 2 Env 3 Env n Env 1 Env 2 Env 3 Env n ? Rés 1 Rés 2 Rés 3 Rés m Rés 1 Rés 2 Rés 3 Rés m

14 Objectif Répartition rationnelle des tâches Application Modèle
Environnement de programmation Interface de niveau intermédiaire Interface de bas niveau Réseau Application Pile logicielle Modèle Abstraction Contrôle du matériel

15 Un support de communication pour grappes et grilles légères
Madeleine

16 Caractéristiques Interface abstraite Programmation par contrat
Spécification de contraintes Latitude d’optimisation Support logiciel actif Optimisation dynamique Adaptativité Transparence

17 Interface Notions Connexion Canal
Liaison point à point unidirectionnelle Ordonnancement FIFO Canal Graphe (complet) de connexions Unité de multiplexage Virtualisation d’un réseau Processus Connexion Canal

18 Modèle de communication
Caractéristiques Modèle Échange de messages Construction incrémentale des messages Expressivité Contrôle des blocs de données par drapeaux Notion de contrat programmeur/interface Express

19 Primitives Commandes essentielles Émission Réception mad_begin_packing
mad_pack … mad_end_packing Réception mad_begin_unpacking mad_unpack … mad_end_unpacking

20 Construction des messages
Commandes Mad_pack(cnx, buffer, len, pack_mode, unpack_mode) Mad_unpack(cnx, buffer, len, pack_mode, unpack_mode) Modes d’émission Send_CHEAPER Send_SAFER Send_LATER Modes de réception Receive_CHEAPER Receive_EXPRESS Contraintes d’utilisation Séquences pack/unpack strictement symétriques Triplets (len, pack_mode, unpack_mode) identiques en émission et en réception Cohérence des données

21 ? Émission Send_SAFER Send_LATER Send_CHEAPER Pack Modification
End_packing ?

22 Contrat programmeur/interface
Send_SAFER / Send_LATER / Send_CHEAPER Contrôle du transfert des données Latitude d’optimisation Engagement du programmeur Intégrité des données Services particuliers Émission différée Réutilisation de tampons Spécification au niveau sémantique Indépendance : service requis / technique sélectionnée

23 Réception Receive_EXPRESS Receive_CHEAPER Unpack Après Unpack
Donnée disponible Disponibilité ??? End_unpacking Donnée disponible

24 Structuration des messages
Receive_CHEAPER / Receive_EXPRESS Receive_EXPRESS Réception immédiate impérative Interprétation/extraction du message Receive_CHEAPER Réception libre du bloc Contenu du message Express

25 Organisation Utilisation d’un modèle à deux couches Approche modulaire
Gestion des tampons Factorisation du code de traitements de données Abstraction du matériel Approche modulaire Module de gestion de tampons (MGT) Module de gestion de protocole (MGP) Module de transmission (MT) Interface MGT MGT Gestion des tampons MGP MGP MT MT MT Gestion de protocole Réseau

26 Modules de transmission
Madeleine Interface MGT MT Pack MGT MT Thread Réseau Processus

27 Mise en œuvre Chiffres et caractéristiques
lignes de code source C pour Madeleine 134 fichiers source Réseaux TCP, VRP, GM, SISCI, BIP VIA, UDP, MPI, SBP Diffusion Licence GPL Disponibilité Linux IA32, Alpha, Sparc, PowerPC Solaris IA32, Sparc MacOS/X G4 Aix PowerPC Windows NT IA32

28 Mesures – première partie
Environnement de test Grappe de PC bi-Pentium II 450 MHz, 128 Mo Réseau Fast-Ethernet Réseau SISCI/SCI Réseau BIP/Myrinet Méthode de test Mesures : 1000 x (émission + réception) Résultat : ½ x moyenne sur 5 mesures

29 SISCI/SCI – temps de transfert
Taille de paquet (octets)

30 Taille de paquet (octets)
SISCI/SCI – débit Débit (Mo/s) Taille de paquet (octets)

31 SISCI/SCI – temps de transfert Packs/messages
Taille de paquet (octets)

32 SISCI/SCI – débit Packs/messages
(Mo/s) Taille de paquet (octets)

33 Mesures – seconde partie
Environnement de test Grappe de PC bi-Pentium IV HT 2.66 GHz, 1 Go Réseau Giga-Ethernet Réseau SISCI/SCI Réseau GM/Myrinet Méthode de test Mesures : 1000 x (émission + réception) Résultat : ½ x moyenne sur 5 mesures

34 Taille de paquet (octets)
Temps de transfert Temps de transfert (µs) Taille de paquet (octets)

35 Taille de paquet (octets)
Débit Débit (Mo/s) Taille de paquet (octets)

36 Et les grilles ? Passage à l’échelle

37 Les grilles Principe Une grille Mise en commun des ressources
Une machine Une interconnexion de grilles Mise en commun des ressources Thème stratégique Un des « défis » de l’INRIA France Paris, Lyon, Rennes, Grenoble, etc. Etats-Unis, Japon, Europe, etc.

38 Contexte d’exécution maîtrisable Madeleine multi-grappes
Grilles Contexte d’exécution maîtrisable Madeleine multi-grappes

39 Réseau hautes performances
Support multi-grappe Exploitation des grappes de grappes Réseaux intra-grappes rapides Liens inter-grappes rapides Hétérogénéité au niveau réseau Réseau à haut débit Réseau hautes performances

40 Principe Canaux réels Canaux virtuels Liés à un réseau
Ne couvrent pas nécessairement tous les nœuds Canaux virtuels Couvrent tous les nœuds Contiennent plusieurs canaux réels Myrinet SCI Virtuel

41 Intégration Module de transmission générique
Limitation du code traversé sur les passerelles Interface MGT MGT Gestion des tampons MT générique MT MT MT Gestion de protocole Réseau

42 Module de retransmission
Madeleine Interface MGT MT MT Réseau 1 MT Thread Threads Réseau 2 Processus

43 Préservation du débit Une copie Pipeline Ré-émission Tampon 1 Tampon 2
Même tampon pour la réception et la ré-émission LANai Pipeline Réception et ré-émission simultanée avec 2 tampons Tampon 1 Tampon 2 Réception Ré-émission

44 Déploiement Démarrage de session – module Léonie Sessions Réseau
Flexibilité Configurations multi-grappes Lancement unifié Déploiement en rafale Extensibilité Support pour lanceurs optimisés Réseau Constructions des tables d’information Répertoire des processus Tables de routages des canaux virtuels Ordonnancement Initialisation des cartes, ouverture des canaux Madeleine Léonie

45 Connexions virtuelles – temps de transfert SISCI+BIP
Myrinet SCI Taille de paquet (octets)

46 Connexions virtuelles – débit SISCI+BIP
(Mo/s) Taille de paquet (octets)

47 MPICH/Madeleine API MPI Interface de périphérique abstraite (ADI)
Interface générique : communications pt à pt, communications collectives, construction de groupes Interface de périphérique abstraite (ADI) Interface générique : gestion des types de données, gestion des files de requêtes CH_MAD SMP_PLUG CH_SELF Communications Boucles de scrutation Comms. locales Boucle locale Protocoles internes MPICH Madeleine Communications TCP UDP BIP SISCI VIA MPI SBP Support multi-protocole

48 MPICH/Mad/SCI – temps de transfert
Taille de paquet (octets)

49 Taille de paquet (octets)
MPICH/Mad/SCI – débit Débit (Mo/s) Taille de paquet (octets)

50 Simulation Code Coupling
ACI « GRID RMI » VTHD Myrinet SCI … Madeleine Marcel PadicoTM MPI OpenCCM ProActive PDC Do! DSM Mome CORBA Java VM GK PaCO++ Simulation Code Coupling C3D Plants growing

51 Support multi-protocole
Padico Application MPI JVM ORB Marcel Madeleine Communications Support multi-protocole Circuit VSock Padico Core Padico Task Manager Gestionnaire Padico micro-noyau de threads Module Net Access SBP TCP UDP BIP VIA SISCI

52 Padico – temps de transfert
Taille de paquet (octets)

53 Taille de paquet (octets)
Padico – débit Débit (Mo/s) Taille de paquet (octets)

54 Diffusion Projets externes Projet Hyperion Padico
Machine virtuelle JAVA distribuée P. Hatcher University of New Hampshire, Durham, USA NSF/INRIA, équipe étrangère associée à l‘INRIA Padico Support exécutif multi-environnements Alexandre Denis, Christian Pérez, Thierry Priol Projet Paris, IRISA, Rennes ACI GRID RMI

55 Diffusion Projets internes PM2, DSM-PM2 MPICH/Madeleine
Guillaume Mercier, Loïc Prylli Global Arrays/Madeleine Nicolas Déjean Collaboration avec J. Nieplocha (Pacific Northwest National Lab.) Application NWChem Chimie quantique Code mixte C+Fortran, 1M de lignes Nexus/Madeleine Alexandre Denis

56 Bibliothèque de communication Madeleine
Eléments clés Support de communication unificateur Interface abstraite Programmation par contrat Architecture modulaire adaptative Optimisation dynamique Prise en charge multi-grappe transparente

57 Contexte d’exécution dynamique Le projet Ibis
Grilles Contexte d’exécution dynamique Le projet Ibis vrije Universiteit Projet Ibis Vrije Universiteit, Amsterdam

58 Les grilles - suite Principe Une grille
Une machine Une interconnexion de grilles Analogie avec le courant électrique Puissance de traitement utilisée sans savoir d’où elle vient Application Grille

59 Ibis Idées Approche centrée sur Java Environnement de programmation
Portabilité inhérente supérieure à une compilation native “Write once, run everywhere” Application plus support en Java Environnement de programmation Calcul hautes performances distribué Grilles hétérogènes Haut niveau Efficacité Optimisations “sur demande” Réseaux rapides Localisation du projet Groupe Orca – Henri Bal Équipe computer systems (A.Tanenbaum) Vrije Universiteit, Amsterdam

60 Ibis – défis Ressources distribuées Recensement Exploration Allocation
Contrôle Exploitation En Java

61 Architecture du projet
Application RMI GMI RepMI Satin Couche de portabilité Ibis (IPL) Exploitation Communication Contrôle Observation grille Allocation Gestion des ressources Exploration Découverte topologie Recensement Service d’information TCP, UDP, GM Panda, MPI NWS TopoMon GRAM GIS

62 Les communications Modèle de base Échange de messages
Configuration ouverte TCP Ibis Net Ibis Notions Port de réception Accepte des connexions d’un ou plusieurs ports d’émission Sérialise les réceptions de messages Port d’émission Peut être connecté à un ou plusieurs ports de réception Transmet chaque message à tous les ports auquel il est connecté

63 Interface Échange de message en Java Types natifs Tableaux Objets
Octets Valeur booléenne Caractères Entiers, courts, médians, longs Flottants courts, longs Tableaux Tableaux d’éléments de type natif Efficacité Sous-tableaux Tableaux d’objets Objets Plusieurs schémas de sérialisation

64 Modules de communication
Application RMI GMI RepMI Satin Implémentations TCP Ibis Panda Ibis Couche de portabilité Ibis (IPL) Serialisation / Communication TCP Ibis Panda Ibis TCP Panda, MPI

65 Limitations TCP Ibis - mise en œuvre de référence Panda Ibis
TCP « cablé » Panda Ibis Proportion importante de code natif Modèle fermé Code commun limité Architectures monolithiques Factorisation de code réduite Évolutivité compromise

66 Contribution – Net Ibis
Objectifs Prototypage aisé Modularité, flexibilité Isolation des tâches Pilotes courts Portabilité Limitation stricte de la quantité de code natif Utilisation des mécanismes Java Threads Synchronisation Modèle ouvert Connexions/déconnexions Tolérance aux déconnexions brutales Efficacité Scrutation, appels montants Support multi-protocole

67 Modules de communication
Application RMI GMI RepMI Satin Implémentations TCP Ibis Panda Ibis Net Ibis Couche de portabilité Ibis (IPL) Serialisation / Communication TCP Ibis Net Ibis Panda Ibis TCP TCP, UDP, GM etc. Panda, MPI

68 Architecture Chaîne de traitement des données Pile configurable
Interface des pilotes unifiée Éléments optionnels Ordre libre Chargement dynamique Sérialisation Natifs->octets Multi-protocole Multiplexage port Fiabilité Multiplexage connexion Pilote réseau physique Interface port Interface port Pilote réseau physique Interface port Sérialisation Multiplexage port Pilote réseau physique

69 Pilotes Caractéristiques des modules Objets Pilote Entrée Sortie
Usine d’objets entrée et sortie Une instance par session Une ou plusieurs connexions sortantes Interface unifiée Une ou plusieurs connexions entrantes Sortie simple Sortie multiple

70 Pilotes Caractéristiques des modules Objets Pilote Entrée Sortie
Usine d’objets entrée et sortie Une instance par session Une ou plusieurs connexions sortantes Interface unifiée Une ou plusieurs connexions entrantes Sortie simple Sortie multiple

71 Exemple Port d’émission Interface port Sérialisation Natifs->octets
Multi-protocole Multiplexage port Fiabilité Multiplexage connexion Pilote réseau physique Interface port UDP TCP GM

72 Exemple – connexions Port d’émission Interface port Sérialisation
Natifs->octets Multi-protocole Multiplexage port Fiabilité Multiplexage connexion Pilote réseau physique Interface port

73 Exemple – trajet des données
Port d’émission Sérialisation Natifs->octets Multi-protocole Multiplexage port Fiabilité Multiplexage connexion Pilote réseau physique Interface port

74 Exemple – multiplication des connexions
Port d’émission Sérialisation Natifs->octets Multi-protocole Multiplexage port Fiabilité Multiplexage connexion Pilote réseau physique Interface port

75 Exemple – utilisations plus complexes
Port d’émission Sérialisation Natifs->octets Multi-protocole Multiplexage port Fiabilité Multiplexage connexion Pilote réseau physique Interface port

76 Connexion de service Réseau interne Caractéristiques Intérêt TCP
Multiplexage transparent Intérêt Phase de connexion unifiée Détection de déconnexion brutale unifiée Simplification des pilotes Fonctionnalités dynamiques à faible fréquence TCP

77 Multiplexage connexion
Mise en œuvre Chiffres et caractéristiques Status experimental lignes de code Java & C Réseaux GM, TCP, UDP Connexion de service Interface port Sérialisation Natifs->octets Identité Multi-protocole Multiplexage port Fiabilité Multiplexage connexion GM TCP UDP Service

78 Évaluation Environnement de test Méthode de test
Grappe de PC bi-Pentium III 1 GHz, 1 Go Réseau GM/Myrinet Réseau Fast-Ethernet Méthode de test Mesures : 1000 x (émission + réception) Résultat : ½ x moyenne sur 5 mesures “préchauffage”

79 Taille de paquet (octets)
GM – temps de transfert Temps de transfert (µs) Taille de paquet (octets)

80 Taille de paquet (octets)
GM – débit Débit (Mo/s) Taille de paquet (octets)

81 Support de communication Net Ibis
Eléments clés Gestions des communications sur la grille Conception hautement modulaire Pile de communication configurable à l’exécution Modèle de connexion ouvert Support multi-protocole Support minimal de la tolérance aux pannes Architecture ouverte

82 Conclusion générale Architectures distribuées – le point de vue des communications Contribution sur l’aspect données Madeleine Programmation par contrat Portabilité des performances Contribution sur l’aspect connexions Net Ibis Pile flexible Modèle ouvert

83 Perspectives Données Connexions Enrichissement de l’interface
Structuration plus précise des messages Indications sur le futur proche Réduction des cas pathologiques Tolérance de pertes Automatisation, spécialisation de code Séquences de communication Connexions Configuration de haut niveau Couplage avec services d’information topologique Fonctionnement décentralisé

84

85