Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon ens-lyon.fr Projet.

Présentation au sujet: "Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon ens-lyon.fr Projet."— Transcription de la présentation:

1 Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet Logiciel RMI

2 Introduction Madeleine Marcel

3 Architecture du projet VTHD MyrinetSCI… MadeleineMarcel PadicoTM MPI OpenCCM ProActive PDC Do! DSM Mome CORBA Java VM GK PaCO++ Couplage de code de simulationC3DCroissance de plantes

4 Architecture du projet VTHD MyrinetSCI… MadeleineMarcel PadicoTM MPI OpenCCM ProActive PDC Do! DSM Mome CORBA Java VM GK PaCO++ Couplage de code de simulationC3DCroissance de plantes

5 Madeleine, Marcel, PM2 Interface Application PM2 MarcelMadeleine Iso-malloc DSM-PM2  Gestion des threads  Migration  Exploitation des nœuds SMP  Scheduler activations  Synchronisation  Détection d’événements  Gestion des communications  Paradigme de type passage de message  Support pour RPC et migration  Gestion de session  Interface générique  Allocation de mémoire iso-adresses  Mémoire virtuellement partagée  Point d’entrée  Gestion des RPC Net-ToolboxToolbox  Communication de contrôle  Routines TCP  Listes  Hâchages  Tableaux dyn.  Arguments  Chaînes  Allocateur rapide  Macros

6 Madeleine, Marcel Interface Application PM2 MarcelMadeleine Iso-malloc DSM-PM2  Gestion des threads  Migration  Exploitation des nœuds SMP  Scheduler activations  Synchronisation  Détection d’événements  Gestion des communications  Paradigme de type passage de message  Support pour RPC et migration  Gestion de session  Interface générique  Allocation de mémoire iso-adresses  Mémoire virtuellement partagée  Point d’entrée  Gestion des RPC Net-ToolboxToolbox  Communication de contrôle  Routines TCP  Listes  Hâchages  Tableaux dyn.  Arguments  Chaînes  Allocateur rapide  Macros

7 Madeleine Interface générique de communication Support réseau Gestion de session Efficacité Portabilité Richesse fonctionnelle Simplicité

8 Caractéristiques Adaptativité Protocoles multi-paradigmes VIAmessage passing, remote DMA SCIshared memory, DMA Protocoles à tampons statiques SBP Protocoles multi-modes BIPmessages courts/longs Exhaustivité Support multi-protocole Support multi-adaptateur

9 Architecture Approche modulaire Module de gestion de tampon (MGT) Module de transmission (MT) Interface Gestion des tampons Gestion de protocole MGT MT Réseau

10 GRID-RMI: trois axes Communications Support des architectures multi-grappes et grilles de grappes Routage Multiplexage Dynamicité Réactivité Support au niveau de l’ordonnanceur de threads Agrégation de requêtes de scrutation Ajustement de fréquence Analyse Gestion de traces et visualisation de chronologies

11 Communications multi-grappes Routage Déploiement

12 Support multi-grappe Exploitation des Grappes de grappes Réseaux intra-grappes rapides Liens inter-grappes rapides Hétérogénéité au niveau réseau Réseau à haut débit Réseau haute performance

13 Principe Canaux réels Liés à un réseau Ne couvrent pas nécessairement tous les noeuds Canaux virtuels Couvrent tous les noeuds Contiennent plusieurs canaux réels Myrinet SCI Virtuel

14 Fonctionnement Support des retransmissions multi-réseau Négotiation de MTU Routes statiques Gestion multi-threadée Prise en charge générique Machine MémoireBus PCI Réseau Myrinet LANai Réseau SCI

15 Préservation du débit Pipeline Réception et ré-émission simultanée avec 2 tampons Une copie Même tampon pour la réception et la ré-émission Tampon 1 Tampon 2 Réception Ré-émission LANai

16 Intégration Module de transmission générique Limitation du code traversé sur les passerelles Interface Gestion des tampons Gestion de protocole MGT MT Réseau MT générique

17 Déploiement Démarrage de session Une approche modulaire Flexibilité Extensibilité Deux modules Madeleine Communications Léonie Contrôle de session

18 Léonie Sessions Configurations multi-grappes Lancement unifié Déploiement en rafale Support pour lanceurs optimisés Réseau Constructions des tables d’information Répertoire des processus Tables de routages des canaux virtuels Ordonnancement Initialisation des cartes, ouverture des canaux

19 Infrastructure Madeleine Léonie

20 Résumé des problèmes Multiplexage Connexion complète des canaux réels inadaptée Consommation de ressources Routage Routes statiques Pas de dynamicité Routes uniques Risques de déséquilibres Contrôle de flux Contentions sur les bus des passerelles Adéquation du déploiement ?

21 Dynamicité Support d’architectures évolutives

22 Points clés Granularité Niveau processus Niveau grappes La dynamicité a un coût Scrutations supplémentaires Prise en compte du changement de topologie La dynamicité est parfois impossible Interfaces de communication à lanceur propriétaire Interfaces sans primitives/potentiel de connexion dynamique

23 Changement de topologie Propagation à toute la configuration Serveur Léonie Processus applicatifs Deux conséquences Vraisemblablement une synchronisation globale Impact fort sur l’exécution Prise en charge d’événements asynchrones de Léonie sur les nœuds applicatifs Nécessité d’un thread dédié Verrouillages délicats

24 Changement de topologie Cas du routage multi-réseau Nécessité d’un recalcul des routes par Léonie Opération coûteuse Problème pour les blocs de données en transit sur les passerelles Routage dynamique ? Ordre des messages Refaire IP ?

25 Conclusion – support dynamicité Réalisable pour une dynamicité à gros grain (grappes) pour une faible dynamicité au niveau processus Prohibitif pour une forte dynamicité au niveau processus Impossible Interfaces à lanceurs spécifiques Interfaces sans possibilités de connexions dynamiques MPI, BIP

26 Réactivité Threads et scrutations

27 Support actuel Interaction avec l’ordonnanceur de threads Marcel Agrégation de requêtes Agrégations par canal Requêtes de niveau bas Pas de réentrance Fréquence de scrutation Contrôle à très gros grain Timer, yields, idle Pas de réglages de la fréquence par rapport au réseau

28 Principe Processus Noeud Marcel Processus Thread Réseau LANai

29 Objectifs Prise en charge des requêtes Scrutations multi-niveau Meilleure prise en charge de la retransmission sur les passerelles Scrutations vs. interruptions Solution mixte ? Fréquence de scrutation Favoriser la scrutation fréquente des réseaux efficaces Notion de priorité des requêtes

30 Analyse Enregistrement de traces Visualisation de chronologies

31 Support actuel Outils FKT Fast Kernel Trace FUT Fast User Trace Supertrace Unification des données FKT/FUT Sigmund Analyse des résultats Status ?

32 Principe Marcel Processus Thread

33 Principe Marcel Processus Thread Mode noyau Mode utilisateur

34 Principe Marcel Processus Thread Mode noyau Mode utilisateur

35 Principe Marcel Processus Thread Mode noyau Mode utilisateur FKT FUT

36 Principe Marcel Processus Thread Mode noyau Mode utilisateur FKT FUT Supertrace

37 Principe Marcel Processus Thread Mode noyau Mode utilisateur FKT FUT Sigmund

38 Objectifs Mise à jour/finalisation des outils existants Meilleure interface pour les traces applicatives Evénements de haut niveau Outil de visualisation « intelligent » Chronologie multi-thread/multi-lwp Communications Traitement sémantique des informations ? Support générique Intégration des traces applicatives et middleware Interface graphique ?

39 Conclusion GRID-RMI Madeleine/Marcel

40 Conclusion Travaux prévus à trois niveaux Communications multi-grappes/grilles de grappes Extension des mécanismes de routage Réactivité et multi-threading Méthodes de scrutation avancées Outils d’analyse Enregistrement de traces Visualisation d’événements

41