Télécharger la présentation
La présentation est en train de télécharger. S'il vous plaît, attendez
Publié parGuillaume Pages Modifié depuis plus de 10 années
1
C. Pham Soutenance d’HDR Mardi 16 décembre 2003 ENS Lyon
Quelques contributions à la résistance au facteur d’échelle dans les réseaux de communication C. Pham Soutenance d’HDR Mardi 16 décembre 2003 ENS Lyon
2
Brève présentation de mon parcours
Juil. 1997: Thèse en informatique à Paris 6, Laboratoire LIP6, sous la direction du Pr. Serge Fdida Sep. 1997: Année post-doctorale à UCLA, sous la direction du Pr. Rajive Bagrodia Oct. 1998: MCF à U. Lyon 1 dans l'équipe de Bernard Tourancheau Jan. 1999: Création de la JE UCBL RESAM et membre permanent de cette structure Sep. 1999: Création de l'action RESO de L'INRIA Rhône-Alpes et membre de l'action Juil. 2000: Déménagement dans les locaux de l’ENS
3
Enseignement Responsable du DESS IIR Réseaux, UCBL Cours 3ème cycle
Depuis 1999, responsable pédagogique d’une formation professionnalisante dans le domaine pointu des réseaux: définitions des enseignements, gestion des intervenants, des plannings… Cours 3ème cycle DEA DIF, DEA DISIC, DESS CCI, DESS IIR Cours 2ème cycle Maitrise informatique, MIM, MIAG Encadrement d’étudiants: maitrise, master, DEA, DESS
4
Le visage de l’Internet
Le big-bang 1969 2003: environ 200 millions de machines
6
Les changements technologiques et d’échelle
Généralisation de la fibre optique (DWDM) Débit dans le cœur du réseau de plusieurs dizaines de Gbits/s! 0,1 1 10 100 1000 10000 1985 1990 1995 2000 Fiber Capacity (Gbit/s) TDM DWDM 2x / 18 months 2x / 7 months Packet processing Power Link Speed From McKeown
7
Performances de bout-en-bout?
200km/h 100km/h 50km/h DWDM, Myrinet, 10GE, Infiniband… Système de communication traditionnel 180km/h 170km/h Comment y arriver?
8
Le tout-IP Transparent de Jim Kurose
9
Les difficultés liées à la taille
Comment connaître/prendre en compte l’état global du système? Exemples Routage Déploiement de protocoles Contrôle de congestion
10
Les difficultés liées à la taille
Aggrégation du trafic: comment supporter la charge? Exemples Sites web populaires Feedbacks
11
Les difficultés liées à la taille
Comment étudier le système? Exemples Validation de protocoles Etude de performances Simulations Expérimentations E=MC2
12
Résistance au facteur d’échelle
Dans les méthodes d’évaluation Dans les protocoles de communication Dans la conception des systèmes de communication AGGREGEONS!
13
Quelle taille pour quelle complexité
1969 Transparent emprunté à Jim Kurose
14
Rajouter de l’intelligence!
Aggréger n’est pas suffisant, il faut aussi une distribution de l’intelligence: où, quand et comment? 100 à 1000 Mbits/s x Gbits/s réseaux actifs appli interfaces bas niveau 100 à 1000 Mbits/s intelligence embarquée protocoles de haut niveau
15
RESISTANCE AU FACTEUR D’ECHELLE
Mes 3 thèmes de recherches Simulations parallèles sur grappes de PCs Multicast fiable actif Optimisation sous-systèmes de comm. RESISTANCE AU FACTEUR D’ECHELLE
16
Les étudiants contributeurs
Thèse & DEA M. Maimour E. Lemoine Maîtrise F. Goffinet, S. Oranger L. Cavallin J. Mazuy (encadré par M. Maimour) X. Prost Master C. Albrecht R. Asthana
17
Simulations parallèles sur grappes Multicast fiable actif Optimisation de sous-systèmes de comm.
18
Simuler des systèmes complexes: 100 minutes pour convaincre!
Réseaux Gbits/s 200 routeurs 1000 sources de trafic, 100Mbits/s Simulation au niveau du packet (500 octets), 1 évènement par paquet Plus de 30 millions d’évènements à simuler pour 1s de temps réel. 12h pour simuler 72s (event=20us) capacité des liens temps de simulation généralement, plus d’ 1 événement par paquet
19
Simulation parallèle de réseaux
logical process (LP) packet h event t parallèle
20
CSAM CSAM: Conservative Simulator for ATM network Model
travaux de thèse CSAM: Conservative Simulator for ATM network Model Simulation au niveau de la cellule Approche conservative (aucune faute temporelle) Fonctionne sur CM-5, Cray T3E Exploite le lookahead des liens de communication: usage transparent
21
Modèle de base: 78 comm. ATM
Routage avec fonctions de coût dynamiques Contrôle d’admission travaux de thèse
22
La suite MPI-BIP/BIP-SMP/BIP
Projet BIP [Prylli, Tourancheau]: librairie de communication optimisée pour Myrinet MPI-BIP, BIP-SMP [Westrelin, Geoffray, Tourancheau] MPI-BIP L’équipe de Lyon avait une expertise dans le domaine des librairies de communication haute-performance sur cluster, c’est tout naturellement que j’ai orienté mes recherches sur ces architectures. BIP BIP-SMP les NICs programmables changent la distribution spatiale traditionnelle des tâches. Myrinet physical layer
23
Machines parallèles vs grappes
Station de travail Cluster SUN/e-Toile Chères Vite dépassés Peu accessibles Facilement « upgradés » Facilement intégrés Perf. interconnexion
24
Les clusters dans le TOP 500
16 Nov. 2003 7 clusters dans le TOP 10!
25
Les grappes sous Myrinet
Commutateur full crossbar Routage wormhole faible latence NIC processeur RISC programmable mémoire locale plusieurs DMA Dernières caractéristiques Processeur jusqu’à 333 Mhz Mémoire jusqu’à 8MB Bus 64 bit PCI & PCI-X Lien à 2Gbit/s full duplex
26
Simulations // avec BIP & MPI/BIP
Comment améliorer ces performances? Simulations parallèles sur grappes Pentium Pro 200MHz Aggrégeons l’envoi des messages (Obsolètes)
27
Pourquoi peut-on aggréger?
Le simulateur alterne phase de traitement et phase de récupération de messages Encadrement de C. Albrecht, Univ. Luebeck Événements à traiter avant d’en récupérer d’autres
28
Taille d’un message = 42 octets
Aggréger dans CSAM Aggrégation: 1 buffer/récepteur Etude de la taille d’aggrégation prise en compte des perf. de BIP/MPI-BIP Taille d’un message = 42 octets
29
Machine multi-processeurs
Travaux effectués avec P. Geoffray, utilisation de BIP-SMP Aggrégation sur des CLUters of Multi-Processors (CLUMPs) Performances assymmétriques
30
Gain de l’aggrégation assymmétrique
Dual Pentium Pro 450MHz aggr. x-y: x=distant, y=interne
31
Comparaison de différentes stratégies Travaux avec C. Albrecht, R
Comparaison de différentes stratégies Travaux avec C. Albrecht, R. Westrelin Sender initiated Receiver initiated
32
Simulations parallèles sur grappes Multicast fiable actif Optimisation de sous-systèmes de comm.
33
Thèse de Moufida Maimour
1ère thèse encadrée (encadrant HDR: Pascale Vicat-Blanc Primet) « Conception, Analyse et Validation de Protocoles de Multicast Fiables à Assistance des Routeurs », soutenue le 25 nov. 2003, ENS Lyon Source Source data Receiver data data data data data data Receiver Receiver Receiver
34
Exemple: visio-conférence
Vue de l’usager Adresse de groupe multicast
35
Ce qu’il y a derrière… domain Point de peering Routeur d’accès
domain Point de peering Routeur d’accès Routeur de l’Internet
36
? unicast multicast TCP déploiement routing gestion de groupes
session advertising construction de l’arbre allocation d’adresses routage fiabilité routing
37
L’internet n’est pas (encore) multicast!
~3-4% des AS ~33% source
38
En image cela donne… multicast AS INTERNET unicast AS
39
Les problèmes d’échelle liés au multicast fiable
source NACK4 NACK4 NACK4 Implosion des NACKs! Grand nombre de récepteurs NACK4 source 1Mbps 1Mbps 5Mbps 2Mbps Contrôle du débit? 0.5Mbps 2Mbps
40
Protocoles de multicast fiable
Approches de bout en bout : avec recouvrement local : Approche probabiliste [SRM] Approches hiérarchiques statiques [RMTP] ou dynamiques [TMTP, TRAM] Approches avec assistance de routeurs un arbre de recouvrement identique à l’arbre physique du multicast avec cache de données au niveau de nœuds intermédiaires [ARM, RMANP, AER] un arbre de recouvrement logique construit avec l’assistance des routeurs [LMS, PGM, AIM]
41
Réseaux actifs/programmables
Casse la vision d’un réseau « bête » en autorisant les routeurs à exécuter des codes spécifiques (services actifs) A1 Data code A1 Data A2 Plus de flexibilité pour implémenter et déployer des services spécifiques aux applications et aux protocoles. Plus de performance globalement grâce à la réduction du trafic, à une meilleure régulation… code A2
42
Ex: suppression globale des NACKs
data4 TAMANOIR [GELAS,LEFEVRE] NACK4 1 seul NACK est transmis vers la source
43
Etude des différentes stratégies
S1 : suppression globale des NACK S2 : suppression locale des NACK S2S : + subcast à partir de la source S3 : suppression globale des NACK subcast à partir des routeurs S3S : + subcast à partir de la source
44
Analyses préliminaires
45
Bénéfices de l’aggrégation globale
46
Impacts de la puissance des routeurs
2
47
La proposition DyRAM Protocole avec de nouveaux services actifs légers (autre que le cache) pour résister au passage à l’échelle et permettre de faibles latences subcast des repair Suppression Globale NACK Détection Rapide des pertes Partitionnement Des Récepteurs Election Dynamique Contrôle de Congestion
48
Impacts sur la latence #grp: 6…24 A : supp. des NACKs D : A +
4 récepteurs/groupe #grp: 6…24 A : supp. des NACKs D : A + Détection des pertes DyRAM : A + Election DPP est très bénéfique à DyRAM DyRAM+ : DyRAM + Détection des pertes p=0.25 #grp: 6…24
49
Contrôle de congestion AMCA
AMCA se base sur des services actifs d’estimation des RTTs par section Fournit une compatibilité satisfaisante avec TCP
50
Multicast fiable pour la grille
Data replications Code & data transfers, interactive job submissions Data communications for distributed applications (collective & gather operations, sync. barrier) Databases, directories services SDSC IBM SP 1024 procs 5x12x17 =1020 NCSA Origin Array 5x12x(4+2+2) =480 ENS cluster 48 nodes Multicast address group
51
Scénario de déploiement
centre de calcul campus/entreprise source aggrégation subcast détection des pertes routeur actif routeur actif Réseau Gbits/s VTHD aggrégation subcast élection calcul RTT routeur actif Internet Data Center centre de calcul
52
Multicast sur E-Toile (RNTL)
Implémentation de DyRAM [Bouhafs] Demo 5 juin, 2003 ROCQ CEA VTHD ENS CERN source
53
La démo sans effet démo! CERN ENS source ENS ENS
54
Projets Abondement ANVAR: prototypage de services actifs sur une plate-forme de réseaux actifs d'expérimentation Projet RNTL e-Toile: protocoles de multicast fiable actif pour une grille de calcul active Projet RNRT VTHD++: expérimentations du multicast actif sur un réseau très haut-débit ACI GRID: Services Réseaux et Intelligence pour la Grille
55
Simulations Parallèles sur grappes Multicast fiable actif Optimisation de sous-systèmes de comm.
56
Thèse de Eric Lemoine Stage de DEA: Intelligence embarquée dans les interfaces réseaux Interaction entre le système d'exploitation et le système de communication: exécuter mieux, et plus tôt, les tâches liées à la communication Etude des performances du déport de composantes logicielles vers les cartes d'interface réseaux, prototypes avec des applications cibles Continuation en thèse CIFRE avec SUN Labs, Europe (encadrement 50% avec L. Lefèvre) Contribue à l’obtention de la performance de bout-en-bout
57
Problème de robustesse
interruptions logicielle Copies effectuées dans le contexte de l’interruption CPU1 CPU2 Backlog queue Dmax Système robuste Effondrement des performances Débit d’entrée Débit de sortie RISR DRIVER RINT NIC DMA
58
Problème de performance
NAPI dans Linux [SALIM et al] Mode polling: on vide et traite l’anneau entièrement (RINT disabled) CPU1 CPU2 CPU3 CPU4 t interruption logicielle DRIVER CPU1 CPU2 Device queue RISR RINT NIC DMA
59
Exemple: serveur web Contenu populaire
Contenu populaire Beaucoup de petites requêtes: plusieurs milliers/min… …engendrant des flux lourds en retour. Sujet aux attaques de type DOS, DDOS
60
Proposition KNET 1 anneau de réception par CPU
Classification au plus tôt Remonté en parallèle de paquets CPU1 CPU2 Threads réseau DRIVER CPU1 CPU2 Device queue RISR RINT DMA NIC ip_src & (nb_proc-1) Myrinet classification Proposition de nouveaux services à mettre dans les cartes d’interface
61
Premiers résultats 34% 17% KNET+sendfile() KNET+send() NAPI+sendfile()
62
Collaborations et contrats
SUN Labs 3 thèses CIFRE avec SUN Labs, Grenoble (M. Herbert, E. Lemoine et J. Laganier)
63
Perspectives & Conclusions
64
Perspectives de recherche
Mieux utiliser les techniques de simulations parallèles Reste un énorme travail d’ingénierie pour le multicast. Etude de la problématique liée aux réseaux très haut-débit. Mécanismes de QoS pour les sous-systèmes de communications
65
Conclusions Le métier d’enseignant-chercheur est formidable!
3 axes de recherches qui contribuent à la résistance au facteur d’échelle. La recherche aussi doit nous permettre de mieux enseigner.
Présentations similaires
© 2024 SlidePlayer.fr Inc.
All rights reserved.