C. Pham Soutenance d’HDR Mardi 16 décembre 2003 ENS Lyon

Présentation au sujet: "C. Pham Soutenance d’HDR Mardi 16 décembre 2003 ENS Lyon"— Transcription de la présentation:

1 C. Pham Soutenance d’HDR Mardi 16 décembre 2003 ENS Lyon
Quelques contributions à la résistance au facteur d’échelle dans les réseaux de communication C. Pham Soutenance d’HDR Mardi 16 décembre 2003 ENS Lyon

2 Brève présentation de mon parcours
Juil. 1997: Thèse en informatique à Paris 6, Laboratoire LIP6, sous la direction du Pr. Serge Fdida Sep. 1997: Année post-doctorale à UCLA, sous la direction du Pr. Rajive Bagrodia Oct. 1998: MCF à U. Lyon 1 dans l'équipe de Bernard Tourancheau Jan. 1999: Création de la JE UCBL RESAM et membre permanent de cette structure Sep. 1999: Création de l'action RESO de L'INRIA Rhône-Alpes et membre de l'action Juil. 2000: Déménagement dans les locaux de l’ENS

3 Enseignement Responsable du DESS IIR Réseaux, UCBL Cours 3ème cycle
Depuis 1999, responsable pédagogique d’une formation professionnalisante dans le domaine pointu des réseaux: définitions des enseignements, gestion des intervenants, des plannings… Cours 3ème cycle DEA DIF, DEA DISIC, DESS CCI, DESS IIR Cours 2ème cycle Maitrise informatique, MIM, MIAG Encadrement d’étudiants: maitrise, master, DEA, DESS

4 Le visage de l’Internet
Le big-bang 1969 2003: environ 200 millions de machines

5

6 Les changements technologiques et d’échelle
Généralisation de la fibre optique (DWDM) Débit dans le cœur du réseau de plusieurs dizaines de Gbits/s! 0,1 1 10 100 1000 10000 1985 1990 1995 2000 Fiber Capacity (Gbit/s) TDM DWDM 2x / 18 months 2x / 7 months Packet processing Power Link Speed From McKeown

7 Performances de bout-en-bout?
200km/h 100km/h 50km/h DWDM, Myrinet, 10GE, Infiniband… Système de communication traditionnel 180km/h 170km/h Comment y arriver?

8 Le tout-IP Transparent de Jim Kurose

9 Les difficultés liées à la taille
Comment connaître/prendre en compte l’état global du système? Exemples Routage Déploiement de protocoles Contrôle de congestion

10 Les difficultés liées à la taille
Aggrégation du trafic: comment supporter la charge? Exemples Sites web populaires Feedbacks

11 Les difficultés liées à la taille
Comment étudier le système? Exemples Validation de protocoles Etude de performances Simulations Expérimentations E=MC2

12 Résistance au facteur d’échelle
Dans les méthodes d’évaluation Dans les protocoles de communication Dans la conception des systèmes de communication AGGREGEONS!

13 Quelle taille pour quelle complexité
1969 Transparent emprunté à Jim Kurose

14 Rajouter de l’intelligence!
Aggréger n’est pas suffisant, il faut aussi une distribution de l’intelligence: où, quand et comment? 100 à 1000 Mbits/s x Gbits/s réseaux actifs appli interfaces bas niveau 100 à 1000 Mbits/s intelligence embarquée protocoles de haut niveau

15 RESISTANCE AU FACTEUR D’ECHELLE
Mes 3 thèmes de recherches Simulations parallèles sur grappes de PCs Multicast fiable actif Optimisation sous-systèmes de comm. RESISTANCE AU FACTEUR D’ECHELLE

16 Les étudiants contributeurs
Thèse & DEA M. Maimour E. Lemoine Maîtrise F. Goffinet, S. Oranger L. Cavallin J. Mazuy (encadré par M. Maimour) X. Prost Master C. Albrecht R. Asthana

17 Simulations parallèles sur grappes Multicast fiable actif Optimisation de sous-systèmes de comm.

18 Simuler des systèmes complexes: 100 minutes pour convaincre!
Réseaux Gbits/s 200 routeurs 1000 sources de trafic, 100Mbits/s Simulation au niveau du packet (500 octets), 1 évènement par paquet Plus de 30 millions d’évènements à simuler pour 1s de temps réel. 12h pour simuler 72s (event=20us) capacité des liens  temps de simulation  généralement, plus d’ 1 événement par paquet

19 Simulation parallèle de réseaux
logical process (LP) packet h event t parallèle

20 CSAM CSAM: Conservative Simulator for ATM network Model
travaux de thèse CSAM: Conservative Simulator for ATM network Model Simulation au niveau de la cellule Approche conservative (aucune faute temporelle) Fonctionne sur CM-5, Cray T3E Exploite le lookahead des liens de communication: usage transparent

21 Modèle de base: 78 comm. ATM
Routage avec fonctions de coût dynamiques Contrôle d’admission travaux de thèse

22 La suite MPI-BIP/BIP-SMP/BIP
Projet BIP [Prylli, Tourancheau]: librairie de communication optimisée pour Myrinet MPI-BIP, BIP-SMP [Westrelin, Geoffray, Tourancheau] MPI-BIP L’équipe de Lyon avait une expertise dans le domaine des librairies de communication haute-performance sur cluster, c’est tout naturellement que j’ai orienté mes recherches sur ces architectures. BIP BIP-SMP les NICs programmables changent la distribution spatiale traditionnelle des tâches. Myrinet physical layer

23 Machines parallèles vs grappes
Station de travail Cluster SUN/e-Toile Chères Vite dépassés Peu accessibles Facilement « upgradés » Facilement intégrés Perf. interconnexion 

24 Les clusters dans le TOP 500
16 Nov. 2003 7 clusters dans le TOP 10!

25 Les grappes sous Myrinet
Commutateur full crossbar Routage wormhole faible latence NIC processeur RISC programmable mémoire locale plusieurs DMA Dernières caractéristiques Processeur jusqu’à 333 Mhz Mémoire jusqu’à 8MB Bus 64 bit PCI & PCI-X Lien à 2Gbit/s full duplex

26 Simulations // avec BIP & MPI/BIP
Comment améliorer ces performances? Simulations parallèles sur grappes Pentium Pro 200MHz Aggrégeons l’envoi des messages (Obsolètes)

27 Pourquoi peut-on aggréger?
Le simulateur alterne phase de traitement et phase de récupération de messages Encadrement de C. Albrecht, Univ. Luebeck Événements à traiter avant d’en récupérer d’autres

28 Taille d’un message = 42 octets
Aggréger dans CSAM Aggrégation: 1 buffer/récepteur Etude de la taille d’aggrégation prise en compte des perf. de BIP/MPI-BIP Taille d’un message = 42 octets

29 Machine multi-processeurs
Travaux effectués avec P. Geoffray, utilisation de BIP-SMP Aggrégation sur des CLUters of Multi-Processors (CLUMPs) Performances assymmétriques

30 Gain de l’aggrégation assymmétrique
Dual Pentium Pro 450MHz aggr. x-y: x=distant, y=interne

31 Comparaison de différentes stratégies Travaux avec C. Albrecht, R
Comparaison de différentes stratégies Travaux avec C. Albrecht, R. Westrelin Sender initiated Receiver initiated

32 Simulations parallèles sur grappes Multicast fiable actif Optimisation de sous-systèmes de comm.

33 Thèse de Moufida Maimour
1ère thèse encadrée (encadrant HDR: Pascale Vicat-Blanc Primet) « Conception, Analyse et Validation de Protocoles de Multicast Fiables à Assistance des Routeurs », soutenue le 25 nov. 2003, ENS Lyon Source Source data Receiver data data data data data data Receiver Receiver Receiver

34 Exemple: visio-conférence
Vue de l’usager Adresse de groupe multicast

35 Ce qu’il y a derrière… domain Point de peering Routeur d’accès
domain Point de peering Routeur d’accès Routeur de l’Internet

36 ? unicast multicast TCP déploiement routing gestion de groupes
session advertising construction de l’arbre allocation d’adresses routage fiabilité routing

37 L’internet n’est pas (encore) multicast!
~3-4% des AS ~33% source

38 En image cela donne… multicast AS INTERNET unicast AS

39 Les problèmes d’échelle liés au multicast fiable
source NACK4 NACK4 NACK4 Implosion des NACKs! Grand nombre de récepteurs NACK4 source 1Mbps 1Mbps 5Mbps 2Mbps Contrôle du débit? 0.5Mbps 2Mbps

40 Protocoles de multicast fiable
Approches de bout en bout : avec recouvrement local : Approche probabiliste [SRM] Approches hiérarchiques statiques [RMTP] ou dynamiques [TMTP, TRAM] Approches avec assistance de routeurs un arbre de recouvrement identique à l’arbre physique du multicast avec cache de données au niveau de nœuds intermédiaires [ARM, RMANP, AER] un arbre de recouvrement logique construit avec l’assistance des routeurs [LMS, PGM, AIM]

41 Réseaux actifs/programmables
Casse la vision d’un réseau « bête » en autorisant les routeurs à exécuter des codes spécifiques (services actifs) A1 Data code A1 Data A2 Plus de flexibilité pour implémenter et déployer des services spécifiques aux applications et aux protocoles. Plus de performance globalement grâce à la réduction du trafic, à une meilleure régulation… code A2

42 Ex: suppression globale des NACKs
data4 TAMANOIR [GELAS,LEFEVRE] NACK4 1 seul NACK est transmis vers la source

43 Etude des différentes stratégies
S1 : suppression globale des NACK S2 : suppression locale des NACK S2S : + subcast à partir de la source S3 : suppression globale des NACK subcast à partir des routeurs S3S : + subcast à partir de la source

44 Analyses préliminaires

45 Bénéfices de l’aggrégation globale

46 Impacts de la puissance des routeurs
2

47 La proposition DyRAM Protocole avec de nouveaux services actifs légers (autre que le cache) pour résister au passage à l’échelle et permettre de faibles latences subcast des repair Suppression Globale NACK Détection Rapide des pertes Partitionnement Des Récepteurs Election Dynamique Contrôle de Congestion

48 Impacts sur la latence #grp: 6…24 A : supp. des NACKs D : A +
4 récepteurs/groupe #grp: 6…24 A : supp. des NACKs D : A + Détection des pertes DyRAM : A + Election DPP est très bénéfique à DyRAM DyRAM+ : DyRAM + Détection des pertes p=0.25 #grp: 6…24

49 Contrôle de congestion AMCA
AMCA se base sur des services actifs d’estimation des RTTs par section Fournit une compatibilité satisfaisante avec TCP

50 Multicast fiable pour la grille
Data replications Code & data transfers, interactive job submissions Data communications for distributed applications (collective & gather operations, sync. barrier) Databases, directories services SDSC IBM SP 1024 procs 5x12x17 =1020 NCSA Origin Array 5x12x(4+2+2) =480 ENS cluster 48 nodes Multicast address group

51 Scénario de déploiement
centre de calcul campus/entreprise source aggrégation subcast détection des pertes routeur actif routeur actif Réseau Gbits/s VTHD aggrégation subcast élection calcul RTT routeur actif Internet Data Center centre de calcul

52 Multicast sur E-Toile (RNTL)
Implémentation de DyRAM [Bouhafs] Demo 5 juin, 2003 ROCQ CEA VTHD ENS CERN source

53 La démo sans effet démo! CERN ENS source ENS ENS

54 Projets Abondement ANVAR: prototypage de services actifs sur une plate-forme de réseaux actifs d'expérimentation Projet RNTL e-Toile: protocoles de multicast fiable actif pour une grille de calcul active Projet RNRT VTHD++: expérimentations du multicast actif sur un réseau très haut-débit ACI GRID: Services Réseaux et Intelligence pour la Grille

55 Simulations Parallèles sur grappes Multicast fiable actif Optimisation de sous-systèmes de comm.

56 Thèse de Eric Lemoine Stage de DEA: Intelligence embarquée dans les interfaces réseaux Interaction entre le système d'exploitation et le système de communication: exécuter mieux, et plus tôt, les tâches liées à la communication Etude des performances du déport de composantes logicielles vers les cartes d'interface réseaux, prototypes avec des applications cibles Continuation en thèse CIFRE avec SUN Labs, Europe (encadrement 50% avec L. Lefèvre) Contribue à l’obtention de la performance de bout-en-bout

57 Problème de robustesse
interruptions logicielle Copies effectuées dans le contexte de l’interruption CPU1 CPU2 Backlog queue Dmax Système robuste Effondrement des performances Débit d’entrée Débit de sortie RISR DRIVER RINT NIC DMA

58 Problème de performance
NAPI dans Linux [SALIM et al] Mode polling: on vide et traite l’anneau entièrement (RINT disabled) CPU1 CPU2 CPU3 CPU4 t interruption logicielle DRIVER CPU1 CPU2 Device queue RISR RINT NIC DMA

59 Exemple: serveur web Contenu populaire
Contenu populaire Beaucoup de petites requêtes: plusieurs milliers/min… …engendrant des flux lourds en retour. Sujet aux attaques de type DOS, DDOS

60 Proposition KNET 1 anneau de réception par CPU
Classification au plus tôt Remonté en parallèle de paquets CPU1 CPU2 Threads réseau DRIVER CPU1 CPU2 Device queue RISR RINT DMA NIC ip_src & (nb_proc-1) Myrinet classification Proposition de nouveaux services à mettre dans les cartes d’interface

61 Premiers résultats 34% 17% KNET+sendfile() KNET+send() NAPI+sendfile()

62 Collaborations et contrats
SUN Labs 3 thèses CIFRE avec SUN Labs, Grenoble (M. Herbert, E. Lemoine et J. Laganier)

63 Perspectives & Conclusions

64 Perspectives de recherche
Mieux utiliser les techniques de simulations parallèles Reste un énorme travail d’ingénierie pour le multicast. Etude de la problématique liée aux réseaux très haut-débit. Mécanismes de QoS pour les sous-systèmes de communications

65 Conclusions Le métier d’enseignant-chercheur est formidable!
3 axes de recherches qui contribuent à la résistance au facteur d’échelle. La recherche aussi doit nous permettre de mieux enseigner.