Quelques contributions à la résistance au facteur d’échelle dans les réseaux de communication C. Pham Soutenance d’HDR Mardi 16 décembre 2003 ENS Lyon

22 Brève présentation de mon parcours Juil. 1997: Thèse en informatique à Paris 6, Laboratoire LIP6, sous la direction du Pr. Serge Fdida Sep. 1997: Année post-doctorale à UCLA, sous la direction du Pr. Rajive Bagrodia Oct. 1998: MCF à U. Lyon 1 dans l'équipe de Bernard Tourancheau Jan. 1999: Création de la JE UCBL RESAM et membre permanent de cette structure Sep. 1999: Création de l'action RESO de L'INRIA Rhône-Alpes et membre de l'action Juil. 2000: Déménagement dans les locaux de l’ENS

33 Enseignement Responsable du DESS IIR Réseaux, UCBL Depuis 1999, responsable pédagogique d’une formation professionnalisante dans le domaine pointu des réseaux: définitions des enseignements, gestion des intervenants, des plannings… Cours 3ème cycle DEA DIF, DEA DISIC, DESS CCI, DESS IIR Cours 2ème cycle Maitrise informatique, MIM, MIAG Encadrement d’étudiants: maitrise, master, DEA, DESS

Le visage de l’Internet Le big-bang : environ 200 millions de machines

55

66 Les changements technologiques et d’échelle Généralisation de la fibre optique (DWDM) Débit dans le cœur du réseau de plusieurs dizaines de Gbits/s! 0, Fiber Capacity (Gbit/s) TDMDWDM 2x / 18 months2x / 7 months Packet processing Power Link Speed From McKeown

77 DWDM, Myrinet, 10GE, Infiniband… Système de communication traditionnel Comment y arriver? 200km/h100km/h 180km/h 50km/h 170km/h Performances de bout-en-bout?

88 Le tout-IP Transparent de Jim Kurose

99 Les difficultés liées à la taille Comment connaître/prendre en compte l’état global du système? Exemples Routage Déploiement de protocoles Contrôle de congestion

10 Les difficultés liées à la taille Aggrégation du trafic: comment supporter la charge? Exemples Sites web populaires Feedbacks

11 Les difficultés liées à la taille Comment étudier le système? Exemples Validation de protocoles Etude de performances Simulations Expérimentations E=MC 2

12 Résistance au facteur d’échelle Dans les méthodes d’évaluation Dans les protocoles de communication Dans la conception des systèmes de communication AGGREGEONS!

13 Quelle taille pour quelle complexité Transparent emprunté à Jim Kurose 1969

14 réseaux actifs protocoles de haut niveau appli interfaces bas niveau x Gbits/s 100 à 1000 Mbits/s intelligence embarquée 100 à 1000 Mbits/s Rajouter de l’intelligence! Aggréger n’est pas suffisant, il faut aussi une distribution de l’intelligence: où, quand et comment?

15 Mes 3 thèmes de recherches Simulations parallèles sur grappes de PCs Multicast fiable actif Optimisation sous-systèmes de comm. RESISTANCE AU FACTEUR D’ECHELLE

16 Les étudiants contributeurs Thèse & DEA M. Maimour E. Lemoine Maîtrise F. Goffinet, S. Oranger L. Cavallin J. Mazuy (encadré par M. Maimour) X. Prost Master C. Albrecht R. Asthana

Simulations parallèles sur grappes Multicast fiable actif Optimisation de sous-systèmes de comm.

18 Simuler des systèmes complexes: 100 minutes pour convaincre! Réseaux Gbits/s 200 routeurs 1000 sources de trafic, 100Mbits/s Simulation au niveau du packet (500 octets), 1 évènement par paquet capacité des liens  temps de simulation  généralement, plus d’ 1 événement par paquet Plus de 30 millions d’évènements à simuler pour 1s de temps réel. 12h pour simuler 72s (event=20us)

19 Simulation parallèle de réseaux logical process (LP) packetheventt parallèle

20 CSAM CSAM: Conservative Simulator for ATM network Model Simulation au niveau de la cellule Approche conservative (aucune faute temporelle) Fonctionne sur CM-5, Cray T3E Exploite le lookahead des liens de communication: usage transparent travaux de thèse

21 Modèle de base: 78 comm. ATM Routage avec fonctions de coût dynamiques Contrôle d’admission travaux de thèse

22 La suite MPI-BIP/BIP-SMP/BIP Projet BIP [Prylli, Tourancheau]: librairie de communication optimisée pour Myrinet MPI-BIP, BIP-SMP [Westrelin, Geoffray, Tourancheau] Myrinet physical layer BIP BIP-SMP MPI-BIP les NICs programmables changent la distribution spatiale traditionnelle des tâches.

23 Facilement « upgradés » Facilement intégrés Perf. interconnexion  Machines parallèles vs grappes Cluster SUN/e-Toile Station de travail Chères Vite dépassés Peu accessibles

24 Les clusters dans le TOP Nov clusters dans le TOP 10!

25 Les grappes sous Myrinet Commutateur full crossbar Routage wormhole faible latence NIC processeur RISC programmable mémoire locale plusieurs DMA Dernières caractéristiques Processeur jusqu’à 333 Mhz Mémoire jusqu’à 8MB Bus 64 bit PCI & PCI-X Lien à 2Gbit/s full duplex

26 Simulations // avec BIP & MPI/BIP Aggrégeons l’envoi des messages (Obsolètes) Comment améliorer ces performances? Simulations parallèles sur grappes Pentium Pro 200MHz

27 Pourquoi peut-on aggréger? Le simulateur alterne phase de traitement et phase de récupération de messages Encadrement de C. Albrecht, Univ. Luebeck Événements à traiter avant d’en récupérer d’autres

28 Aggréger dans CSAM Aggrégation: 1 buffer/récepteur Etude de la taille d’aggrégation prise en compte des perf. de BIP/MPI-BIP Taille d’un message = 42 octets

29 Machine multi-processeurs Travaux effectués avec P. Geoffray, utilisation de BIP-SMP Aggrégation sur des CLUters of Multi- Processors (CLUMPs) Performances assymmétriques

30 Gain de l’aggrégation assymmétrique Dual Pentium Pro 450MHz aggr. x-y: x=distant, y=interne

31 Comparaison de différentes stratégies Travaux avec C. Albrecht, R. Westrelin Sender initiated Receiver initiated

Simulations parallèles sur grappes Multicast fiable actif Optimisation de sous-systèmes de comm.

33 Thèse de Moufida Maimour 1ère thèse encadrée (encadrant HDR: Pascale Vicat- Blanc Primet) « Conception, Analyse et Validation de Protocoles de Multicast Fiables à Assistance des Routeurs », soutenue le 25 nov. 2003, ENS Lyon Source data Receiver Source data Receiver data

34 Exemple: visio-conférence Adresse de groupe multicast Vue de l’usager

35 Ce qu’il y a derrière… domain Point de peering Routeur de l’Internet Routeur d’accès

déploiement gestion de groupes session advertising construction de l’arbre allocation d’adresses routage fiabilité multicast unicast routing TCP ?

37 source ~33% L’internet n’est pas (encore) multicast! ~3-4% des AS

38 INTERNET En image cela donne… multicast AS unicast AS

39 Les problèmes d’échelle liés au multicast fiable Implosion des NACKs! NACK4 source Grand nombre de récepteurs source 1Mbps 0.5Mbps 2Mbps 5Mbps Contrôle du débit?

40 Protocoles de multicast fiable Approches de bout en bout : avec recouvrement local : Approche probabiliste [SRM] Approches hiérarchiques statiques [RMTP] ou dynamiques [TMTP, TRAM] Approches avec assistance de routeurs un arbre de recouvrement identique à l’arbre physique du multicast avec cache de données au niveau de nœuds intermédiaires [ARM, RMANP, AER] un arbre de recouvrement logique construit avec l’assistance des routeurs [LMS, PGM, AIM]

41 Réseaux actifs/programmables Casse la vision d’un réseau « bête » en autorisant les routeurs à exécuter des codes spécifiques (services actifs) Data code A1 code A2 A1 A2 Plus de flexibilité pour implémenter et déployer des services spécifiques aux applications et aux protocoles. Plus de performance globalement grâce à la réduction du trafic, à une meilleure régulation…

42 Ex: suppression globale des NACKs NACK4 data4 NACK4 1 seul NACK est transmis vers la source TAMANOIR [GELAS,LEFEVRE]

43 Etude des différentes stratégies S1 : suppression globale des NACK S2 : suppression locale des NACK S2 S : + subcast à partir de la source S3 : suppression globale des NACK + subcast à partir des routeurs S3 S : + subcast à partir de la source

44 Analyses préliminaires

45 S1 Bénéfices de l’aggrégation globale

46 Impacts de la puissance des routeurs S3 2

47 La proposition DyRAM Protocole avec de nouveaux services actifs légers (autre que le cache) pour résister au passage à l’échelle et permettre de faibles latences Election Dynamique Contrôle de Congestion subcast des repair Suppression Globale NACK Détection Rapide des pertes Partitionnement Des Récepteurs

48 Impacts sur la latence p=0.25 #grp: 6…24 4 récepteurs/groupe DPP est très bénéfique à DyRAM A : supp. des NACKs D : A + Détection des pertes DyRAM : A + Election DyRAM+ : DyRAM + Détection des pertes

49 Contrôle de congestion AMCA AMCA se base sur des services actifs d’estimation des RTTs par section Fournit une compatibilité satisfaisante avec TCP

50 Data replications Code & data transfers, interactive job submissions Data communications for distributed applications (collective & gather operations, sync. barrier) Databases, directories services Data replications Code & data transfers, interactive job submissions Data communications for distributed applications (collective & gather operations, sync. barrier) Databases, directories services Multicast address group SDSC IBM SP 1024 procs 5x12x17 =1020 NCSA Origin Array x12x(4+2+2) =480 ENS cluster 48 nodes Multicast fiable pour la grille

51 Scénario de déploiement Réseau Gbits/s VTHD routeur actif source Internet Data Center centre de calcul campus/entreprise aggrégation subcast élection calcul RTT aggrégation subcast détection des pertes

52 Multicast sur E-Toile (RNTL) ENSCERN CEA ROCQ VTHD source Implémentation de DyRAM [Bouhafs] Demo 5 juin, 2003

53 La démo sans effet démo! source CERN ENS

54 Projets Abondement ANVAR: prototypage de services actifs sur une plate-forme de réseaux actifs d'expérimentation Projet RNTL e-Toile: protocoles de multicast fiable actif pour une grille de calcul active Projet RNRT VTHD++: expérimentations du multicast actif sur un réseau très haut-débit ACI GRID: Services Réseaux et Intelligence pour la Grille

Simulations Parallèles sur grappes Multicast fiable actif Optimisation de sous-systèmes de comm.

56 Thèse de Eric Lemoine Stage de DEA: Intelligence embarquée dans les interfaces réseaux Interaction entre le système d'exploitation et le système de communication: exécuter mieux, et plus tôt, les tâches liées à la communication Etude des performances du déport de composantes logicielles vers les cartes d'interface réseaux, prototypes avec des applications cibles Continuation en thèse CIFRE avec SUN Labs, Europe (encadrement 50% avec L. Lefèvre) Contribue à l’obtention de la performance de bout-en- bout

57 Problème de robustesse NIC DMA CPU 1 CPU 2 DRIVER Backlog queue RINT RISR interruptions logicielle Copies effectuées dans le contexte de l’interruption D max Système robuste Effondrement des performances D max Débit d’entrée Débit de sortie

58 Problème de performance NIC DMA CPU 1 CPU 2 DRIVER Device queue RINT interruption logicielle RISR NAPI dans Linux [SALIM et al] Mode polling: on vide et traite l’anneau entièrement (RINT disabled) CPU 1 CPU 2 CPU 3 CPU 4 t

59 Exemple: serveur web Contenu populaire Beaucoup de petites requêtes: plusieurs milliers/min… …engendrant des flux lourds en retour. Sujet aux attaques de type DOS, DDOS

60 Proposition KNET NIC DMA DRIVER Threads réseau CPU 1 CPU 2 classification CPU 1 CPU 2 Device queue RINT RISR 1 anneau de réception par CPU Classification au plus tôt Remonté en parallèle de paquets Myrinet ip_src & (nb_proc-1) Proposition de nouveaux services à mettre dans les cartes d’interface

61 Premiers résultats KNET+sendfile() KNET+send() NAPI+sendfile() NAPI+send() 34% 17%

62 Collaborations et contrats SUN Labs 3 thèses CIFRE avec SUN Labs, Grenoble (M. Herbert, E. Lemoine et J. Laganier)

Perspectives & Conclusions

64 Perspectives de recherche Mieux utiliser les techniques de simulations parallèles Reste un énorme travail d’ingénierie pour le multicast. Etude de la problématique liée aux réseaux très haut-débit. Mécanismes de QoS pour les sous- systèmes de communications

65 Conclusions Le métier d’enseignant-chercheur est formidable! 3 axes de recherches qui contribuent à la résistance au facteur d’échelle. La recherche aussi doit nous permettre de mieux enseigner.