C. Pham Soutenance d’HDR Mardi 16 décembre 2003 ENS Lyon Quelques contributions à la résistance au facteur d’échelle dans les réseaux de communication C. Pham Soutenance d’HDR Mardi 16 décembre 2003 ENS Lyon

Brève présentation de mon parcours Juil. 1997: Thèse en informatique à Paris 6, Laboratoire LIP6, sous la direction du Pr. Serge Fdida Sep. 1997: Année post-doctorale à UCLA, sous la direction du Pr. Rajive Bagrodia Oct. 1998: MCF à U. Lyon 1 dans l'équipe de Bernard Tourancheau Jan. 1999: Création de la JE UCBL RESAM et membre permanent de cette structure Sep. 1999: Création de l'action RESO de L'INRIA Rhône-Alpes et membre de l'action Juil. 2000: Déménagement dans les locaux de l’ENS

Enseignement Responsable du DESS IIR Réseaux, UCBL Cours 3ème cycle Depuis 1999, responsable pédagogique d’une formation professionnalisante dans le domaine pointu des réseaux: définitions des enseignements, gestion des intervenants, des plannings… Cours 3ème cycle DEA DIF, DEA DISIC, DESS CCI, DESS IIR Cours 2ème cycle Maitrise informatique, MIM, MIAG Encadrement d’étudiants: maitrise, master, DEA, DESS

Le visage de l’Internet Le big-bang 1969 2003: environ 200 millions de machines

www.explosion-du-web.org

Les changements technologiques et d’échelle Généralisation de la fibre optique (DWDM) Débit dans le cœur du réseau de plusieurs dizaines de Gbits/s! 0,1 1 10 100 1000 10000 1985 1990 1995 2000 Fiber Capacity (Gbit/s) TDM DWDM 2x / 18 months 2x / 7 months Packet processing Power Link Speed From McKeown

Performances de bout-en-bout? 200km/h 100km/h 50km/h DWDM, Myrinet, 10GE, Infiniband… Système de communication traditionnel 180km/h 170km/h Comment y arriver?

Le tout-IP Transparent de Jim Kurose

Les difficultés liées à la taille Comment connaître/prendre en compte l’état global du système? Exemples Routage Déploiement de protocoles Contrôle de congestion

Les difficultés liées à la taille Aggrégation du trafic: comment supporter la charge? Exemples Sites web populaires Feedbacks

Les difficultés liées à la taille Comment étudier le système? Exemples Validation de protocoles Etude de performances Simulations Expérimentations E=MC2

Résistance au facteur d’échelle Dans les méthodes d’évaluation Dans les protocoles de communication Dans la conception des systèmes de communication AGGREGEONS!

Quelle taille pour quelle complexité 1969 Transparent emprunté à Jim Kurose

Rajouter de l’intelligence! Aggréger n’est pas suffisant, il faut aussi une distribution de l’intelligence: où, quand et comment? 100 à 1000 Mbits/s x Gbits/s réseaux actifs appli interfaces bas niveau 100 à 1000 Mbits/s intelligence embarquée protocoles de haut niveau

RESISTANCE AU FACTEUR D’ECHELLE Mes 3 thèmes de recherches Simulations parallèles sur grappes de PCs Multicast fiable actif Optimisation sous-systèmes de comm. www.robust.com RESISTANCE AU FACTEUR D’ECHELLE

Les étudiants contributeurs Thèse & DEA M. Maimour E. Lemoine Maîtrise F. Goffinet, S. Oranger L. Cavallin J. Mazuy (encadré par M. Maimour) X. Prost Master C. Albrecht R. Asthana

Simulations parallèles sur grappes Multicast fiable actif Optimisation de sous-systèmes de comm.

Simuler des systèmes complexes: 100 minutes pour convaincre! Réseaux Gbits/s 200 routeurs 1000 sources de trafic, 100Mbits/s Simulation au niveau du packet (500 octets), 1 évènement par paquet Plus de 30 millions d’évènements à simuler pour 1s de temps réel. 12h pour simuler 72s (event=20us) capacité des liens  temps de simulation  généralement, plus d’ 1 événement par paquet

Simulation parallèle de réseaux logical process (LP) packet h event t parallèle

CSAM CSAM: Conservative Simulator for ATM network Model travaux de thèse CSAM: Conservative Simulator for ATM network Model Simulation au niveau de la cellule Approche conservative (aucune faute temporelle) Fonctionne sur CM-5, Cray T3E Exploite le lookahead des liens de communication: usage transparent

Modèle de base: 78 comm. ATM Routage avec fonctions de coût dynamiques Contrôle d’admission travaux de thèse

La suite MPI-BIP/BIP-SMP/BIP Projet BIP [Prylli, Tourancheau]: librairie de communication optimisée pour Myrinet MPI-BIP, BIP-SMP [Westrelin, Geoffray, Tourancheau] MPI-BIP L’équipe de Lyon avait une expertise dans le domaine des librairies de communication haute-performance sur cluster, c’est tout naturellement que j’ai orienté mes recherches sur ces architectures. BIP BIP-SMP les NICs programmables changent la distribution spatiale traditionnelle des tâches. Myrinet physical layer

Machines parallèles vs grappes Station de travail Cluster SUN/e-Toile Chères Vite dépassés Peu accessibles Facilement « upgradés » Facilement intégrés Perf. interconnexion 

Les clusters dans le TOP 500 16 Nov. 2003 7 clusters dans le TOP 10!

Les grappes sous Myrinet Commutateur full crossbar Routage wormhole faible latence NIC processeur RISC programmable mémoire locale plusieurs DMA Dernières caractéristiques Processeur jusqu’à 333 Mhz Mémoire jusqu’à 8MB Bus 64 bit PCI & PCI-X Lien à 2Gbit/s full duplex

Simulations // avec BIP & MPI/BIP Comment améliorer ces performances? Simulations parallèles sur grappes Pentium Pro 200MHz Aggrégeons l’envoi des messages (Obsolètes)

Pourquoi peut-on aggréger? Le simulateur alterne phase de traitement et phase de récupération de messages Encadrement de C. Albrecht, Univ. Luebeck Événements à traiter avant d’en récupérer d’autres

Taille d’un message = 42 octets Aggréger dans CSAM Aggrégation: 1 buffer/récepteur Etude de la taille d’aggrégation prise en compte des perf. de BIP/MPI-BIP Taille d’un message = 42 octets

Machine multi-processeurs Travaux effectués avec P. Geoffray, utilisation de BIP-SMP Aggrégation sur des CLUters of Multi-Processors (CLUMPs) Performances assymmétriques

Gain de l’aggrégation assymmétrique Dual Pentium Pro 450MHz aggr. x-y: x=distant, y=interne

Comparaison de différentes stratégies Travaux avec C. Albrecht, R Comparaison de différentes stratégies Travaux avec C. Albrecht, R. Westrelin Sender initiated Receiver initiated

Simulations parallèles sur grappes Multicast fiable actif Optimisation de sous-systèmes de comm.

Thèse de Moufida Maimour 1ère thèse encadrée (encadrant HDR: Pascale Vicat-Blanc Primet) « Conception, Analyse et Validation de Protocoles de Multicast Fiables à Assistance des Routeurs », soutenue le 25 nov. 2003, ENS Lyon Source Source data Receiver data data data data data data Receiver Receiver Receiver

Exemple: visio-conférence Vue de l’usager 224.34.7.12 Adresse de groupe multicast 224.34.7.12

Ce qu’il y a derrière… domain Point de peering Routeur d’accès 224.34.7.12 domain Point de peering Routeur d’accès Routeur de l’Internet

? unicast multicast TCP déploiement routing gestion de groupes session advertising construction de l’arbre allocation d’adresses routage fiabilité routing

L’internet n’est pas (encore) multicast! ~3-4% des AS ~33% source www.multicasttech.com/status

En image cela donne… multicast AS INTERNET unicast AS

Les problèmes d’échelle liés au multicast fiable source NACK4 NACK4 NACK4 Implosion des NACKs! Grand nombre de récepteurs NACK4 source 1Mbps 1Mbps 5Mbps 2Mbps Contrôle du débit? 0.5Mbps 2Mbps

Protocoles de multicast fiable Approches de bout en bout : avec recouvrement local : Approche probabiliste [SRM] Approches hiérarchiques statiques [RMTP] ou dynamiques [TMTP, TRAM] Approches avec assistance de routeurs un arbre de recouvrement identique à l’arbre physique du multicast avec cache de données au niveau de nœuds intermédiaires [ARM, RMANP, AER] un arbre de recouvrement logique construit avec l’assistance des routeurs [LMS, PGM, AIM]

Réseaux actifs/programmables Casse la vision d’un réseau « bête » en autorisant les routeurs à exécuter des codes spécifiques (services actifs) A1 Data code A1 Data A2 Plus de flexibilité pour implémenter et déployer des services spécifiques aux applications et aux protocoles. Plus de performance globalement grâce à la réduction du trafic, à une meilleure régulation… code A2

Ex: suppression globale des NACKs data4 TAMANOIR [GELAS,LEFEVRE] NACK4 1 seul NACK est transmis vers la source

Etude des différentes stratégies S1 : suppression globale des NACK S2 : suppression locale des NACK S2S : + subcast à partir de la source S3 : suppression globale des NACK + subcast à partir des routeurs S3S : + subcast à partir de la source

Analyses préliminaires

Bénéfices de l’aggrégation globale

Impacts de la puissance des routeurs 2

La proposition DyRAM Protocole avec de nouveaux services actifs légers (autre que le cache) pour résister au passage à l’échelle et permettre de faibles latences subcast des repair Suppression Globale NACK Détection Rapide des pertes Partitionnement Des Récepteurs Election Dynamique Contrôle de Congestion

Impacts sur la latence #grp: 6…24 A : supp. des NACKs D : A + 4 récepteurs/groupe #grp: 6…24 A : supp. des NACKs D : A + Détection des pertes DyRAM : A + Election DPP est très bénéfique à DyRAM DyRAM+ : DyRAM + Détection des pertes p=0.25 #grp: 6…24

Contrôle de congestion AMCA AMCA se base sur des services actifs d’estimation des RTTs par section Fournit une compatibilité satisfaisante avec TCP

Multicast fiable pour la grille Data replications Code & data transfers, interactive job submissions Data communications for distributed applications (collective & gather operations, sync. barrier) Databases, directories services SDSC IBM SP 1024 procs 5x12x17 =1020 224.2.0.1 NCSA Origin Array 256+128+128 5x12x(4+2+2) =480 ENS cluster 48 nodes Multicast address group 224.2.0.1

Scénario de déploiement centre de calcul campus/entreprise source aggrégation subcast détection des pertes routeur actif routeur actif Réseau Gbits/s VTHD aggrégation subcast élection calcul RTT routeur actif Internet Data Center centre de calcul

Multicast sur E-Toile (RNTL) Implémentation de DyRAM [Bouhafs] Demo 5 juin, 2003 ROCQ CEA VTHD ENS CERN source

La démo sans effet démo! CERN ENS source ENS ENS

Projets Abondement ANVAR: prototypage de services actifs sur une plate-forme de réseaux actifs d'expérimentation Projet RNTL e-Toile: protocoles de multicast fiable actif pour une grille de calcul active Projet RNRT VTHD++: expérimentations du multicast actif sur un réseau très haut-débit ACI GRID: Services Réseaux et Intelligence pour la Grille

Simulations Parallèles sur grappes Multicast fiable actif Optimisation de sous-systèmes de comm.

Thèse de Eric Lemoine Stage de DEA: Intelligence embarquée dans les interfaces réseaux Interaction entre le système d'exploitation et le système de communication: exécuter mieux, et plus tôt, les tâches liées à la communication Etude des performances du déport de composantes logicielles vers les cartes d'interface réseaux, prototypes avec des applications cibles Continuation en thèse CIFRE avec SUN Labs, Europe (encadrement 50% avec L. Lefèvre) Contribue à l’obtention de la performance de bout-en-bout

Problème de robustesse interruptions logicielle Copies effectuées dans le contexte de l’interruption CPU1 CPU2 Backlog queue Dmax Système robuste Effondrement des performances Débit d’entrée Débit de sortie RISR DRIVER RINT NIC DMA

Problème de performance NAPI dans Linux [SALIM et al] Mode polling: on vide et traite l’anneau entièrement (RINT disabled) CPU1 CPU2 CPU3 CPU4 t interruption logicielle DRIVER CPU1 CPU2 Device queue RISR RINT NIC DMA

Exemple: serveur web Contenu populaire www.non-robuste.com Contenu populaire Beaucoup de petites requêtes: plusieurs milliers/min… …engendrant des flux lourds en retour. Sujet aux attaques de type DOS, DDOS

Proposition KNET 1 anneau de réception par CPU Classification au plus tôt Remonté en parallèle de paquets CPU1 CPU2 Threads réseau DRIVER CPU1 CPU2 Device queue RISR RINT DMA NIC ip_src & (nb_proc-1) Myrinet classification Proposition de nouveaux services à mettre dans les cartes d’interface

Premiers résultats 34% 17% KNET+sendfile() KNET+send() NAPI+sendfile()

Collaborations et contrats SUN Labs 3 thèses CIFRE avec SUN Labs, Grenoble (M. Herbert, E. Lemoine et J. Laganier)

Perspectives & Conclusions

Perspectives de recherche Mieux utiliser les techniques de simulations parallèles Reste un énorme travail d’ingénierie pour le multicast. Etude de la problématique liée aux réseaux très haut-débit. Mécanismes de QoS pour les sous-systèmes de communications

Conclusions Le métier d’enseignant-chercheur est formidable! 3 axes de recherches qui contribuent à la résistance au facteur d’échelle. La recherche aussi doit nous permettre de mieux enseigner.