La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Quelques contributions à la résistance au facteur déchelle dans les réseaux de communication C. Pham Soutenance dHDR Mardi 16 décembre 2003 ENS Lyon.

Présentations similaires


Présentation au sujet: "Quelques contributions à la résistance au facteur déchelle dans les réseaux de communication C. Pham Soutenance dHDR Mardi 16 décembre 2003 ENS Lyon."— Transcription de la présentation:

1 Quelques contributions à la résistance au facteur déchelle dans les réseaux de communication C. Pham Soutenance dHDR Mardi 16 décembre 2003 ENS Lyon

2 22 Brève présentation de mon parcours Juil. 1997: Thèse en informatique à Paris 6, Laboratoire LIP6, sous la direction du Pr. Serge Fdida Sep. 1997: Année post-doctorale à UCLA, sous la direction du Pr. Rajive Bagrodia Oct. 1998: MCF à U. Lyon 1 dans l'équipe de Bernard Tourancheau Jan. 1999: Création de la JE UCBL RESAM et membre permanent de cette structure Sep. 1999: Création de l'action RESO de L'INRIA Rhône-Alpes et membre de l'action Juil. 2000: Déménagement dans les locaux de lENS

3 33 Enseignement Responsable du DESS IIR Réseaux, UCBL Depuis 1999, responsable pédagogique dune formation professionnalisante dans le domaine pointu des réseaux: définitions des enseignements, gestion des intervenants, des plannings… Cours 3ème cycle DEA DIF, DEA DISIC, DESS CCI, DESS IIR Cours 2ème cycle Maitrise informatique, MIM, MIAG Encadrement détudiants: maitrise, master, DEA, DESS

4 Le visage de lInternet Le big-bang : environ 200 millions de machines

5 55

6 66 Les changements technologiques et déchelle Généralisation de la fibre optique (DWDM) Débit dans le cœur du réseau de plusieurs dizaines de Gbits/s! 0, Fiber Capacity (Gbit/s) TDMDWDM 2x / 18 months2x / 7 months Packet processing Power Link Speed From McKeown

7 77 DWDM, Myrinet, 10GE, Infiniband… Système de communication traditionnel Comment y arriver? 200km/h100km/h 180km/h 50km/h 170km/h Performances de bout-en-bout?

8 88 Le tout-IP Transparent de Jim Kurose

9 99 Les difficultés liées à la taille Comment connaître/prendre en compte létat global du système? Exemples Routage Déploiement de protocoles Contrôle de congestion

10 10 Les difficultés liées à la taille Aggrégation du trafic: comment supporter la charge? Exemples Sites web populaires Feedbacks

11 11 Les difficultés liées à la taille Comment étudier le système? Exemples Validation de protocoles Etude de performances Simulations Expérimentations E=MC 2

12 12 Résistance au facteur déchelle Dans les méthodes dévaluation Dans les protocoles de communication Dans la conception des systèmes de communication AGGREGEONS!

13 13 Quelle taille pour quelle complexité Transparent emprunté à Jim Kurose 1969

14 14 réseaux actifs protocoles de haut niveau appli interfaces bas niveau x Gbits/s 100 à 1000 Mbits/s intelligence embarquée 100 à 1000 Mbits/s Rajouter de lintelligence! Aggréger nest pas suffisant, il faut aussi une distribution de lintelligence: où, quand et comment?

15 15 Mes 3 thèmes de recherches Simulations parallèles sur grappes de PCs Multicast fiable actif Optimisation sous-systèmes de comm. RESISTANCE AU FACTEUR DECHELLE

16 16 Les étudiants contributeurs Thèse & DEA M. Maimour E. Lemoine Maîtrise F. Goffinet, S. Oranger L. Cavallin J. Mazuy (encadré par M. Maimour) X. Prost Master C. Albrecht R. Asthana

17 Simulations parallèles sur grappes Multicast fiable actif Optimisation de sous-systèmes de comm.

18 18 Simuler des systèmes complexes: 100 minutes pour convaincre! Réseaux Gbits/s 200 routeurs 1000 sources de trafic, 100Mbits/s Simulation au niveau du packet (500 octets), 1 évènement par paquet capacité des liens temps de simulation généralement, plus d 1 événement par paquet Plus de 30 millions dévènements à simuler pour 1s de temps réel. 12h pour simuler 72s (event=20us)

19 19 Simulation parallèle de réseaux logical process (LP) packetheventt parallèle

20 20 CSAM CSAM: Conservative Simulator for ATM network Model Simulation au niveau de la cellule Approche conservative (aucune faute temporelle) Fonctionne sur CM-5, Cray T3E Exploite le lookahead des liens de communication: usage transparent travaux de thèse

21 21 Modèle de base: 78 comm. ATM Routage avec fonctions de coût dynamiques Contrôle dadmission travaux de thèse

22 22 La suite MPI-BIP/BIP-SMP/BIP Projet BIP [Prylli, Tourancheau]: librairie de communication optimisée pour Myrinet MPI-BIP, BIP-SMP [Westrelin, Geoffray, Tourancheau] Myrinet physical layer BIP BIP-SMP MPI-BIP les NICs programmables changent la distribution spatiale traditionnelle des tâches.

23 23 Facilement « upgradés » Facilement intégrés Perf. interconnexion Machines parallèles vs grappes Cluster SUN/e-Toile Station de travail Chères Vite dépassés Peu accessibles

24 24 Les clusters dans le TOP Nov clusters dans le TOP 10!

25 25 Les grappes sous Myrinet Commutateur full crossbar Routage wormhole faible latence NIC processeur RISC programmable mémoire locale plusieurs DMA Dernières caractéristiques Processeur jusquà 333 Mhz Mémoire jusquà 8MB Bus 64 bit PCI & PCI-X Lien à 2Gbit/s full duplex

26 26 Simulations // avec BIP & MPI/BIP Aggrégeons lenvoi des messages (Obsolètes) Comment améliorer ces performances? Simulations parallèles sur grappes Pentium Pro 200MHz

27 27 Pourquoi peut-on aggréger? Le simulateur alterne phase de traitement et phase de récupération de messages Encadrement de C. Albrecht, Univ. Luebeck Événements à traiter avant den récupérer dautres

28 28 Aggréger dans CSAM Aggrégation: 1 buffer/récepteur Etude de la taille daggrégation prise en compte des perf. de BIP/MPI-BIP Taille dun message = 42 octets

29 29 Machine multi-processeurs Travaux effectués avec P. Geoffray, utilisation de BIP-SMP Aggrégation sur des CLUters of Multi- Processors (CLUMPs) Performances assymmétriques

30 30 Gain de laggrégation assymmétrique Dual Pentium Pro 450MHz aggr. x-y: x=distant, y=interne

31 31 Comparaison de différentes stratégies Travaux avec C. Albrecht, R. Westrelin Sender initiated Receiver initiated

32 Simulations parallèles sur grappes Multicast fiable actif Optimisation de sous-systèmes de comm.

33 33 Thèse de Moufida Maimour 1ère thèse encadrée (encadrant HDR: Pascale Vicat- Blanc Primet) « Conception, Analyse et Validation de Protocoles de Multicast Fiables à Assistance des Routeurs », soutenue le 25 nov. 2003, ENS Lyon Source data Receiver Source data Receiver data

34 34 Exemple: visio-conférence Adresse de groupe multicast Vue de lusager

35 35 Ce quil y a derrière… domain Point de peering Routeur de lInternet Routeur daccès

36 déploiement gestion de groupes session advertising construction de larbre allocation dadresses routage fiabilité multicast unicast routing TCP ?

37 37 source ~33% Linternet nest pas (encore) multicast! ~3-4% des AS

38 38 INTERNET En image cela donne… multicast AS unicast AS

39 39 Les problèmes déchelle liés au multicast fiable Implosion des NACKs! NACK4 source Grand nombre de récepteurs source 1Mbps 0.5Mbps 2Mbps 5Mbps Contrôle du débit?

40 40 Protocoles de multicast fiable Approches de bout en bout : avec recouvrement local : Approche probabiliste [SRM] Approches hiérarchiques statiques [RMTP] ou dynamiques [TMTP, TRAM] Approches avec assistance de routeurs un arbre de recouvrement identique à larbre physique du multicast avec cache de données au niveau de nœuds intermédiaires [ARM, RMANP, AER] un arbre de recouvrement logique construit avec lassistance des routeurs [LMS, PGM, AIM]

41 41 Réseaux actifs/programmables Casse la vision dun réseau « bête » en autorisant les routeurs à exécuter des codes spécifiques (services actifs) Data code A1 code A2 A1 A2 Plus de flexibilité pour implémenter et déployer des services spécifiques aux applications et aux protocoles. Plus de performance globalement grâce à la réduction du trafic, à une meilleure régulation…

42 42 Ex: suppression globale des NACKs NACK4 data4 NACK4 1 seul NACK est transmis vers la source TAMANOIR [GELAS,LEFEVRE]

43 43 Etude des différentes stratégies S1 : suppression globale des NACK S2 : suppression locale des NACK S2 S : + subcast à partir de la source S3 : suppression globale des NACK + subcast à partir des routeurs S3 S : + subcast à partir de la source

44 44 Analyses préliminaires

45 45 S1 Bénéfices de laggrégation globale

46 46 Impacts de la puissance des routeurs S3 2

47 47 La proposition DyRAM Protocole avec de nouveaux services actifs légers (autre que le cache) pour résister au passage à léchelle et permettre de faibles latences Election Dynamique Contrôle de Congestion subcast des repair Suppression Globale NACK Détection Rapide des pertes Partitionnement Des Récepteurs

48 48 Impacts sur la latence p=0.25 #grp: 6…24 4 récepteurs/groupe DPP est très bénéfique à DyRAM A : supp. des NACKs D : A + Détection des pertes DyRAM : A + Election DyRAM+ : DyRAM + Détection des pertes

49 49 Contrôle de congestion AMCA AMCA se base sur des services actifs destimation des RTTs par section Fournit une compatibilité satisfaisante avec TCP

50 50 Data replications Code & data transfers, interactive job submissions Data communications for distributed applications (collective & gather operations, sync. barrier) Databases, directories services Data replications Code & data transfers, interactive job submissions Data communications for distributed applications (collective & gather operations, sync. barrier) Databases, directories services Multicast address group SDSC IBM SP 1024 procs 5x12x17 =1020 NCSA Origin Array x12x(4+2+2) =480 ENS cluster 48 nodes Multicast fiable pour la grille

51 51 Scénario de déploiement Réseau Gbits/s VTHD routeur actif source Internet Data Center centre de calcul campus/entreprise aggrégation subcast élection calcul RTT aggrégation subcast détection des pertes

52 52 Multicast sur E-Toile (RNTL) ENSCERN CEA ROCQ VTHD source Implémentation de DyRAM [Bouhafs] Demo 5 juin, 2003

53 53 La démo sans effet démo! source CERN ENS

54 54 Projets Abondement ANVAR: prototypage de services actifs sur une plate-forme de réseaux actifs d'expérimentation Projet RNTL e-Toile: protocoles de multicast fiable actif pour une grille de calcul active Projet RNRT VTHD++: expérimentations du multicast actif sur un réseau très haut-débit ACI GRID: Services Réseaux et Intelligence pour la Grille

55 Simulations Parallèles sur grappes Multicast fiable actif Optimisation de sous-systèmes de comm.

56 56 Thèse de Eric Lemoine Stage de DEA: Intelligence embarquée dans les interfaces réseaux Interaction entre le système d'exploitation et le système de communication: exécuter mieux, et plus tôt, les tâches liées à la communication Etude des performances du déport de composantes logicielles vers les cartes d'interface réseaux, prototypes avec des applications cibles Continuation en thèse CIFRE avec SUN Labs, Europe (encadrement 50% avec L. Lefèvre) Contribue à lobtention de la performance de bout-en- bout

57 57 Problème de robustesse NIC DMA CPU 1 CPU 2 DRIVER Backlog queue RINT RISR interruptions logicielle Copies effectuées dans le contexte de linterruption D max Système robuste Effondrement des performances D max Débit dentrée Débit de sortie

58 58 Problème de performance NIC DMA CPU 1 CPU 2 DRIVER Device queue RINT interruption logicielle RISR NAPI dans Linux [SALIM et al] Mode polling: on vide et traite lanneau entièrement (RINT disabled) CPU 1 CPU 2 CPU 3 CPU 4 t

59 59 Exemple: serveur web Contenu populaire Beaucoup de petites requêtes: plusieurs milliers/min… …engendrant des flux lourds en retour. Sujet aux attaques de type DOS, DDOS

60 60 Proposition KNET NIC DMA DRIVER Threads réseau CPU 1 CPU 2 classification CPU 1 CPU 2 Device queue RINT RISR 1 anneau de réception par CPU Classification au plus tôt Remonté en parallèle de paquets Myrinet ip_src & (nb_proc-1) Proposition de nouveaux services à mettre dans les cartes dinterface

61 61 Premiers résultats KNET+sendfile() KNET+send() NAPI+sendfile() NAPI+send() 34% 17%

62 62 Collaborations et contrats SUN Labs 3 thèses CIFRE avec SUN Labs, Grenoble (M. Herbert, E. Lemoine et J. Laganier)

63 Perspectives & Conclusions

64 64 Perspectives de recherche Mieux utiliser les techniques de simulations parallèles Reste un énorme travail dingénierie pour le multicast. Etude de la problématique liée aux réseaux très haut-débit. Mécanismes de QoS pour les sous- systèmes de communications

65 65 Conclusions Le métier denseignant-chercheur est formidable! 3 axes de recherches qui contribuent à la résistance au facteur déchelle. La recherche aussi doit nous permettre de mieux enseigner.


Télécharger ppt "Quelques contributions à la résistance au facteur déchelle dans les réseaux de communication C. Pham Soutenance dHDR Mardi 16 décembre 2003 ENS Lyon."

Présentations similaires


Annonces Google