Lundi 15 mars 2004AS1 SplitStream : diffusion de contenu à fort besoin en bande passante Anne-Marie Kermarrec (INRIA-Rennes, IRISA) En collaboration avec.

Présentation au sujet: "Lundi 15 mars 2004AS1 SplitStream : diffusion de contenu à fort besoin en bande passante Anne-Marie Kermarrec (INRIA-Rennes, IRISA) En collaboration avec."— Transcription de la présentation:

1 Lundi 15 mars 2004AS1 SplitStream : diffusion de contenu à fort besoin en bande passante Anne-Marie Kermarrec (INRIA-Rennes, IRISA) En collaboration avec M. Castro, A. Rowstron (MSR Cambridge) P.Druschel, A. Nandi et A. Singh (Rice University)

2 Lundi 15 mars 2004 AS 2 SplitStream Distribution de contenu à fort besoin en bande-passante Distribution de fichiers Mises à jour de logiciel Diffusion de contenu multimédia Environnement coopératif Système pair-à-pair (P2P) Partage de ressources Auto organisation Pas délément de centralisation

3 Lundi 15 mars 2004 AS 3 Protocole de diffusion applicatif

4 Lundi 15 mars 2004 AS 4 Protocole de diffusion applicatif Protocoles à base darbre Déséquilibre de charge; la majorité des nœuds sont des feuilles Défaillance des nœuds internes de larbre Protocole épidémique Redondance par défaut Engendre un lourd trafic sur le réseau Inconvénients exacerbés par la nature des contenus diffusés Équité Charge réseau

5 Lundi 15 mars 2004 AS 5 Lapproche SplitStream Contenu divisé en flots (stripes) et distribué sur de multiples arbres de diffusion indépendants Équité Nœuds internes dans un arbre sont des feuilles dans les autres Disponibilité Défaillance dun nœud entraîne seulement une perte de qualité (parents indépendants) Flexibilité Saccommode de bande passante diverses

6 Lundi 15 mars 2004 AS 6 Construction dun arbre de diffusion B C E F D A G

7 Lundi 15 mars 2004 AS 7 Construction dun arbre de diffusion B C E F D A G

8 Lundi 15 mars 2004 AS 8 Arbre de diffusion unique : équité B C E F D A G IN: n kb/sec OUT: 2n kb/sec

9 Lundi 15 mars 2004 AS 9 La forêt SplitStream B C E F D A G

10 Lundi 15 mars 2004 AS 10 La forêt SplitStream B C E F D A G

11 Lundi 15 mars 2004 AS 11 La forêt SplitStream B C E F D A G

12 Lundi 15 mars 2004 AS 12 La forêt SplitStream B C E F D A G D EG B A FC A BC F G DE N kb/sec N/2 kb/sec

13 Lundi 15 mars 2004 AS 13 La forêt SplitStream B C E F D A G D EG B A FC A BC F G DE N kb/sec N/2 kb/sec

14 Lundi 15 mars 2004 AS 14 Lapproche SplitStream Difficulté majeure : construire et assurer la maintenance des multipels arbres de diffusion de manière décentralisée, fiable et extensible (passage à léchelle) afin que: Chaque client reçoive le nombre désiré de flots de données Arbres indépendants Contrôle de lallocation de bande passante Délais et charge imposées au réseau raisonnables Utilisation de Scribe/Pastry Pastry: infrastructure de routage structurée, efficace, fiable Scribe : protocole de diffusion à base darbre, décentralisé et efficace

15 Lundi 15 mars 2004 AS 15 Pastry : rappel [Rowstron-Druschel 2001] DHT Functionality 128 bit circular id space nodeIds (uniform random) objIds (uniform random) Invariant: node with numerically closest nodeId is objects root objId nodeIds O 2 128 -1

16 Lundi 15 mars 2004 AS 16 Localité dans Pastry d46a1c Route(d46a1c) d462ba d4213f d13da3 65a1fc d467c4 d471f1 Name space d467c4 65a1f c d13da3 d4213f d462ba Leaf set Proximity space IP*1.6

17 Lundi 15 mars 2004 AS 17 Scribe : rappel Create : route vers groupId Join : route vers groupId Arbre : union des routes Pastry des membres du groupe à la racine Diffusion Charge raisonnable imposée sur le réseau Délai raisonnable groupId join( groupId) Multicast (groupId) Racine join( groupId)

18 Lundi 15 mars 2004 AS 18 Scribe d13da3 65a1fc d467c4: root d471f1 Name space 26b20d Proximity space 26b20d 65a1fc d13da3 d467c4: root

19 Lundi 15 mars 2004 AS 19 SplitStream Construction dun arbre/ groupe Scribe pour chaque flot de données Chaque identificateur de flot commence par un digit différent (indépendance jusquà 16 flots) 0x1x fx …..

20 Lundi 15 mars 2004 AS 20 SplitStream : gestion de la forêt Contraintes Degré sortant limité augmente potentiellement la profondeur des arbre Besoin déquilibrer la charge entre les arbre et à lintérieur des arbres Conserver lindépendance face aux défaillances. Solution Nœuds en sous charge joignent un arbre de capacité disponible Nœuds en sur charge abandonnent des enfants Orphelins anycast à larbre de capacité disponible pour trouver de nouveaux parents

21 Lundi 15 mars 2004 AS 21 Expériences Simulations Topologies GT, Mercator, MS Corp. 40000 noeuds Pastry (b=4, leafset = 16) SplitStream : 16 flots Configurations degré entrant x degré sortant Impact de la capacité disponible 16x16, 16x18, 16x32 et 16xNB Impact de capacités/besoins variés (Gnutella) Expérimentations Construction de la forêt Performance de la diffusion

22 Lundi 15 mars 2004 AS 22 Construction de la forêt : charge des noeuds

23 Lundi 15 mars 2004 AS 23 Construction de la forêt: charge des noeuds Configuration 16x1616x1816x3216xNB Max5893428528765058 Mean74654321 Med52483017

24 Lundi 15 mars 2004 AS 24 Diffusion : charge réseau ConfigurationCentralisé (0.43) Scribe (0.47) IP (0.43) 16x16 (0.98) 16x1816x3216xN B Max639984399016141111248861616 Mean128.939.6162019 20 Med16

25 Lundi 15 mars 2004 AS 25 Pénalité de délai lors de la diffusion 0 2 4 6 8 10 12 14 16 00,511,522,5 Delay penalty Cumulative stripes RAD (16 x NB) RAD (16 x 32) RAD (16 x 18) RAD (16 x 16)

26 Lundi 15 mars 2004 AS 26 Diversité des chemins Configuration 16x1616x3216xNB Max6.86.61 Mean2.11.71 Med221 Nombre de flots perdus (au plus) a chaque noeud en cas de défaillance dun noeud

27 Lundi 15 mars 2004 AS 27 Nombre de flots reçus (Trace Gnutella, 10000 nœuds)

28 Lundi 15 mars 2004 AS 28 Défaillance catastrophique (25% de nœuds défaillants) : nombre de flots reçus (10, 000)

29 Lundi 15 mars 2004 AS 29 Défaillance catastrophique (25% de nœuds défaillants) : nombre de messages (10000 noeuds)

30 Lundi 15 mars 2004 AS 30 Conclusion SplitStream permet deffectuer de la distribution de contenus à fort besoin en bande passante de manière équitable et robuste Forêt darbres indépendants au lieu dun arbre unique Gestion extensible et décentralisée reposant sur Pastry et Scribe Bonnes propriétés de fiabilités en environnement dynamique