Exploitation de l’affinité dans les réseaux pair à pair

Présentation au sujet: "Exploitation de l’affinité dans les réseaux pair à pair"— Transcription de la présentation:

1 Exploitation de l’affinité dans les réseaux pair à pair
Anne-Marie Kermarrec Projet PARIS INRIA Rennes/IRISA Porquerolles 2004 Good morning everyone. My name is AMK, I;m woth INRIA in Rennes, France. We’ve been discussing for almost 2 days now of the various faces of self-organizing systems. The moast popular instances of self-organizing systems are definitely today p2p overlays and their applications. \What I’m going to talk about today is rather than presenting a new idea, is to extract what has been going on recently in a number of work towards the clustering properties of such P2P overlays. Characterize clustering properties Make systems 13-15 Septembre 2004

2 Contexte Trafic P2P dominant sur Internet (60-70%)
Application majeure déployée: systèmes de partage de fichiers Réseaux P2P génériques Auto-organisation & disponibilté Symétrie entre pairs/ équilibrage de charge Connaissance locale du système Les pairs ne sont pas tous égaux entre eux Proximité géographique Proximité sociale Proximité sémantique Exploitation de l’affinité entre pairs pour améliorer la performance, disponibilité… Mesure de la distance dépendante de l’application Ajouter ou remplacer des connections entre pairs 13-15 Septembre 2004

3 Réseaux pair à pair Site 2 N Site 3 N N ISP1 ISP2 N N ISP3 Site 4 N N
Système distribué Absence de contrôle centralisé Auto-organisation Agrégation de ressource (bande passante, éléments de stockage et de calcul) Partage de fichiers Napster, Gnutella, Morpheus, KaZaA, EDonkey, etc Site 2 N Site 3 N N ISP1 ISP2 N N ISP3 Site 4 N N Site 1 13-15 Septembre 2004

4 Structuration des réseaux P2P
Expansion incrémentale, passage à l’échelle Mise en oeuvre efficace de tels réseaux complexe Réseaux non structurés (Gnutella,Freenet) : construction aléatoire du graphe de connections Réseaux structurés (CAN,Chord,Pastry,Tapestry,PNRP) : structure conforme de graphe 13-15 Septembre 2004

5 Itinéraire Exploitation de la proximité géographique dans les réseaux de pairs Exploitation du réseau social ou amical Exploitation de la proximité d’intérêt dans les systèmes de partage de fichiers 13-15 Septembre 2004

6 Exploitation de la localité géographique
Pas de corrélation à priori entre les liens logiques et le réseau sous-jacent Large surcoût Charge réseau Latence entre deux points Prise en compte de la topologie réseau dans le choix des liens 13-15 Septembre 2004

7 Réseau structuré : routage de proximité
Espace géographique Pastry [Rowstron & Druschel 2001] d467c4 d471f1 d467c4 d462ba d46a1c IP*1.6 d4213f Route(d46a1c) d13da3 d4213f 65a1fc 65a1fc Espace de nommage d462ba 13-15 Septembre 2004 d13da3

8 Réseau non structuré Our take is to propose some loalisation which result in applying a loose structure on the nertwork so in that particular case we are interesting in two things: balancing the degree and take into account geographical locality k k j i j i Reconnexions locales [Massoulié, Kermarrec, Ganesh SRDS03] 13-15 Septembre 2004

9 2 – Exploitation des liens sociaux
SPROUT (Social Path Routing) [Marti & al, IPTPS 2004] Limiter l’impact des utilisateurs malicieux Corrélation entre la fiabilité du routage et la distance sociale des pairs traversés Liens additionnels aux amis Utilisation des services Instant Messaging pour détecter cette proximité 13-15 Septembre 2004

10 SPROUT, Algorithme Mis en œuvre au dessus d’une DHT (Chord)
Liens aux voisins séquenciels dans l’espace de nommage O(log(n)) liens distant Route (msg,k) Localisation des amis plus proches de k (<) Transmission à l’un d’eux le cas échéant Sinon utilisation standard de Chord Optimization Cache à plusieurs niveaux Minimum hop distance pour assurer un routage en O(log(n)) 13-15 Septembre 2004

11 Résultats Simulations 8 liens sociaux/nœud 130000 utilisateurs AOL
1000 pairs 40% de nœuds malicieux Distance moyenne Fiabilité moyenne Chord 5.343 0.3080 Chord augmenté 4.532 0.3649 SPROUT 4.569 0.4661 13-15 Septembre 2004

12 Détection de misconfigurations
Friends troubleshooting network [Wand & al IPTPS04] Identification des misconfigurations par comparaison avec un ensemble de pairs de référence (statistiques) Détermination de cet ensemble Réseau P2P: liens entre machines reflète des liens réels entre les utilisateurs des machines 13-15 Septembre 2004

13 3 – Exploitation de la localité d’intérêt
Applications de partage de fichiers Présence de localité d’intérêt Intuition confirmée par l’analyse des traces du réseau edonkey Forte corrélation entre les caches clients observés Tendance plus marquée pour les fichiers rares et audio Comment détecter cette affinité ? LRU [Sripanidkulchain & al 03] History [Voulgaris & al 04] Comment l’utiliser Amélioration des mécanismes de recherche 13-15 Septembre 2004

14 Création de liens sémantiques
13-15 Septembre 2004

15 Création de liens sémantiques
Réseaux structurés et non structurés : 1ère phase avant la recherche classique Réseau hiérarchique: 1ère phase pour éviter les serveurs Evaluation des liens sémantiques Analyse de la popularités fournit des résultats similaires Dans Kazaa, exprimé en nombre de requêtes Dans eDonkey, exprimé en nombre de répliques Comportement Fetch-once [Gummadi & al SOSP03] Simulation des listes de requêtes Crawl des caches eDonkey (Nov 2003) 12,000 clients, 923,000 fichiers En collaboration avec S. Handurukande, F. Le Fessant et L. Massoulié (SIGOPS EW 2004) 13-15 Septembre 2004

16 Impact sur le taux de hit
History-based Random LRU 60 50 40 Hits % 30 20 10 5 10 20 100 200 2000 Contacted Peers 13-15 Septembre 2004

17 Cliques sémantiques 2nd Hop Semantic One Hop Hits % List Size
80 70 60 50 Hits % 40 30 20 10 5 10 20 100 List Size 13-15 Septembre 2004

18 Generous uploaders syndrome
60 50 40 30 With All Uploaders Top 10% of Uploaders Removed Top 5% of Uploaders Removed 20 10 Top 15% of Uploaders removed 50 100 150 200 250 List Size (with LRU) 13-15 Septembre 2004

19 Liens raffinés With 1 cache for all files (LRU)
One cache for Audio files (LRU) 60 50 40 Hits for Audio files % 30 20 10 5 10 20 Number of semantic links 13-15 Septembre 2004

20 Conclusion Les pairs ne sont pas tous égaux
Nombreuses formes d’affinité émergent Exploitation de l’affinité améliore la performance Challenge: détecter et utiliser ces liens privilégiés sans compromettre les capacités de passage à l’échelle de ces réseaux Critères et détection de l’affinité propre à chaqueapplication Remise en cause des réseaux génériques ? 13-15 Septembre 2004

21 Symposium on Operating Systems Principles
SOSP-20 SIGOPS Symposium on Operating Systems Principles October 23-26, 2005 The Grand Hotel, Brighton, United Kingdom Dependability and fault-tolerance Scalability and Performance Mobile computing Power Management Security System design Storage systems Sensor Networks Overlay networks etc… Submission deadline: March 25, 2005 13-15 Septembre 2004

22 Popularity patterns 13-15 Septembre 2004

23 Sharing patterns 13-15 Septembre 2004

24 Global clustering property
13-15 Septembre 2004

25 Clustering versus popularity
13-15 Septembre 2004