Mémoires Partagées Distribuées pour systèmes dynamiques à grande échelle Vincent Gramoli

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group Plan Introduction MPD et Dynamisme MPD et Passage à léchelle Conclusion

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group Motivations Primitives de lecture/écriture Cohérence Tolérance aux dynamisme Passage à léchelle Applications possibles Travail coopératif en systèmes dynamiques WebServices et P2P: billets de train, enchères…

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group Modèle Système distribué Ensemble de noeuds avec identifiants uniques. Système dynamique Chaque noeud peut crasher, quitter ou arriver à tout moment. Un noeud arrivant a un nouvel identifiant. Communication asynchrone Transmission arbitrairement longue Un message est reçu ssi il a été envoyé Mémoire Chaque objet est répliqué sur des noeuds serveurs. Chaque objet est accédé (lus/écrits) par des nœuds clients.

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group Atomicité de mémoire partagée distribuée Grossièrement, Tous les noeuds voient la conséquence de toute opération en fonction du moment auquel lopération se produit. Plus précisément, ils les voient dans un ordre précis: 1.Opérations (Ops.) non-concurrentes apparaissent dans lordre de leur éxécution. 2.Ops. décriture sont ordonnées totalement. 3.Ops. de lecture sont ordonnées par rapport aux écritures. 4.Une op. de lecture retourne la valeur écrite par lécriture la précédant (ou la valeur par défaut, si aucune existe).

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group Example P1 P2 R(v0) W(v1) P1 et P2 accèdent le même objet dont la valeur par défaut est v0.

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group Example P1 P2 R(v0) W(v1) Moment doccurrence virtuelle (i.e., point de serialization)

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group Contre-example P1 P2 R(v0) W(v1) P3 R(v1)

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group Contre-example P1 P2 R(v0) W(v1) R(v0) < W(v1) < R(v1) by property 4. But R(v0) > R(v1) by property 1 P3 R(v1)

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group Opérations utilisant les quorums Quorums: Ensembles qui sintersectent mutuellement (ici, de taille O(n)). Chaque opération consulte et propage sur un quorum [ABD95]. Example, dans le cas précédent:

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group Opérations utilisant les quorums Quorums: Ensembles qui sintersectent mutuellement (ici, de taille O(n)). Chaque opération consulte et propage sur un quorum [ABD95]. Example, dans le cas précédent: Si la lecture de P3 termine après avoir vu v1, Alors v1 a été propagé et P2 voit v1 lors de sa lecture. P1 P2 R(v1) consulte un quorum W(v1) P3 R(v1) propage sur un quorum

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group MPD et Dynamisme serveursclients Operations: temps: O(1) msg: O(n) Connaissance globale Un client connaît tout un quorum

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group MPD et Dynamisme serveurs Operations: temps: O(1) msg: O(n) Reconfiguration: temps: O(1) msg: O(n) Connaissance globale La reconfiguration est périodique

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group MPD et Dynamisme serveurs Operations: temps: O(1) msg: O(n) Reconfiguration: temps: O(1) msg: O(n) Connaissance globale La reconfiguration est périodique

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group MPD et Dynamisme serveurs Operations: temps: O(1) msg: O(n) Reconfiguration: temps: O(1) msg: O(n) Connaissance globale La reconfiguration est générale

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group MPD et Dynamisme serveurs Operations: temps: O(1) msg: O(n) Reconfiguration: temps: O(1) msg: O(n) Connaissance globale Les quorums entiers sont remplacés

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group MPD et Dynamisme Pannes saccumulant Reconfiguration périodique [RAMBO] Congestions possibles Diminuer nb. de msg nécessaires [GMS05] Intensification du dynamisme Accélérer la reconfiguration [RDS]

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group MPD et Passage à léchelle serveursclients Operations: temps: O(n) msg: O(n) Connaissance restreinte [NW03, SQUARE] Opérations adaptatives

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group MPD et Passage à léchelle serveurs Operations: temps: O(n) msg: O(n) Reconfiguration: temps: O(1) msg: O(1) Connaissance restreinte [NW03, SQUARE] Reconfiguration locale

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group MPD et Passage à léchelle serveurs Operations: temps: O(n) msg: O(n) Reconfiguration: temps: O(1) msg: O(1) Connaissance restreinte [NW03, SQUARE] Chaque noeud défaillant est remplacé

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group MPD et Passage à léchelle serveurs Operations: temps: O(n) msg: O(n) Reconfiguration: temps: O(1) msg: O(1) Connaissance restreinte [NW03, SQUARE] Reconfiguration à la demande

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group MPD et Passage à léchelle serveurs Operations: temps: O(n) msg: O(n) Reconfiguration: temps: O(1) msg: O(1) Connaissance restreinte [NW03, SQUARE] Reconfiguration à la demande

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group MPD et Passage à léchelle Operations: temps: O(log n) msg: O(n log n) clients / serveurs Méthode probabiliste avec structure [AM03] Opérations avec marches aléatoires

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group MPD et Passage à léchelle Operations: temps: O(log n) msg: O(n log n) Reconfiguration: temps: O(log n) msg: O(log n) clients / serveurs Méthode probabiliste avec structure [AM03] Reconfiguration de rééquilibrage du graphe

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group MPD et Passage à léchelle Operations: temps: O(log n) msg: O(n) clients / serveurs Méthode probabiliste sans structure [GKM+06] Opération épidémique

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group MPD et Passage à léchelle Operations: temps: O(log n) msg: O(n) Reconfiguration: 0 si graphe aléatoire clients / serveurs Méthode probabiliste sans structure [GKM+06] Aucune reconfiguration nécessaire

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group Conclusion SolutionsEx.InconvénientsAvantages Structurée reconfigurable RDSmessagestemps Structurée adaptative SQUAREtempsmessages Structurée probabiliste AM03garantie probabiliste temps Non-structuréeGKM+06garantie probabiliste temps et messages

JDIR 19 Janvier 2007 Vincent Gramoli, ASAP Research group Références [ABD95] Robust Emulation of a Shared Memory in Msg-passing Sys. J.ACM 95 H. Attiya, A. Bar-Noy, and D. Dolev. [RAMBO] Reconfgurable Atomic Memory in Dynamic Systems. DISC02. N. Lynch and A. Shvartsman [AM03] Probabilistic Quorums for Dynamic Systems. Dist.Comp.03. I. Abraham and D. Malkhi [NW03] Scalable and Dynamic Quorum Systems. PODC03. M. Naor and U. Wieder [GMS05] Operation Liveness and Gossip Mgt. in Distr. Atomic Data Sce. PDCS05. V. Gramoli, P. Musial, and A. Shvartsman [RDS] Reconfigurable Distributed Storage. OPODIS05 G. Chockler, S. Gilbert, V. Gramoli, P. Musial, and A. Shvartsman [GKM+06] Core Persistence in P2P Systems. RDDS06. V.Gramoli, A.-M.Kermarrec, A.Mostefaoui, M.Raynal, and B.Sericola. [SQUARE] Scalable Quorum-based Atomic Memory w/ Local Reconfiguration. SAC07 V. Gramoli, E. Anceaume, and A. Virgillito.