Télécharger la présentation
La présentation est en train de télécharger. S'il vous plaît, attendez
1
Présentation de Thèse en Informatique
Université Paris Dauphine *CERIA Lab. *04 Octobre 2004 Contribution à la Conception et à l’Implantation de la Structure de Données Distribuée et Scalable à Haute Disponibilité: LH*RS Rim Moussa Directeur de Thèse: Pr. Witold Litwin Rapporteurs: Pr. Thomas J.E. Schwarz Pr. Toré Risch Suffrageant: Pr. Gérard Lévy Présentation de Thèse en Informatique
2
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Plan Problématique Etat de l’Art Fondements Thèoriques de LH*RS Le Gestionnaire LH*RS Expérimentations Création d’un Fichier LH*RS Récupération de Cases Ajout de Cases de Parité Conclusion & Travaux Futurs 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
3
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Faits … Volume d’Information de 30% /an Technologie Infrastructure Réseau >> D’après la loi de Gilder, la bande passante triple tous les ans. Evolution en Capacités de Stockage & de Calcul des PCs >> D’après la loi de Moore, les capacités de stockage & de calcul des PCs doublent tous les 18 mois. Différentiel Disques & CPUs Besoin de Systémes de Stockage de Données Distribués les SDDS: LH*, RP* … Haut Débit 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Faits … Multiordinateurs >>Architecture Modulaire >>Bon Rapport Prix Performance Réseau Échecs Fréquents et Coûteux >> Stat. publiées par le Contingency Planning Research en 1996: le coût d’interruption de service/h d’une app. de courtage est $6,45 million. Besoin de Systèmes de Stockage Distribués et à Haute Disponibilité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
5
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Etat de l’Art Réplication des Données (+) Bon Temps de Réponse, les miroirs sont fonctionnels (-) Coût de Stockage (n si n répliquas) Calcul de Parité Critères d’évaluation de Codes de Correction d’Effacements (ang. Erasure-resilient codes): Taux de Codage (volume parité / volume données) Pénalité de Mise à Jour (des volumes de parité) Taille du Groupe utilisé pour la Récupération Complexité du Codage & du Décodage Capacité de Récupération 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
6
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Schémas de Parité Schémas 1-disponibles Calcul de parité par XOR : Technologie RAID [PGK88], SDDS LH*g [L96] … Schémas k-diponibles Codes Linéaires Binaires: [H94] Tolérent au max. 3 échecs Array Codes: EVENODD [B94 ], X-code [XB99], RDP [C+04] Tolèrent au max. 2 échecs Codes Reed Solomon: IDA [R89], RAID X [W91], FEC [B95], Tutorial [P97], LH*RS [LS00] Tolèrent k échecs … 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
7
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Plan Problématique Etat de l’Art Fondements Thèoriques de LH*RS LH*RS? SDDSs? Codes Reed Solomon? Optimisations Codage/Décodage Le Gestionnaire LH*RS Expérimentations …. 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
8
LH*RS ? LH*RS [LS00] Scalabilité & Haut Débit Haute Disponibilité
LH*: Structure de Données Distribuée & Scalable Distribution par Hachage Linéaire (LH*LH [KLR96]) des Données sur les Serveurs. Gestionnaire LH*LH [B00] Haute Disponibilité Calcul de Parité par les Codes Reed-Solomon [RS63] 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
9
Transfert Enregistrements
Principes des SDDSs (1) Extension Dynamique du Fichier Coordinateur Client … Client Insertions SURCHARGEE Eclatement Transfert Enregistrements Réseau … … Cases de Données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
10
Message Ajustement Image Client
4 Octobre 2004 Principes des SDDS (2) (2) Absence de Répertoire d’Accès Centralisé Image Fichier Client Message Ajustement Image Client Requête Renvoi de Requête Réseau … … … Le client a une image du fichier Cases de Données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
11
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Codes Reed-Solomon Intérêt A partir de m symboles de données calcul de n symboles de parité Représentation des Données Corps de Galois Corps de taille finie: q Propriété de fermeture sous: Addition, Soustraction, Multiplication, Division. Dans un CG(2w) (1) Addition (XOR) (2) Multiplication (Tables: gflog et antigflog) e1 * e2 = antigflog[ gflog[e1] + gflog[e2] ] Calcul d’1 symbole de parité (RS): m Mult GF + m-1 XORs Calcul d’1 symbole de parité (XOR): m-1 XORs À multiplier par le nombre de symboles/ enreg A multiplier par le nombre d’enregistrements Déduire le nombre de cases de données factices 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
12
(S1 C1,j) (S2 C2,j) … (Sm Cm,j)
4 Octobre 2004 Codage RS Im P(m(n-m)) (1) Codage Systématique: Matrice de la forme (Im|P) (2) Toutes m colonnes doivent être linéairement indépendantes Matrice de Codage S1 S2 S3 Si Sm P1 P2 Pj Pn-m = C1,j C2,j C3,j Cm,j Pj (S1 C1,j) (S2 C2,j) … (Sm Cm,j) m-1 XORs CG m Multiplications CG S1 S2 S3 Si Sm … 0 C1,1 … C1,j … C1,n-m … 0 C2,1 … C2,j … C2,n-m … 0 C3,1 … C3,j … C3,n-m … 1 Cm,1 … Cm,j … Cm,n-m Calcul d’1 symbole de parité (RS): m Mult GF + m-1 XORs Calcul d’1 symbole de parité (XOR): m-1 XORs À multiplier par le nombre de symboles/ enreg A multiplier par le nombre d’enregistrements Déduire le nombre de cases de données factices 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
13
Décodage RS = H-1 [ S1 S2 S3 S4 ….. Sm ] S1 S2
4 Octobre 2004 Décodage RS Décodage Optimisé Multiplier les ‘‘m symboles OK’’ par seulement les colonnes de H-1 correspondant aux symboles perdus m symboles OK Hm: m colonnes correspondantes H-1 = [ S1 S2 S3 S4 ….. Sm ] Pivot de Gauss S1 S2 S3 S4 Sm P1 P2 P3 Pn-m … 0 C1,1 C1,2 C1,3 … C1,n-m … 0 C2,1 C2,2 C2,3 … C2,n-m … 0 C3,1 C3,2 C3,3 … C3,n-m … 1 Cm,1 Cm,2 Cm,3 … Cm,n-m 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
14
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Optimisations Corps de Galois Matrice de Parité Pré-calcul du log CG(28) 1 symbole = 1 Octet CG(216) 1 symbole = 2 Octets (+) CG(216) vs. CG(28) réduit de 1/2 le #Symboles #Opérations dans le CG. (-) Tailles des Tables de Multiplication CG(28): 0,768 Ko CG(216): 393,216 Ko (512 0,768) Performances de GF(2^16) Par rapport à GF(2^8): 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
15
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Optimisations (2) Corps de Galois Matrice de Parité Pré-calcul du log … 0001 eb9b … é74 … e44 d7f1 … … … … … 1ére Colonne de ‘1’s La 1ére case de parité se code en XOR gain en codage/décodage 1ére Ligne de ‘1’s Toute Mise à jour parvenant de la 1ére case de données est traitée en XOR gain en performance de 4% (Création case de parité, m =4) Le ‘1’ c’est l’identité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
16
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Optimisations (3) Corps de Galois Matrice de Parité Pré-calcul du log But: Réduire la complexité de la Multiplication CG e1 * e2 = antigflog[ gflog[e1] + gflog[e2] ] Codage Pré-calcul du log des coef. de la matrice P Amélioration de 3,5% Décodage Pré-calcul du log des coef. de la matrice H-1 et des symboles OK Amélioration de 4% à 8% en fonction du #Cases à récupérer Performances de GF(2^16) Par rapport à GF(2^8): … ab5 e267 … 0000 e267 0dce … d 2b66 … … … … … 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
17
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Groupe de Parité LH*RS Concept de Groupage m: #cases de données k: #cases de parité Clé r Rang Insertion r 2 1 2 1 : Rang; [Liste-clés ]; Champs Parité Cases de Parité : Clé; Champs Données Cases de Données Un groupe k-disponible permet des survivre à l’échec de k cases 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
18
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Plan Problématique Etat de l’Art Fondements Thèoriques de LH*RS Le Gestionnaire LH*RS Communication Gross Architecture 5. Expérimentations 6. Création d’un Fichier LH*RS Récupération de Case … 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
19
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Communication UDP TCP/IP “Multicast” Requêtes Individuelles (Insertion, MAJ, Suppression, Recherche) Récupération Enregistrement Messages de Service Rapidité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
20
Communication Performance & Fiabilité
UDP TCP/IP “Multicast” Transfert de Gros Volumes de Données Ajout Case de Parité Transfert MAJ parité et Enregistrements (Éclatement Serveur) Récupération Serveurs Performance & Fiabilité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
21
Communication Communication Multipoints
UDP TCP/IP “Multicast” Recherche de Nouveaux Serveurs de Données ou de Parité Communication Multipoints 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
22
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Architecture Par rapport, à l’Architecture SDDS2000 du Gestionnaire LH*LH [B00], (1) Gestionnaire de Connexions TCP/IP Les connexions TCP/IP sont ouvertes (ang. passive OPEN), RFC 793 –[ISI81], TCP/IP sous Win2K Server [MB00] Avant Récupération 1 Case (3,125 MO): SDDS 2000: ,7 s SDDS2000-TCP: 2,6 s (Config. Matérielle: CPU 733MhZ machines, Réseau 100Mbps) Amélioration de 60% (2) Contrôle de Flux & Acquittement Messages (CFAM) Principe de “Crédit d’Envoi & Conservation de Messages jusqu’à Réception ACK” [J88, GRS97, D01] 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
23
Architecture (2) (3) Structure d’Adresses IP dynamique
Ajout de Serveurs (de données ou de parité) par Multicast: Groupe Multicast de Cases de Parité Cases Créées Groupe Multicast de Cases de Données Coordinateur Avant Table d’allocation de serveurs, pré-définie et répliquée sur tous les serveurs 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
24
Architecture (3) … Réseau Thread Écoute TCP Port TCP/IP
Threads de Travail Structure Acquittement Thread Écoute UDP File Messages Zones Libres Port Écoute UDP Messages en attente ACK. Port Envoi UDP Messages non acquittés … Thread Gestion Ack Thread Écoute Multicast File Messages Port Écoute Multicast 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
25
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Expérimentations Evaluation des Performances * Temps CPU * Temps de Communication Environnement Expérimental * 5 Machines (Pentium IV: 1.8 GHz, RAM: 512 Mb) * Réseau Ethernet de 1 Gbps * Système d’exploitation: Win2K Server * Configuration testée: Un Client, Un groupe de 4 Cases de Données, k Cases de Parité (k = 0,1,2,3). 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
26
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Plan Problématique Etat de l’Art Fondements Thèoriques de LH*RS Le Gestionnaire LH*RS Expérimentations Création d’un Fichier LH*RS MAJ des Cases de Parité Performances Récupération de Cases Ajout de Cases de Parité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
27
Création Fichier Manipulations Client Eclatement d’une Case de données
Propagation des Insertions/ Mises à Jour / Suppressions des enregistrements de données vers les cases de parité. MAJ: Transmission du –enregistrement. Suppression: Gestion de Rangs Libres dans les cases de données. Eclatement d’une Case de données N1: #Enregistrements restants N2: #Enregistrements partants Groupe de Parité de la Case en Éclatement N1+N2 Suppressions + N1 Insertions Groupe de Parité de la Nouvelle Case de Données N2 Insertions 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
28
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. Crédit Envoi Client = 1 Crédit Envoi Client = 5 Max Taille Case = enregistrements Fichier de enregistrements 1 enregistrement = 104 Octets Peu de différence entre CG(28) et CG(216) 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
29
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. Crédit Envoi Client = 1 Crédit Envoi Client = 5 k = 0 ** k = 1 Dégradation des Perf. de 20% k = 1 ** k = 2 Dégradation des Perf. de 8% 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
30
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. Crédit Envoi Client = 1 Crédit Envoi Client = 5 k = 0 ** k = 1 Dégradation des Perf. de 37% k = 1 ** k = 2 Dégradation des Perf. de 10% 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
31
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Plan Problématique Etat de l’Art Fondements Thèoriques de LH*RS Le Gestionnaire LH*RS Expérimentations Création d’un Fichier LH*RS Récupération de Cases Scénario Performances 8. Ajout de Cases de Parité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
32
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Scénario Détection d’échecs Coordinateur Êtes-vous OK? Cases de Parité Cases de Données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
33
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Scénario (2) Attente de Réponses … Coordinateur OK OK OK OK Cases de Parité Cases de Données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
34
Scénario (3) Recherche de Serveurs de Secours … Être Serveur ?
Coordinateur Être Serveur ? Groupe Multicast de Cases de données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
35
Scénario (4) Attente de Réponses … OK Coordinateur OK OK
Lancer Ecoute UDP, Lancer Ecoute TCP, Lancer Threads de Travail *Attente Confirmation* Si Time-out expire Tout annuler Groupe Multicast de Cases de données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
36
Scénario (5) Sélection de Serveurs de Secours Confirmation Annulé
Coordinateur Confirmé Confirmation Confirmé Groupe Multicast de Cases de données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
37
Scénario (6) Sélection du Gestionnaire de Récupération Récupérer
Coordinateur Récupérer Cases de Parité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
38
Scénario (7) Phase d’Interrogation … Recherche Enregs
Gestionnaire de Récupération Recherche Enregs … Cases de Parité Cases de Données Cases participant à la récupération Cases de Secours 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
39
Scénario (8) Phase de Reconstruction … Phase de Décodage Tampons
4 Octobre 2004 Scénario (8) Phase de Reconstruction Gestionnaire de Récupération Tampons … Cases de parité Phase de Décodage Cases de Données Phase d’Interrogation en // En //le après phase de décodage , phase d’interrogation Cases participant à la récupération Tranches Récupérées Cases de Secours 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
40
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Performances Config. 1 Case XOR 1 Case RS XOR vs. RS 2 Cases Info Fichier Fichier de Enregs Taille Enreg. = 100 octets Taille Case = enregs MO Groupe de 4 Cases de Données (m = 4), k-disponible avec k = 1,2,3 Décodage * CG(216) * Décodage RS+ (RS +Pré-calcul du log de H-1 et des Symboles OK) Récupération par Tranche (auto-adaptation aux capacités des PCs) Performances de GF(2^16) Par rapport à GF(2^8): 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
41
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. 1 Case XOR 1 Case RS XOR vs. RS 2 Cases Tranche Temps Total (sec) Temps Trait. (sec) Temps Com. (sec) 1250 0,625 0,266 0,348 3125 0,588 0,255 0,323 6250 0,552 0,240 0,312 15625 0,562 0,302 31250 0,578 0,250 0,328 Tranche (de 4% à 100% du contenu de la case) Temps Total constant 0,58 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
42
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. 1 Case XOR 1 Case RS XOR vs. RS 2 Cases Tranche Temps Total (sec) Temps de Trait. (sec) Temps de Com. (sec) 1250 0,734 0,349 0,365 3125 0,688 0,359 0,323 6250 0,656 0,354 0,297 15625 0,667 0,360 31250 0,328 0,67 Tranche (de 4% à 100% du contenu de la case) Temps Total constant 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
43
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. 1 Case XOR 1 Case RS XOR vs. RS 2 Cases Temps récupération d’1 case -XOR : 0,58 sec Temps récupération d’1 case –RS : 0,67 sec XOR dans CG(216) réalise un gain de 13% sur le Temps Tot. (et de 30% sur le Temps CPU) 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
44
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances 1 Case RS XOR vs. RS 2 Cases 3 Cases Récapitulatif Tranche Temps Total (sec) Temps Trait. (sec) Temps Com. (sec) 1250 0,976 0,577 0,375 3125 0,932 0,589 0,338 6250 0,883 0,562 0,321 15625 0,875 0,281 31250 0,313 0,9 Tranche (de 4% à 100% du contenu de la case) Temps Total constant 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
45
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances 1 Case RS XOR vs. RS 2 Cases 3 Cases Récapitulatif Tranche Temps Total (sec) Temps Trait. (sec) Temps Com. (sec) 1250 1,281 0,828 0,406 3125 1,250 0,390 6250 1,211 0,852 0,352 15625 1,188 0,823 0,361 31250 1,203 0,375 1,23 Tranche (de 4% à 100% du contenu de la case) Temps Total constant 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
46
Performances 1 Case RS XOR vs. RS 2 Cases 3 Cases Récapitulatif f
4 Octobre 2004 Performances 1 Case RS XOR vs. RS 2 Cases 3 Cases Récapitulatif f Taille Case (MO) Temps Total (sec) Vitesse de Récup.(MO/sec) 1 (XOR) 1 (RS) 3,125 0,67 4,46 0,58 3,65 2 6,250 0,9 5,21 3 9,375 1,23 5,86 Vitesses de récupération Temps récupération de f cases f Temps récupération d’1 case Même Phase d’Interrogation Donc, le + est du au temps de décodage et d’envoi de tampons de récupération 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
47
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Performances XOR vs. RS 2 Cases 3 Cases Récapitulatif CG(28) XOR dans CG(28) améliore les temps de 60% p.r. à un décodage RS dans CG(28) Un décodage RS/RS+ dans CG(216) réalise un gain en performance de 50% p.r. à CG(28). Vitesses de récupération 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
48
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Plan 1. Problématique 2. Etat de l’Art 3. Fondements Thèoriques de LH*RS 4. Le Gestionnaire LH*RS 5. Expérimentations 6. Création d’un Fichier LH*RS 7. Récupération de Cases 8. Ajout de Cases de Parité Scénario Performances 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
49
Scénario Recherche d’une Nouvelle Case de Parité Rejoindre groupe g ?
Coordinateur Rejoindre groupe g ? Groupe Multicast de Cases de Parité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
50
Scénario (2) Attente de Réponses … Groupe Multicast de Cases de Parité
Coordinateur OK OK OK Lancer Ecoute UDP, Lancer Ecoute TCP, Lancer Threads de Travail *Attente Confirmation* Si Time-out expire Tout annuler Groupe Multicast de Cases de Parité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
51
Scénario (3) Sélection Vous êtes Sélectionnée
Annulé Coordinateur Annulé Vous êtes Sélectionnée Confirmé Groupe Multicast de Cases de Parité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
52
Scénario (4) Auto-création *Phase interrogation … …
Demande d’enregistrements ! … … Nouvelle Case de Parité Groupe de Cases de Données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
53
Scénario (5) Auto-création *Phase de Codage … … Tampons
Traitement Tampon Tampons … … Nouvelle Case de Parité Groupe de Cases de Données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
54
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. XOR RS XOR vs. RS CG(28) Max Taille Case : enregs Taux Remplissage Cases: 62,5% Taille Enreg: 100 octets Groupe de 4 Cases de Données Codage CG(216) RS++ ( Pré-calcul du log & la ligne de ‘1’s Trait. tampon 1ére case de données en XOR) 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
55
Taille Case: T.Trait 74% T.Total
Performances Config. XOR RS XOR vs. RS CG(28) Taille Case Temps Total (sec) Temps Trait (sec) Temps Com. (sec) 5000 0.190 0.140 0.029 10000 0.429 0.304 0.066 25000 1.007 0.738 0.144 50000 2.062 1.484 0.322 Taille Case: T.Trait 74% T.Total 0.659 0.640 0.686 0,608 Vitesse Codage MO/sec 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
56
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. XOR RS XOR vs. RS CG(28) Taille Case Temps Total (sec) Temps Trait (sec) Temps Com. (sec) 5000 0.193 0.149 0.035 10000 0.446 0.328 0.059 25000 1.053 0.766 0.153 50000 2.103 1.531 0.322 0.673 0.674 0.713 0,618 Vitesse Codage MO/sec Taille Case: T.Trait 74% T.Total 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
57
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. XOR RS XOR vs. RS CG(28) Pour Taille Case = enregs. Vitesse Codage XOR : 0,660 MO/sec Vitesse Codage RS: 0,673 MO/sec XOR réalise un gain en performance de trait. de 5% (seulement 0,02% sur le temps total) 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
58
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. XOR RS XOR vs. RS CG(28) Idem que CG(216), le Temps Trait. = ¾ Temps Total XOR dans CG(28) améliore le temps de trait. de 22% 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
59
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Conclusion Les expérimentations ont prouvé que: Les Optimisations apportées Codage/décodage Architecture Impact sur les Performances Bonnes Performances de Récupération 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
60
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Travaux Futurs Propagation des MAJs vers les cases de parité Fiabilité Rapidité Décharger le Coordinateur « Parity Declustering » Recherche de codes + optimisés 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
61
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Références [PGK88] D. A. Patterson, G. Gibson & R. H. Katz, A Case for Redundant Arrays of Inexpensive Disks, Proc. of ACM SIGMOD Conf, pp , June 1988. [ISI81] Information Sciences Institute, RFC 793: Transmission Control Protocol (TCP) – Specification, Sept. 1981, [MB 00] D. MacDonal, W. Barkley, MS Windows 2000 TCP/IP Implementation Details, [J88] V. Jacobson, M. J. Karels, Congestion Avoidance and Control, Computer Communication Review, Vol. 18, No 4, pp [XB99] L. Xu & J. Bruck, X-Code: MDS Array Codes with Optimal Encoding, IEEE Trans. on Information Theory, 45(1), p , 1999. [CEG+ 04] P. Corbett, B. English, A. Goel, T. Grcanac, S. Kleiman, J. Leong, S. Sankar, Row-Diagonal Parity for Double Disk Failure Correction, Proc. of the 3rd USENIX –Conf. On File and Storage Technologies, Avril 2004. [R89] M. O. Rabin, Efficient Dispersal of Information for Security, Load Balancing and Fault Tolerance, Journal of ACM, Vol. 26, N° 2, April 1989, pp [W91] P.E. White, RAID X tackles design problems with existing design RAID schemes, ECC Technologies, ftp://members.aol.com.mnecctek.ctr1991.pdf [GRS97] J. C. Gomez, V. Redo, V. S. Sunderam, Efficient Multithreaded User-Space Transport for Network Computing, Design & Test of the TRAP protocol, Journal of Parallel & Distributed Computing, 40 (1) 1997. 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
62
04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Références (2) [BK+ 95] J. Blomer, M. Kalfane, R. Karp, M. Karpinski, M. Luby & D. Zuckerman, An XOR-Based Erasure-Resilient Coding Scheme, ICSI Tech. Rep. TR , 1995. [LS00] W. Litwin & T. Schwarz, LH*RS: A High-Availability Scalable Distributed Data Structure using Reed Solomon Codes, p , Proceedings of the ACM SIGMOD 2000. [KLR96] J. Karlson, W. Litwin & T. Risch, LH*LH: A Scalable high performance data structure for switched multicomputers, EDBT 96, Springer Verlag. [RS60] I. Reed & G. Solomon, Polynomial codes over certain Finite Fields, Journal of the society for industrial and applied mathematics, 1960. [P97] J. S. Plank, A Tutorial on Reed-Solomon Coding for fault-Tolerance in RAID-like Systems, Software– Practise & Experience, 27(9), Sept. 1997, pp , [D01] A.W. Diène, Contribution à la Gestion de Structures de Données Distribuées et Scalables, PhD Thesis, Nov. 2001, Université Paris Dauphine. [B00] F. Sahli Bennour, Contribution à la Gestion de Structures de Données Distribuées et Scalables, PhD Thesis, Juin 2000, Université Paris Dauphine. + Références: 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
63
Merci de votre Attention
Questions ?
Présentations similaires
© 2024 SlidePlayer.fr Inc.
All rights reserved.