Présentation de Thèse en Informatique

Présentation au sujet: "Présentation de Thèse en Informatique"— Transcription de la présentation:

1 Présentation de Thèse en Informatique
Université Paris Dauphine *CERIA Lab. *04 Octobre 2004 Contribution à la Conception et à l’Implantation de la Structure de Données Distribuée et Scalable à Haute Disponibilité: LH*RS Rim Moussa Directeur de Thèse: Pr. Witold Litwin Rapporteurs: Pr. Thomas J.E. Schwarz Pr. Toré Risch Suffrageant: Pr. Gérard Lévy Présentation de Thèse en Informatique

2 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Plan Problématique Etat de l’Art Fondements Thèoriques de LH*RS Le Gestionnaire LH*RS Expérimentations Création d’un Fichier LH*RS Récupération de Cases Ajout de Cases de Parité Conclusion & Travaux Futurs 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

3 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Faits … Volume d’Information de 30% /an Technologie Infrastructure Réseau >> D’après la loi de Gilder, la bande passante triple tous les ans. Evolution en Capacités de Stockage & de Calcul des PCs >> D’après la loi de Moore, les capacités de stockage & de calcul des PCs doublent tous les 18 mois. Différentiel Disques & CPUs Besoin de Systémes de Stockage de Données Distribués les SDDS: LH*, RP* …  Haut Débit 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

4 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Faits … Multiordinateurs >>Architecture Modulaire >>Bon Rapport Prix Performance Réseau Échecs Fréquents et Coûteux >> Stat. publiées par le Contingency Planning Research en 1996: le coût d’interruption de service/h d’une app. de courtage est $6,45 million. Besoin de Systèmes de Stockage Distribués et à Haute Disponibilité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

5 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Etat de l’Art Réplication des Données (+) Bon Temps de Réponse, les miroirs sont fonctionnels (-) Coût de Stockage (n si n répliquas) Calcul de Parité Critères d’évaluation de Codes de Correction d’Effacements (ang. Erasure-resilient codes): Taux de Codage (volume parité / volume données) Pénalité de Mise à Jour (des volumes de parité) Taille du Groupe utilisé pour la Récupération Complexité du Codage & du Décodage Capacité de Récupération 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

6 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Schémas de Parité Schémas 1-disponibles Calcul de parité par XOR : Technologie RAID [PGK88], SDDS LH*g [L96] … Schémas k-diponibles Codes Linéaires Binaires: [H94]  Tolérent au max. 3 échecs Array Codes: EVENODD [B94 ], X-code [XB99], RDP [C+04]  Tolèrent au max. 2 échecs Codes Reed Solomon: IDA [R89], RAID X [W91], FEC [B95], Tutorial [P97], LH*RS [LS00]  Tolèrent k échecs … 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

7 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Plan Problématique Etat de l’Art Fondements Thèoriques de LH*RS LH*RS? SDDSs? Codes Reed Solomon? Optimisations Codage/Décodage Le Gestionnaire LH*RS Expérimentations …. 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

8 LH*RS ? LH*RS [LS00] Scalabilité & Haut Débit Haute Disponibilité
LH*: Structure de Données Distribuée & Scalable Distribution par Hachage Linéaire (LH*LH [KLR96]) des Données sur les Serveurs. Gestionnaire LH*LH [B00] Haute Disponibilité Calcul de Parité par les Codes Reed-Solomon [RS63] 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

9 Transfert Enregistrements
Principes des SDDSs (1) Extension Dynamique du Fichier Coordinateur Client … Client Insertions SURCHARGEE Eclatement Transfert Enregistrements Réseau … … Cases de Données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

10 Message Ajustement Image Client
4 Octobre 2004 Principes des SDDS (2) (2) Absence de Répertoire d’Accès Centralisé Image Fichier Client Message Ajustement Image Client Requête Renvoi de Requête Réseau … … … Le client a une image du fichier Cases de Données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

11 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Codes Reed-Solomon Intérêt A partir de m symboles de données  calcul de n symboles de parité Représentation des Données  Corps de Galois Corps de taille finie: q Propriété de fermeture sous: Addition, Soustraction, Multiplication, Division. Dans un CG(2w) (1) Addition (XOR) (2) Multiplication (Tables: gflog et antigflog) e1 * e2 = antigflog[ gflog[e1] + gflog[e2] ] Calcul d’1 symbole de parité (RS): m Mult GF + m-1 XORs Calcul d’1 symbole de parité (XOR): m-1 XORs À multiplier par le nombre de symboles/ enreg A multiplier par le nombre d’enregistrements Déduire le nombre de cases de données factices 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

12 (S1  C1,j)  (S2  C2,j)  …  (Sm  Cm,j)
4 Octobre 2004 Codage RS Im P(m(n-m)) (1) Codage Systématique: Matrice de la forme (Im|P) (2) Toutes m colonnes doivent être linéairement indépendantes Matrice de Codage S1 S2 S3  Si Sm  P1 P2 Pj Pn-m = C1,j C2,j C3,j  Cm,j Pj (S1  C1,j)  (S2  C2,j)  …  (Sm  Cm,j) m-1 XORs CG m Multiplications CG S1 S2 S3 Si Sm … 0 C1,1 … C1,j … C1,n-m … 0 C2,1 … C2,j … C2,n-m … 0 C3,1 … C3,j … C3,n-m      … 1 Cm,1 … Cm,j … Cm,n-m Calcul d’1 symbole de parité (RS): m Mult GF + m-1 XORs Calcul d’1 symbole de parité (XOR): m-1 XORs À multiplier par le nombre de symboles/ enreg A multiplier par le nombre d’enregistrements Déduire le nombre de cases de données factices 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

13  Décodage RS = H-1 [ S1 S2 S3 S4 ….. Sm ] S1 S2
4 Octobre 2004 Décodage RS Décodage Optimisé Multiplier les ‘‘m symboles OK’’ par seulement les colonnes de H-1 correspondant aux symboles perdus m symboles OK Hm: m colonnes correspondantes  H-1 = [ S1 S2 S3 S4 ….. Sm ] Pivot de Gauss S1 S2 S3 S4  Sm P1 P2 P3 Pn-m … 0 C1,1 C1,2 C1,3 … C1,n-m … 0 C2,1 C2,2 C2,3 … C2,n-m … 0 C3,1 C3,2 C3,3 … C3,n-m      … 1 Cm,1 Cm,2 Cm,3 … Cm,n-m 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

14 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Optimisations Corps de Galois Matrice de Parité Pré-calcul du log CG(28)  1 symbole = 1 Octet CG(216)  1 symbole = 2 Octets (+) CG(216) vs. CG(28) réduit de 1/2 le #Symboles  #Opérations dans le CG. (-) Tailles des Tables de Multiplication CG(28): 0,768 Ko CG(216): 393,216 Ko (512  0,768) Performances de GF(2^16) Par rapport à GF(2^8): 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

15 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Optimisations (2) Corps de Galois Matrice de Parité Pré-calcul du log … 0001 eb9b … é74 … e44 d7f1 … … … … … 1ére Colonne de ‘1’s La 1ére case de parité se code en XOR  gain en codage/décodage 1ére Ligne de ‘1’s Toute Mise à jour parvenant de la 1ére case de données est traitée en XOR  gain en performance de 4% (Création case de parité, m =4) Le ‘1’ c’est l’identité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

16 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Optimisations (3) Corps de Galois Matrice de Parité Pré-calcul du log But: Réduire la complexité de la Multiplication CG e1 * e2 = antigflog[ gflog[e1] + gflog[e2] ] Codage Pré-calcul du log des coef. de la matrice P  Amélioration de 3,5% Décodage Pré-calcul du log des coef. de la matrice H-1 et des symboles OK  Amélioration de 4% à 8% en fonction du #Cases à récupérer Performances de GF(2^16) Par rapport à GF(2^8): … ab5 e267 … 0000 e267 0dce … d 2b66 … … … … … 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

17 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Groupe de Parité LH*RS Concept de Groupage m: #cases de données k: #cases de parité Clé r   Rang Insertion r 2 1     2 1 : Rang; [Liste-clés ]; Champs Parité Cases de Parité  : Clé; Champs Données Cases de Données Un groupe k-disponible permet des survivre à l’échec de k cases 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

18 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Plan Problématique Etat de l’Art Fondements Thèoriques de LH*RS Le Gestionnaire LH*RS Communication Gross Architecture 5. Expérimentations 6. Création d’un Fichier LH*RS Récupération de Case … 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

19 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Communication UDP TCP/IP “Multicast” Requêtes Individuelles (Insertion, MAJ, Suppression, Recherche) Récupération Enregistrement Messages de Service Rapidité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

20 Communication Performance & Fiabilité
UDP TCP/IP “Multicast” Transfert de Gros Volumes de Données Ajout Case de Parité Transfert MAJ parité et Enregistrements (Éclatement Serveur) Récupération Serveurs Performance & Fiabilité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

21 Communication Communication Multipoints
UDP TCP/IP “Multicast” Recherche de Nouveaux Serveurs de Données ou de Parité Communication Multipoints 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

22 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Architecture Par rapport, à l’Architecture SDDS2000 du Gestionnaire LH*LH [B00], (1) Gestionnaire de Connexions TCP/IP Les connexions TCP/IP sont ouvertes (ang. passive OPEN), RFC 793 –[ISI81], TCP/IP sous Win2K Server [MB00] Avant Récupération 1 Case (3,125 MO): SDDS 2000: ,7 s SDDS2000-TCP: 2,6 s (Config. Matérielle: CPU 733MhZ machines, Réseau 100Mbps)  Amélioration de 60% (2) Contrôle de Flux & Acquittement Messages (CFAM) Principe de “Crédit d’Envoi & Conservation de Messages jusqu’à Réception ACK” [J88, GRS97, D01] 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

23 Architecture (2) (3) Structure d’Adresses IP dynamique
Ajout de Serveurs (de données ou de parité) par Multicast: Groupe Multicast de Cases de Parité Cases Créées Groupe Multicast de Cases de Données Coordinateur Avant Table d’allocation de serveurs, pré-définie et répliquée sur tous les serveurs 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

24 Architecture (3) … Réseau Thread Écoute TCP Port TCP/IP
Threads de Travail Structure Acquittement Thread Écoute UDP File Messages Zones Libres Port Écoute UDP  Messages en attente ACK. Port Envoi UDP Messages non acquittés … Thread Gestion Ack Thread Écoute Multicast File Messages Port Écoute Multicast 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

25 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Expérimentations Evaluation des Performances * Temps CPU * Temps de Communication Environnement Expérimental * 5 Machines (Pentium IV: 1.8 GHz, RAM: 512 Mb) * Réseau Ethernet de 1 Gbps * Système d’exploitation: Win2K Server * Configuration testée: Un Client, Un groupe de 4 Cases de Données, k Cases de Parité (k = 0,1,2,3). 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

26 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Plan Problématique Etat de l’Art Fondements Thèoriques de LH*RS Le Gestionnaire LH*RS Expérimentations Création d’un Fichier LH*RS MAJ des Cases de Parité Performances Récupération de Cases Ajout de Cases de Parité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

27 Création Fichier Manipulations Client Eclatement d’une Case de données
Propagation des Insertions/ Mises à Jour / Suppressions des enregistrements de données vers les cases de parité. MAJ: Transmission du –enregistrement. Suppression: Gestion de Rangs Libres dans les cases de données. Eclatement d’une Case de données N1: #Enregistrements restants N2: #Enregistrements partants Groupe de Parité de la Case en Éclatement N1+N2 Suppressions + N1 Insertions Groupe de Parité de la Nouvelle Case de Données N2 Insertions 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

28 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. Crédit Envoi Client = 1 Crédit Envoi Client = 5 Max Taille Case = enregistrements Fichier de enregistrements 1 enregistrement = 104 Octets Peu de différence entre CG(28) et CG(216) 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

29 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. Crédit Envoi Client = 1 Crédit Envoi Client = 5 k = 0 ** k = 1  Dégradation des Perf. de 20% k = 1 ** k = 2  Dégradation des Perf. de 8% 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

30 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. Crédit Envoi Client = 1 Crédit Envoi Client = 5 k = 0 ** k = 1  Dégradation des Perf. de 37% k = 1 ** k = 2  Dégradation des Perf. de 10% 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

31 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Plan Problématique Etat de l’Art Fondements Thèoriques de LH*RS Le Gestionnaire LH*RS Expérimentations Création d’un Fichier LH*RS Récupération de Cases Scénario Performances 8. Ajout de Cases de Parité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

32 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Scénario Détection d’échecs Coordinateur Êtes-vous OK?   Cases de Parité Cases de Données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

33 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Scénario (2) Attente de Réponses … Coordinateur OK OK OK OK   Cases de Parité Cases de Données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

34 Scénario (3) Recherche de Serveurs de Secours … Être Serveur ?
Coordinateur Être Serveur ? Groupe Multicast de Cases de données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

35 Scénario (4) Attente de Réponses … OK Coordinateur OK OK
Lancer Ecoute UDP, Lancer Ecoute TCP, Lancer Threads de Travail *Attente Confirmation* Si Time-out expire  Tout annuler Groupe Multicast de Cases de données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

36 Scénario (5) Sélection de Serveurs de Secours Confirmation Annulé
Coordinateur Confirmé Confirmation Confirmé Groupe Multicast de Cases de données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

37 Scénario (6) Sélection du Gestionnaire de Récupération Récupérer
Coordinateur Récupérer Cases de Parité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

38 Scénario (7) Phase d’Interrogation … Recherche Enregs
Gestionnaire de Récupération Recherche Enregs … Cases de Parité Cases de Données Cases participant à la récupération Cases de Secours 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

39 Scénario (8) Phase de Reconstruction … Phase de Décodage Tampons
4 Octobre 2004 Scénario (8) Phase de Reconstruction Gestionnaire de Récupération Tampons … Cases de parité Phase de Décodage Cases de Données Phase d’Interrogation en // En //le après phase de décodage , phase d’interrogation Cases participant à la récupération Tranches Récupérées Cases de Secours 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

40 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Performances Config. 1 Case XOR 1 Case RS XOR vs. RS 2 Cases Info Fichier Fichier de Enregs Taille Enreg. = 100 octets Taille Case = enregs  MO Groupe de 4 Cases de Données (m = 4), k-disponible avec k = 1,2,3 Décodage * CG(216) * Décodage RS+ (RS +Pré-calcul du log de H-1 et des Symboles OK) Récupération par Tranche (auto-adaptation aux capacités des PCs) Performances de GF(2^16) Par rapport à GF(2^8): 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

41 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. 1 Case XOR 1 Case RS XOR vs. RS 2 Cases Tranche Temps Total (sec) Temps Trait. (sec) Temps Com. (sec) 1250 0,625 0,266 0,348 3125 0,588 0,255 0,323 6250 0,552 0,240 0,312 15625 0,562 0,302 31250 0,578 0,250 0,328 Tranche (de 4% à 100% du contenu de la case)  Temps Total constant 0,58 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

42 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. 1 Case XOR 1 Case RS XOR vs. RS 2 Cases Tranche Temps Total (sec) Temps de Trait. (sec) Temps de Com. (sec) 1250 0,734 0,349 0,365 3125 0,688 0,359 0,323 6250 0,656 0,354 0,297 15625 0,667 0,360 31250 0,328 0,67 Tranche (de 4% à 100% du contenu de la case)  Temps Total constant 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

43 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. 1 Case XOR 1 Case RS XOR vs. RS 2 Cases Temps récupération d’1 case -XOR : 0,58 sec Temps récupération d’1 case –RS : 0,67 sec XOR dans CG(216) réalise un gain de 13% sur le Temps Tot. (et de 30% sur le Temps CPU) 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

44 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances 1 Case RS XOR vs. RS 2 Cases 3 Cases Récapitulatif Tranche Temps Total (sec) Temps Trait. (sec) Temps Com. (sec) 1250 0,976 0,577 0,375 3125 0,932 0,589 0,338 6250 0,883 0,562 0,321 15625 0,875 0,281 31250 0,313 0,9 Tranche (de 4% à 100% du contenu de la case)  Temps Total constant 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

45 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances 1 Case RS XOR vs. RS 2 Cases 3 Cases Récapitulatif Tranche Temps Total (sec) Temps Trait. (sec) Temps Com. (sec) 1250 1,281 0,828 0,406 3125 1,250 0,390 6250 1,211 0,852 0,352 15625 1,188 0,823 0,361 31250 1,203 0,375 1,23 Tranche (de 4% à 100% du contenu de la case)  Temps Total constant 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

46 Performances 1 Case RS XOR vs. RS 2 Cases 3 Cases Récapitulatif f
4 Octobre 2004 Performances 1 Case RS XOR vs. RS 2 Cases 3 Cases Récapitulatif f Taille Case (MO) Temps Total (sec) Vitesse de Récup.(MO/sec) 1 (XOR) 1 (RS) 3,125 0,67 4,46 0,58 3,65 2 6,250 0,9 5,21 3 9,375 1,23 5,86 Vitesses de récupération Temps récupération de f cases  f  Temps récupération d’1 case Même Phase d’Interrogation  Donc, le + est du au temps de décodage et d’envoi de tampons de récupération 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

47 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Performances XOR vs. RS 2 Cases 3 Cases Récapitulatif CG(28) XOR dans CG(28) améliore les temps de 60% p.r. à un décodage RS dans CG(28) Un décodage RS/RS+ dans CG(216) réalise un gain en performance de 50% p.r. à CG(28). Vitesses de récupération 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

48 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
4 Octobre 2004 Plan 1. Problématique 2. Etat de l’Art 3. Fondements Thèoriques de LH*RS 4. Le Gestionnaire LH*RS 5. Expérimentations 6. Création d’un Fichier LH*RS 7. Récupération de Cases 8. Ajout de Cases de Parité Scénario Performances 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

49 Scénario Recherche d’une Nouvelle Case de Parité Rejoindre groupe g ?
Coordinateur Rejoindre groupe g ? Groupe Multicast de Cases de Parité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

50 Scénario (2) Attente de Réponses … Groupe Multicast de Cases de Parité
Coordinateur OK OK OK Lancer Ecoute UDP, Lancer Ecoute TCP, Lancer Threads de Travail *Attente Confirmation* Si Time-out expire  Tout annuler Groupe Multicast de Cases de Parité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

51 Scénario (3) Sélection Vous êtes Sélectionnée
Annulé Coordinateur Annulé Vous êtes Sélectionnée Confirmé Groupe Multicast de Cases de Parité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

52 Scénario (4) Auto-création *Phase interrogation … …
Demande d’enregistrements ! … … Nouvelle Case de Parité Groupe de Cases de Données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

53 Scénario (5) Auto-création *Phase de Codage … … Tampons
Traitement Tampon Tampons … … Nouvelle Case de Parité Groupe de Cases de Données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

54 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. XOR RS XOR vs. RS CG(28) Max Taille Case : enregs Taux Remplissage Cases: 62,5% Taille Enreg: 100 octets Groupe de 4 Cases de Données Codage CG(216) RS++ ( Pré-calcul du log & la ligne de ‘1’s  Trait. tampon 1ére case de données en XOR) 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

55 Taille Case: T.Trait  74% T.Total
Performances Config. XOR RS XOR vs. RS CG(28) Taille Case Temps Total (sec) Temps Trait (sec) Temps Com. (sec) 5000 0.190 0.140 0.029 10000 0.429 0.304 0.066 25000 1.007 0.738 0.144 50000 2.062 1.484 0.322 Taille Case: T.Trait  74% T.Total 0.659 0.640 0.686 0,608 Vitesse Codage MO/sec 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

56 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. XOR RS XOR vs. RS CG(28) Taille Case Temps Total (sec) Temps Trait (sec) Temps Com. (sec) 5000 0.193 0.149 0.035 10000 0.446 0.328 0.059 25000 1.053 0.766 0.153 50000 2.103 1.531 0.322 0.673 0.674 0.713 0,618 Vitesse Codage MO/sec Taille Case: T.Trait  74% T.Total 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

57 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. XOR RS XOR vs. RS CG(28) Pour Taille Case = enregs. Vitesse Codage XOR : 0,660 MO/sec Vitesse Codage RS: 0,673 MO/sec XOR réalise un gain en performance de trait. de 5% (seulement 0,02% sur le temps total) 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

58 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Performances Config. XOR RS XOR vs. RS CG(28) Idem que CG(216), le Temps Trait. = ¾ Temps Total XOR dans CG(28) améliore le temps de trait. de 22% 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

59 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Conclusion Les expérimentations ont prouvé que: Les Optimisations apportées Codage/décodage Architecture  Impact sur les Performances Bonnes Performances de Récupération 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

60 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Travaux Futurs Propagation des MAJs vers les cases de parité Fiabilité Rapidité Décharger le Coordinateur « Parity Declustering » Recherche de codes + optimisés 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

61 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Références [PGK88] D. A. Patterson, G. Gibson & R. H. Katz, A Case for Redundant Arrays of Inexpensive Disks, Proc. of ACM SIGMOD Conf, pp , June 1988. [ISI81] Information Sciences Institute, RFC 793: Transmission Control Protocol (TCP) – Specification, Sept. 1981, [MB 00] D. MacDonal, W. Barkley, MS Windows 2000 TCP/IP Implementation Details, [J88] V. Jacobson, M. J. Karels, Congestion Avoidance and Control, Computer Communication Review, Vol. 18, No 4, pp [XB99] L. Xu & J. Bruck, X-Code: MDS Array Codes with Optimal Encoding, IEEE Trans. on Information Theory, 45(1), p , 1999. [CEG+ 04] P. Corbett, B. English, A. Goel, T. Grcanac, S. Kleiman, J. Leong, S. Sankar, Row-Diagonal Parity for Double Disk Failure Correction, Proc. of the 3rd USENIX –Conf. On File and Storage Technologies, Avril 2004. [R89] M. O. Rabin, Efficient Dispersal of Information for Security, Load Balancing and Fault Tolerance, Journal of ACM, Vol. 26, N° 2, April 1989, pp [W91] P.E. White, RAID X tackles design problems with existing design RAID schemes, ECC Technologies, ftp://members.aol.com.mnecctek.ctr1991.pdf [GRS97] J. C. Gomez, V. Redo, V. S. Sunderam, Efficient Multithreaded User-Space Transport for Network Computing, Design & Test of the TRAP protocol, Journal of Parallel & Distributed Computing, 40 (1) 1997. 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

62 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine
Références (2) [BK+ 95] J. Blomer, M. Kalfane, R. Karp, M. Karpinski, M. Luby & D. Zuckerman, An XOR-Based Erasure-Resilient Coding Scheme, ICSI Tech. Rep. TR , 1995. [LS00] W. Litwin & T. Schwarz, LH*RS: A High-Availability Scalable Distributed Data Structure using Reed Solomon Codes, p , Proceedings of the ACM SIGMOD 2000. [KLR96] J. Karlson, W. Litwin & T. Risch, LH*LH: A Scalable high performance data structure for switched multicomputers, EDBT 96, Springer Verlag. [RS60] I. Reed & G. Solomon, Polynomial codes over certain Finite Fields, Journal of the society for industrial and applied mathematics, 1960.  [P97] J. S. Plank, A Tutorial on Reed-Solomon Coding for fault-Tolerance in RAID-like Systems, Software– Practise & Experience, 27(9), Sept. 1997, pp , [D01] A.W. Diène, Contribution à la Gestion de Structures de Données Distribuées et Scalables, PhD Thesis, Nov. 2001, Université Paris Dauphine. [B00] F. Sahli Bennour, Contribution à la Gestion de Structures de Données Distribuées et Scalables, PhD Thesis, Juin 2000, Université Paris Dauphine. + Références: 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

63 Merci de votre Attention
Questions ?