Présentation de Thèse en Informatique Université Paris Dauphine *CERIA Lab. *04 Octobre 2004 Contribution à la Conception et à l’Implantation de la Structure de Données Distribuée et Scalable à Haute Disponibilité: LH*RS Rim Moussa Rim.Moussa@dauphine.fr http://ceria.dauphine.fr/rim/rim.html Directeur de Thèse: Pr. Witold Litwin Rapporteurs: Pr. Thomas J.E. Schwarz Pr. Toré Risch Suffrageant: Pr. Gérard Lévy Présentation de Thèse en Informatique

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine 4 Octobre 2004 Plan Problématique Etat de l’Art Fondements Thèoriques de LH*RS Le Gestionnaire LH*RS Expérimentations Création d’un Fichier LH*RS Récupération de Cases Ajout de Cases de Parité Conclusion & Travaux Futurs 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Faits … Volume d’Information de 30% /an Technologie Infrastructure Réseau >> D’après la loi de Gilder, la bande passante triple tous les ans. Evolution en Capacités de Stockage & de Calcul des PCs >> D’après la loi de Moore, les capacités de stockage & de calcul des PCs doublent tous les 18 mois. Différentiel Disques & CPUs Besoin de Systémes de Stockage de Données Distribués les SDDS: LH*, RP* …  Haut Débit 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine 4 Octobre 2004 Faits … Multiordinateurs >>Architecture Modulaire >>Bon Rapport Prix Performance Réseau Échecs Fréquents et Coûteux >> Stat. publiées par le Contingency Planning Research en 1996: le coût d’interruption de service/h d’une app. de courtage est $6,45 million. Besoin de Systèmes de Stockage Distribués et à Haute Disponibilité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Etat de l’Art Réplication des Données (+) Bon Temps de Réponse, les miroirs sont fonctionnels (-) Coût de Stockage (n si n répliquas) Calcul de Parité Critères d’évaluation de Codes de Correction d’Effacements (ang. Erasure-resilient codes): Taux de Codage (volume parité / volume données) Pénalité de Mise à Jour (des volumes de parité) Taille du Groupe utilisé pour la Récupération Complexité du Codage & du Décodage Capacité de Récupération 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Schémas de Parité Schémas 1-disponibles Calcul de parité par XOR : Technologie RAID [PGK88], SDDS LH*g [L96] … Schémas k-diponibles Codes Linéaires Binaires: [H94]  Tolérent au max. 3 échecs Array Codes: EVENODD [B94 ], X-code [XB99], RDP [C+04]  Tolèrent au max. 2 échecs Codes Reed Solomon: IDA [R89], RAID X [W91], FEC [B95], Tutorial [P97], LH*RS [LS00]  Tolèrent k échecs … 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine 4 Octobre 2004 Plan Problématique Etat de l’Art Fondements Thèoriques de LH*RS LH*RS? SDDSs? Codes Reed Solomon? Optimisations Codage/Décodage Le Gestionnaire LH*RS Expérimentations …. 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

LH*RS ? LH*RS [LS00] Scalabilité & Haut Débit Haute Disponibilité LH*: Structure de Données Distribuée & Scalable Distribution par Hachage Linéaire (LH*LH [KLR96]) des Données sur les Serveurs. Gestionnaire LH*LH [B00] Haute Disponibilité Calcul de Parité par les Codes Reed-Solomon [RS63] 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Transfert Enregistrements Principes des SDDSs (1) Extension Dynamique du Fichier Coordinateur Client … Client Insertions SURCHARGEE Eclatement Transfert Enregistrements Réseau … … Cases de Données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Message Ajustement Image Client 4 Octobre 2004 Principes des SDDS (2) (2) Absence de Répertoire d’Accès Centralisé Image Fichier Client Message Ajustement Image Client Requête Renvoi de Requête Réseau … … … Le client a une image du fichier Cases de Données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine 4 Octobre 2004 Codes Reed-Solomon Intérêt A partir de m symboles de données  calcul de n symboles de parité Représentation des Données  Corps de Galois Corps de taille finie: q Propriété de fermeture sous: Addition, Soustraction, Multiplication, Division. Dans un CG(2w) (1) Addition (XOR) (2) Multiplication (Tables: gflog et antigflog) e1 * e2 = antigflog[ gflog[e1] + gflog[e2] ] Calcul d’1 symbole de parité (RS): m Mult GF + m-1 XORs Calcul d’1 symbole de parité (XOR): m-1 XORs À multiplier par le nombre de symboles/ enreg A multiplier par le nombre d’enregistrements Déduire le nombre de cases de données factices 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

(S1  C1,j)  (S2  C2,j)  …  (Sm  Cm,j) 4 Octobre 2004 Codage RS Im P(m(n-m)) (1) Codage Systématique: Matrice de la forme (Im|P) (2) Toutes m colonnes doivent être linéairement indépendantes Matrice de Codage S1 S2 S3  Si Sm  P1 P2 Pj Pn-m = C1,j C2,j C3,j  Cm,j Pj (S1  C1,j)  (S2  C2,j)  …  (Sm  Cm,j) m-1 XORs CG m Multiplications CG S1 S2 S3 Si Sm 1 0 0 0 0 … 0 C1,1 … C1,j … C1,n-m 0 1 0 0 0 … 0 C2,1 … C2,j … C2,n-m 0 0 1 0 0 … 0 C3,1 … C3,j … C3,n-m      0 0 0 0 0 … 1 Cm,1 … Cm,j … Cm,n-m Calcul d’1 symbole de parité (RS): m Mult GF + m-1 XORs Calcul d’1 symbole de parité (XOR): m-1 XORs À multiplier par le nombre de symboles/ enreg A multiplier par le nombre d’enregistrements Déduire le nombre de cases de données factices 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

 Décodage RS = H-1 [ S1 S2 S3 S4 ….. Sm ] S1 S2 4 Octobre 2004 Décodage RS Décodage Optimisé Multiplier les ‘‘m symboles OK’’ par seulement les colonnes de H-1 correspondant aux symboles perdus m symboles OK Hm: m colonnes correspondantes  H-1 = [ S1 S2 S3 S4 ….. Sm ] Pivot de Gauss S1 S2 S3 S4  Sm P1 P2 P3 Pn-m 1 0 0 0 0 … 0 C1,1 C1,2 C1,3 … C1,n-m 0 1 0 0 0 … 0 C2,1 C2,2 C2,3 … C2,n-m 0 0 1 0 0 … 0 C3,1 C3,2 C3,3 … C3,n-m      0 0 0 0 0 … 1 Cm,1 Cm,2 Cm,3 … Cm,n-m 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine 4 Octobre 2004 Optimisations Corps de Galois Matrice de Parité Pré-calcul du log CG(28)  1 symbole = 1 Octet CG(216)  1 symbole = 2 Octets (+) CG(216) vs. CG(28) réduit de 1/2 le #Symboles  #Opérations dans le CG. (-) Tailles des Tables de Multiplication CG(28): 0,768 Ko CG(216): 393,216 Ko (512  0,768) Performances de GF(2^16) Par rapport à GF(2^8): 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine 4 Octobre 2004 Optimisations (2) Corps de Galois Matrice de Parité Pré-calcul du log 0001 0001 0001 … 0001 eb9b 2284 … 0001 2284 9é74 … 0001 9e44 d7f1 … … … … … 1ére Colonne de ‘1’s La 1ére case de parité se code en XOR  gain en codage/décodage 1ére Ligne de ‘1’s Toute Mise à jour parvenant de la 1ére case de données est traitée en XOR  gain en performance de 4% (Création case de parité, m =4) Le ‘1’ c’est l’identité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine 4 Octobre 2004 Optimisations (3) Corps de Galois Matrice de Parité Pré-calcul du log But: Réduire la complexité de la Multiplication CG e1 * e2 = antigflog[ gflog[e1] + gflog[e2] ] Codage Pré-calcul du log des coef. de la matrice P  Amélioration de 3,5% Décodage Pré-calcul du log des coef. de la matrice H-1 et des symboles OK  Amélioration de 4% à 8% en fonction du #Cases à récupérer Performances de GF(2^16) Par rapport à GF(2^8): 0000 0000 0000 … 0000 5ab5 e267 … 0000 e267 0dce … 0000 784d 2b66 … … … … … 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Groupe de Parité LH*RS Concept de Groupage m: #cases de données k: #cases de parité Clé r   Rang Insertion r 2 1     2 1 : Rang; [Liste-clés ]; Champs Parité Cases de Parité  : Clé; Champs Données Cases de Données Un groupe k-disponible permet des survivre à l’échec de k cases 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine 4 Octobre 2004 Plan Problématique Etat de l’Art Fondements Thèoriques de LH*RS Le Gestionnaire LH*RS Communication Gross Architecture 5. Expérimentations 6. Création d’un Fichier LH*RS Récupération de Case … 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Communication UDP TCP/IP “Multicast” Requêtes Individuelles (Insertion, MAJ, Suppression, Recherche) Récupération Enregistrement Messages de Service Rapidité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Communication Performance & Fiabilité UDP TCP/IP “Multicast” Transfert de Gros Volumes de Données Ajout Case de Parité Transfert MAJ parité et Enregistrements (Éclatement Serveur) Récupération Serveurs Performance & Fiabilité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Communication Communication Multipoints UDP TCP/IP “Multicast” Recherche de Nouveaux Serveurs de Données ou de Parité Communication Multipoints 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Architecture Par rapport, à l’Architecture SDDS2000 du Gestionnaire LH*LH [B00], (1) Gestionnaire de Connexions TCP/IP Les connexions TCP/IP sont ouvertes (ang. passive OPEN), RFC 793 –[ISI81], TCP/IP sous Win2K Server [MB00] Avant Récupération 1 Case (3,125 MO): SDDS 2000: 6,7 s SDDS2000-TCP: 2,6 s (Config. Matérielle: CPU 733MhZ machines, Réseau 100Mbps)  Amélioration de 60% (2) Contrôle de Flux & Acquittement Messages (CFAM) Principe de “Crédit d’Envoi & Conservation de Messages jusqu’à Réception ACK” [J88, GRS97, D01] 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Architecture (2) (3) Structure d’Adresses IP dynamique Ajout de Serveurs (de données ou de parité) par Multicast: Groupe Multicast de Cases de Parité Cases Créées Groupe Multicast de Cases de Données Coordinateur Avant Table d’allocation de serveurs, pré-définie et répliquée sur tous les serveurs 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Architecture (3) … Réseau Thread Écoute TCP Port TCP/IP Threads de Travail Structure Acquittement Thread Écoute UDP File Messages Zones Libres Port Écoute UDP  Messages en attente ACK. Port Envoi UDP Messages non acquittés … Thread Gestion Ack Thread Écoute Multicast File Messages Port Écoute Multicast 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Expérimentations Evaluation des Performances * Temps CPU * Temps de Communication Environnement Expérimental * 5 Machines (Pentium IV: 1.8 GHz, RAM: 512 Mb) * Réseau Ethernet de 1 Gbps * Système d’exploitation: Win2K Server * Configuration testée: Un Client, Un groupe de 4 Cases de Données, k Cases de Parité (k = 0,1,2,3). 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine 4 Octobre 2004 Plan Problématique Etat de l’Art Fondements Thèoriques de LH*RS Le Gestionnaire LH*RS Expérimentations Création d’un Fichier LH*RS MAJ des Cases de Parité Performances Récupération de Cases Ajout de Cases de Parité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Création Fichier Manipulations Client Eclatement d’une Case de données Propagation des Insertions/ Mises à Jour / Suppressions des enregistrements de données vers les cases de parité. MAJ: Transmission du –enregistrement. Suppression: Gestion de Rangs Libres dans les cases de données. Eclatement d’une Case de données N1: #Enregistrements restants N2: #Enregistrements partants Groupe de Parité de la Case en Éclatement N1+N2 Suppressions + N1 Insertions Groupe de Parité de la Nouvelle Case de Données N2 Insertions 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Performances Config. Crédit Envoi Client = 1 Crédit Envoi Client = 5 Max Taille Case = 10 000 enregistrements Fichier de 25 000 enregistrements 1 enregistrement = 104 Octets Peu de différence entre CG(28) et CG(216) 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Performances Config. Crédit Envoi Client = 1 Crédit Envoi Client = 5 k = 0 ** k = 1  Dégradation des Perf. de 20% k = 1 ** k = 2  Dégradation des Perf. de 8% 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Performances Config. Crédit Envoi Client = 1 Crédit Envoi Client = 5 k = 0 ** k = 1  Dégradation des Perf. de 37% k = 1 ** k = 2  Dégradation des Perf. de 10% 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine 4 Octobre 2004 Plan Problématique Etat de l’Art Fondements Thèoriques de LH*RS Le Gestionnaire LH*RS Expérimentations Création d’un Fichier LH*RS Récupération de Cases Scénario Performances 8. Ajout de Cases de Parité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Scénario Détection d’échecs Coordinateur Êtes-vous OK?   Cases de Parité Cases de Données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Scénario (2) Attente de Réponses … Coordinateur OK OK OK OK   Cases de Parité Cases de Données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Scénario (3) Recherche de Serveurs de Secours … Être Serveur ? Coordinateur Être Serveur ? Groupe Multicast de Cases de données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Scénario (4) Attente de Réponses … OK Coordinateur OK OK Lancer Ecoute UDP, Lancer Ecoute TCP, Lancer Threads de Travail *Attente Confirmation* Si Time-out expire  Tout annuler Groupe Multicast de Cases de données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Scénario (5) Sélection de Serveurs de Secours Confirmation Annulé Coordinateur Confirmé Confirmation Confirmé Groupe Multicast de Cases de données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Scénario (6) Sélection du Gestionnaire de Récupération Récupérer Coordinateur Récupérer Cases de Parité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Scénario (7) Phase d’Interrogation … Recherche Enregs Gestionnaire de Récupération Recherche Enregs … Cases de Parité Cases de Données Cases participant à la récupération Cases de Secours 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Scénario (8) Phase de Reconstruction … Phase de Décodage Tampons 4 Octobre 2004 Scénario (8) Phase de Reconstruction Gestionnaire de Récupération Tampons … Cases de parité Phase de Décodage Cases de Données Phase d’Interrogation en // En //le après phase de décodage , phase d’interrogation Cases participant à la récupération Tranches Récupérées Cases de Secours 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine 4 Octobre 2004 Performances Config. 1 Case XOR 1 Case RS XOR vs. RS 2 Cases Info Fichier Fichier de 125 000 Enregs Taille Enreg. = 100 octets Taille Case = 31250 enregs  3.125 MO Groupe de 4 Cases de Données (m = 4), k-disponible avec k = 1,2,3 Décodage * CG(216) * Décodage RS+ (RS +Pré-calcul du log de H-1 et des Symboles OK) Récupération par Tranche (auto-adaptation aux capacités des PCs) Performances de GF(2^16) Par rapport à GF(2^8): 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Performances Config. 1 Case XOR 1 Case RS XOR vs. RS 2 Cases Tranche Temps Total (sec) Temps Trait. (sec) Temps Com. (sec) 1250 0,625 0,266 0,348 3125 0,588 0,255 0,323 6250 0,552 0,240 0,312 15625 0,562 0,302 31250 0,578 0,250 0,328 Tranche (de 4% à 100% du contenu de la case)  Temps Total constant 0,58 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Performances Config. 1 Case XOR 1 Case RS XOR vs. RS 2 Cases Tranche Temps Total (sec) Temps de Trait. (sec) Temps de Com. (sec) 1250 0,734 0,349 0,365 3125 0,688 0,359 0,323 6250 0,656 0,354 0,297 15625 0,667 0,360 31250 0,328 0,67 Tranche (de 4% à 100% du contenu de la case)  Temps Total constant 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Performances Config. 1 Case XOR 1 Case RS XOR vs. RS 2 Cases Temps récupération d’1 case -XOR : 0,58 sec Temps récupération d’1 case –RS : 0,67 sec XOR dans CG(216) réalise un gain de 13% sur le Temps Tot. (et de 30% sur le Temps CPU) 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Performances 1 Case RS XOR vs. RS 2 Cases 3 Cases Récapitulatif Tranche Temps Total (sec) Temps Trait. (sec) Temps Com. (sec) 1250 0,976 0,577 0,375 3125 0,932 0,589 0,338 6250 0,883 0,562 0,321 15625 0,875 0,281 31250 0,313 0,9 Tranche (de 4% à 100% du contenu de la case)  Temps Total constant 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Performances 1 Case RS XOR vs. RS 2 Cases 3 Cases Récapitulatif Tranche Temps Total (sec) Temps Trait. (sec) Temps Com. (sec) 1250 1,281 0,828 0,406 3125 1,250 0,390 6250 1,211 0,852 0,352 15625 1,188 0,823 0,361 31250 1,203 0,375 1,23 Tranche (de 4% à 100% du contenu de la case)  Temps Total constant 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Performances 1 Case RS XOR vs. RS 2 Cases 3 Cases Récapitulatif f 4 Octobre 2004 Performances 1 Case RS XOR vs. RS 2 Cases 3 Cases Récapitulatif f Taille Case (MO) Temps Total (sec) Vitesse de Récup.(MO/sec) 1 (XOR) 1 (RS) 3,125 0,67 4,46 0,58 3,65 2 6,250 0,9 5,21 3 9,375 1,23 5,86 Vitesses de récupération Temps récupération de f cases  f  Temps récupération d’1 case Même Phase d’Interrogation  Donc, le + est du au temps de décodage et d’envoi de tampons de récupération 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine 4 Octobre 2004 Performances XOR vs. RS 2 Cases 3 Cases Récapitulatif CG(28) XOR dans CG(28) améliore les temps de 60% p.r. à un décodage RS dans CG(28) Un décodage RS/RS+ dans CG(216) réalise un gain en performance de 50% p.r. à CG(28). Vitesses de récupération 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine 4 Octobre 2004 Plan 1. Problématique 2. Etat de l’Art 3. Fondements Thèoriques de LH*RS 4. Le Gestionnaire LH*RS 5. Expérimentations 6. Création d’un Fichier LH*RS 7. Récupération de Cases 8. Ajout de Cases de Parité Scénario Performances 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Scénario Recherche d’une Nouvelle Case de Parité Rejoindre groupe g ? Coordinateur Rejoindre groupe g ? Groupe Multicast de Cases de Parité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Scénario (2) Attente de Réponses … Groupe Multicast de Cases de Parité Coordinateur OK OK OK Lancer Ecoute UDP, Lancer Ecoute TCP, Lancer Threads de Travail *Attente Confirmation* Si Time-out expire  Tout annuler Groupe Multicast de Cases de Parité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Scénario (3) Sélection Vous êtes Sélectionnée Annulé Coordinateur Annulé Vous êtes Sélectionnée Confirmé Groupe Multicast de Cases de Parité 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Scénario (4) Auto-création *Phase interrogation … … Demande d’enregistrements ! … … Nouvelle Case de Parité Groupe de Cases de Données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Scénario (5) Auto-création *Phase de Codage … … Tampons Traitement Tampon Tampons … … Nouvelle Case de Parité Groupe de Cases de Données 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Performances Config. XOR RS XOR vs. RS CG(28) Max Taille Case : 5000 .. 50000 enregs Taux Remplissage Cases: 62,5% Taille Enreg: 100 octets Groupe de 4 Cases de Données Codage CG(216) RS++ ( Pré-calcul du log & la ligne de ‘1’s  Trait. tampon 1ére case de données en XOR) 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Taille Case: T.Trait  74% T.Total Performances Config. XOR RS XOR vs. RS CG(28) Taille Case Temps Total (sec) Temps Trait (sec) Temps Com. (sec) 5000 0.190 0.140 0.029 10000 0.429 0.304 0.066 25000 1.007 0.738 0.144 50000 2.062 1.484 0.322 Taille Case: T.Trait  74% T.Total 0.659 0.640 0.686 0,608 Vitesse Codage MO/sec 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Performances Config. XOR RS XOR vs. RS CG(28) Taille Case Temps Total (sec) Temps Trait (sec) Temps Com. (sec) 5000 0.193 0.149 0.035 10000 0.446 0.328 0.059 25000 1.053 0.766 0.153 50000 2.103 1.531 0.322 0.673 0.674 0.713 0,618 Vitesse Codage MO/sec Taille Case: T.Trait  74% T.Total 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Performances Config. XOR RS XOR vs. RS CG(28) Pour Taille Case = 50000 enregs. Vitesse Codage XOR : 0,660 MO/sec Vitesse Codage RS: 0,673 MO/sec XOR réalise un gain en performance de trait. de 5% (seulement 0,02% sur le temps total) 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Performances Config. XOR RS XOR vs. RS CG(28) Idem que CG(216), le Temps Trait. = ¾ Temps Total XOR dans CG(28) améliore le temps de trait. de 22% 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Conclusion Les expérimentations ont prouvé que: Les Optimisations apportées Codage/décodage Architecture  Impact sur les Performances Bonnes Performances de Récupération 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Travaux Futurs Propagation des MAJs vers les cases de parité Fiabilité Rapidité Décharger le Coordinateur « Parity Declustering » Recherche de codes + optimisés 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Références [PGK88] D. A. Patterson, G. Gibson & R. H. Katz, A Case for Redundant Arrays of Inexpensive Disks, Proc. of ACM SIGMOD Conf, pp.109-106, June 1988. [ISI81] Information Sciences Institute, RFC 793: Transmission Control Protocol (TCP) – Specification, Sept. 1981, http://www.faqs.org/rfcs/rfc793.html [MB 00] D. MacDonal, W. Barkley, MS Windows 2000 TCP/IP Implementation Details, http://secinf.net/info/nt/2000ip/tcpipimp.html [J88] V. Jacobson, M. J. Karels, Congestion Avoidance and Control, Computer Communication Review, Vol. 18, No 4, pp. 314-329. [XB99] L. Xu & J. Bruck, X-Code: MDS Array Codes with Optimal Encoding, IEEE Trans. on Information Theory, 45(1), p.272-276, 1999. [CEG+ 04] P. Corbett, B. English, A. Goel, T. Grcanac, S. Kleiman, J. Leong, S. Sankar, Row-Diagonal Parity for Double Disk Failure Correction, Proc. of the 3rd USENIX –Conf. On File and Storage Technologies, Avril 2004. [R89] M. O. Rabin, Efficient Dispersal of Information for Security, Load Balancing and Fault Tolerance, Journal of ACM, Vol. 26, N° 2, April 1989, pp. 335-348. [W91] P.E. White, RAID X tackles design problems with existing design RAID schemes, ECC Technologies, ftp://members.aol.com.mnecctek.ctr1991.pdf [GRS97] J. C. Gomez, V. Redo, V. S. Sunderam, Efficient Multithreaded User-Space Transport for Network Computing, Design & Test of the TRAP protocol, Journal of Parallel & Distributed Computing, 40 (1) 1997. 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine Références (2) [BK+ 95] J. Blomer, M. Kalfane, R. Karp, M. Karpinski, M. Luby & D. Zuckerman, An XOR-Based Erasure-Resilient Coding Scheme, ICSI Tech. Rep. TR-95-048, 1995. [LS00] W. Litwin & T. Schwarz, LH*RS: A High-Availability Scalable Distributed Data Structure using Reed Solomon Codes, p.237-248, Proceedings of the ACM SIGMOD 2000. [KLR96] J. Karlson, W. Litwin & T. Risch, LH*LH: A Scalable high performance data structure for switched multicomputers, EDBT 96, Springer Verlag. [RS60] I. Reed & G. Solomon, Polynomial codes over certain Finite Fields, Journal of the society for industrial and applied mathematics, 1960.  [P97] J. S. Plank, A Tutorial on Reed-Solomon Coding for fault-Tolerance in RAID-like Systems, Software– Practise & Experience, 27(9), Sept. 1997, pp 995- 1012, [D01] A.W. Diène, Contribution à la Gestion de Structures de Données Distribuées et Scalables, PhD Thesis, Nov. 2001, Université Paris Dauphine. [B00] F. Sahli Bennour, Contribution à la Gestion de Structures de Données Distribuées et Scalables, PhD Thesis, Juin 2000, Université Paris Dauphine. + Références: http://ceria.dauphine.fr/rim/theserim.pdf 04 Oct. 04 * Présentation de Thèse R. Moussa, U. Paris Dauphine

Merci de votre Attention Questions ?