Data Management for Large-Scale Scientific Computations in High Performance Distributed Systems A. Choudhary, M. Kandemir, J. NoG. Memik, X. Shen, W. Liao,

Présentation au sujet: "Data Management for Large-Scale Scientific Computations in High Performance Distributed Systems A. Choudhary, M. Kandemir, J. NoG. Memik, X. Shen, W. Liao,"— Transcription de la présentation:

1 Data Management for Large-Scale Scientific Computations in High Performance Distributed Systems A. Choudhary, M. Kandemir, J. NoG. Memik, X. Shen, W. Liao, H. Nagesh, S. More, V. Taylor, R. Thakur, and R. Stevens Center for Parallel and Distributed Computing Department of Electrical and Computer Engineering Northwestern University IntroductionContexteAnalyseConclusionApproche Expérimentation Présentation darticle04/02/04 B. Ben HediaMetacomputing Data Management for Large-Scale Scientific Computations in High Performance Distributed Systems A.Choudhary, M. Kandemir, J. NoG. Memik, X. Shen, W. Liao, H. Nagesh, S. More, V. Taylor, R. Thakur, and R. Stevens Center for Parallel and Distributed Computing Department of Electrical and Computer Engineering Northwestern University

2 IntroductionContexteAnalyseConclusionApproche Expérimentation Introduction Recherche : Département de lénergie Accélération stratégique de calcul Programme dalliance académique stratégique Article : Gestion de données Calcul à grand échelle Système disturbé, grande performance Présentation darticle04/02/04 B. Ben HediaMetacomputing

3 IntroductionContexteAnalyseConclusionApproche Expérimentation Systèmes de gestion des données Systèmes classiques : Systèmes de gestion des fichiers Systèmes de gestion des Bases des données (DBMS) Limites (SGF): Utilisation des pointeurs Fonctions propres à chaque système (portabilité) Codage bas niveau, optimisation impossible Présentation darticle04/02/04 B. Ben HediaMetacomputing

4 IntroductionContexteAnalyseConclusionApproche Expérimentation Systèmes de gestion des données Limites (DBMS ): Performance (vis-à-vis de quelque architectures) Logique de consistance, intégration de sémantique: obstacle devant la grande performance DBMS: types des données, modèles de manipulation Présentation darticle04/02/04 B. Ben HediaMetacomputing

5 IntroductionContexteAnalyseConclusionApproche Expérimentation Lapproche des auteurs Avantages des SGFs Avantages des DBMS Architectures parallèles dE/S Présentation darticle04/02/04 B. Ben HediaMetacomputing MDMS active HSS Interface Utilisateur simple Environnement de programmation

6 IntroductionContexteAnalyseConclusionApproche Expérimentation Lenvironnement Présentation darticle04/02/04 B. Ben HediaMetacomputing MDMS: Meta-Data Management System HSS: Hierarchical Storage System

7 IntroductionContexteAnalyseConclusionApproche Expérimentation Le MDMS Cest Quoi ? : Middleware Interfaces communes Communication (Application,HSS avec MDMS) Performance dE/S Active (pas simplement un entrepôt de données) Fonctionnalités: Sauvegarde les informations concernant : -Dispositifs de stockages ASDs (App, HSS) -« storage patterns », « access patterns » -« suspended access patterns » -Contexte A(user, application) Présentation darticle04/02/04 B. Ben HediaMetacomputing

8 IntroductionContexteAnalyseConclusionApproche Expérimentation Le MDMS Outils : « user directives », communication avec lapplication: -Layout directives: contrôle de HSS par lapplication -Access pattern directives: conseil de HSS du seq. d E/S « common access (sharing) directives » « individual directives »: informations sur lE/S (accès au données): Implémentation : « user directives », tables relationnelles, OR-DBMS: Présentation darticle04/02/04 B. Ben HediaMetacomputing

9 IntroductionContexteAnalyseConclusionApproche Expérimentation Le MDMS Exemple de directives : Présentation darticle04/02/04 B. Ben HediaMetacomputing access P(-, -) organize P(BLOCK,*) storage DISK(4) associate (R1,R2) with T acess T(BLOCK,*) storage DISK(4)

10 IntroductionContexteAnalyseConclusionApproche Expérimentation Le HSS Cest Quoi ? : Système de gestion de stockage hiérarchique HPSS, FPS, PIOFPS Fonctionnalités: Maintenir les sauvegardes liées à la mise à jours de méta données dans MDMS Traite les demandes doptimisation dE/S. Doù larchitecture de communication suivante: Présentation darticle04/02/04 B. Ben HediaMetacomputing

11 IntroductionContexteAnalyseConclusionApproche Expérimentation Le HSS Architectures dE/S moderne: Augmenter le parallélisme dE/S: augmenter le nbre des unités de stockages Améliorer la politique daccès Bande magnétique: Run-time dédié: activer automatiquement, ou par le compilateur: -La partie du fichier qui contient les données -Transfert de la bande vers le disque -Extraction des données Présentation darticle04/02/04 B. Ben HediaMetacomputing

12 IntroductionContexteAnalyseConclusionApproche Expérimentation Linterface Utilisateur But : Simple Réduire le nombre des appels des fonctions dE/S Optionnelles Fonctions : Présentation darticle04/02/04 B. Ben HediaMetacomputing

13 IntroductionContexteAnalyseConclusionApproche Expérimentation Architecture Présentation darticle04/02/04 B. Ben HediaMetacomputing

14 IntroductionContexteAnalyseConclusionApproche Expérimentation Résultats Présentation darticle04/02/04 B. Ben HediaMetacomputing

15 IntroductionContexteAnalyseConclusionApproche Expérimentation Points forts Clarté : Pas besoin de connaissances extérieures Approche expliquée de façon structurée et simple Mise en valeur de lapproche : Besoin légitime Les composants MDMS et HSS Interface utilisateur simple Présentation darticle04/02/04 B. Ben HediaMetacomputing

16 IntroductionContexteAnalyseConclusionApproche Expérimentation Points faibles Manque dapprofondissement : Article accessible mais peu de détails techniques Implémentation de lapproche ? Comparaison par rapport à dautre approches ? Le HSS, quel HSS utilisé ? Et pourquoi ? Présentation darticle04/02/04 B. Ben HediaMetacomputing

17 IntroductionContexteAnalyseConclusionApproche Expérimentation Conclusion Un environnement de programmation flexible et simple Supporté par le département dénergie (fonctionnel) Plus une introduction à un nouvel environnement de programmation quune description technique exhaustive Présentation darticle04/02/04 B. Ben HediaMetacomputing