B. Del-FabbroCFSE05LIFC p.1 Data Tree Manager : Un service de gestion des données persistantes pour le calcul ASP sur la grille Bruno DEL-FABBRO LIFC Besançon,

Présentation au sujet: "B. Del-FabbroCFSE05LIFC p.1 Data Tree Manager : Un service de gestion des données persistantes pour le calcul ASP sur la grille Bruno DEL-FABBRO LIFC Besançon,"— Transcription de la présentation:

1 B. Del-FabbroCFSE05LIFC p.1 Data Tree Manager : Un service de gestion des données persistantes pour le calcul ASP sur la grille Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr

2 B. Del-FabbroCFSE05LIFC p.2 Plan Introduction: Le modèle GridRPC Motivation de la gestion des données Le modèle GridRPC et la gestion des données Lapproche DIET de gestion des données Expériences Conclusion

3 B. Del-FabbroCFSE05LIFC p.3 Introduction Calcul sur la grille = aggrégation de ressources hétérogènes Très grand potentiel Difficile pour les non spécialistes Pas ou peu de standards GridRPC: standard pour lapproche de calcul client-serveur (Global Grid Forum) – API basée sur le modèle RPC – Quelques Environnements ASP ; NetSolve, Ninf, DIET…

4 B. Del-FabbroCFSE05LIFC p.4 Modèle GridRPC AGENT(s) S1 S2S3S4 Client A, B, C Réponse (C) S2 ! Requête Op(C, A, B)

5 B. Del-FabbroCFSE05LIFC p.5 Gestion des données Pas de gestion des données dans le modèle GridRPC: Un serveur de calcul ne peut pas conserver des données localement et les réutiliser pour dautres calculs (persistance). Un serveur ne peut pas émettre une donnée vers un autre serveur (redistribution).

6 B. Del-FabbroCFSE05LIFC p.6 Limitation du modèle actuel AGENT(s) S1 S2S3S4 Client A, B C S2 ! C=A*B S1 ! D=C -1 C C ??? D=C -1 D

7 B. Del-FabbroCFSE05LIFC p.7 Données dans le GridRPC Pourquoi: Grandes à très grandes taille des données Eviter les transferts de données inutiles Localiser les données Mais...pas toujours utile Client Serveur Stockage de données

8 B. Del-FabbroCFSE05LIFC p.8 Extension du modèle GridRPC à la gestion des données Accès aux données Localisation des données: – Données Externes – Données Internes !! Ne pas modifier lAPI standard Client Service Registre handle enregistrement résultats call lookup Stockage des données API de gestion des données

9 B. Del-FabbroCFSE05LIFC p.9 Gestion des données dans les plateformes GridRPC (existant) Client Serveur Client Serveur call API GridRPC standardDonnées externes Client Serveur resultats call Résultats intermédiaires call B=F(A) C=G(B) A B Client Serveur Données externes résultats call

10 B. Del-FabbroCFSE05LIFC p.10 Extension à la gestion des données Client Serveur Client Serveur call API GridRPC standardUtilisation de données externes Client Serveur retour call persistance des données call B=F(A) C=G(B) A B Client Serveur Transfert vers des serveurs externes call

11 B. Del-FabbroCFSE05LIFC p.11 Distributed Interactive Engineering Toolbox Structure hiérarchique facilitant la mise à léchelle Informations distribuées le long des la hiérachie dagents Courtage / Ordonnancement Persistance des données / Redistribution MA LA Direct connection Computational server (SeD) Master Agent Local Agent C, Fortran, Java

12 B. Del-FabbroCFSE05LIFC p.12 DIET Data Tree Manager DTM DIET Agent SeD Data Mover Data Manager Loc Manager Motivations générales : Persistance et redistribution des données API client simple : pas de modification de lAPI standard Données accessibles dans dautres sessions par dautres clients Transparence daccès aux données (identification) FAST : Performance Forecasting tool

13 B. Del-FabbroCFSE05LIFC p.13 Avantages API simple à utiliser Placement et mouvement des données transparents au client. Données proches des serveurs de calcul Inconvénients actuels Pas de réelle politique de stockage DIET Data Tree Manager

14 B. Del-FabbroCFSE05LIFC p.14 Platforme de tests Machines Linux 0.8 up to 1.5 Ghz LAN : 100 Mbytes WAN : 16 Mbytes Tests réalisés en conditions réelles Séquence dappel : opérations sur des matrices C = A*B D = C+E A = t A

15 B. Del-FabbroCFSE05LIFC p.15 Résultats Experimentaux

16 B. Del-FabbroCFSE05LIFC p.16 Quelques exemples dapplications cibles Modélisation Numérique de Terrain: – Calcul du modèle numérique de terrain – + rendu 3D ou + positionnement dantennes Simulation de physique moléculaire: – Simulation Monte Carlo de la cinétique de déposition datomes sur substrat – Visualisation Povray Dividing cube: – Extraction dISO surfaces – Reconstruction dimages – Visualisation

17 B. Del-FabbroCFSE05LIFC p.17 Client Div Cube ? MA LA SeD1 DM1 LM1 LM0 ID1, file, /../../file1.vox, …,.. SeD1! Ajout fichier vox id1, jpeg_file Id1, DM1 Id1, LM1 Exemple dutilisation : Dividing Cube Algorithme dextraction diso surfaces Vox_file Calcul

18 B. Del-FabbroCFSE05LIFC p.18 Use Case : Dividing Cube Client Div Cube ? MA LA SeD1 DM1 LM1 LM0 ID1, file, /../../file1.vox, …,.. Id1, DM1 Id1, LM1 SeD1! Solve(id1,..) getData(id1) Calcul Jpeg file Donnée déjà présente

19 B. Del-FabbroCFSE05LIFC p.19 Exemple dutilisation : Dividing Cube 52%

20 B. Del-FabbroCFSE05LIFC p.20 Conclusion et Perspectives Conclusion Intérêt de lapproche : gain en temps de calcul total, transparence Proposition de normalisation en cours de discussion dans la cadre du GridRPC Working Group au GGF pour la gestion des données. Perspectives Politique de conservation de la donnée : Combien de temps ? Valeur de TTL, algorithme type LRU Hétérogénéité : récupérer ou fournir des données externes à la plateforme. Service de Réplication : API pour la réplication : fournie à lordonnanceur Evaluation de performances = FAST (meilleurs candidats pour les transferts) Cohérence des données ? Intérêt ?

21 B. Del-FabbroCFSE05LIFC p.21 Bruno DEL-FABBRO LIFC Besançon, France delfabbro@lifc.univ-fcomte.fr Data Tree Manager : Un service de gestion des données persistantes pour le calcul ASP sur la grille