ACS - Un canevas pour la construction de caches adaptables Laurent dOrazio LIMOS – Equipe Base de Données Vendredi 13 mars 2009.

Présentation au sujet: "ACS - Un canevas pour la construction de caches adaptables Laurent dOrazio LIMOS – Equipe Base de Données Vendredi 13 mars 2009."— Transcription de la présentation:

1 ACS - Un canevas pour la construction de caches adaptables Laurent dOrazio LIMOS – Equipe Base de Données Vendredi 13 mars 2009

2 Grilles informatiques Besoins en puissance de calcul et de stockage –Physique –Météorologie –Biologie : décryptage de génome –Imagerie médicale –Etc. 2

3 Problèmes liés à la gestion de données sur grilles 3 ????? Dispersion géographique, volumes importants de données,

4 Problèmes liés à la gestion de données sur grilles 4 Dispersion géographique, volumes importants de données, nombreux clients

5 Problèmes liés à la gestion de données sur grilles 5 Dispersion géographique, volumes importants de données, nombreux clients, variabilité

6 Objectif 6 Optimiser la gestion de données sur grilles Utilisation de caches au niveau intergiciel Réduire les temps dattente Augmenter la disponibilité

7 Notion de cache Motivations –Optimisation des performances Accès rapide –Support physique –Placement Réduction de la charge –Sur les serveurs –Sur les réseaux –Disponibilité 7 Cache année=2006{enr-P15711, enr-Q43495} Source de données année = 2006 Défaut

8 Notion de cache Motivations –Optimisation des performances Accès rapide –Support physique –Placement Réduction de la charge –Sur les serveurs –Sur les réseaux –Disponibilité 8 Cache année=2006{enr-P15711, enr-Q43495} année = 2006 Succès Source de données

9 Grilles et caches adaptables Besoin de nombreux caches + conception complexe coût de développement élevé Efficacité dépendante de la configuration par rapport au contexte Hétérogénéité des grilles (Données, Matériels, Clients) 9 Cache adaptable Serveurs

10 Plan Introduction ACS (Adaptable Cache Service) –Architecture globale –Construction à laide dACS dun cache pour lapplication bio- informatique ACS et caches sémantiques ACS et caches coopératifs Prototype et validation Conclusion et perspectives 10

11 Architecture globale 11 Objectif Construction de caches Adaptés Reconfigurables dynamiquement Choix darchitecture –Canevas logiciel Capture des fonctionnalités (cohérence non considérée) Capture des interactions entre les fonctionnalités –Composants logiciels Paramétrisation Modularité Gestionnaire de remplacement Gestionnaire de cache Gestionnaire de contenu Gestionnaire de résolution Gestionnaire danalyse Gestionnaire dévaluation Gestionnaire dadmission Fonctionnalités élémentaires Fonctionnalités optionnelles Résolution Source 1 Contenu hachage Cache élémentaire Remplacement LRU Résolution Source 2 Remplacement SIZE

12 12 Construction à laide dACS dun cache pour lapplication bio-informatique Remplacement LRU Cache élémentaire Contenu hachage Résolution grille Admission taille Composants réutilisés Composants spécifiques Réutilisation de code = 88 % Cache année=2006{enr-P15711, enr-Q43495}

13 Plan Introduction ACS ACS et caches sémantiques –Gestion du contenu –Gestion de la sémantique ACS et caches coopératifs Prototype et validation Conclusion et perspectives 13

14 Cache sémantique [Dar96] [Keller96] Profiter des capacités locales dévaluation –Réduction de la charge sur les serveurs –Réduction des transferts de données –Augmentation de la disponibilité Principes –Gestion de résultats de requêtes –Décomposition des requêtes posées Requête de consultation Requête restante 14 Consultation DT>2005 DT>2000 Source de données Restante : DT>2000 DT<2005 Cache sémantique DT>2005{enr-P15711, enr-Q43495}

15 15 État de lart des caches sémantiques Gestion de la sémantique Évaluation –Sélection [Dar96] –Projection [Ren03] –Jointure [Keller96] –Requête de localisation [Zheng01] Analyse [Godfrey97] –Équivalence –Inclusions –Recouvrement partiel Équivalence succès étendu E : année = 2006 Q : année 2005 Entrée Requête Entrée Requête dans entrée succès étendu E : année = 2006 Q : année=2006 auteur= «Blanchet» Entrée Requête Entrée dans requête succès partiel E : année = 2006 Q : année > 2005 RequêteEntrée Recouvrement partiel succès partiel E : auteur = « Blanchet » année = 2006 Q : auteur = « Blanchet » espèce = virus

16 16 État de lart des caches sémantiques Gestion du contenu Résultats de requêtes [Dar96] –Agrégation des objets –Duplication dans le cache –Mélange calculs et données Prédicats et objets [Keller96] –Pas de duplication dans le cache –Pas dagrégation des objets –Synchronisation forte prédicats / objets Mélange calculs et données Cache de résultats de requêtes année=2006{enr-P15711, enr-Q43495} année=2010{} espèce=virus{enr-P15711, enr-P13813} auteur=Blanchet{enr-P13813, enr-P19084} Cache de prédicats et dobjets année=2006{P15711, Q43495} année=2010{} espèce=virus{P15711, P13813} auteur=Blanchet{P13813, P19084} P15711enr-P15711 Q43495enr-Q43495 P13813enr-P13813 P19084enr-P19084

17 17 ACS et gestion de la sémantique Gestionnaire de remplacement Gestionnaire de cache Gestionnaire de contenu Gestionnaire de résolution Gestionnaire danalyse Gestionnaire dévaluation Gestionnaire dadmission Fonctionnalités élémentaires Fonctionnalités optionnelles Cache sémantique Gestionnaire dévaluation,, TRIS, etc. Évaluation,, TRIS, etc. Gestionnaire danalyse,, Analyse,, Gestionnaire cache sémantique

18 18 Construction à laide dACS dun cache de résultats de requêtes pour lapplication bio-informatique Gestionnaire danalyse, Gestionnaire dévaluation Cache de résultats de requêtes année=2006{enr-P15711, enr-Q43495} année=2010{} espèce=virus{enr-P15711, enr-P13813} auteur=Blanchet{enr-P13813, enr-P19084} Gestionnaire de remplacement Gestionnaire de contenu Gestionnaire de résolution Gestionnaire danalyse Gestionnaire dévaluation Gestionnaire dadmission Fonctionnalités élémentaires Fonctionnalités optionnelles Évaluateur Gedeon Analyse vecteurs, Gestionnaire cache sémantique Réutilisation de code = 81 %

19 19 Construction à laide dACS dun cache de prédicats et dobjets pour lapplication bio-informatique Gestionnaire danalyse, Gestionnaire dévaluation Cache sémantique Cache de prédicats et dobjets année=2006{P15711, Q43495} année=2010{} espèce=virus{P15711, P13813} auteur=Blanchet{P13813, P19084} P15711enr-P15711 Q43495enr-Q43495 P13813enr-P13813 P19084enr-P19084 Gestionnaire de remplacement Contenu prédicats / objets Gestionnaire de résolution Gestionnaire danalyse Gestionnaire dévaluation Gestionnaire dadmission Fonctionnalités élémentaires Fonctionnalités optionnelles Évaluateur Gedeon Analyse vecteurs, Gestionnaire cache sémantique Réutilisation de code = 100 %

20 Plan Introduction ACS ACS et caches sémantiques ACS et caches coopératifs –Cache coopératif –Caches répartis –Résolution verticale –Résolution horizontale Prototype et validation Conclusion et perspectives 20

21 Cache coopératif [Dahlin94] [Chankhunthod96] Profiter des ressources dautres caches Avantages –Répartition des transferts de données –Réduction de la charge sur les serveurs –Augmentation de la disponibilité 21 Source de données Cache Caches coopératifs Caches coopératifs ?

22 22 État de lart des caches coopératifs Caches répartis [Braun95] Principe général Distribution des requêtes Aléatoire Tourniquet En fonction des demandes En fonctions des clients Etc. Inconvénient Caches proches physiquement Source de données Cache réparti Cache réparti Cache réparti Cache réparti

23 23 ACS et caches répartis Gestionnaire de remplacement Gestionnaire de cache Gestionnaire de contenu Gestionnaire de résolution Gestionnaire dadmission Fonctionnalités élémentaires Fonctionnalités optionnelles Cache réparti Source de données Cache réparti Cache réparti Cache réparti Cache réparti

24 24 État de lart des caches coopératifs Résolution verticale [Chankhunthod96] Principe général Résolution par des parents Inconvénients –Charge sur les parents –Sensibilité Source de données Cache parent Cache

25 25 ACS et caches avec résolution verticale Gestionnaire de remplacement Gestionnaire de cache Gestionnaire de contenu Résolution cache parent Gestionnaire dadmission Fonctionnalités élémentaires Fonctionnalités optionnelles Source de données Cache parent Cache

26 26 État de lart des caches coopératifs Résolution horizontale Principe général Résolution par des frères Protocoles –Inondation [Chankhunthod96] –Catalogue [Fan98] Inconvénient Gestion dans un environnement grande échelle Source de données Cache frère Cache frère Cache frère Cache frère Cache frère Cache frère

27 27 ACS et caches avec résolution horizontale Gestionnaire de remplacement Gestionnaire de cache Gestionnaire de contenu Résolution Inondation / catalogue Gestionnaire dadmission Fonctionnalités élémentaires Fonctionnalités optionnelles Source de données Cache frère Cache frère Cache frère Cache frère Cache frère Cache frère

28 Plan Introduction ACS ACS et caches sémantiques Prototype et validation –Prototype –Expérimentations sur grille Conclusion et perspectives 28

29 Prototype dACS (disponible sur ligforge.imag.fr) Architecture du canevas –Java + Fractal –Interfaces + patrons dinteractions –Bibliothèque de composants 29

30 30 Expérimentations sur Grid5000 Rennes Sophia-Antipolis Nancy SP1 SP2 SP3 Architecture à union de serveurs

31 31 Expérimentations Validation du cache dual –Union de 3 serveurs (Sophia-Antipolis, Rennes, Lille) –50 clients avec des caches de 500Mo (Sophia-Antipolis, Rennes, Lille, Toulouse) Cache dual : 10 Mo pour cache de requêtes –100 requêtes par client –Localité sémantique R60 –Pas dappartenance à une communauté

32 32 Validation du cache dual Cache dual plus performant –Taux de succès de cache plus élevés –Charge dévaluation sur les serveurs plus faible –Volume de données transférées moins important Temps de réponse plus courts Cache Sémantique Temps de réponse Succès exacts Succès étendus Charge sur les serveurs Évaluations sur les serveurs Volume transféré Cache de résultats de requêtes 73.52 s19.16 %56.38 %24,46 % 187.526 Go Cache de prédicats et dobjets 71.01 s26.46 %49.70 %23.84 % 185.464 Go Cache dual47.26 s52.94 %39.02 %23,34 %8.04 %132.197 Go

33 33 Expérimentations Analyse des protocoles de résolution pour cache dual –Union de 3 serveurs (Nancy, Rennes, Sophia-Antipolis) –50 clients avec des caches de 325Mo (Sophia-Antipolis, Rennes, Lille, Toulouse) Cache dual : 10 Mo pour cache de requêtes –50 requêtes par client –Localité sémantique R40 –Communauté 70 %

34 34 Les coopérations entre caches améliorent les performances La proximité sémantique réduit –Les évaluations sur les serveurs –La consommation de bande passante (le rapatriement par données évite la récupération dobjets déjà stockés) La proximité physique répartit la consommation de bande passante La proximité physique et sémantique améliorent grandement les performances Temps de réponse Évaluations sur les serveurs Données transférées (serveurs - caches) Sans coopérations 103.3 s34 %30.4 Go Physique102.1 s34 %30,4 Go25.9 Go Sémantique32.1 s9 %29.5 Go Physique sémantique 24.4 s9 %25.1 Go11.5 Go Analyse des protocoles de résolution

35 Plan Introduction ACS ACS et caches sémantiques ACS et caches coopératifs Prototype et validation Conclusion et perspectives 35

36 Résumé Objectif Optimiser la gestion de données sur grilles Contribution Canevas pour la construction de caches adaptables Expérimentations sur grille de données 36

37 Perspectives Diffusion dACS ACS sous licence GNU LGPL http://ligforge.imag.fr/projects/acs/http://ligforge.imag.fr/projects/acs/ Problématiques de recherche –Gestion de données sur grilles pervasives –Gestion de données hétérogènes –Gestion de données sur grilles –Gestion de cohérence à grande échelle (transactions sur grilles ?) 37

38 Optimisation dans les environnements variables : adaptation contextuelle (1) 38 Gestionnaire de contexte - Modélisation - Capture - Gestion des situations pertinentes Cache ACS Gestionnaire dadaptation Résolution Cache élémentaire Contexte Règles actives ECA Paramétrisation

39 Optimisation dans les environnements variables : adaptation contextuelle (2) 39 Gestionnaire de contexte - Modélisation - Capture - Gestion des situations pertinentes Cache ACS Gestionnaire dadaptation Résolution Cache élémentaire Contexte Règles actives ECA AnalyseÉvaluation Cache sémantique

40 Adaptation contextuelle... Vers des caches autonomes 40

41 Merci Questions ? 41

42 42 Bibliographie (1) [Braun95] Hans-Werner Braun and Kimberly C. Claffy. Web traffic characterization : an assessment of the impact of caching documents from ncsas web server. Computer Networks and ISDN Systems, 28(1- 2) :37–51, 1995. [Chankhunthod96] Anawat Chankhunthod, Peter B. Danzig, Chuck Neerdaels, Michael F. Schwartz, and Kurt J. Worrell. A hierarchical internet object cache. In USENIX Annual Technical Conference, pages 153–164, 1996. [Dahlin94] Michael D. Dahlin, Clifford J. Mather, Randolph Y. Wang, Thomas E. Anderson, and David A. Patterson. A quantitative analysis of cache policies for scalable network file systems. In The ACM SIGMETRICS conference on Measurement and modeling of computer systems, pages 150–160, 1994. [Dar96] Shaul Dar, Michael J. Franklin, Bj¨orn T. Jonsson, Divesh Srivastava, and Michael Tan. Semantic data caching and replacement. In Proceedings of the international conference on Very Large Data Bases, pages 330–341, 1996.

43 43 Bibliographie (2) [Fan98] Li Fan, Pei Cao, Jussara Almeida, and Andrei Z. Broder. Summary cache : a scalable wide-area web cache sharing protocol. In The ACM SIGCOMM Conference on Applications, technologies, architectures, and protocols for computer communication, pages 254– 265, 1998. [Godfrey97] Parke Godfrey and Jarek Gryz. Semantic query caching for hetereogeneous databases. In The international Workshop on Knowledge Representation meets Databases, pages 6.1–6.6, 1997. [Keller96] Arthur M. Keller and Julie Basu. A predicate-based caching scheme for clientserver database architectures. The VLDB Journal, 5(1) :35–47, 1996. [Ren03] Qun Ren, Margaret H. Dunham, and Vijay Kumar. Semantic caching and query processing. IEEE Transactions on Knowledge and Data Engineering, 15(1) :192–210, 2003. [Zheng01] Baihua Zheng and Dik Lun Lee. Semantic caching in location- dependent query processing. In The International Symposium on Advances in Spatial and Temporal Databases, pages 97–116, 2001.