Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger, The Journal of CCPE, 2002 Fabrice Theoleyre

Plan Introduction Les acteurs Etat de lart Les modèles économiques Etude de cas DataGrids Project Nimrod-G Conclusion

Pourquoi un modèle économique? Un grand nombre de paramètres à prendre en compte Appartenance de la ressource Hétérogénéité (puissance…) Polices locales … Centraliser perte de scalabilité

Pourquoi un modèle économique? Bonne modélisation de léconomie classique Distribution des décisions en local Un grand nombre dacteurs Organisations virtuelles (contributions variées) Exploiter la dynamique du marché Tolérance aux pannes Disponibilité Charge … Motiver les nouveaux acteurs

Les acteurs (1) Les Grid Service Providers Proposent des ressources aux clients Les Ressource Brokers Consomment les ressources Les infrastructures Un même middleware pour communiquer

Les acteurs (2) Loffre et la demande Antagonisme moteur : Vendeur maximiser les bénéfices Acheteur minimiser le coût

Etat de lart Type de management de ressources : Single Domain Computing System (clusters) Database Management Storage Management Web-based distributed Systems Multi domain distributed Grid Systems De nombreux essais Mungi (commodity market, pour stockage, location despace de stockage, taxation, salaires, comptes bancaires…) … Problèmes : Un seul modèle dinteractions Pas de combinaison possible Implanté de façon monolithique

Etat de lart Critères de jugement dun modèle : Bon pour tous Pareto efficace Rationalité individuelle Stabilité Distributivité Efficacité

Les modèles économiques Modèles abstraits indépendants des ressources CPU Stockage Réseau (bande passante) … Langage déclaratif pour décrire les besoins

Les modèles économiques Commodity market Les fournisseurs spécifient leur prix et les publient (GMD : grid market directory) Valeur dépend de : Puissance Coût physique Overhead dû au service Demande Valeur perçue par lutilisateur Préférences locales du propriétaire

Les modèles économiques Commodity market Facile à mettre en œuvre Mécanismes simples Configuration locale des prix et politiques

Les modèles économiques Commodity market

Les modèles économiques Posted Price System Similaire au modèle précédent Envoie en plus des offres spéciales : Conquérir des parts de marché Inciter à réserver des slots moins chers Promotion conditions (ex: vacances)

Les modèles économiques Posted Price System Offres spéciales

Les modèles économiques Bargaining Model Négociation avec le GSP (en fonction des besoins du client) Durée dutilisation plus longue Coût moins élevé Jusqu à acceptation / rupture GSP : baisse du coût sous peine de sous-utilisation Définition plus fine du prix Modèles de négociation à mettre en oeuvre

Les modèles économiques Bargaining Model Négociations du prix

Les modèles économiques Tender/Contract Net Model Le modèle le plus utilisé pour la négociation distribuée Du point de vue du client : 1. Le broker annonce ses exigences 2. Les GSP évaluent la demande et y répondent 3. Le broker évalue et prend la meilleure 4. Le broker et le GSP communiquent et utilisent la ressource

Les modèles économiques Tender/Contract Net Model Du point de vue du vendeur : 1. Reçoit les offres 2. Evalue ses capacités 3. Répond 4. Délivre le service 5. Donne les résultats et la facture Fournit un comparatif des prix du marché

Les modèles économiques Auction Model Négociations un / multiple 1. Les GSP annoncent leurs offres 2. Les brokers proposent un prix 3. Létape (2) se répète jusquà fin 4. Le GSP offre le service au gagnant 5. Utilisation et Facture De nombreux modèles denchères Double Auction bien adapté (budget, deadline, stratégie…) Facile à implémenter dans les grilles (distribution sauf pour le médiateur)

Les modèles économiques Bid Based Proportional Resource Sharing Model Approche populaire pour environnements de type clusters 1/3 des ressources 2/3 des ressources 10 $ 20 $

Les modèles économiques Bid Based Proportional Resource Sharing Model Lallocation dépend des autres offres QOS grâce à une offre élevée (proposition importante si les besoins sont impératifs) Peu de ressources obtenues si nombreux clients QOS molle (aucune garantie) Modèle communautaire : ressources allouées au prorata du financement sous forme de jetons

Etude de cas – DataGrid Project Problème lorsquune tâche demande calculs et données DataGrids : Coût important daccès aux données Répartition de la bande passante

Etude de cas – DataGrid Project Environnement scientifique modèle communauté Capacité de 10To distribution de 10*10 9 jetons Répartition proportionnelle à la contribution Heure de pointe + de tokens nécessaires

Etude de cas – Nimrod-G Pour des applications paramétriques (calcul) Utilise le Globus Toolkit Middleware (sécurité, accès unique…) Langage déclaratif paramétrique Modèle adaptable sur dautres middleware (Condor…)

Grid Node N Grid User Application Grid Resource Broker Grid Service Providers Grid Explorer Schedule Advisor Trade Manager Task Farming Engine Deployment Agent Trade Server Resource Allocation Resource Reservation R1R1 Misc. services Information Server(s) R2R2 RmRm … Pricing Algorithms Accounting Grid Node1 … Grid Middleware Services … … Health Monitor Grid Market Services JobExec Info ? Secure Trading QoS Storage Sign-on Etude de cas – Nimrod-G

Expérience GRACE : Deadline + Budget Commodity market 2 algorithmes de scheduling : Optimisation sur le temps Optimisation sur le coût Utilisation du WWG Testbed Dynamique, hétérogène,…

4h20mn $2h30mn – $ Optimisation du tempsOptimisation du coût

Optimisation du temps Nb de processus en cours dexécution Coût cumulé

Conclusion - Apports + Un bon Framework de scheduling économique + Des modèles économiques très variés + Un exemple dimplémentation flexible (Nimrod-G, modulaire) + Bon état de lart des solutions économiques dans le scheduling, mais pas de développement de chaque modèle (stratégies…)

Conclusion - Limites - Etude de cas : pas tous les paramètres - Description très succincte de GRACE - Fixation statique des prix. - Pas de détails sur toutes les fonctionnalités économiques - Pas de présentation des modèles de négociations - Pas encore daccounting de type G-Bank - Pas de tests de modèles différents - Proposition de modèles mais pas de discussion de ladéquation aux grilles

Conclusion - Limites - Pas de discussion sur le nombre de paramètres économiques à prendre en compte (données, bande passante,…) - Pas de développement de certains points économiques : - stratégies - ROI - prise de risque - … - Un nombre réduit dacteurs (pas dintermédiaire grossiste) - Pas détude de stabilité du marché pour les grilles

Références 1. Buyya R., Abramson D., and Giddy J. An Economy Driven Resource Management Architecture for Global Computational Power Grids. International Conference on Parallel and Distributed Processing Techniques and Applications (PDPTA2000). Las Vegas, USA. June Buyya R., Abramson D., and Giddy J.. Nimrod/G: An Architecture for a Resource Management and Scheduling System in a Global Computational Grid. HPC ASIA'2000. China. IEEE CS Press. USA. July R. Buyya, J. Giddy, D. Abramson & H. Stockinger. An Evaluation of Economy-based Resource Trading and Scheduling on Computational Power Grids for Parameter Sweep Applications. Proceedings of the 2nd International Workshop on Active Middleware Services (AMS 2000). Kluwer Academic Press. Pittsburgh, USA. August Buyya R., Abramson D., Giddy J., and Stockinger H. Economic Models for Resource Management and Scheduling in Grid Computing. The Journal of Concurrency and Computation: Practice and Experience (CCPE), Wiley Press, 14/13-15, Buyya R., Abramson D., and Giddy J.. A Computational Economy for Grid Computing and its Implementation in the Nimrod-G Resource Broker. Future Generation Computer Systems, Elsevier Science. The Netherlands Buyya R., Murshed M., and Abramson D.. A Deadline and Budget Constrained Cost-Time Optimization Algorithm for Scheduling Task Farming Applications on Global Grids. The 2002 International Conference on Parallel and Distributed Processing Techniques and Applications. Las Vegas, Nevada, USA. June Carman M., Zini F., Serafini L., Stockinger K.. Towards an Economy-Based Optimisation of File Access and Replication on a Data Grid. submitted for publication. 8. Heiser G., Lam F., Russell S. Resource Management in the Mungi Single-Address-Space Operating System. In Proc. 21st Australasian Comp. Sci. Conf, Perth, Australia, Feb Vazhkudai S., Von Laszewski G.. A Greedy Grid - The Grid Economic Engine Directive. First International Workshop on Internet Computing and E-Commerce (ICEC'01), San Francisco, California, USA, April 27, Wolski R., Plank J. S., Brevik J and Bryan T. Analyzing Market-Based Resource Allocation Strategies for the Computational Grid. The International Journal of High Performance Computing Applications, Sage Science Press, Volume 15, number 3, Fall, 2001, pages Youn C.. Resource Management and Scheduling in Grid, Koren March. 2002

Des Questions ?