economic models for ressource managament and scheduling in grid computing
DESCRIPTION
Economic Models for Ressource Managament and Scheduling in Grid Computing. R. Buyya, D. Abramson, J. Giddy & H. Stockinger, The Journal of CCPE, 2002. Présentation d’article DEA DISIC 2003. Fabrice Theoleyre. Plan. Introduction Les acteurs Etat de l’art Les modèles économiques - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/1.jpg)
Economic Models for Economic Models for Ressource Managament and Ressource Managament and
Scheduling in Grid ComputingScheduling in Grid Computing
Présentation d’articlePrésentation d’article
DEA DISIC DEA DISIC 20032003
R. Buyya, D. Abramson, J. Giddy & H. Stockinger, The Journal of CCPE, 2002
Fabrice TheoleyreFabrice Theoleyre
![Page 2: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/2.jpg)
PlanPlan
Introduction Les acteurs Etat de l’art Les modèles
économiques Etude de cas
DataGrids Project Nimrod-G
Conclusion
![Page 3: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/3.jpg)
Pourquoi un modèle Pourquoi un modèle économique?économique?
Un grand nombre de paramètres à prendre en compte Appartenance de la ressource Hétérogénéité (puissance…) Polices locales …
Centraliser perte de scalabilité
![Page 4: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/4.jpg)
Pourquoi un modèle Pourquoi un modèle économique?économique?
Bonne modélisation de l’économie classique Distribution des décisions en local Un grand nombre d’acteurs Organisations virtuelles (contributions variées)
Exploiter la dynamique du marché Tolérance aux pannes Disponibilité Charge …
Motiver les nouveaux acteurs
![Page 5: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/5.jpg)
Les acteurs (1)Les acteurs (1)
Les Grid Service ProvidersProposent des ressources aux
clientsLes Ressource Brokers
Consomment les ressourcesLes infrastructures
Un même middleware pour communiquer
![Page 6: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/6.jpg)
Les acteurs (2)Les acteurs (2)
L’offre et la demande Antagonisme moteur :
Vendeur maximiser les bénéfices
Acheteur minimiser le coût
![Page 7: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/7.jpg)
Etat de l’artEtat de l’art
Type de management de ressources : Single Domain Computing System (clusters) Database Management Storage Management Web-based distributed Systems Multi domain distributed Grid Systems
De nombreux essais Mungi (commodity market, pour stockage, location
d’espace de stockage, taxation, salaires, comptes bancaires…)
… Problèmes :
Un seul modèle d’interactions Pas de combinaison possible Implanté de façon monolithique
![Page 8: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/8.jpg)
Etat de l’artEtat de l’art
Critères de jugement d’un modèle :Bon pour tousPareto efficaceRationalité individuelleStabilitéDistributivitéEfficacité
![Page 9: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/9.jpg)
Les modèles économiquesLes modèles économiques
Modèles abstraits indépendants des ressources CPU Stockage Réseau (bande passante) …
Langage déclaratif pour décrire les besoins
![Page 10: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/10.jpg)
Les modèles économiques Les modèles économiques Commodity marketCommodity market
Les fournisseurs spécifient leur prix et les publient (GMD : grid market directory)
Valeur dépend de : Puissance Coût physique Overhead dû au service Demande Valeur perçue par l’utilisateur Préférences locales du propriétaire
![Page 11: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/11.jpg)
Les modèles économiques Les modèles économiques Commodity marketCommodity market
Facile à mettre en œuvreMécanismes simplesConfiguration locale des prix et
politiques
![Page 12: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/12.jpg)
Les modèles économiques Les modèles économiques Commodity marketCommodity market
![Page 13: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/13.jpg)
Les modèles économiques Les modèles économiques
Posted Price SystemPosted Price System
Similaire au modèle précédentEnvoie en plus des offres spéciales
:Conquérir des parts de marchéInciter à réserver des slots moins chers
Promotion conditions
(ex: vacances)
![Page 14: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/14.jpg)
Les modèles économiques Les modèles économiques Posted Price SystemPosted Price System
Offres spéciales
![Page 15: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/15.jpg)
Les modèles économiques Les modèles économiques
Bargaining ModelBargaining Model
Négociation avec le GSP (en fonction des besoins du client)
Durée d’utilisation plus longueCoût moins élevé
Jusqu’ à acceptation / ruptureGSP : baisse du coût sous peine de
sous-utilisationDéfinition plus fine du prix
Modèles de négociation à mettre en oeuvre
![Page 16: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/16.jpg)
Les modèles économiques Les modèles économiques
Bargaining ModelBargaining Model
Négociations du prix
![Page 17: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/17.jpg)
Les modèles économiques Les modèles économiques
Tender/Contract Net ModelTender/Contract Net Model
Le modèle le plus utilisé pour la négociation distribuée
Du point de vue du client :1. Le broker annonce ses exigences2. Les GSP évaluent la demande et y
répondent3. Le broker évalue et prend la
meilleure4. Le broker et le GSP communiquent et
utilisent la ressource
![Page 18: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/18.jpg)
Les modèles économiques Les modèles économiques
Tender/Contract Net ModelTender/Contract Net Model
Du point de vue du vendeur :1. Reçoit les offres2. Evalue ses capacités3. Répond4. Délivre le service5. Donne les résultats et la facture
Fournit un comparatif des prix du marché
![Page 19: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/19.jpg)
Les modèles économiques Les modèles économiques
Auction ModelAuction Model
Négociations un / multiple1. Les GSP annoncent leurs offres2. Les brokers proposent un prix3. L’étape (2) se répète jusqu’à fin4. Le GSP offre le service au gagnant5. Utilisation et Facture
De nombreux modèles d’enchères Double Auction bien adapté (budget, deadline,
stratégie…)
Facile à implémenter dans les grilles (distribution sauf pour le médiateur)
![Page 20: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/20.jpg)
Les modèles économiques Les modèles économiques
Bid Based Proportional Resource Sharing Bid Based Proportional Resource Sharing ModelModel
Approche populaire pour environnements de type clusters
1/3 des ressources
2/3 des ressources10 $
20 $
![Page 21: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/21.jpg)
Les modèles économiques Les modèles économiques
Bid Based Proportional Resource Sharing Bid Based Proportional Resource Sharing ModelModel
L’allocation dépend des autres offres QOS grâce à une offre élevée (proposition
importante si les besoins sont impératifs) Peu de ressources obtenues si nombreux
clients QOS molle (aucune garantie)
Modèle communautaire : ressources allouées au prorata du
financement sous forme de jetons
![Page 22: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/22.jpg)
Etude de cas – DataGrid Etude de cas – DataGrid ProjectProject
Problème lorsqu’une tâche demande calculs et données
DataGrids :Coût important d’accès aux
donnéesRépartition de la bande
passante
![Page 23: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/23.jpg)
Etude de cas – DataGrid Etude de cas – DataGrid ProjectProject
Environnement scientifique modèle communauté
Capacité de 10To distribution de 10*109 jetons
Répartition proportionnelle à la contribution
Heure de pointe + de tokens nécessaires
![Page 24: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/24.jpg)
Etude de cas – Nimrod-GEtude de cas – Nimrod-G
Pour des applications paramétriques (calcul)
Utilise le Globus ToolkitMiddleware (sécurité, accès
unique…)Langage déclaratif paramétrique
Modèle adaptable sur d’autres middleware (Condor…)
![Page 25: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/25.jpg)
Grid Node N
Grid User
Application
Grid Resource Broker
Grid Service Providers
Grid Explorer
Schedule Advisor
Trade Manager
Task FarmingEngine
Deployment Agent
Trade Server
Resource Allocation
ResourceReservation
R1
Misc. services
Information Server(s)
R2 Rm…
Pricing Algorithms
Accounting
Grid Node1
…
Grid Middleware Services
…
…
HealthMonitor
Grid Market Services
JobExec
Info ?
Secure
Trading
QoS
Storage
Sign-on
Etude de cas – Nimrod-GEtude de cas – Nimrod-G
![Page 26: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/26.jpg)
Etude de cas – Nimrod-GEtude de cas – Nimrod-G
ExpérienceGRACE :
Deadline + BudgetCommodity market
2 algorithmes de scheduling :Optimisation sur le tempsOptimisation sur le coût
Utilisation du WWG TestbedDynamique, hétérogène,…
![Page 27: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/27.jpg)
4h20mn - 141 869 $2h30mn – 199 968 $
Optimisation du temps Optimisation du coût
![Page 28: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/28.jpg)
Optimisation du coûtOptimisation du temps
Nb de processus en
cours d’exécution
Coût cumulé
![Page 29: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/29.jpg)
Conclusion - ApportsConclusion - Apports
+ Un bon Framework de scheduling économique
+ Des modèles économiques très variés+ Un exemple d’implémentation flexible
(Nimrod-G, modulaire)+ Bon état de l’art des solutions
économiques dans le scheduling, mais pas de développement de chaque modèle (stratégies…)
![Page 30: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/30.jpg)
Conclusion - LimitesConclusion - Limites
- Etude de cas : pas tous les paramètres- Description très succincte de GRACE- Fixation statique des prix.- Pas de détails sur toutes les fonctionnalités
économiques- Pas de présentation des modèles de
négociations- Pas encore d’accounting de type G-Bank
- Pas de tests de modèles différents- Proposition de modèles mais pas de
discussion de l’adéquation aux grilles
![Page 31: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/31.jpg)
Conclusion - LimitesConclusion - Limites
- Pas de discussion sur le nombre de paramètres économiques à prendre en compte (données, bande passante,…)
- Pas de développement de certains points économiques :- stratégies- ROI- prise de risque- …
- Un nombre réduit d’acteurs (pas d’intermédiaire grossiste)
- Pas d’étude de stabilité du marché pour les grilles
![Page 32: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/32.jpg)
RéférencesRéférences
1. Buyya R., Abramson D., and Giddy J. “An Economy Driven Resource Management Architecture for Global Computational Power Grids”. International Conference on Parallel and Distributed Processing Techniques and Applications (PDPTA2000). Las Vegas, USA. June. 2000.
2. Buyya R., Abramson D., and Giddy J.. “Nimrod/G: An Architecture for a Resource Management and Scheduling System in a Global Computational Grid”. HPC ASIA'2000. China. IEEE CS Press. USA. July. 2000.
3. R. Buyya, J. Giddy, D. Abramson & H. Stockinger. “An Evaluation of Economy-based Resource Trading and Scheduling on Computational Power Grids for Parameter Sweep Applications”. Proceedings of the 2nd International Workshop on Active Middleware Services (AMS 2000). Kluwer Academic Press. Pittsburgh, USA. August. 2000.
4. Buyya R., Abramson D., Giddy J., and Stockinger H. “Economic Models for Resource Management and Scheduling in Grid Computing”. The Journal of Concurrency and Computation: Practice and Experience (CCPE), Wiley Press, 14/13-15, 2002.
5. Buyya R., Abramson D., and Giddy J.. “A Computational Economy for Grid Computing and its Implementation in the Nimrod-G Resource Broker”. Future Generation Computer Systems, Elsevier Science. The Netherlands. 2002.
6. Buyya R., Murshed M., and Abramson D.. “A Deadline and Budget Constrained Cost-Time Optimization Algorithm for Scheduling Task Farming Applications on Global Grids”. The 2002 International Conference on Parallel and Distributed Processing Techniques and Applications. Las Vegas, Nevada, USA. June 2002.
7. Carman M., Zini F., Serafini L., Stockinger K.. “Towards an Economy-Based Optimisation of File Access and Replication on a Data Grid”. submitted for publication.
8. Heiser G., Lam F., Russell S. “Resource Management in the Mungi Single-Address-Space Operating System”. In Proc. 21st Australasian Comp. Sci. Conf, Perth, Australia, Feb. 1998.
9. Vazhkudai S., Von Laszewski G.. “A Greedy Grid - The Grid Economic Engine Directive”. First International Workshop on Internet Computing and E-Commerce (ICEC'01), San Francisco, California, USA, April 27, 2001
10. Wolski R., Plank J. S., Brevik J and Bryan T. “Analyzing Market-Based Resource Allocation Strategies for the Computational Grid”. The International Journal of High Performance Computing Applications, Sage Science Press, Volume 15, number 3, Fall, 2001, pages 258-281.
11. Youn C.. “Resource Management and Scheduling in Grid”, Koren 2002. March. 2002
![Page 33: Economic Models for Ressource Managament and Scheduling in Grid Computing](https://reader035.vdocument.in/reader035/viewer/2022062500/568151c1550346895dbff4e5/html5/thumbnails/33.jpg)
Des Questions ?Des Questions ?