economic models for ressource managament and scheduling in grid computing présentation darticle dea...
TRANSCRIPT
Economic Models for Economic Models for Ressource Managament and Ressource Managament and
Scheduling in Grid ComputingScheduling in Grid Computing
Présentation d’articlePrésentation d’article
DEA DISIC DEA DISIC 20032003
R. Buyya, D. Abramson, J. Giddy & H. Stockinger, The Journal of CCPE, 2002
Fabrice TheoleyreFabrice Theoleyre
PlanPlan
Introduction Les acteurs Etat de l’art Les modèles
économiques Etude de cas
DataGrids Project Nimrod-G
Conclusion
Pourquoi un modèle Pourquoi un modèle économique?économique?
Un grand nombre de paramètres à prendre en compte Appartenance de la ressource Hétérogénéité (puissance…) Polices locales …
Centraliser perte de scalabilité
Pourquoi un modèle Pourquoi un modèle économique?économique?
Bonne modélisation de l’économie classique Distribution des décisions en local Un grand nombre d’acteurs Organisations virtuelles (contributions variées)
Exploiter la dynamique du marché Tolérance aux pannes Disponibilité Charge …
Motiver les nouveaux acteurs
Les acteurs (1)Les acteurs (1)
Les Grid Service ProvidersProposent des ressources aux
clientsLes Ressource Brokers
Consomment les ressourcesLes infrastructures
Un même middleware pour communiquer
Les acteurs (2)Les acteurs (2)
L’offre et la demande Antagonisme moteur :
Vendeur maximiser les bénéfices
Acheteur minimiser le coût
Etat de l’artEtat de l’art
Type de management de ressources : Single Domain Computing System (clusters) Database Management Storage Management Web-based distributed Systems Multi domain distributed Grid Systems
De nombreux essais Mungi (commodity market, pour stockage, location
d’espace de stockage, taxation, salaires, comptes bancaires…)
… Problèmes :
Un seul modèle d’interactions Pas de combinaison possible Implanté de façon monolithique
Etat de l’artEtat de l’art
Critères de jugement d’un modèle :Bon pour tousPareto efficaceRationalité individuelleStabilitéDistributivitéEfficacité
Les modèles économiquesLes modèles économiques
Modèles abstraits indépendants des ressources CPU Stockage Réseau (bande passante) …
Langage déclaratif pour décrire les besoins
Les modèles économiques Les modèles économiques Commodity marketCommodity market
Les fournisseurs spécifient leur prix et les publient (GMD : grid market directory)
Valeur dépend de : Puissance Coût physique Overhead dû au service Demande Valeur perçue par l’utilisateur Préférences locales du propriétaire
Les modèles économiques Les modèles économiques Commodity marketCommodity market
Facile à mettre en œuvreMécanismes simplesConfiguration locale des prix et
politiques
Les modèles économiques Les modèles économiques Commodity marketCommodity market
Les modèles économiques Les modèles économiques
Posted Price SystemPosted Price System
Similaire au modèle précédentEnvoie en plus des offres spéciales
:Conquérir des parts de marchéInciter à réserver des slots moins chers
Promotion conditions
(ex: vacances)
Les modèles économiques Les modèles économiques Posted Price SystemPosted Price System
Offres spéciales
Les modèles économiques Les modèles économiques
Bargaining ModelBargaining Model
Négociation avec le GSP (en fonction des besoins du client)
Durée d’utilisation plus longueCoût moins élevé
Jusqu’ à acceptation / ruptureGSP : baisse du coût sous peine de
sous-utilisationDéfinition plus fine du prix
Modèles de négociation à mettre en oeuvre
Les modèles économiques Les modèles économiques
Bargaining ModelBargaining Model
Négociations du prix
Les modèles économiques Les modèles économiques
Tender/Contract Net ModelTender/Contract Net Model
Le modèle le plus utilisé pour la négociation distribuée
Du point de vue du client :1. Le broker annonce ses exigences2. Les GSP évaluent la demande et y
répondent3. Le broker évalue et prend la
meilleure4. Le broker et le GSP communiquent et
utilisent la ressource
Les modèles économiques Les modèles économiques
Tender/Contract Net ModelTender/Contract Net Model
Du point de vue du vendeur :1. Reçoit les offres2. Evalue ses capacités3. Répond4. Délivre le service5. Donne les résultats et la facture
Fournit un comparatif des prix du marché
Les modèles économiques Les modèles économiques
Auction ModelAuction Model
Négociations un / multiple1. Les GSP annoncent leurs offres2. Les brokers proposent un prix3. L’étape (2) se répète jusqu’à fin4. Le GSP offre le service au gagnant5. Utilisation et Facture
De nombreux modèles d’enchères Double Auction bien adapté (budget, deadline,
stratégie…)
Facile à implémenter dans les grilles (distribution sauf pour le médiateur)
Les modèles économiques Les modèles économiques
Bid Based Proportional Resource Sharing Bid Based Proportional Resource Sharing ModelModel
Approche populaire pour environnements de type clusters
1/3 des ressources
2/3 des ressources10 $
20 $
Les modèles économiques Les modèles économiques
Bid Based Proportional Resource Sharing Bid Based Proportional Resource Sharing ModelModel
L’allocation dépend des autres offres QOS grâce à une offre élevée (proposition
importante si les besoins sont impératifs) Peu de ressources obtenues si nombreux
clients QOS molle (aucune garantie)
Modèle communautaire : ressources allouées au prorata du
financement sous forme de jetons
Etude de cas – DataGrid Etude de cas – DataGrid ProjectProject
Problème lorsqu’une tâche demande calculs et données
DataGrids :Coût important d’accès aux
donnéesRépartition de la bande
passante
Etude de cas – DataGrid Etude de cas – DataGrid ProjectProject
Environnement scientifique modèle communauté
Capacité de 10To distribution de 10*109 jetons
Répartition proportionnelle à la contribution
Heure de pointe + de tokens nécessaires
Etude de cas – Nimrod-GEtude de cas – Nimrod-G
Pour des applications paramétriques (calcul)
Utilise le Globus ToolkitMiddleware (sécurité, accès
unique…)Langage déclaratif paramétrique
Modèle adaptable sur d’autres middleware (Condor…)
Grid Node N
Grid User
Application
Grid Resource Broker
Grid Service Providers
Grid Explorer
Schedule Advisor
Trade Manager
Task FarmingEngine
Deployment Agent
Trade Server
Resource Allocation
ResourceReservation
R1
Misc. services
Information Server(s)
R2 Rm…
Pricing Algorithms
Accounting
Grid Node1
…
Grid Middleware Services
…
…
HealthMonitor
Grid Market Services
JobExec
Info ?
Secure
Trading
QoS
Storage
Sign-on
Etude de cas – Nimrod-GEtude de cas – Nimrod-G
Etude de cas – Nimrod-GEtude de cas – Nimrod-G
ExpérienceGRACE :
Deadline + BudgetCommodity market
2 algorithmes de scheduling :Optimisation sur le tempsOptimisation sur le coût
Utilisation du WWG TestbedDynamique, hétérogène,…
4h20mn - 141 869 $2h30mn – 199 968 $
Optimisation du temps Optimisation du coût
Optimisation du coûtOptimisation du temps
Nb de processus en
cours d’exécution
Coût cumulé
Conclusion - ApportsConclusion - Apports
+ Un bon Framework de scheduling économique
+ Des modèles économiques très variés+ Un exemple d’implémentation flexible
(Nimrod-G, modulaire)+ Bon état de l’art des solutions
économiques dans le scheduling, mais pas de développement de chaque modèle (stratégies…)
Conclusion - LimitesConclusion - Limites
- Etude de cas : pas tous les paramètres- Description très succincte de GRACE- Fixation statique des prix.- Pas de détails sur toutes les fonctionnalités
économiques- Pas de présentation des modèles de
négociations- Pas encore d’accounting de type G-Bank
- Pas de tests de modèles différents- Proposition de modèles mais pas de
discussion de l’adéquation aux grilles
Conclusion - LimitesConclusion - Limites
- Pas de discussion sur le nombre de paramètres économiques à prendre en compte (données, bande passante,…)
- Pas de développement de certains points économiques :- stratégies- ROI- prise de risque- …
- Un nombre réduit d’acteurs (pas d’intermédiaire grossiste)
- Pas d’étude de stabilité du marché pour les grilles
RéférencesRéférences
1. Buyya R., Abramson D., and Giddy J. “An Economy Driven Resource Management Architecture for Global Computational Power Grids”. International Conference on Parallel and Distributed Processing Techniques and Applications (PDPTA2000). Las Vegas, USA. June. 2000.
2. Buyya R., Abramson D., and Giddy J.. “Nimrod/G: An Architecture for a Resource Management and Scheduling System in a Global Computational Grid”. HPC ASIA'2000. China. IEEE CS Press. USA. July. 2000.
3. R. Buyya, J. Giddy, D. Abramson & H. Stockinger. “An Evaluation of Economy-based Resource Trading and Scheduling on Computational Power Grids for Parameter Sweep Applications”. Proceedings of the 2nd International Workshop on Active Middleware Services (AMS 2000). Kluwer Academic Press. Pittsburgh, USA. August. 2000.
4. Buyya R., Abramson D., Giddy J., and Stockinger H. “Economic Models for Resource Management and Scheduling in Grid Computing”. The Journal of Concurrency and Computation: Practice and Experience (CCPE), Wiley Press, 14/13-15, 2002.
5. Buyya R., Abramson D., and Giddy J.. “A Computational Economy for Grid Computing and its Implementation in the Nimrod-G Resource Broker”. Future Generation Computer Systems, Elsevier Science. The Netherlands. 2002.
6. Buyya R., Murshed M., and Abramson D.. “A Deadline and Budget Constrained Cost-Time Optimization Algorithm for Scheduling Task Farming Applications on Global Grids”. The 2002 International Conference on Parallel and Distributed Processing Techniques and Applications. Las Vegas, Nevada, USA. June 2002.
7. Carman M., Zini F., Serafini L., Stockinger K.. “Towards an Economy-Based Optimisation of File Access and Replication on a Data Grid”. submitted for publication.
8. Heiser G., Lam F., Russell S. “Resource Management in the Mungi Single-Address-Space Operating System”. In Proc. 21st Australasian Comp. Sci. Conf, Perth, Australia, Feb. 1998.
9. Vazhkudai S., Von Laszewski G.. “A Greedy Grid - The Grid Economic Engine Directive”. First International Workshop on Internet Computing and E-Commerce (ICEC'01), San Francisco, California, USA, April 27, 2001
10. Wolski R., Plank J. S., Brevik J and Bryan T. “Analyzing Market-Based Resource Allocation Strategies for the Computational Grid”. The International Journal of High Performance Computing Applications, Sage Science Press, Volume 15, number 3, Fall, 2001, pages 258-281.
11. Youn C.. “Resource Management and Scheduling in Grid”, Koren 2002. March. 2002
Des Questions ?Des Questions ?