automated)bandwidth)allocaon) problems)in)datacenters) · bandwidth)allocaon)problem ) 1gbps 600m...

25
Automated Bandwidth Alloca1on Problems in Data Centers Yifei Yuan, Anduo Wang, Rajeev Alur, Boon Thau Loo University of Pennsylvania

Upload: others

Post on 19-Jul-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Automated  Bandwidth  Alloca1on  Problems  in  Data  Centers  

Yifei  Yuan,  Anduo  Wang,  Rajeev  Alur,  Boon  Thau  Loo  University  of  Pennsylvania  

Page 2: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Mo1va1on  

• Managing  network  resources  is  the  key  computa1onal  problem  in  Data  Centers.  

•  Applying  verifica1on/synthesis  tool  to  network  resource  management?  – Benefits:  exact  solu1ons,  correctness  guarantees  – Challenges:  efficiency  

•  This  work:  bandwidth  alloca1on  by  SAT/SMT  solvers  

Page 3: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Bandwidth  Alloca1on  Problem  

Page 4: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Bandwidth  Alloca1on  Problem  

1G  bps   600M  bps  

500M  bps  

450M  bps  

X1  

X2   X3  

S1   S2   S3   S4  

Data  Center’s  Network  

10G  bps  

10G  bps  

Page 5: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Bandwidth  Alloca1on  Problem  

1G  bps   600M  bps  

500M  bps  

450M  bps  

X1  

X2   X3  

S1   S2   S3   S4  

Data  Center’s  Network  

V1  

V2   V3  

400M  bps  

400M  bps  

Virtual  Network  

10G  bps  

10G  bps  

Page 6: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Bandwidth  Alloca1on  Problem  

1G  bps   600M  bps  

500M  bps  

450M  bps  

X1  

X2   X3  

S1   S2   S3   S4  

Data  Center’s  Network  

V1  

V2   V3  

400M  bps  

400M  bps  

Virtual  Network  

10G  bps  

10G  bps  

Page 7: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Bandwidth  Alloca1on  Problem  

1G  bps   600M  bps  

500M  bps  

450M  bps  

X1  

X2   X3  

S1   S2   S3   S4  

Data  Center’s  Network  

V1  

V2   V3  

400M  bps  

400M  bps  

Virtual  Network  

v1   v3   v2  

10G  bps  

10G  bps  

Page 8: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Bandwidth  Alloca1on  Problem  

1G  bps   600M  bps  

500M  bps  

450M  bps  

X1  

X2   X3  

S1   S2   S3   S4  

Data  Center’s  Network  

V1  

V2   V3  

400M  bps  

400M  bps  

Virtual  Network  

v1   v3   v2  

10G  bps  

10G  bps  

Page 9: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

BAP:  Facts  

•  Complexity:  – NP-­‐complete:  tree  for  physical  network  &  virtual  network  

•  Exis1ng  heuris1cs:  – Pros:  efficient  

– Cons:  no  guarantee  •  Alterna1ve  approach:  SAT/SMT  solving      

Page 10: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

SAT  Encoding:  A  Glimpse  

•  X(v,s):  VM    v  is  mapped  to  server  s  •  Y(l,e):    physical  link  l  is  reserved  bandwidth  virtual  link  e  

•  R(l,e,k):  physical  link  l  is  the  k-­‐th  edge  on  the  rou1ng  path  for  virtual  link  e  

•  Server  capacity:  – ∑v  X(v,s)  <  c(s),  for  every  server  s  

•  Link  capacity:  – ∑e  Y(l,e)  <  b(l),  for  every  physical  link  l  

Page 11: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Abstrac1on  and  Refinement  

•  Observa1on:  Hierarchical  physical  network    topology  in  data  centers  – Tree  – Fat-­‐tree  

•  Idea:  – Abstract  physical  network:  small  size  – Refine  subgraphs        

Page 12: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Abstrac1on  

1 2   4 2

Page 13: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Abstrac1on  

1 2   4 2

Page 14: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Abstrac1on  

1 2   4 2

3 6

Page 15: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Abstrac1on  

3 6

Page 16: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Abstrac1on  

3 6

Page 17: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Refinement  

1 2   4 2

3 6

Page 18: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Refinement  

1 2   4 2

Page 19: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Evalua1on:  Set  up  

•  Physical  network  topology:  tree  with  200  servers:  

200  

20  

4 4 4 4

Page 20: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Evalua1on:  Set  up  

•  Virtual  network  topology:  connected  cliques  

2  

1   1  

Page 21: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Evalua1on:  Set  up  

•  Experiment:  – Run  alloca1on  algorithm  

– Keep  mapping  the  VN  to  the  PN  – Stop  when  no  more  VN  can  be  mapped  

Page 22: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Evalua1on:  Server  U1liza1on  

0  

0.2  

0.4  

0.6  

0.8  

1  

1.2  

9  vms   15  vms  

Avg.  server  

uli,za,on

 

#  of  VMs  

secondnet  sat  sat_abs  

Page 23: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Evalua1on:  Link  U1liza1on  

0  

0.1  

0.2  

0.3  

0.4  

0.5  

0.6  

0.7  

0.8  

9  vms   15  vms  Avg.  link  u,

liza,

on  

#  of  VMs  

secondnet  sat  sat_abs  

Page 24: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Evalua1on:  Running  Time  per  VN  

0.01  

0.1  

1  

10  

100  

9  vms   15  vms  Runn

ing  ,me  pe

r  vn  (secon

ds)  

#  of  VMs  in  the  virtual  network  

secondnet  sat  sat_abs  

Page 25: Automated)Bandwidth)Allocaon) Problems)in)DataCenters) · Bandwidth)Allocaon)Problem ) 1Gbps 600M bps 500M) bps 450M) bps X 1 X 2 X 3 S 1 S 2 S 3 S 4 DataCenter’s)Network) 10G bps

Summary  

•  Alterna1ve  approach  solving  network  resource  alloca1on  problem:  using  SAT/SMT  solvers  

•  Abstract&refinement  for  scalability  

•  Strength:  op1mal  solu1on  

• Weakness:  efficiency  – Possible  scenario:  Op1mal  realloca1on