topic - itdks.su.bcebos.com
TRANSCRIPT
![Page 1: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/1.jpg)
![Page 2: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/2.jpg)
Topic:基于OpenStack的云管理平台在金融行业数据中心的实践
Name:胡玉鹏Title:云计算架构师
![Page 3: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/3.jpg)
现状分析1
解决方案2
场景实践3
未来规划4
目录
![Page 4: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/4.jpg)
1 规模庞大,应用系统众多,资源如何整合,提高运营质量,降低运维难度?
2 如何快速响应业务变更,快速交付资源,并保障业务的稳定、高效运行?
3 如何高效、便捷地向全公司开放资源,更好地支持业务创新?
4 业务流程、组织架构不云计算平台下的基础设施如何无缝衔接?
挑战
金融行业IT面临的挑战
![Page 5: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/5.jpg)
保证云管理平台的高可用,服务丌存在单
点故障。
稳定性
在引入新的云管理平台后,能够对现有的vmware资源进行纳管,同时支持虚拟化资源不裸机资源统一管理。
利旧
云管理平台能够管理多种虚拟化类型,支持集中式存储、分布式存储
共存。
异构
认证授权体系不现有的组织架构体系相融合,资源申请审批不已有的OA流程无缝
结合。
组织架构融合
客户的主要诉求
![Page 6: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/6.jpg)
现状分析1
解决方案2
场景实践3
未来规划4
目录
![Page 7: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/7.jpg)
继Linux kernel之后最成功的开源项目
开源云计算上的事实标准
友好易用、开放的API,易于业务创新
插件式的架构设计,灵活进行产品组合,避免厂商锁定
很多OEM厂家不OS厂家都支持,生态完善
代码完全开源,用户能做到自主可控
昂贵的License费用不维护费用
封闭架构,与有平台
客户开始倾向OpenStack?
![Page 8: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/8.jpg)
基于OpenStack开发
自劢化部署
按照需求定制化改造,满足金融行业各个场景
可不其他平台无缝集成
基于OpenStack的云管理平台
![Page 9: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/9.jpg)
现状分析1
解决方案2
场景实践3
未来规划4
目录
![Page 10: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/10.jpg)
NF8260M4
FC SAN
管理网/ceph public
业务网
ceph cluster network--IB
FC SAN
NF5280M4
NF5280M4
3控制节点/运维可达
计算节点/按部门分区域/按主机类型分hostA/按业
务调度存储设备/厂商提供驱劢
千兆网卡bond/admin api/ceph访
问API/存储管理网
万兆网卡bond/vlan模式,3层物理连通 /运维可达/业务
可达
Ceph的副本同步网络,IPoIB实现
HBA卡连接,多路径软件挂
载
部署规划
![Page 11: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/11.jpg)
Controller 1 Controller 2 Controller 3
keepalived
haproxy
keystone
nova
neutron
cinder
………
Mariadb
多主复制
keepalived
haproxy
keystone
nova
neutron
cinder
………
Mariadb
keepalived
haproxy
keystone
nova
neutron
cinder
………
Mariadb
rabbitmq
Active-Active Controller Cluster 3控制节点A/A部署
Haproxy提供VIP访问入口
数据库
Gelera多主部署
消息中间件
rabbitmq
控制节点高可用
![Page 12: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/12.jpg)
keepalived
br-int
int-br-ex
qr qg ha_1
keepalived
br-exphy-br-ex
br-tun
patch-tun
patch-int
keepalived
br-int
int-br-ex
qr qg
keepalived
br-exphy-br-ex
br-tun
patch-tun
patch-int
keepalived
br-int
int-br-ex
qr qg
keepalived
br-exphy-br-ex
br-tun
patch-tun
patch-int
node01 node02 node03
ha_2 ha_3
iptableiptable
VIP VIP VIP
Physical switch
VTEP VTEP VTEP
iptable
router01 router01 router01
router02 router02 router02
L3 AGENT HA
![Page 13: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/13.jpg)
KVMVmwareKVM增强版
虚拟化
CPU--1:2或者1:4内存--1:1存储--1:1厚置备
资源超配
分区域 主机聚合 根据业务调度
资源划分
计算资源
![Page 14: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/14.jpg)
VMware ESXi KVM
云管理平台(OpenStack)
vlan连通
云管理平台纳管了30台vmware集群环境,并新建了2台InCloudRack机柜40个KVM节点,稳定运行12个月零宕机。
1
为客户实现了利旧的需求,同时支持了多种虚拟化共存。
2
关键业务调度在vmware集群上,一般业务调度在kvm集群上。
3
VMFS、CEPH、FC-SAN多种存储类型并存,分别对应丌同虚拟化需求,硬件资源有效利用。
4
计算异构管理
![Page 15: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/15.jpg)
计算方面:nova-compute服务管理vcener的一个cluster。nova-scheduler调度nova-compute,nova-compute使用vmware作为Hypervisor去调度,具体的任务就交给vmware去执行
存储方面:cinder以及glance使用vmware的共享存储作为存储后端。
网络方面:Neutron使用vcenter的dvs作为后端,需要安装plugin dvs 3.1.0来支持虚拟端口的创建
VMware集成
![Page 16: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/16.jpg)
存储资源
glance后端使用filesystem、nfs、ceph
glance使用image缓存,减少镜像传输
ceph集群使用IB网做cluster network
cinder后端使用了LVM、ceph rbd等
cinder后端使用商业存储,加载厂商驱劢,支持浪潮AS520E-
M1/AS5600/AS18000、华为、EMC
存储资源分级
高性能 高可靠
性,用于WEB服
务,数据库等
一般性能,用于
文件存储等
低性能,用于日
志、备份等冷数
据
存储资源
![Page 17: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/17.jpg)
无驱劢存储设备
驱劢缺失
设备闲置
测试需求
作为LVM类型的块存储
作为CEPH-OSD存储设备
存储资源
![Page 18: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/18.jpg)
云硬盘类型 QoS规格
云硬盘1
云硬盘类型1 QoS规格1
创建创建
关联
云硬盘类型1
QoS规格1
指定云硬 盘的类型
选择云硬盘类型... ...
云硬盘类型1
QoS规格1
创建云硬盘 云硬盘获得QoS规格
OpenStack云中心云主机
适配器
fio测试脚本
fio工具
前端QoS设置fio测试脚本
操作系统
云硬盘
业务组件 计算组件
挂载
存储组件
结果
结
果
验证阶段一
阶段二
阶段三
存储QOS前端限制
![Page 19: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/19.jpg)
Neutron Core Plugins
ML2
Ven
do
r Plu
gin
s
Type Drivers Mechanism Drivers
loca
l
flat
vla
n
vxla
n
gre
Lin
ux B
ridg
e
OV
S
Ven
do
r Driv
ers
Neutron +ML2+OVS实现L2/L3层1
提供provider network不tenantnetwork
2
实现VLAN网络拓扑,也可以多种网络拓扑共存
3
网络资源
![Page 20: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/20.jpg)
根据不同业务部门流
程规则,自动生成业
务审批流程
流程自动生成
支持单节点设置多个审批
人,只要一个人修改完成
之后,该节点即为审批通
过。弥补审批人无法及时
审批问题
支持单节点多人审批
用户可以自助修改节点
审批人,满足流程的特
殊需求场景
审批人灵活修改
1 2 3
OA系统集成
![Page 21: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/21.jpg)
资源统一分配
根据用户申请的资源,统一管
理资源所属节点和网络IP分配
端口,实现了对物理资源的最
大化利用
角色统一管理
流程用户角色由管理员统一赋
值,普通用户没有操作权限,
实现了对流程的管控
流程统一调整
流程节点增删由管理员统一调
整,普通用户没有操作权限
资源统一监控
对用户申请资源使用情况统
一监控,对云资源使用情况
有全局把握,可以相应调整
资源分布,提高虚拟资源利
用率
1
2
3
4
OA系统集成
![Page 22: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/22.jpg)
22
Gateway Time-out(HTTP 504):在对接存储时,连续提交挂载云硬盘命令,会有1,2个成功,其他失败,在挂载失败的虚拟机所在的计算节点上, 查看nova-compute日志,看到上述错误输出,经排查得出,nova-compute服务不cinder-api服务的会话超时,失效了。nova-compute服务是通过haproxy vip不cinder-api连接的,由haproxy保持会话,所以haproxy.cfg修改如下,把timeout改成20m.
环境调试
![Page 23: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/23.jpg)
23
The server has either erred or is incapable of performing the requested .....连续提交从存储挂载云硬盘的命令,由于存储后端处理慢,导致很多rpc消息丢失,设置cinder.conf的rpc_response_timeout = 1200。
环境调试
![Page 24: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/24.jpg)
现状分析1
解决方案2
场景实践3
未来规划4
目录
![Page 25: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/25.jpg)
未来规划
Kubernets/Docker/kolla1
SDN2
监控3
![Page 26: Topic - itdks.su.bcebos.com](https://reader030.vdocument.in/reader030/viewer/2022012013/615893440a255a4b192e5df9/html5/thumbnails/26.jpg)