overlay技术介绍 - h3c

Overlay技术介绍

2 www.h3c.com 2 Copyright © 2016 NEW H3C Group. All rights reserved.

01

02

网络虚拟化的发展

Overlay基本概念与分类

目录

03 VXLAN技术基础


数据中心虚拟化起源

所谓虚拟化，本身就是一个广义的通用术语，保罗万象。

虚拟化是一种资源管理技术，本质是从物理到逻辑的映射，是物理资源的复用或融合。

特点：仿真、透明实现

风格：模拟、伪装

起源：

1960s

分时共享

2001 1970s 1980s 1990s 1950s 1998 1999 2003 2004 2005 2006 2007 2008 2009 2010 2014

虚拟内存

虚拟机 VLAN

RAID 以太网通道

VTL

虚拟路由转发

X86虚拟化

Data Core

ESXi VXLAN XEN

Vmotion

虚拟SAN

微软虚拟服务

器

Invista

SAN卷控制器

Metro Cluster

弹性计算

云 KVM

虚拟交换系统

FCoE

Hyper-V

VDS

vSphere

vSwitch

OpenFlow


虚拟化技术分类

虚拟化技术按实现方法，可以分类为：池化、抽象、分区。

按照技术领域来划分，可以分为：网络、存储、服务器(计算)虚拟化，其中计算虚拟化是虚拟化技术发展最重要的催化剂。

网络虚拟化存储虚拟化

服务器虚拟化

阵列虚拟化

大型机虚拟化

FCOE

虚拟内存 vSwitch

UCS

VLAN

TRILL SPB

VXLAN

NVGRE

VPLS

LUN

RAID

虚拟磁带库

x86虚拟化

时分共享


计算虚拟化业务的发展

计算虚拟化业务经历了由单一到多元、分散到统一、由集中到分布，由局限于设备的虚拟化到整体数据中心云化，最后再由云服务各行各业的过程。

云计算的出现极大推动了计算虚拟化技术的提升，也促进了其他虚拟化技术的发展。 1959年6月，Chirstopher首次提出计算虚拟化概念。 1965年，IBM发布首款操作系统虚拟化技术 1974年， Popek和Goldberg正式定义虚拟机。 1998年，Vmware将虚拟化技术引入x86架构。 1999年，第一个商业化IaaS平台LoudCloud出现. 2000年 ,SaaS兴起。 2004年，Google发布MapReduce论文，大数据基石Hadoop出现。 2005年，亚马逊推出AWS，公有云业务进入蓬勃发展。


计算虚拟化面临的挑战

随着计算虚拟化发展，DC内大量部署的虚拟机提供云服务。部署虚拟机需

要在网络中无限制地迁移，虚拟机数量和增长速度也远超物理服务器，给

计算虚拟化带来了新的挑战。

虚拟机迁移范围受到网络架构限制

迁移的不中断性限制了网络是二层

传统的STP等部署繁琐，配置复杂，并且网络规模不能过大，限制了虚

拟化的网络扩展性

各厂家私有的设备级虚拟化技术（如IRF）虽然可以简化拓扑，单只能

一般适合于数据中心内部网络


计算虚拟化面临的挑战

虚拟机规模受网络规格限制

在二层网络环境下，MAC地址表成为决定了云计算环境下虚拟机的规模

上限的瓶颈，限制了整个云计算数据中心的虚拟机数量。

虚拟化业务的网络隔离/分离能力限制

VLAN数量在标准定义中只有12个比特单位，即可用的数量为4K，这样

的数量级对于公有云或大型虚拟化云计算应用而言微不足道


网络虚拟化技术概述

什么是网络虚拟机化：

可以构建出虚拟的网络链路或网络节点的技术，无论是二层的、大二层

的、三层的，还是多虚一、一虚多，都属于网络虚拟化技术。

网络虚拟化的分层：

数据平面、控制平面、管理平面

网络虚拟化的优点：可扩展性、灵活性、安全性、构建逻辑分区

网络虚拟化从来不是单独发展的，而是和服务器虚拟化、存储虚拟化并列发

展的，为解决计算虚拟化面临的挑战，发展出了多种新的网络虚拟化技术，

网络虚拟化进入高速发展期。


网络虚拟化技术的发展

计算虚拟化面临的挑战，要求网络虚拟化能够以较低成本提供一个拥有充足隔离能力的透明大二层网络。 STP:部署繁琐，无法构建跨三层的二层网络，规模有限 IRF:简化网络拓扑，强制要求拓扑，只能用于数据中心内部 EVB：包括VEB、VEPA等部分，只能解决虚拟机网络接入的问题。 802.1Qbh：需要专门芯片支持，厂商限制严重，也只能解决接入层。 Trill:引入了L2 ISIS做为寻址协议，在内外层Ethernet报头之间引入了

TRILL报头，使用NickName作为转发标识，用于报文在TRILL网络中的寻址转发，MAC in MAC，落地情况一般，收敛慢，缺乏运维经验。

SPB：同样使用L2 ISIS做为寻址协议，MAC in MAC，负载均衡需要预配置，缺乏运维经验。

需要一种新的网络虚拟化技术来满足计算虚拟化告诉发展带来的需求。


01

02

网络虚拟化


目录



Overlay技术的出现

Overlay在网络技术领域，是一种网络架构上叠加的虚拟化技术模式，其大体框架是对

基础网络不进行大规模修改的条件下，实现应用在网络上的承载，并能与其它网络业

务分离，并且以基于IP的基础网络技术为主。

Overlay网络是指建立在已有网络上的虚拟网，逻辑节点和逻辑链路构成了

Overlay网络。

Overlay网络是具有独立的控制和转发平面，对于连接在Overlay边缘设备之外的

终端系统来说，物理网络是透明的。

Overlay网络的出现是为了实现已有网络所不能提供的功能和服务Overlay网络是

物理网络向云和虚拟化的深度延伸，使云资源池化能力可以摆脱物理网络的重重

限制，是实现云网融合的关键。


Overlay技术基本概念

Overlay 网络

物理承载网络

主机

主机

Overlay 边缘设备


Overlay 控制平面

承载网络控制平面

数据平面 Payload封装

Overlay 控制平面

服务发现

地址通告和映射

隧道管理


Overlay数据报文的封装/解封装

节点，决定了Overlay网络的规模

Overlay 数据平面

提供数据封装，基于承载网

络传输


Overlay技术解决的问题

针对虚机迁移范围受到网络架构限制的解决方式

Overlay把二层报文封装在IP报文之上，因此，只要网络支持IP路由可达就可以部署

Overlay网络，而IP路由网络本身已经非常成熟，且在网络结构上没有特殊要求。而

且路由网络本身具备良好的扩展能力，很强的故障自愈能力和负载均衡能力。

针对虚机规模受网络规格限制的解决方式

虚拟机数据封装在IP数据包中后，对网络只表现为封装后的网络参数，即隧道端点的

地址，因此，对于承载网络（特别是接入交换机），MAC地址规格需求极大降低。

针对网络隔离/分离能力限制的解决方式

针对VLAN只能支持数量4K以内的限制，在Overlay技术中扩展了隔离标识的位数，

可以支持高达16M的用户，极大扩展了隔离数量。


Overlay技术的功能要求

较低成本的构建跨越三层的大二层，通过隧道实现跨三层的二层互联。

感知虚拟机。接入交换机/隧道端点交换机与虚拟机机直连或通过TOR交换

机间接感知到虚拟机。

充足的网络或虚拟子网标识数量。

租户隔离：虚机的MAC藏在帧内部，不通逻辑2层网络或子网之间是隔离的，

在不同的租户内，实现IP MAC地址复用。

经过隧道封装，减轻物理交换机的MAC地址表压力，只需要学习隧道端点

IP MAC地址信息。

对虚拟机透明：虚拟机感知不到隧道封装。

可实现细粒度的负载均衡。


Overlay网络类型

物理设备物理设备

vDevice

VM

VM

VM

vDevice

VM

VM

VM

虚拟设备虚拟设备

vDevice

VM

VM

VM

DB/Controller

物理设备

虚拟设备网络Overlay：

路由器或交换机作为Overlay网络的边缘设备

服务器无需支持Overlay

通过控制协议来实现网络构建和扩展

主机Overlay：

虚拟设备（vDevice）作为Overlay网络的边缘设备

适用于服务器全虚拟化的场景，不能接入非虚拟化服务器

混合Overlay：

混合组网，物理设备、虚拟设备作为Overlay网络的边缘设备

可接入各种形态的服务器


主流Overlay技术

名称支持者方案简述产品形式网络虚拟化方式

数据新增报头长度

技术特点

VXLAN

Cisco、VMware、HP、Citrix、RedHat 、Broadcom

L2 over UDP

Cisco: N1000V BCM: Trident2 其他：OpenvSwitch

VXLAN报头 24 bit VNI

50Byte 不改变L2~L4报文结构，现有网络设备即可支持多路径负载均衡。

NVGRE

微软、HP、Broadcom、 Dell、Emulex、Intel

L2 over GRE

微软: Hyper-V vSwitch BCM: Trident Emulex: 网卡其他：OpenvSwitch

NVGRE报头 24 bit VSI

42Byte

问题：改变了GRE报文头，需要升级网络设备才能支持多路径负载均衡。

STT Nicira(被VMware收购)

无状态TCP vSwitch STT报头 64 bit Context ID

58~76Byte

问题：改变了TCP报文头，当前无商用芯片支持，仅VMware纯虚拟化环境可用，产业生态脆弱。Cisco也不支持


01

02

网络虚拟化


目录



VXLAN技术基本概念

VXLAN 虚拟可扩展局域网（Virtual Extensible Lan），是Overlay技术的一种，通过隧道机制在现有网络

上构建一个叠加的网络从而绕过现有VLAN标签的限制

VTEP VTEP

VTEP VTEP

VTEP VTEP

VXLAN网络 VXLAN Network


VXLAN技术基本概念

VTEP

VXLAN Tunnel End Point 虚拟扩展本地网络隧道终结节点

上行方向将虚拟机（服务器）产生的数据封装到UDP包头内发送出去，下行方向将

收到的VXLAN报文解封装后发给虚拟机（服务器）

VTEP之间建立了两点之间的隧道（VTEP可以为软件、硬件服务器或者网路设备、隧

道是无状态的）

VNI

VXLAN Network Identifier 虚拟扩展本地网络标示符

VNI取代VLAN用来表示不同的VXLAN网络

VNI是一个24位进制表示，可以扩展到2的24次方个网段


VXLAN的报文结构(一)

基本格式：L2oUDP

封装报头开销50字节

UDP目的端口为已知端口4798，源端口可按流分配，标准5元组方式有利于IP网络转发过程中进行负载分担

外层MAC头

外层IP头外层UDP头

VXLAN头原始二层报文

标记位 RRRRIRRR

保留未用（24位）

VXLAN ID（24位）保留未用（8位）

8字节 8字节 20字节 14字节

VXLAN标签

标志位（8bits），一个有效的VXLAN网络ID（VNI），第5个bit的I标志位必须设置为1，余下的7个bit的标志位是保留的，必须设置为0

VXLAN网络ID(VNI)，长24bit，用于标识一个单独的VXLAN网络


VXLAN的报文结构(二)

外层三层包头

外层ip包头的ip地址为隧道两端的VTEP设备地址，如果Hypervisor承担了VTEP工作则为服务

器网卡地址，如果VTEP为接入交换机，则IP地址为出端口上的 IP地址或者三层接口地址、

loopback地址

外层二层包头

外层二层包头为报文在普通网络中做二、三层转发的MAC地址（目的mac为目的VTEP设备的

硬件mac或者三层网关的MAC)

新添加的VXLAN包头原始报文

外层MAC头

外层IP头外层UDP头

VXLAN头原始二层报文


VXLAN报文举例


VXLAN GW和VXLAN IP GW

VXLAN IP GW

网络设备支持VXLAN报文的封装与解封装，并根据内层报文的IP头部进行三层转发

VXLAN GW

支持VXLAN报文的封装与解封装，并根据内层报文的MAC头部进行二层转发，实现VXLAN与VLAN

的互通

leaf leaf

Spine Spine

leaf

router

leaf

router

VXLAN网络

1、ingress VTEP设备将报文封装成VXLAN报文

2 、核心设备做为VXLAN IP GW，终结VXLAN报文并进行L3转发 3 、 egress VTEP 设备

将VXLAN 报文解封装，实现VXLAN与VLAN的互通

VXLAN Network


VXLAN 网络互通需求 VXLAN 二层/三层网关：传统L2网络中，报文跨VLAN转发，需要借助VLAN Mapping或者L3 设备来完成不同

VLAN之间的互通问题，VXLAN网络同样需要解决：

VXLAN和VLAN之间如何互通，这个是解决VXLAN虚拟网络和传统物理网络之间如何通信的问题

VXLAN和VXLAN之间如何互通，这个是解决VXLAN网络内部不同租户如何互通的问题

VXLAN L2 Gateway

VXLAN VLAN

VLAN 100 VXLAN 10

VXLAN L3 Gateway

VXLAN VXLAN

VXLAN 20 VXLAN 10

VXLAN ID VLAN ID

10 100

VXLAN ID VXLAN ID

10 20

VXLAN 二层网关：

最简单的实现应该是一个Bridge设备

仅仅完成VXLAN到VLAN的转换，包含VXLAN到VLAN的1：1、N：1转换

实体形态可以是vSwitch、交换机

VXLAN 三层网关：

实现可以是一个Router设备，支持跨VXLAN三层转发

实体形态可以是vRouter、交换机、路由器


VXLAN 集中式网关

Leaf Leaf

Spine

Leaf

server

VXLAN Network

server

vsi-interface 10 10.0.0.1 VSI/VXLAN 10

VSI/VXLAN 10 vsi-interface 20 20.0.0.1

10.0.0.10 20.0.0.10

集中式VXLAN IP网关进行二层VXLAN业务终结对内层封装的IP报文进行三层转发 VXLAN IP网关功能由VXLAN对应的三层虚接口（VSI虚接口）承担


VXLAN 分布式网关

Leaf Leaf

Spine

Leaf

server

VXLAN Network

server



10.0.0.10 20.0.0.10

分布式VXLAN IP网关所有的分布式VXLAN IP网关上都需要创建VSI虚接口不同网关上的相同VSI虚接口配置相同的网关IP地址






VXLAN的控制平面 VXLAN的控制平面实现方式分为3类

自学习模式

利用泛洪/广播机制来实现VXLAN网络的建立

基于SDN Controller的集中式模式

SDN Controller作为控制平面，通过下发流表指导VTEP的转发

路由协议扩展模式

通过扩展ISIS（类EVI)、BGP（EVPN)协议来实现VXLAN网络的建立

原始数据包

VXLAN标签

外层UDP包头

外层源IP地址

外层目的IP地址

外层802.1q标签

外层源/目的mac

VTEP设备转发时需要哪些信息？


VXLAN的控制平面—自学习模式一

Leaf Leaf

Spine Spine

Leaf

vswitch

VM1 VM2

server

VTEP IP 10.0.0.1 VTEP IP 10.0.0.2

指定VXLAN ID映射到一个IP组播组，此VXLAN的VTEP都加入该组播组，通过flooding和learning机制完成学习

如图，VM server属于同一个VXLAN 10 加入特定组播组239.1.1.1

1）VM发送ARP报文请求server的地址

2 ） VTEP 将报文进行VXLAN 封装，在组播组239.1.1.1里广播

3）同一个VXLAN的VTEP收到ARP请求后，学习对端VTEP的地址，并生成VTEP上的MAC地址表，并将VTEP报文解封装后广播到相关接口

MAC地址 VTEP地址

VM mac 10.0.0.1

VXLAN Network


VXLAN的控制平面—自学习模式二

Leaf-A Leaf-B

Spine Spine

Leaf-C

vswitch

VM1 VM2

server

VTEP IP 10.0.0.1

VTEP IP 10.0.0.2

6）Leaf-A将报文进行 VXLAN 解封装后发给 VM1 ，并且学习对端VTEP的 IP,生成VTEP上的MAC地址表

5）Leaf-C查看MAC地址表，将报文封装成VXLAN报文后，单播发送给Leaf-A


VM mac 10.0.0.1

4）server收到ARP报文，回应ARP请求


server mac 10.0.0.2 VXLAN

Network


VXLAN的控制平面—基于Controller方式

Leaf-A Leaf-B

Spine Spine

Leaf-C

基于SDN Controller方式的控制平面和地址学习

SDN Controller与所有VXLAN ED设备建立连接（通过OpenFlow协议），通过SDN Controller给各VXLAN ED部署下发流表来进行VXLAN的转发

Controller VXLAN app

未知报文

1）Leaf-A收到未知报文通过packet in报文将报文发给controller

VM1

2）Controller上学习MAC地址表并和Leaf-A地址对应

MAC 地址 VTEP地址

VM mac 10.0.0.1

3）controller下发流表给VTEP指导转发

4）controller将学习到的MAC与VTEP对应关系同步到其他VTEP

注：通过云业务平台在创建VM的时候直接将VM MAC地

址表（包括与VTEP IP地址的对应关系）通知SDN

controller，这样controller一直有整网的VM MAC地址表

VXLAN Network


VXLAN的控制平面—基于ISIS协议(一)

ENDC ENDC

ENDS ENDS

ENDC

基于ISIS扩展协议的控制平面和mac地址学习

基于EVI邻居发现协议，通过ISIS扩展协议来实现控制平面和MAC地址学习

VXLAN网络启用ENDP协议，核心设备作为ENDS设备、接入设备作为ENDC设备，ISIS扩展协议来完成MAC的发布和回收

VXLAN Network


VXLAN的控制平面—基于ISIS协议(二)

Leaf-A Leaf-B

Spine Spine

Leaf-C

vswitch

VM1 VM2

server

VTEP IP 10.0.0.1 VTEP IP 10.0.0.2

1）VTEP学习到VM MAC之后通过ISIS扩展协议通告给其他VTEP设备

2）同一个域内的VTEP设备收到ISIS报文，学习VM MAC和对应的VTEP地址


VM mac 10.0.0.1

Spine设备作为ENDS设备、接入设备（VTEP）作为ENDC设备，ENDC设备向ENDS设备发起注册（包括VXLAN ID、VTEP ID、network ID)ENDS发送应答包括所有ENDC设备信息，建立VXLAN控制平面

VXLAN Network


优势： • 标准化：控制面使用EVPN，属于标准协议 • 灵活：使用MP-BGP完成地址同步，更灵

活控制地址发布规则

Spine Spine

Leaf Leaf Leaf

EVPN地址同步 EVPN地址同步

VXLAN隧道建立

VXLAN Network

VXLAN的控制平面—基于EVPN协议


VXLAN的数据平面(一) 隧道机制

源和目的VTEP之间建立隧道，负责报文的VXLAN封装和解封装

VTEP为虚拟机数据包分装了层层包头，这些新包头只会在报文到目的VTEP时才会解封装，中间路径网络设备

只会根据外层包头的目的地址进行转发，对于转发路径上的网络设备，一个VXLAN报文就是一个普通IP报文

leaf leaf

Spine Spine

leaf leaf

VXLAN网络 Tunnel VXLAN Network


VXLAN的数据平面(二)

Leaf-A Leaf-B

Spine Spine

Leaf-C

VM2 server

VTEP IP 10.0.0.1 VTEP IP 30.0.0.1 MAC VTEP地址

A 10.0.0.1

MAC VTEP地址

B 30.0.0.1

在VTEP设备上进行VXLAN的封装解封装，根据MAC地址表（对应有对端的VTEP IP地址）转发,

以虚拟机的二层转发/同一个VXLAN为例

MAC A IP 20.0.0.1

MAC B IP 20.0.0.2

mac B mac A 20.0.0.2 20.0.0.1

VXLAN Network

mac B mac A 20.0.0.2 20.0.0.1

VXLAN标签外层UDP包头 10.0.0.1 30.0.0.1 mac B mac A 20.0.0.2 20.0.0.1


VXLAN的基本配置 1.创建VSI和VXLAN

使能L2VPN功能

创建VSI，并进入VSI视图

创建VXLAN，并进入VXLAN视图

注：在一个VSI下只能创建一个VXLAN 不同VSI下创建的VXLAN，其VXLAN ID不能相同

[Switch] l2vpn enable

[Switch] vsi vsi-name

[Switch] vxlan vxlan-id


2.创建VXLAN隧道

配置VXLAN隧道的全局源地址

创建模式为VXLAN隧道的Tunnel接口

配置隧道的源端地址或源接口

配置隧道目的地址

[Switch] source { ipv4-address | interface-type interface-number }

[Switch] interface tunnel tunnel-number mode vxlan

[Switch] tunnel global source-address ip-address

VXLAN的基本配置

[Switch] destination ipv4-address


[Switch] tunnel tunnel-number [ flooding-proxy ]

3.关联VXLAN与VXLAN隧道

进入VSI视图

进入VXLAN视图

配置VXLAN与VXLAN隧道关联



[Switch] vxlan vxlan-id


VXLAN的基本配置 4. 配置AC与VSI关联

进入二层以太网接口视图或二层聚合接口视图

创建以太网服务实例，并进入以太网服务实例视图

配置以太网服务实例的报文匹配规则

将以太网服务实例与VSI关联

[Switch] interface interface-type interface-number

[Switch-interface] service-instance instance-id

[Switch-interface-srv] encapsulation{default|untagged|s-vid vlan-id }

[Switch-interface-srv] xconnect vsi vsi-name [ access-mode { ethernet

| vlan } ]


VXLAN的基本配置 5. 配置集中式VXLAN IP网关

创建VSI虚接口，并进入VSI虚接口视图

配置VSI虚接口的IP地址

进入VXLAN所在VSI视图

为VSI指定网关接口

[Switch] interface vsi interface-number

[Switch-vsi-int] ip address ip-address { mask | mask-length } [ sub ]


[Switch-vsi] gateway vsi-interface vsi-interface-id



6. 配置分布式VXLAN IP网关

创建VSI虚接口，并进入VSI虚接口视图

配置VSI虚接口为分布式网关接口

进入VXLAN所在VSI视图

为VSI指定网关接口

[Switch] interface vsi interface-number


[Switch-vsi-int] distributed-gateway local

[Switch-vsi] gateway vsi-interface vsi-interface-id

overlay技术介绍 - h3c

Documents