© 2011 Cisco and/or its affiliates. All rights reserved. 1
Cisco Expo 2012
Виктор Подкорытов инженер-консультант Cisco [email protected] +380 44 3913600
Современный ЦОД с точки зрения ИТ-архитектора
© 2011 Cisco and/or its affiliates. All rights reserved. 4
• Higher loads of East-West traffic types
• Higher 10G and 40G switch density per RU
• Denser Tier 2 switching layer
• Flexible L2/L3 Boundary Placement
• Redundancy from 1+1 to N+1: better HA and lower fate sharing
• Migration to 40G Fabric
• Early Integration of 100G north-south focused – DC edge
• Selection of Rack network model: ToR to ToMR
• Selection of Row network model: EoR to EoMR
Сеть
© 2011 Cisco and/or its affiliates. All rights reserved. 5
• Hypervisors at Scale
• DVS orchestration and Integration
• Virtual Machine / bare metal mobility
• Fabric & cross-fabric mobility
• Segmentation at Scale
Виртуализация Приложения
• App logical isolation at scale
• App processing closer to the wire
• Apps to handle unstructured data
• APIs for high performance & time sensitive ops
Сервера • CPU: SandyBridge
• 10G LOMs
• Server Migration to 10G
• Uplinks 10G or 40G
© 2011 Cisco and/or its affiliates. All rights reserved. 7
От 48x10G к 12, 24, 32x40G /слот
Больше ToR на коммутаторы Агрегации Меньше коммутаторов Агрегации Серверная мощность значительно выше
От 48xGE + 4x10G к 48x10G + 4x40G
RU-коммутатор Модульный коммутатор
Horizontal Cabling
Vertical Cabling
Main X-Connect
EoR X-Connect
© 2011 Cisco and/or its affiliates. All rights reserved. 8
Data Center Row 1
Data Center Row 2
Серверная виртуализация и функциональность (vMotion, Live Migration,….) меняет множество аспектов дизайна ЦОД
Где сервер в настоящее время?
Где порт доступа?
Где должен существовать VLAN?
Любой VLAN везде?
Насколько Масштабируемый домен L2?
Как планировать ресурсы для гибко меняющейся нагрузки? (в тч Питание, Охлаждение…)
Как планировать Политики(Security, QoS,) для гибко меняющейся нагрузки?
© 2011 Cisco and/or its affiliates. All rights reserved. 9
3 Малых Блока c Ядром : 2880 серверных портов
60
6
2
48+4
48
64
Boxes Ports
60
2
0
48+4
128
XX Boxes Ports
384
4
0
48+4
384
XX
1 Большой Блок, лучше HA – 18,432 серверных портов
© 2011 Cisco and/or its affiliates. All rights reserved. 11
Moving to a fully virtualized Data Center, with Any to Any Connectivity
© 2011 Cisco and/or its affiliates. All rights reserved. 12
LAN/SAN SAN LAN
Nexus 7000
Nexus 1000V
Nexus 1100
Nexus 5500
Nexus 2000 Nexus 3000 Nexus 3548
MDS 9500
MDS 9100
MDS 9200
Nexus 4000 Nexus B22HP B22F
Unified
40Gb
Cisco NX-OS: Единая операционная система от Гипервизора до Ядра ЦОД
Конвергентность Гранулированость до уровня VM
Коммутация 10 GbE
Расширение Фабрики Облачная Мобильность
Масштабируемость
550Gb
FCoE
10/40/ 100Gb ports
B22 Fujitsu
HP 200 ns
Servers x86
© 2011 Cisco and/or its affiliates. All rights reserved. 14
ASR 9000
Routing Core
CRS-3
SP Edge
Campus Core
Nexus 3k/5k UCS
Catalyst 6500
Access
100G
100G
10/40G
10/4
0G
© 2012 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 15
Агрегация Доступ
Агрегация Доступ
M2-Карты ЦОД и Кампус
LAN
Ядро
M-Серия
F-Серия
• Много-функциональное Ядро • До 240 Gb/слот (1/10/40/100GbE) • Большие Буфера и Таблицы (1M IPv4,
128K MAC, 128K TCAM) • Сервисы OTV, MPLS, LISP*, FEX
• До 480 Gb/слот (1/10 Gb SFP+, 10GT) • До 768x10Gb • Агрегация Доступ (32K IPv4, 16K MAC) • Сервисы FabricPath, FCoE, FEX
© 2011 Cisco and/or its affiliates. All rights reserved. 16
VDC (Virtual Device Context) Изоляция программных компонент и протоколов Изоляция аппаратных ресурсов и данных
Полная изоляция доменов управления обеспечивает безопасность
Infrastructure
Layer-2 Protocols Layer-3 Protocols
VLAN mgr
STP
OSPF
BGP
EIGRP
GLBP
HSRP
VRRP
UDLD
CDP
802.1X IGMP sn.
LACP PIM CTS SNMP
RIB RIB
Protocol Stack (IPv4 / IPv6 / L2)
Layer-2 Protocols Layer-3 Protocols
VLAN mgr
STP
OSPF
BGP
EIGRP
GLBP
HSRP
VRRP
UDLD
CDP
802.1X IGMP sn.
LACP PIM CTS SNMP
RIB RIB
Protocol Stack (IPv4 / IPv6 / L2)
Kernel
VDC A VDC B
A B C
D
A B
C D
Sup 1,2 – 4+1 VDC Sup2E – 8+1 VDC
© 2011 Cisco and/or its affiliates. All rights reserved. 17
Совмещение Ядра/Агрегации/Доступа без смешения функциональности каждого уровня
Управление политиками Безопасности, QoS, BW ..
Изоляция уровней, Управления
Сервисы
VSS
Агрегация
Ядро
L3
Доступ
VDC 1
VDC 2
VDC 3
VSS
© 2011 Cisco and/or its affiliates. All rights reserved. 19
Control Plane
Data Plane
Обновление ПО без остановки сервиса!
Sup&Fabric
5x Fabric = N+1 = 550Gb/Slot
2x Sup = 1+1 = ISSU
© 2011 Cisco and/or its affiliates. All rights reserved. 20
Traditional STP Based Network Nexus VPC Based Network
Blocked Links
L2
L3
L2
L3
Virtual Port Channel
Physical Topology Logical Topology
© 2011 Cisco and/or its affiliates. All rights reserved. 22 22
LAN LAN Порт коммутатора на вынесенной из шасси Удаленного I/O карте
Switch
Switch
Традиционное решение FEX Архитектура
Switch
FEX
Сетевые Уровни объединены, единая точка управления
4-8x10Gb Eth
© 2011 Cisco and/or its affiliates. All rights reserved. 23
= Распределенный Коммутатор
+ Cisco Nexus® 2000 FEX
M2/F2 N55k
23
Более 13000 заказчиков
10М+ Nexus 2k портов внедрены
#1
#48
© 2011 Cisco and/or its affiliates. All rights reserved. 24
Rack-‐2 Rack-‐3
Virtual Modular System
Servers
Уровень Агрегации
L3 L2
vPC
Rack-‐N
Nexus 2000 Fabric
Extender
GE Rack
Servers
vPC Nexus 7k/5K
10GE Rack
Servers 10GE Blade Servers
STP-Free
© 2011 Cisco and/or its affiliates. All rights reserved. 25
• RU-, Блейд- сервера
• 100Mb, 1/10G, FCoE, Медь, Оптика
• Уровни 2/L3, Виртуализация
Nexus 2000
100M/1GE Rack Mount Servers
Nexus 2000
1/10GE/FCoE Rack Mount
Servers
Cisco UCS
Nexus 7000
Униф
ицир
ован
ный
уров
ень
Дост
упа
Nexus 5000/5500
1/10GE/FCoE UCS Compute
Blade
1/10GE/FCoE Third Party
Blade Servers
Nexus 2000
Род
ител
ьски
й ко
ммут
атор
1/10G/FCoE UCS Compute
Rack
Nexus 2000
UCS
FCoE!
© 2011 Cisco and/or its affiliates. All rights reserved. 27
• До 116 виртуальных адаптеров.
• Виртуальные адаптеры подключены в vEth порты N55k и UCS Фабрики.
• Презентуются как аппаратные адаптеры Eth и FC для OS.
SAN LAN
vNIC
Host OS
Host OS
VIC 1240/1280
OS Limits Max PCIe Int Max vNICs Max vHBAs
Win 2008 20 20 16
RHEL 5.4 32 32 16
ESX 26 16
vHBA
vNIC
vNIC
vHBA
vHBA
Классический Ethernet Классический FC Унифицированая Фабрика Унифицированая Фабрика
© 2011 Cisco and/or its affiliates. All rights reserved. 28
• Используются оставшиеся виртуальные интерфейсы для VM.
• vmNIC подключается на прямую в UCS Фабрику.
• Интеграция с vCenter и VMM.
• Поддержка VMotion.
SAN LAN
vNIC
vHBA
vNIC
Host OS
vNIC
vHBA
Host OS
vHBA
VIC 1240/1280
P81E VIC 1255 VIC
VM
VM
Унификация Кабелирования!
Классический Ethernet Классический FC Унифицированая Фабрика Унифицированая Фабрика
VM
VM
© 2011 Cisco and/or its affiliates. All rights reserved. 30
Приложение получает необходимые ресурсы без привязки к конкретному шкафу
VLAN 1, 2, 3 VLAN 1 Rack 1
VLAN 2 Rack 2
VLAN 3 Rack 3
FabricPath
Простой дизайн: Любой VLAN, в любом месте – Фабрика Ethernet
Эффективность: Балансировка аплинков
Сходимость: L3 протокол для L2
Масштабируемость: наращивание агрегации, управление переподпиской
STP-Free
© 2011 Cisco and/or its affiliates. All rights reserved. 31
FabricPath Топология
‘1’
FabricPath Топология
‘0’
FabricPath Топология
‘2’
VLAN 20 (Весь ЦОД)
VLAN 20 – Весь ЦОД VLAN 30 – POD Локальный (и не уникальный) VLAN 10 – POD Локальный (и уникальный)
VLAN 20 – Весь ЦОД VLAN 30 – POD Локальный (и не уникальный) VLAN 40 – POD Локальный (и уникальный)
F1 F2 N55k
© 2011 Cisco and/or its affiliates. All rights reserved. 32
Традиционные топологии
+VPC
100 – 1,000 Серверных портов
Масштабируемость FEX+VPC
10,000 Серверных портов
Фабрика
FABRIC PATH+VPC
100,000 Серверных портов
L2 / L3
Простота Эффективность
Масштабируемость
© 2011 Cisco and/or its affiliates. All rights reserved. 34
• Работа поверх любого транспорта (IP, MPLS)
• Изоляция доменов сбоев
• Независимость сайтов
• Оптимальное использование полосы
• Встроенная отказоустойчивость
• Встроенная защита от «петель»
• Связь многих сайтов
• Масштабируемость VLANs, сайты, MACs ARP, broadcasts/floods
• Простота настройки
• Легкость добавления сайтов South Data Center
North Data Center
Fault Domain
Fault Domain
Only 6 CLI commands
LAN Extension
Fault Domain
Fault Domain
© 2011 Cisco and/or its affiliates. All rights reserved. 35
Eth 4
Eth 3
MAC TABLE
VLAN MAC IF 100 MAC 1 Eth 2
100 MAC 2 Eth 1
100 MAC 3 IP B
100 MAC 4 IP B
MAC 2
MAC 1
Core
MAC 4
MAC 3
OTV
External IP A
External IP B
West East
L2 L3 L3 L2
Ani
mat
ed S
lide
!
OTV Inter-Site Traffic
MAC Table contains MAC addresses reachable through
IP addresses
OTV
Encap 2
Layer 2 Lookup
1
No Pseudo-Wire state is maintained. The encapsulation is done based on a Layer 2 destination lookup.
3 Decap 4 MAC 1 MAC 3
6
MAC TABLE
VLAN MAC IF 100 MAC 1 IP A
100 MAC 2 IP A
100 MAC 3 Eth 3
100 MAC 4 Eth 4
Eth 1
Eth 2
Layer 2 Lookup
5
MAC 1 MAC 3
IP A IP B MAC 1 MAC 3 MAC 1 MAC 3 IP A IP B MAC 1 MAC 3
© 2011 Cisco and/or its affiliates. All rights reserved. 37
Транспорт фреймов FC через Ethernet
Поволяет FC работать через сеть Ethernet без потерь
Меньше кабелей
FC и Ethernet на одном кабеле
Меньше адаптеров
Меньше энергопотребление
Совместимость с существующими SAN
Сохранение модели управления FC
Сохранение всей логики FC
FCoE Достоинства
Трафик Fibre Channel
Ethernet
© 2011 Cisco and/or its affiliates. All rights reserved. 38
MDS 9506, 9509, 9513
Nexus 7009, 7010, 7018
Nexus 5596UP
Nexus 2232 Nexus 4000
Nexus 5548UP
FCoE
, iSCSI, N
AS
FCoE – New
FCoE – New
Cisco NX-OS: Единая OS от Hypervisor , Server, Network, Storage Access
HP, FS FEX
UCS 6296UP UCS 6248UP
© 2011 Cisco and/or its affiliates. All rights reserved. 39
End-To-End FCoE
Host Access AggregaDon Core Storage
N2232 N5XXX (SW or NPV) FCoE MDS95XX (FC-‐SW)
N2232 FCoE
MDS95XX (FC-‐SW) N5XXX (SW or NPV) N70XX (FC-‐SW)
N2232 N5XXX (SW or NPV) N5XXX (FC-‐SW) MDS95XX (FC-‐SW) FCoE
N2232 N5XXX (SW) FCoE
FCoE N70XX (FC-‐SW)
FCoE MDS95XX (FC-‐SW) N70XX (FC-‐SW)
FCoE N70XX (FC-‐SW) N70XX (FC-‐SW)
© 2011 Cisco and/or its affiliates. All rights reserved. 40
By End of 2012 (non-exhaustive) Host Access AggregaDon Core Storage
FCoE
N5XXX (FC-‐SW)
FC
FCoE
N4000 (FSB) FCoE N70XX (FC-‐SW)
N70XX (FC-‐SW)
N70XX (FC-‐SW) N2232
N61XX/62XX FI
N70XX (FC-‐SW) MDS95XX (FC-‐SW)
FC
FCoE N61XX/62XX FI
MDS95XX (FC-‐SW)
FC
FCoE N61XX/62XX FI
FC
FCoE N61XX/62XX FI
© 2011 Cisco and/or its affiliates. All rights reserved. 41
41
Presentation_ID © 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential
• Унифицированные Порты Небывалая гибкость – упрощение инфраструктуры
• Полное, законченое решение от сервера до сторадж
UCS: FCoE на «наружу» Nexus:
• F1, F2 карты • FEX • vPC на разделяемых линках Eth+FCoE • До 30км FCoE на F2 картах, (До 3км N55k) • 10Gb T – технически возможен с технологией 40нм
MDS: FCoE карты 8х10Gb FCoE • 40Gb FCoE: На горизонте
41
© 2011 Cisco and/or its affiliates. All rights reserved. 43
10G Servers 40G Links
10GE Hosts
10GE
10GE Агрегация
10GE Hosts
40GE
40GE Агрегация
Не нужна агрегации множества 10G каналов Больше пропускная полоса Низкие задержки <200 нсек (Биржи, HPC, WEB2.0) Режим Быстрой коммутации cut-through Line Rate L3, NAT Меньшее кол-во устройств, меньше портов 40Гб RU коммутаторы против Модульных для 10Гб… Идеальный Коммутатор для Агрегации - 96x40G Идеальный Коммутатор для Доступа - 48x10G + 4x40G Технологии VPC, FEX, FabricPath, FCoE
© 2011 Cisco and/or its affiliates. All rights reserved. 44
N3064-X 48xSFP+ 1G/10G 4x40G
N3016 – 16х 40Gb
N3064-T 48x10GT 4x40G
Nexus 3016 – 16х 40Gb
40GE
40GE
Почему некоторые предпочитают дизайны 40G? Не нужна агрегации множества 10G каналов Больше пропускная полоса Низкие задержки Режим Быстрой коммутации cut-through Меньшее кол-во устройств, 40Гб RU коммутаторы против Модульных для 10Гб Технологии VPC, FEX, FabricPath, FCoE для 40Gb? – ДА!
40G
© 2011 Cisco and/or its affiliates. All rights reserved. 45
6-port 40Gb Модуль • До 96х40G портов/шасси
• 40G QSFP+ Оптика:
• 40GBASE-SR4 (100m MMF)
• 40GBASE-CR4 (7 and 10m copper)
• 40GBASE-LR4 (10km SMF)
• QSFP+ to 4x SFP+ Twinax Breakout cable
40G
N7K-M206FQ-23L
© 2011 Cisco and/or its affiliates. All rights reserved. 46
Line rate L2/L3 40GE или 4 x10GE (патчкорд)
Функциональность 7-9W на порт Layer 2 multipath (FabricPath и TRILL) FEX, FCoE, VNTag, NAT…
96x40G / 4RU… 48х10Gb +4x40Gb 1RU…
© 2011 Cisco and/or its affiliates. All rights reserved. 48
WAN Switches Servers
Виртуальный ЦОД #1...
ASA 1000V CSR
1000V
Департамент B Департамент A
Nexus 1000V
vPath
Физический ЦОД
vWAAS
AppNav
VSG VSG
Nexus 1000V
• Distributed switch • NX-OS
consistency
VSG
• VM-level controls
• Zone-based FW
ASA 1000V
• Edge firewall, VPN
• Protocol Inspection
vWAAS
• WAN optimization
• Application traffic
Multi-Hypervisor (VMware, Microsoft*, RedHat*, Citrix*)
vPath VXLAN
6000+ Customers
CSR 1000V (Cloud Router)
• WAN L3 gateway
• Routing and VPN
(Limited Availability)
* MSFT currently in beta; RedHat/Citrix announced
Free Essential
© 2012 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 51
• До 640x 10G Серверных порта • 160 Серверов на Блок UCS • UCS Central – управление множеством UCS
Масштабируемость
• Централизованный Менеджмент
• Layer 2 • Layer 3* • FabricPath* • A-FEX • VM-FEX • FCoE • FabricFailover • Интеграция vCenter/VMM
Функциональность
• До 18500 vEth/vFC • Сервисные профили • Пулы МАС, WWWN, UUID… • Управление политиками
Гибкость
• 10G 1-10м -Twinax Медь/Oптика • 10G FET 100м Оптика
Эффективность
© 2011 Cisco and/or its affiliates. All rights reserved. 53
Унифицированный Менеджмент Единая Унифицированная Система
для блейд- и RU- серверов UCS
Manager
C-Серия RU- Сервера
B-Серия Блейд Сервера
Service Profile: HR_App1 VNIC1 MAC: 08:00:69:02:01:2E HR_WEB_VLAN (ID=50) VNIC2 MAC: 08:00:69:02:01:2F HR_DB_VLAN (ID=210) HBA 1 and 2 WWN: 5080020000075740 WWN: 5080020000075741 VSAN ID: 12 Boot Order: SAN BIOS Settings: Turbo On HyperThreading On
UCS Service Profile Unified Device Management
Network Policy
Storage Policy
Server Policy
• Тренд по трансформации к унифицированному менеджменту серверов.
• Выгоды UCS Менеджер и Сервис Профайлов для RU-серверов
• Новые Nexus 2k позволяют уменьшить стоимость и увеличить масштабируемость подключения RU-серверов к Унифицированной Фабрике
© 2011 Cisco and/or its affiliates. All rights reserved. 54 This is an upcoming product—Feature set for first release subject to change
Унифицированный Менеджмент для
множества Cisco UCS
UCS Manager UCS Manager ЦОД 1
UCS Manager UCS Manager ЦОД 2
UCS Manager ЦОД 3
Multi-UCS Manager
Multi-UCS Manager
• Упрощает эксплуатацию, централизует инвентаризацию, обработку ошибок, логов, серверных консолей UCS в нескольких ЦОД
• Глобальные политики, сервисные профили и шаблоны
• Основа для построения высокой доступности, восстановления от катастроф, мобильности
• Предоставление API для большого масштаба автоматизации
© 2011 Cisco and/or its affiliates. All rights reserved. 55
Deploy 2x Capacity
No Staff Increase
30% Less Cost
90% Less Time
30% Faster
60% Less Cost