Облачные среды для Больших данных › sites › all › themes ›...
TRANSCRIPT
Облачные среды для Больших данных
с.н.с. Антоненко В.А.
Кафедра АСВК ф-т ВМК МГУ
Лаборатория Систем Управления Облачными Вычислениями
Спектр подготовки специалистовНаиболее востребованные и дорогостоящие ИТ-специалисты в 2019 году:*
• Full-stack developers
• Help desk and desktop support specialists
• IoT specialists
• Network administrators
• Security professionals (information, data, network, systems)
• Systems administrators
• Business intelligence analyst
• Cloud architect
• Cloud systems engineer
• Data scientist
• Database developer
• Developer (web, software, mobile)
• DevOps engineer
* Technology’s 2019 IT salary report17.03.2020 http://cloudlab.cs.msu.ru/
Моделированиекомпьютерных сетей
http://cloudlab.cs.msu.ru/
Учебные курсы: - Имитационное моделирование в исследовании и разработке
информационных систем- Компьютерные сети и телекоммуникации (дополнительные главы)- Основы технологии и современные сети Wi-Fi (часть 1)- Моделирование современных систем связи (часть 1)
17.03.2020
Хосты
Сервера
Сетевое оборудование
http://cloudlab.cs.msu.ru/17.03.2020
Хосты
Сервера
Сетевое оборудование
http://cloudlab.cs.msu.ru/17.03.2020
MININET
MININET
Глобальная сеть
Глобальная сеть
Более 2 200 000 000 пользователей Постоянно меняющаяся топология
Огромное количество сетевых протоколов
Различное сетевое оборудование
Глобальная сеть
Более 2 200 000 000 пользователей Постоянно меняющаяся топология
Огромное количество сетевых протоколов
Различное сетевое оборудование
Возможно ли исследоватьсетевую активность в столь
огромной сетис динамически изменяющейся
топологией?
Возможно ли исследоватьсетевую активность в столь
огромной сетис динамически изменяющейся
топологией?
Mininet Cluster Editionмасштабируемое решение
на основе механизмов легковесной виртуализации
ОС Linux
Mininet Cluster Editionмасштабируемое решение
на основе механизмов легковесной виртуализации
ОС Linux
Идея – моделировать структуру сети на кластерной архитектуре
Идея – моделировать структуру сети на кластерной архитектуре
Расширение Mininet
Mininet
h210.0.0.2
h210.0.0.3
h310.0.0.4
s1 : OpenFlow Switch(OpenVswitch)
s1-eth0 s1-eth1 s1-eth2
h1-eth0 h2-eth0 h3-eth0
Расширение Mininet
Mininet
h210.0.0.2
h210.0.0.3
h310.0.0.4
s1 : OpenFlow Switch(OpenVswitch)
s1-eth0 s1-eth1 s1-eth2
h1-eth0 h2-eth0 h3-eth0
eth0s1-eth3
Расширение Mininet
Mininet
h210.0.0.2
h210.0.0.3
h310.0.0.4
s1 : OpenFlow Switch(OpenVswitch)
s1-eth0 s1-eth1 s1-eth2
h1-eth0 h2-eth0 h3-eth0
eth0s1-eth3
Mininet
Mininet кластер
Mininet
Mininet Supervisor Console
Mininet
MininetMininetMininet
SSH SSH SSH SSH SSH SSH
Mininet
Mininet кластер
Mininet
Mininet Supervisor Console
Mininet
MininetMininetMininet
SSH SSH SSH SSH SSH SSH
Mininet ClusterУправление сетевыми потоками между узлами Mininet CE
Mininet Supervisor Console
RemoteController RemoteController RemoteController
Controller(POX)
RemoteController RemoteController RemoteController
Структура кластера Mininet CE
Mininet CE
OS (Ubuntu 12.14)
Mininet
Python
Python-Scapy
СоздатьMininet CE
“sudo” пользователя(+ ssh key)
Развертывание Mininet CE кластера
Mininet Supervisor Console Mininet script
Mininetnodescript
Mininetnodescript
Snifferscript
Generatorscript
Snifferscript
Generatorscript
Snifferscript
Generatorscript
Snifferscript
Generatorscript
Generatorscript
Generatorscript
Mininetnodescript
Mininetnodescript
Mininetnodescript
Mininetnodescript
Controller(POX)
Snifferscript
Snifferscript
Controller(POX)
Процесс распространения червя в Mininet CE кластере
Mininet Supervisor ConsoleMalware Propagation Conductor
Malware Center
packetsniffer
packetgenerator
жертва
атакующий
1) Генерация IP жертвы 6) Обновление уровня заражения
2) Установка сниффера3) Установка генераторасетевых пакетов
4) Маршрутизация пакетов
5) Подтверждение передачи червя
7) Начать следующий шаг распространения
Масштабы воспроизводимойсети Mininet CE на инфраструктуре ARCCN
MininetMininet
Mininet Supervisor Console
Mininet
MininetMininetMininet
SSH SSH SSH SSH SSH SSH
Количество процессов хостов на одном экземпляре Mininet: до 2000
Количество экземпляров Mininetна одном сервере: 15
Количество доступных серверов: 2
ИТОГО: ~ 30 тыс. узлов в графе сети
0
1000
2000
3000
4000
5000
6000
7000
8000
1 3 5 7 9
11
13
15
17
19
21
23
25
27
29
31
33
35
37
39
41
43
45
47
49
51
53
55
57
59
61
63
65
67
69
71
73
75
77
79
81
83
85
87
89
91
93
95
97
99
10
1
Current Try Total
Моделирование распространения червя Sasser
0
1000
2000
3000
4000
5000
6000
7000
8000
1 3 5 7 9
11
13
15
17
19
21
23
25
27
29
31
33
35
37
39
41
43
45
47
49
51
53
55
57
59
61
63
65
67
69
71
73
75
77
79
81
83
85
87
89
91
93
95
97
99
10
1
Current Try Total
Моделирование распространения червя Sasser
0
50
100
150
200
250
300
350
400
450
1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 82 85 88 91 94 97 100
Скорость заражения червём Sasser
0
50
100
150
200
250
300
350
400
450
1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 82 85 88 91 94 97 100
Скорость заражения червём Sasser
0
50
100
150
200
250
300
350
400
450
1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 82 85 88 91 94 97 100
Скорость заражения червём Sasser
Разработка систем оркестрацииоблачных приложений
http://cloudlab.cs.msu.ru/
Учебные курсы: - Архитектура современных компьютеров- Облачные вычисления и виртуализация информационных ресурсов
17.03.2020
Pizza as a Service
http://cloudlab.cs.msu.ru/17.03.2020
Pizza as a Service 2.0
http://cloudlab.cs.msu.ru/17.03.2020
CPEконтролер
Функция 1Функция m
СервисCPE 1
Клиенты
Интернет
Портал самообслуживания
E-Commerce CORE
Функция nФункция 1
Сервис• Подписка на FE в shared | dedicated режимах
• Динамическое размещение FE модулей
FE 1
FE 2
FE 3
FE 4
CPE 2
http://cloudlab.cs.msu.ru/17.03.2020
Оптимизация процесса доставки контента в CDN сетях
http://cloudlab.cs.msu.ru/
Учебные курсы: - Планирование вычислений в распределённых системах- Управление сетевыми ресурсами и качеством сервиса- Архитектура управляющих систем реального времени
17.03.2020
Abstract CDN
Origin OriginOrigin
Edge EdgeEdge
Transit
Transit
Transit
http://cloudlab.cs.msu.ru/17.03.2020
Scalable Video Coding
Origin OriginOrigin
Edge EdgeEdge
Transit
Transit
Transit
Origin OriginOrigin
Edge EdgeEdge
Transit
Transit
Transit
SHVC switch
SHVC switch
>
http://cloudlab.cs.msu.ru/17.03.2020
CDN Element as a service
Origin OriginOrigin
Edge EdgeEdge
Transit
Transit
Transit
Origin OriginOrigin
Edge EdgeEdge
Transit
Transit
Transit
Transit
Transit
Transit
Transit
Transit
Orchestrator Orchestrator
SHVC switch
Cache
Cache Cache
SHVC switch
Cache
Cache
Cache
Transit
Cache
SHVC switch
Cache
http://cloudlab.cs.msu.ru/17.03.2020
5G. Сети следующего поколения
http://cloudlab.cs.msu.ru/
Учебные курсы: - Компьютерные сети и телекоммуникации (дополнительные главы)- Технологии сотовой связи- (Спецкурс) по сетям 5-го поколения
17.03.2020
Обсуждение 5G
• Текущие проекты• Runos
• C2
• Opensource (github)• srcLTE
• srcUE
• srcENB
• srsEPC
• nextEPC• MME, SGW,
• PGW, HSS, PCRF
C2
Runos
NextEPC
srcUE srcENB
NextEPC
C-RAN17.03.2020 http://cloudlab.cs.msu.ru/
Инфраструктура
C2Runos NextEPC srcENB
E2E Orchestrator
Сетевые пласты
Предполагаемые программный стек
17.03.2020 http://cloudlab.cs.msu.ru/
C-RAN
Инфраструктура
C2Runos NextEPCsrcENB
E2E Orchestrator
Сетевые пласты
Предполагаемые программный стек
17.03.2020 http://cloudlab.cs.msu.ru/
C-RAN
Инфраструктура
C2RunosAUSF
srcENB
E2E Orchestrator
Сетевые пласты
Предполагаемые программный стек
UDM
PCF AF
17.03.2020 http://cloudlab.cs.msu.ru/
Scalable horizontal architecture and algorithms for stateful
middle Service of public cloud
Reference view
Instance 1 Instance n
. . .
packets
ARCCN 47
Requirements of Scaling
• Multiple instances work like a single instance, no matter how many and where they are
• High performance • High throughput
• Low latency
ARCCN 48
Traditional Model: Local state
Instance 1 Instance n
. . .
packets
• NF states are in local memory
No sharing support Incorrect behavior when scale-out
ARCCN 49
Remote State
Instance 1 Instance n
. . .
packets
• All state management is offloaded to remote storage
Losing throughput Inflating packet latency
ARCCN 50
Local+Remote Model
Instance 1 Instance n
. . .
packets
export, import, merge state
State controller
Centralized controller keeps state locality and consistency+
Proactively prepare state before it is accessed ”Stop the World” Problem=>
Latency problem
ARCCN 51
Distributed Shared Space
Instance 1 Instance n
. . .
packets
Locally distributed
Any NF can access to any state
State sharing
No system-wide pausing during scaling events
ARCCN 52
Object for NF State Abstraction
• Object encapsulation enables easy state management
Data
Operations
Interfaces
ARCCN 53
Optimization Strategies for NF State
• Partitionable vs Non-partitionable
• Read-heavy vs Write-heavy• Caching
• Non-blocking updates Merging local replicas
ARCCN 54
Shared Object Space Architecture
NF App(For example DVPS)
Key space
Object space
Instance A Instance B
get(key1)
hash(key1)
where(key1)
Obj1 create new object or access existing object
ARCCN 55
Scaling Requires Space Reorganizing
NF App(For example DVPS)
Key space
Object space
Instance A Instance B
get(key1)
hash(key1) hash_v2(key1)
where(key1)
Obj1 Changing locality of state
Instance C
New hash function for key distribution
ARCCN 56
State Migration
NF App(For example DVPS)
Key space
Object space
Instance A Instance B
get(key1)
hash(key1) hash_v2(key1)
where(key1)
Obj1 Changing locality of state
Instance C
Key ownership is also transferred for new hash
Obj1
ARCCN 57
Implemetation
• Compiler• Generates object wrappers
• Runtime• To share state among NF instance
• Applications• Lib to describe state in NF apps
ARCCN 58
Scale out example
ARCCN
Inst 1 Inst n
. . .
packets
Inst 1 Inst n
. . .
packets
Inst n+1
Scale out
Inst 1 Inst n
. . .
packets
Inst n+1
Context migration
Switch +
SDN controller
Switch +
SDN controller
Switch +
SDN controller
59
WARP: WAN Connection Bandwidth Monitoring and Prediction
60
Distributed NFV platform example
61
WAN Manager
WAN
VIM1 VIM2
Virtual Infrastructure Domain 1
Virtual Infrastructure Domain 2
VNF1proxy
VNF2Anti-DDoS
user Internet25 Mbps
Distributed NFV platform example
62
WAN Manager
WAN
VIM1
10 Gbps
10 Gbps
10 Gbps
VIM2
? Gbps
bandwidth
time
10 Gbps
10 Gbps
10 Gbps
Key idea
We can use WAN connection as a predictable resource by monitoring its state and using obtained
measurements to predict it
63
Full bandwidth
64
• Full bandwidth = consumed + available bandwidth• Full bandwidth – 𝑣𝑖𝑟𝑡𝑢𝑎𝑙 𝑙𝑖𝑛𝑘𝑠 𝑏𝑎𝑛𝑑𝑤𝑖𝑑𝑡ℎ = available for allocation
allocatemore virtual links
migrate existing links
>0 <0
Consumed bandwidth
Available bandwidth
ban
dw
idth
time
Monitoring
We need to monitor full bandwidth• without affecting existing data flows (user traffic should be safe)
• without consuming all available bandwidth (it is not rational and expensive)
• with constant period (to react to unpredicted bandwidth decrease)
65
WARP Monitoring
66
Available bandwidth monitoring (Yaz)
Client vm + server vm
Consumed bandwidth monitoring (SDN controller)
SDN switch as a VIM gateway
Prediction
ban
dw
idth
timeprediction timenowhistory (samples)
𝑡𝑠 𝑡𝑠
67
α
Prediction (𝑏𝑤𝑒𝑠𝑡) should be• α-safe (real bandwidth ≥ 𝑏𝑤𝑒𝑠𝑡 in α*100% measurements, e.g. 0.95-safe)• accurate (lower prediction entails higher resource
underutilization)
𝑏𝑤𝑒𝑠𝑡
Prediction
68
ban
dw
idth
timeprediction timenowhistory (samples)
𝑡𝑠 𝑡𝑠
𝑏𝑤𝑒𝑠𝑡
𝑏𝑤𝑒𝑠𝑡= 0 is the safest estimation, the real bandwidth is never less than 0!
safeaccurate
Примеры тем курсовых работ
• Разработка системы первичной настройки клиентских устройств для доступа к облачным сервисам
• Разработка и реализация системы холодного старта функции для бессерверных вычислений
• Разработка и реализация системы управления сетевыми туннелями для транспортной программно-конфигурируемой сети
• Разработка алгоритма распределения трафика для SD-WAN решения
• Разработка архитектуры облачной инфраструктуры для Интернета вещей на базе виртуализации сетевых функций
• Разработка и реализация системы управления виртуальными сетевыми функциями в облачной платформе
17.03.2020 http://cloudlab.cs.msu.ru/
Примеры тем дипломных работ
• Разработка метода автоматического масштабирования для системы прототипирования компьютерных сетей
• Разработка системы управления Интернета вещей на базе облачной инфраструктуры
• Разработка и реализация системы контроля версий виртуальных сетевых функций в облачной платформе
• Разработка системы надежного и масштабируемого виртуального сетевого сервиса в облачной среде
• Разработка системы контейнерной виртуализации для построения моделей компьютерных сетей
• Разработка системы описания сценария прогона в унифицированной среде проведения экспериментов GRANIT
17.03.2020 http://cloudlab.cs.msu.ru/
Вопросы ?
Контакты
• Антоненко Виталий Александрович• [email protected]
17.03.2020 http://cloudlab.cs.msu.ru/