Высокоскоростной обмен трафиком через Internet eXchange 

Александр Ильин, CTO MSK-IX

Семинар ЦПИКС, ВМК МГУ им.Ломоносова 10 марта 2015

О чём сегодня пойдёт речь?• Транзит, пиринг — взаимоотношения автономных систем в интернете.

• Роль точек обмена трафиком Internet eXchangе 

• Особенности архитектуры MSK-IX:

- Сервисы

- Масштабирование

- Безопасность

Интернет - сеть независимых сетей• Автономная система (AS) - набор сетевых маршрутов с единой политикой маршрутизации.

MSK-IX - AS8631 (Route Server)

МГУ - AS2848

Яндекс - AS13238

Ростелеком - AS12389

Amazon.com - AS16509Число анонсируемых в интернете AS

Взаимодействие сетей в интернете• Транзит - отношение 2 сетей, когда одна анонсирует другой маршруты на весь интернет.

• Пиринг - отношение 2 сетей, анонсирующих друг другу маршруты на собственные сети и сети своих клиентов.

• Из попарного взаимодействия сетей складывается экосистема интернет.

Источник: DrPeering.net

Роль Internet eXchange

В местах концентрации сетей возникает множество попарных стыков /O(n2)/.

• Сложно администрировать.

• Затраты на оборудование (порты, кроссировки) и т. п.

Роль Internet eXchange

IX

Точка обмена интернет-трафиком (англ. Internet eXchange, IX) — сетевая инфраструктура для обмена IP-трафиком (пиринга) между независимыми сетями в Интернет.

Подключение к IX дает возможность установить пиринг с любыми участниками IX.

Более 70 Internet eXchange в мире

0"

100"

200"

300"

400"

500"

600"

700"

AMS-IX"

DE-CIX"Frankfurt"

LINX""

PTT"Sao"Paulo"(SP)"

MSK-IX"

NL-ix"

TPIX"

Terremark"

France-IX"

PLIX"

Equinix"Zurich"

TorIX"

Thinx"Poland"

LONAP"

SwissIX"-"Zurich"

CoreSite"-"Any2"Los"Angeles"

MIX-IT"

JPIX"-"Tokyo"

VIX"

NIX.CZ"

UA-IX"

SFINX"

Netnod"-"Stockholm

"

Telx"-"Atlanta"

JPNAP"-"Tokyo"I"

NAPAfrica"

TOP-IX"

LyonIX"

INEX"

NIX"

BCIX"

WAIX"

NetIX"

BIX.BG"

InterLAN"

LU-CIX"

NaM

eX"

BIX"

BNIX"

DIX"-"Lyngby"

NIXI"-"New"Delhi"

CIXP"

DE-CIX"Ham

burg"

VSIX"

CATNIX"

CIX"

KIXP"

GN-IX"

JINX""

SOX"

TIX"-"Tanzania"

UAE-IX"

FICIX"-"Helsinki"

GigaPix"

DE-CIX"M

unich"

SIX"

TIX"Tuscany"

IXPN"

NPIX"-"Kathmandu"

RIX"

IXLeeds"

MOZ-IX"

GR-IX"

TREX"

GPX"M

EIX"

BBIX"-"Tokyo"

FVG-IX"

AMS-IX"Caribbean"

ARMIX"

KINIX"

TunIXP"

ECIX"Berlin"

OTTIX"

Число AS

Название IX

MSK-IX

Россия в лидерах по числу ASДоля Место

IPv4 1,27 % 14

IPv6 0,66 % 18

AS 7,62 % 2

Использование адресного пространства интернет российскими организациями.

Источник: potaroo.net

MSK-IX: цифры и факты• Основан в 1995 (приглашаем на юбилей в этом году!)

• Москва и 8 городов РФ, всего 30+ локаций.

• Трафик ~1,5 Tbps

• Полная поддержка IPv6.

• Оператор корневой инфраструктуры DNS для национальных доменов .RU и .РФ.

Архитектура сети MSK-IX

• В каждом городе - сеть Ethernet с поддержкой разделения на виртуальные сегменты (802.1q VLAN).

• Общий (пиринговый) VLAN, приватные VLAN для участников.

• Рефлектор маршрутов Route Server.

• В Москве - топология Dual Core (контроль L1-L3).

Масштабирование сетей коммутации

Топология Ring Full Mesh C-core

Число каналов N N(N-1)/2 NC+N

Емкость магистрали N N(N-1)/2 NC

Диаметр N/2 1 2

Двойной отказ Разрыв Не влияет Не влияет

Масштабируемость Проблема отказоустойчивости Дорого Компромисс

Линии связи

0

10

20

30

40

узлы

4 5 6 7 8 9

Ring2-coreFull-mesh

Экономия или надёжность?

Плюсы:• Гибкая масштабируемость • Продублированная надежность • Малый диаметр сети • Экономичное использование линий связи • Отказоустойчивость (ядра, линии связи)

Минусы:• Затраты на оптику • Критичное расположение ядер • Нужны линии от каждого узла до каждого из ядер

Выбор MSK-IX: двойное ядро

Типы включенийОбщий (пиринговый) VLANПрисуствуют все участники, предъявляются жёсткие требования, имеются ограничения протоколов и типов трафика, доступен Route Server.

Приватные VLANыДля VPN точка-точка или несколько точек, ограничения только по кол-ву MAC.

Мультикаст VLAN Предназначен для обмена multicast трафиком, возможен «паразитный» трафик в сторону участников

Карантинный VLANСлужит для проверок подключения. Доступны для PING публичный и приватный IP-адреса. Трафик анализируется.

Роут-сервер• Решает задачу пиринга «каждый с каждым».

• Не передает через себя трафик (только BGP-анонсы).

• Фильтрует BGP-анонсы и применяет политики.

• Гибко управляется участниками при помощи BGP community.

• Ведет мониторинг присутствующих маршрутов.

• Генерит персональные таблицы маршрутов.

Безопасность: Технические условия

• Лучшие практики индустрии и собственный опыт за 20 лет.

• Максимальная защита инфраструктуры от воздействий.

• Контроль качества обмена.

• Унификация стыков с любым внешним оборудованием.

• Правила хорошего тона для маршрутной информации.

Безопасность: активная защита• Механизмы контроля ТУ:

- Port-security.- Списки доступа на L2, L3-уровнях.- Блокирование известных сторонних протоколов.

• Анализатор пакетов:- Сбор всего паразитного трафика, глубокий анализ пакетов.- Сигнализирование о нештатных ситуациях.

• Внедрение протоколов, ускоряющих отсечение невалидных маршрутов (BFD).

• Блокирование аномальных объемов входящего трафика.

SLA

• Контроль каждого порта: параметры, уровень сигнала, трафик, ошибки.

• Мониторинг трафика на магистрали, анализ пиковых всплесков.

• Контроль качества пиринга на уровне BGP с налаженными механизмами уведомлений.

Пиринговое сообщество MSK-IX• MSK-IX - не только сетевой сервис, но и центр профессионального сообщества.

• Ежегодный Пиринговый форум MSK-IX (более 600 участников).

- Безопасность интернета.

- Внедрение IPv6.

- Интернет-сервисы и технологии.

- Регуляторика.

Видео и программа на http://peering-forum.ru

Спасибо за внимание!Александр Ильин

a.ilin@msk-ix.ru

www.msk-ix.ru