azure stack ネットワーク構成 - インターネットイニシアティブ-iij ·...

Azure Stack ネットワーク構成

株式会社インターネットイニシアティブ今中裕介

1.0 版

2018年 1月 13日

Copyright © 2018, Internet Initiative Japan Inc., All rights reserved.

改訂履歴

版数日付内容作成者承認者

1.0 2018/1/13 初版今中裕介吉川義弘


目次

1. 目的 ............................................................................................................................... 1

1-1. はじめに ............................................................................ 1

1-2. 目的 ................................................................................ 1

2. IIJ サービス紹介 ......................................................................................................... 2

2-1. IIJ GIO ............................................................................. 2

2-2. IIJ プライベートアクセスサービス .................................................... 2

2-3. IIJ クラウドエクスチェンジサービス .................................................. 2

3. Microsoft Azure紹介 .................................................................................................. 3

3-1. Microsoft Azure ..................................................................... 3

3-2. Microsoft Azure Stack ............................................................... 3

3-3. ExpressRoute ........................................................................ 3

4. 理想とする構成 ............................................................................................................ 4

4-1. Azure Stack 構成イメージ ............................................................. 4

4-2. 実現させたい構成要素 ................................................................ 4

5. 実装 ............................................................................................................................... 5

5-1. 設計方針 ............................................................................ 5

5-2. 環境の構成 .......................................................................... 6

5-2-1. Azure Stack 構成要素 ............................................................. 6

5-2-2. 物理構成 ........................................................................ 6

5-2-3. Azure Stack ネットワーク構成 ..................................................... 7

5-2-4. BoR Switch ネットワーク構成 ...................................................... 8

5-2-5. IIJサービス構成 ................................................................. 8

5-2-6. BGP構成 ......................................................................... 9

5-2-7. 論理ネットワーク ............................................................... 10

6. まとめ ......................................................................................................................... 11

7. Appendix ..................................................................................................................... 12

7-1. BoR Switch（Cisco 891FJ）設定 ...................................................... 12

7-1-1. インターフェース設定サンプル ................................................... 12

7-1-2. BGP設定サンプル ................................................................ 13

1


1. 目的

1-1. はじめに

株式会社インターネットイニシアティブ(以降、IIJ)は、2014年 7月に日本マイクロソフト株式会社(以降、Microsoft)と、両社

のクラウドサービス(IIJクラウド「IIJ GIO」, Microsoftクラウド「Microsoft Azure」)を連携させたマルチクラウドサービ

ス提供に向けて、戦略的協業を発表。ビジネススタートから約 3 年、IIJ は Microsoft との強力なパートナー関係の基、Azure

や Office365ソリューションを提供し多くの実績を積みあげてきた。

2014年

Azure x IIJ GIO協業発表

2015年

ExpressRoute接続サービス提供開始

Office365 CSP 提供開始

Azure CSP 提供開始

Microsoft Partner of the Year 2015 にて Hosting コンピテンシーアワード受賞

2016年

2016 Microsoft Worldwide Partner Award にて Hosting Partner of the Year 受賞

Microsoft Partner of the Year 2016にて Hybrid Cloud & Infrastructure Platform アワード受賞

2017年

Azure CSP Indirect Provider に認定

現在も IIJは Microsoftと協調し、様々なソリューションの技術検証、開発を進めており、 2017年 7月に GAされた Azure Stack

においても同様に Azure Stack Development Kitおよびマルチノード構成での検証を進めてきた。今回は、マルチノード構成を

導入するために必要となるネットワーク設計に着眼し、IIJサービスを利用してインターネットおよび Azureに接続するための

情報をまとめている。

1-2. 目的

Azure Stackマルチノード構成をデータセンターに設置し、インターネットや Azureと接続するために必要となるネットワーク

設計およびハードウェアベンダーへ依頼する際の留意点を明確化する。

Azure Stack 4台構成の設置に必要となるラック、電源などの諸元を把握する

Azure Stackを提供しているハードウェアベンダーに依頼する際に必要となる情報を把握する

Azure Stackの対向となるネットワーク機器のスペックを把握する

IIJサービス、インターネットおよび Azureと接続するためのネットワーク設計を把握する

2


2. IIJ サービス紹介

本環境で利用する IIJサービスについて記述する。

2-1. IIJ GIO

IIJ GIO（ジオ）は高品質で多様な企業向けのインフラリソース（IaaS）をコアサービスとして、アプリケーションやプラット

フォームを提供する付加価値サービス、特定業務向けシステムの早期導入を実現する応用ソリューションなど、豊富なラインア

ップの ITサービスを提供している。

2-2. IIJ プライベートアクセスサービス

IIJ プライベートアクセスサービス(以降、PVA)は、IIJ GIO プライベートバックボーンサービスと連携し、IIJ GIO、Azure、

Amazon Web Servicesといったクラウドサービス接続を提供するサービスである。お客様拠点とは専用線、WAN、VPNで接続する

ことができ、アクセスポイントは東日本と西日本の複数データセンターから選択できる。単一拠点において標準で冗長構成とな

っており、利用上限帯域に応じた月額固定料金で提供している。

2-3. IIJ クラウドエクスチェンジサービス

IIJクラウドエクスチェンジサービス for Microsoft(以降、CXM)は、Azureや Office 365をはじめとするマイクロソフトクラ

ウドサービスとオンプレミスを閉域網で接続するサービスである。IIJ GIOプライベートバックボーンサービスを介して、Azure

の閉域網接続サービス「ExpressRoute」とオンプレミスとの間に専用プライベートネットワークを構築し、マルチキャリア接続

に対応した信頼性の高いネットワークを構築する。

3


3. Microsoft Azure 紹介

3-1. Microsoft Azure

開発者や IT プロフェッショナルがアプリケーションのビルド、デプロイ、管理に使用できる包括的なクラウドサービスのセ

ットであり、Microsoft の世界規模のデータセンターネットワークを介して利用が可能である。

3-2. Microsoft Azure Stack

Azure Stack は Azure の拡張機能で、クラウドが持つ俊敏性とイノベーションの急速性をオンプレミス環境にもたらす。Azure

サービスをオンプレミスで実行することで、ニーズに合わせてクラウドとオンプレミスを適切に組み合わせることが可能であ

る。アプリの実行場所が Azureと Azure Stack のどちらであっても開発者が同じ方法で作成とデプロイを行えるため、生産性を

最大限に高めることが可能である。

3-3. ExpressRoute

Azure ExpressRoute を使用すると、Azure データセンターと、お客様のオンプレミスのインフラストラクチャとの間でプライ

ベート接続が可能である。ExpressRoute 接続はパブリックインターネットを経由しないため、一般的なインターネット接続よ

りも信頼性は高く、スピードは速く、待ち時間は短縮される。

4


4. 理想とする構成

4-1. Azure Stack構成イメージ

4-2. 実現させたい構成要素

Azure Stackマルチノード構成を IIJのデータセンターに設置

Azure Stackと Azureおよび IIJ GIO間はすべて動的ルーティング（BGP）で構成

Azure Stackからインターネット、Azureおよび IIJ GIOへの通信は Border Switchがルーティング

インターネットから特定の Azure Stack上のサービスへアクセス

Azure Stack内の Azureリソースのパブリック IPアドレスはプライベートアドレスを利用して外部と通信

Border Switchを含む Azure Stackの外部は 1Gネットワーク構成

Azure Stackで利用するサブスクリプションは CSPを利用

5


5. 実装

前頁の構成要素を実現させるための設計とその構成について記述する。

5-1. 設計方針

ネットワーク

Azure Stackでは、それ自身の管理画面や作成したリソースをインターネットに直接公開する場合、/26 から /22の間のサイズ

を持つパブリック IPアドレスブロックを Public VIPs Subnetとして定義する。しかし、Azure Stack上のリソースを直接イン

ターネットに公開する事よりも既存の環境（IIJ GIOおよび Express Route経由の Azure）との連携を重要視するため、Public

VIPs Subnetにもプライベート IPアドレスを設定する。Azure Stackとインターネット間の通信時には、経路上の設備で NAT

を行う。

認証連携

本環境の認証管理には、Azure Active Directory を使用する。

リージョン・ドメイン名および証明書

既存の JPドメインに Azure Stack 用サブドメインとして「azs」を新規作成し、その上に今回準備する本環境を「jpn」リージ

ョンとして定義する。Azure Stackでサービスを提供する際には、最低以下の 6 つのサーバ証明書が必要となる。

*.jpn.azs.example.jp

*.vault.jpn.azs.example.jp

*.adminvault.jpn.azs.example.jp

*.blob.jpn.azs.example.jp

*.table.jpn.azs.example.jp

*.queue.jpn.azs.example.jp

さらに、Azure App Servicesを提供するためには以下の 2 つの証明書が必要となる。

*.appservice.jpn.azs.example.jp

*.scm.appservice.jpn.azs.example.jp

DNS・NTP

Azure Stackが参照する DNS Forwarder、NTP Server は、いずれもインターネット上にあるサーバを指定する。

DNSサーバは IIJが提供しているキャッシュ DNSを利用した。

NTPサーバはインターネットマルチフィード株式会社が提供している NTPを利用した。

6


5-2. 環境の構成

5-2-1. Azure Stack構成要素 Compute Node

Azure Stack の主機能が稼働するサーバである。1 つの筐体の中にサーバとストレージの機能が集約された、いわゆ

るハイパーコンバージドインフラである。

台数：4台

Hardware Lifecycle Host

Compute Nodeおよびスイッチのハードウェア、および Azure Stackソフトウェアの正常性監視を行うサーバである。

ハードウェア監視は OEMハードウェアベンダー提供のソリューションを、Azure Stackの監視はマイクロソフト提供

の管理パッケージや REST APIを利用する。

台数：1台

Top of Rack Switch (以降、ToR Switch)

Azure Stack 構成ホストを収容するスイッチである。後述の BMC Switch や Border Switchおよび Azure Stack の

Software Defined Network 上に構築される Software Router と BGPピアリングを構成し、Azure Stack 内の経路情

報はすべて動的に制御される。

台数：2台

BMC Switch

Compute Nodeおよび Hardware Lifecycle Host の BMC(Baseboard Management Controller)を接続するスイッチであ

る。

台数：1台

Border Switch (以降、BoR Switch)

既存ネットワークと Azure Stackの境界に設置するスイッチである。Azure Stack製品構成には含まれないので、別

途準備が必要となる。ToR Switchとの間で BGP構成、もしくは静的経路を設定することにより、Azure Stack内部と

外部の通信を可能とする。本環境では BGP構成とした。

台数：2台

5-2-2. 物理構成

収容ラック

IIJ データセンターサービスで提供される東日本のデータセンターを利用した。ハードウェアベンダーから提供され

るラックは利用せず、データセンター標準のラックを利用した。

本環境のハードウェアが要求するラック Unit数、重量および電源容量は以下の通りである。これを踏まえ、100V30A

の電源を 2系統備えたフルサイズ(42U)のサーバラックを準備した。

台数 Unit数重量（Kg）電源容量 (VA)

Compute Node 4 2 23.6 986.04

Hardware Lifecycle

Host

1 1 15.4 629.22

ToR Switch 2 1 13.0 367.14

BMC Switch 1 1 10.0 250.00

計 8 12 145.8 5557.66

Compute Node

メーカー・機種 HPE ProLiant DL380 Gen9

CPU Intel Xeon E5-2650v4 2.20GHz (12cores) x2

Memory 512GB

SSD 2TBx4

7


HDD 6TBx10

Hardware Lifecycle Host

メーカー・機種 HPE ProLiant DL360 Gen9

CPU Intel Xeon E5-2620v4 2.10GHz (8cores) x2

Memory 64GB

HDD 600GBx4

ToR Switch

メーカー・機種 HPE HP5900AF-48XG-4QSFP+ Switch

アップリンクポート 40GbE QSFP+ 4ポート (注)

ダウンリンクポート 1GbE/10GbE SFP+ 48 ポート

(注) BoR Switchとは 1000BASE-T で接続する構成としたため、SFP - 1000BASE-T トランシーバが追加で必要

BMC Switch

メーカー・機種 HPE HP5900AF-48G-4XG-2QSFP+ Switch

アップリンクポート 1GbE/10GbE SFP+ 4ポート

40GbE QSFP+ 2ポート

ダウンリンクポート 10/100/1000BASE-T 48ポート

BoR Switch

メーカー・機種 Cisco 891FJ

アップリンクポート 10/100BASE-T 1ポート

1000BASE-T or SFP 1ポート

ダウンリンクポート 10/100/1000BASE-T 8ポート

5-2-3. Azure Stack ネットワーク構成

ハードウェアベンダーへ依頼する前に、以下ネットワークについてアドレスブロックのアサインが必要である。

本環境では、以下のようにアサインした。

BMC Subnet

Compute Node の監視・管理、および Azure Stack のデプロイに使用される。

設定可能最小サイズ：/27

設定値：172.16.32.0/24

Storage & Private VIPs Subnet

このブロックの前半が Storage Service や Virtual Machinesの Live Migrationに、後半が Private VIP に使用さ

れる。


設定値：172.16.33.0/24

Infrastructure Subnet

ストレージ関係を除き、Azure Stack サービスにおける全ての通信はこのネットワークを介して行われる。


設定値：172.16.34.0/24

Public VIPs Subnet

Azure Stack上のリソース（Azure Virtual Machinesなど）に Public IP をアサインした際、および Azure Stack

の各種エンドポイントとしてこのブロックのアドレスが使用される。本環境では、このアドレスブロックを発着点と

するインターネット通信は、BoR Switchにて NATを行う。

8


設定可能サイズ：/26～/22 (マイクロソフトによる推奨値は/24)

設定値：172.16.35.0/24

Switch Infrastructure Subnet

スイッチ間のルーティング、およびスイッチの管理に使用される。


設定値：172.16.36.0/26

5-2-4. BoR Switch ネットワーク構成

ToR Switchおよび IIJサービスと接続するため、以下の構成とした。

グローバルセグメント

デフォルトルートは IIJデータセンター接続サービスで提供されるゲートウェイを指定した。

インターネット向け通信は NAPT設定し、Public VIPs Subnetの一部 IPアドレスに対して Static NATを設定した。

プライベートセグメント

ToRおよび PVAとの接続は eBGPとした。BoR間の接続は iBGPとした。

AS番号：65300

各セグメントのアドレスブロックは以下のようにアサインした。

BoR#1-ToR#1間：172.16.36.0/30

BoR#1-ToR#2間：172.16.36.4/30

BoR#2-ToR#1間：172.16.36.8/30

BoR#2-ToR#2間：172.16.36.12/30

PVA間：172.16.37.0/29

BoR#1-BoR#2間：172.16.37.8/30

5-2-5. IIJ サービス構成

IIJ GIO、Azureおよびインターネットと接続するために IIJサービスの構成が必要となる。

IIJ データセンター接続サービス

インターネット接続を標準で二重化されており、用途に応じた契約帯域で利用が可能なサービス。本環境で利用する

帯域およびデータセンターの情報を示す。

契約帯域：10Mbps

ホストアドレス数：14個(ネットマスク /28)

収容データセンター：東日本

PVA

本環境では、IIJ GIO および Azure と閉域接続するために利用した。PVA と接続するための回線およびケーブルは、

別途調達が必要となる。


回線種別：光回線(1000BASE-LX)

物理インターフェース：Auto/Auto

ルーティング方式：BGP

AS番号：AS65531（契約時に IIJが指定）

PVAへ広報するアドレス：172.16.35.0/24

CXM

接続先とする Azureは、Virtual Networkおよび PaaS(Public IP)とした。

9



リージョン：西日本

ピアリング：プライベート、パブリック

5-2-6. BGP 構成

本環境全体の BGP構成を示す。

Internet

ToR #1 ToR #2

BMC

SLB MUX

BoR #2BoR #1

Internet

GW #2

Internet

GW #1

PBB

IIJ GIO

PVA #1 PVA #2AS65531

AS65300

AS64675

AS64719

eBGP

iBGP

SLB MUX

CXM

Express

Route

Azure

eBGP

eBGP

10


5-2-7. 論理ネットワーク

本環境全体の論理ネットワークを示す。

Internet GW

IIJ Service

Internet GW

IIJ Service

Cisco

891FJ

BoR1 swi tch

Cisco

891FJ

BoR2 swi tch

PVA #1

IIJ Service

PVA #2

IIJ Service

HPE

HP5900AF

ToR1 swi tch

HPE

HP5900AF

ToR2 swi tch

HPE

HP5900AF

BMC swi tch

HPE ProLiant

DL380 Gen9

Compute Node #1

HPE ProLiant

DL380 Gen9

Compute Node #2

HPE ProLiant

DL380 Gen9

Compute Node #3

HPE ProLiant

DL380 Gen9

Compute Node #4

HPE ProLiant

DL360 Gen9

HLH

BMC Subnet172.16.32.0/24 (VLAN6)

Infrastructure Subnet172.16.34.0/24 (VLAN7)

Storage Subnet172.16.33.0/25 (VLAN107)

Border/Border1_To_Rack1/TOR1172.16.36.0/30




.1

.2

.5

.6

.9

.10

.13

.14

.2 .3

.2 .3

Switch Management Subnet (VLAN5)172.16.36.40/29 .43

Rack1/TOR2_To_Rack1/BMC172.16.36.20/30 .21

Rack1/TOR1-ibgp-1_To_Rack1/TOR2-ibgp-1172.16.36.28/30 .30

Rack1/TOR1-ibgp-2_To_Rack1/TOR2-ibgp-2172.16.36.32/30 .34

.42

.1

.1

Rack1/TOR1_To_Rack1/BMC172.16.36.16/30 .17

.33

.29

.18

.22

.41

Public VIPs Subnet172.16.35.0/24

Private VIPs Subnet172.16.33.128/25

IIJ GIO

.1

.3 .4 .5 .6

Loopback0172.16.36.26/32

Loopback0172.16.36.24/32

Loopback0172.16.36.25/32

vrid 107

vrid 7

NTP ServerDNS Server

.254.2

SLB MUX

.13.12

Border/Border1_To_Border/2172.16.37.8/30

Boarder_To_GW

.10.9

Border_To_PVA172.16.37.0/29 .1

.2 .3

.5 .6

.4

PBBVirtual Router

CXM

Azure Private

The InternetInternet

SLB MUX

Azure Public

ExpressRoute

Azure Stack

11


6. まとめ

Azure Stack導入におけるネットワーク設計の考慮と今後の期待をまとめる。

＜データセンター設置＞

4台構成の場合、フルラック（42U）は必要ない

電源は 100V/30Aが 2系統または 200V/30Aが 1系統必要

＜ネットワーク設計＞

ハードウェアベンダーへ依頼する前に Azure Stack内部および外部のネットワーク設計が必要

最低でも /22程度のネットワークアドレスブロックが必要となるため、既存の環境に導入する際はアドレスの空き状況に

注意が必要

BoR Switchの設計にはハードウェアベンダーと事前に認識合わせを実施することを推奨

Azure Stackと Azureおよび PVAは同じ eBGPであるため、BoR Switchのルーティング設計は特に問題なし

インターネット向け通信は BoR Switchで Source NATすることでアクセス可能

Public VIPs Subnetがプライベートアドレスを使用しても、BoR Switchで Static NATすることでインターネットからア

クセス可能

BoR Switch、ToR Switch間は標準で 10G接続となりインターフェースは 2つ使用するので、BoR Switchのスペックに注意

が必要

＜証明書＞

認証局の証明書を用いる場合は Azure Stackの設置時までに手配が必要なので注意

自己署名証明書も利用可能

ワイルドカード証明書でも問題なし

＜期待する改善内容＞

設置するネットワーク環境が 10Gに対応していない場合も想定できるため、1Gの ToR Switchを選択できるメニューがある

とよい（機器コスト削減も期待できる）

ToR Switch自体は空きのインターフェースが多いが BoR間で利用するインターフェースが決められているため、1G接続の

場合は変換用のトランシーバが必要となる。BoR間で利用するインターフェースを指定できるとよい。

ToR Switchは Azure Stackのマルチノード構成に必ず 1台含まれるが、マルチノード構成を追加する場合は、ToR Switch

を集約できる構成が望ましい

Azure Stack 上のリソースに接続する方法として Public VIPs Subnet のアドレスを利用する方法だけでなく、Virtual

Networkとの接続方法を広げるため、VPN Gatewayだけでなく Express Routeも作成できるとよい

＜今後予定している確認内容＞

Azure Stackおよび BoR Switchのパフォーマンス

CSPを利用した場合のマーケットプレイスの連携及び課金、請求

Azure Stack上に VPN Gatewayを作成する場合のネットワーク設計

以上

12


7. Appendix

7-1. BoR Switch（Cisco 891FJ）設定

7-1-1. インターフェース設定サンプル

interface FastEthernet0

description To_InternetGW#1

ip address x.x.x.x 255.255.255.248

no ip redirects

no ip proxy-arp

duplex full

speed 100

standby version 2

standby 255 ip x.x.x.x

standby 255 priority 105

standby 255 preempt delay minimum 60

standby 255 authentication md5 key-string xxxxxxx

standby 255 track 200 decrement 10

no cdp enable

no shutdown

!

interface GigabitEthernet0

description To_BoR#2

switchport mode access

switchport access vlan 200

no ip address

duplex auto

speed auto

no cdp enable

spanning-tree portfast

no shutdown

!


description To_ToR#1



no ip address

duplex auto

speed auto

no cdp enable


no shutdown

!





no ip address

duplex auto

speed auto

no cdp enable


no shutdown

!


description To_PVA#1

ip address 172.16.37.5 255.255.255.248

no ip redirects

no ip proxy-arp

duplex auto

speed auto

media-type sfp

no cdp enable

no shutdown

!

13


7-1-2. BGP 設定サンプル

interface Vlan1

no ip address

shutdown

!

interface Vlan200

description To_BoR#2

ip address 172.16.37.9 255.255.255.252

no ip redirects

no ip proxy-arp

no shutdown

!

interface Vlan201


ip address 172.16.36.1 255.255.255.252

no ip redirects

no ip proxy-arp

no shutdown

!

interface Vlan202


ip address 172.16.36.5 255.255.255.252

no ip redirects

no ip proxy-arp

no shutdown

!

end

router bgp 65300

bgp router-id 172.16.37.9

bgp log-neighbor-changes

no bgp default ipv4-unicast

timers bgp 10 30

neighbor 172.16.36.2 remote-as 64675

neighbor 172.16.36.2 description To_ToR#1


neighbor 172.16.36.6 description To_ToR#2


neighbor 172.16.37.2 description To_PVA#1

neighbor 172.16.37.2 password xxxxxxx


neighbor 172.16.37.10 description To_gw2

!

address-family ipv4

network 172.16.35.0 mask 255.255.255.0

neighbor 172.16.36.2 activate

neighbor 172.16.36.2 advertisement-interval 0

neighbor 172.16.36.2 soft-reconfiguration inbound







neighbor 172.16.37.2 prefix-list AzureStack-test out

neighbor 172.16.37.2 filter-list 120 out




exit-address-family

!

ip as-path access-list 120 permit ^$

!

ip prefix-list AzureStack-test permit 172.16.35.0/24

!

end

azure stack ネットワーク構成 - インターネットイニシアティブ-iij ·...

Documents