kvm cluster with drbd, iodrive2 and infiniband (130802 osc京都)

Your Way to Data Protection

Linux-HAによる仮想マシンクラスタ (KVM)ioDrive2 + Infinibandによる高性能化

株式会社サードウェア

久保　元治

Copyright 2011, ThirdWare Inc.2

Your Way to Data Protection

目次

● ローコストで高性能なKVMクラスタ● ioDrive2 + Infinibandのパフォーマンス

Copyright 2011, ThirdWare Inc.

3Your Way to Data Protection

「使える」仮想基盤の条件

● 物理サーバの障害に耐える可用性● 複数物理サーバ間のライブマイグレーション

● 高信頼・高性能ストレージ● 十分な実績とノウハウ



これまでの仮想基盤

SAN/NASストレージ

仮想化ホストサーバ

高性能・高信頼ストレージは高価





今日お話しする仮想化クラスタは


＆ストレージ


＆ストレージ

必要なのは 2台の IAサーバのみ



Linux-HAによるストレージサーバ

● DRBDによる完全同期リアルタイムレプリケーション● 2台以上のストレージに同一データを記録● どちらかがクラッシュしても他のサーバで処理を継続

● Pacemaker/Heartbeatによる高可用クラスタ● サーバ故障時にフェールオーバして可用性を維持

● iSCSIターゲット● 各種アプライアンスにも採用されている LIOターゲット

● NFSサーバ



Linux-HAによるストレージサーバサーバ 1

DRBD

LVM2

サーバ 1

DRBD (プライマリ )

LVM2

iSCSI ターゲット

1 2 3 4

サーバ 1

DRBD

LVM2

サーバ 2

LVM2


DRBD (セカンダリ )

リアルタイム・レプリケーション

NFSNFS



Linux-HAによるストレージサーバサーバ 1

DRBD

LVM2

サーバ 1


LVM2


1 2 3 4

サーバ 1サーバ 2


NFS

サーバダウン！

物理サーバ障害時にフェールオーバ



KVM

● RHEL6の標準機能● ストレージサーバに仮想マシンを同居させることも可能



ストレージサーバ＋ KVM仮想化サーバ 1

DRBD

LVM2

サーバ 1


LVM2


1 2 3 4

サーバ 1

DRBD

LVM2

サーバ 2

LVM2




NFSNFS

iSCSIイニシエータ iSCSIイニシエータ

KVM KVM

ゲストOS1

ゲストOS2

ゲストOS3

ゲストOS4



ストレージサーバ＋ KVM仮想化サーバ 1

DRBD

LVM2

サーバ 1


LVM2


1 2 3 4

サーバ 1

DRBD

LVM2

サーバ 2

LVM2




NFSNFS

iSCSIイニシエータ iSCSIイニシエータ

KVM KVM

ゲストOS1

ゲストOS2

ゲストOS3

ゲストOS4

ライブマイグレーションも実現



機器構成例

SASSAS SASSAS

ioDrive2

eth0

ib0

eth3

SASSAS SASSAS

RAID (BBWC)

eth0

ib0

ib1

LAN

ioDrive2

Infiniband

RAID (BBWC)

iSCSIアクセス

DRBDレプリケーション



仮想マシンクラスタのメリット

● 外付けNAS/SANストレージ不要● コストを抑えられる● 省スペース、省電力

● ライブマイグレーション可能● ストレージ一体化によるメリット

● スナップショットを使った仮想ディスクの集中バックアップ

● 災害対策● DRBD Proxyを組み合わせた遠隔レプリケーション



パフォーマンス

● DRBD● DRBD 8.4.3● al-extents 6433● sndbuf-size 、 rcvbuf-sizeは自動調整

● ファイルシステム● xfs● マウントオプション logbufs=8,logbsize=256k




● カーネルチューニング● TCPパフォーマンスチューニング

/sbin/sysctl -q -w net.ipv4.tcp_timestamps=0 /sbin/sysctl -q -w net.ipv4.tcp_sack=0 /sbin/sysctl -q -w net.core.netdev_max_backlog=250000 /sbin/sysctl -q -w net.core.rmem_max=16777216 /sbin/sysctl -q -w net.core.wmem_max=16777216 /sbin/sysctl -q -w net.core.rmem_default=16777216 /sbin/sysctl -q -w net.core.wmem_default=16777216 /sbin/sysctl -q -w net.core.optmem_max=16777216 /sbin/sysctl -q -w net.ipv4.tcp_rmem="4096 87380 16777216" /sbin/sysctl -q -w net.ipv4.tcp_wmem="4096 65536 16777216"




● pgbench● PostgreSQL 9.2.4● pgbench -i -s 1000 <database> (約 15GB)● pgbench -c 100 -j 50 -T 600 <database>



ストレージサーバとしての性能

● 比較項目● HDD (RAID1+0)● HDD (RAID1+0) + 10GB NIC + DRBD● HDD (RAID1+0) + Infiniband + DRBD● ioDrive2 (785GB)● ioDrive2 (785GB) + 10GB NIC + DRBD● ioDrive2 (785GB) + Infiniband + DRBD




ioDrive2

PostgreSQL DRBD

PostgreSQL

DRBD

ioDrive2 ioDrive210G NIC

DRBD

PostgreSQL

DRBD

ioDrive2 ioDrive2Infiniband

HDD

PostgreSQL

HDD

PostgreSQL DRBD

PostgreSQL

DRBD

HDD HDD10G NIC

DRBD

PostgreSQL

DRBD

HDD HDD10G NIC

DRBD

PostgreSQL

DRBD

HDD HDDInfiniband

DRBD

PostgreSQL

DRBD

HDD HDDInfiniband




なし C A C A なし C A C AN/A Infiniband Infiniband 10G NIC 10G NIC N/A Infiniband Infiniband 10G NIC 10G NICHDD HDD HDD HDD HDD ioDrive2 ioDrive2 ioDrive2 ioDrive2 ioDrive2

0

1000

2000

3000

4000

5000

6000

7000

8000

9000

pgbenchベンチマーク結果


tps

約20パーセントのオーバヘッド



ゲストOSのディスクアクセス性能

● ゲストOS上で pgbenchを実行● 1ゲストのみの実行● 2ゲストで同時実行● …...● 5ゲストで同時実行




KVMクラスタHDD InfinibandInfiniband

ゲスト1

ゲスト2

ゲスト3

ゲスト4

ゲスト5

pgbench pgbench pgbench pgbench pgbench

KVMクラスタioDrive InfinibandInfiniband

ゲスト1

ゲスト2

ゲスト3

ゲスト4

ゲスト5

pgbench pgbench pgbench pgbench pgbench




ストレージ(HDDまたは ioDrive2)

DRBD

iSCSIターゲット

iSCSIイニシエータ

Infiniband

KVM (virtio)

ゲストOS

多数のレイヤが介在パフォーマンス的には不利




0

500

1000

1500

2000

2500

3000

pgbenchベンチマーク結果

複数ゲストで同時にベンチマークを実行

ゲスト5

ゲスト4

ゲスト3

ゲスト2

ゲスト1tps

<===========ioDrive2===========><============HDD============>

ゲストを増やしても

ゲストあたりの処理能力は

あまり低下しない



パフォーマンス試験結果

● レプリケーションによるオーバヘッドは存在する● DRBD 8.4.3は約 20％と推定● DRBD 8.3は半分以下に低下● Infiniband と 10G NICの差はほとんどない



パフォーマンスについて

● ioDriveはやはり速い！● 単体性能はHDD (RAID 1+0)の 10倍以上● DRBDオーバヘッドの影響は受けるが、それでもHDDより

10倍程度速い● ゲストOSでDBを同時実行しても、ほぼリニアに性能が伸びる (HDDベースの物理サーバよりも高速！ )



仮想マシンクラスタの用途

● 物理サーバベースのDBのマイグレーション● 複数DBを同時に稼働させても、数年前の物理サーバよりも数倍以上高速なトランザクションが期待できる

● 部門単位または中小企業のサーバ統合・仮想化● 仮想マシンの災害対策

● DRBD Proxyとの併用

kvm cluster with drbd, iodrive2 and infiniband (130802 osc京都)

Technology