perf emc vnx5100 vs ibm ds5300 rus

Сравнение производительности систем хранения данных

EMC VNX 5100 vs. IBM DS5300

2011 год

Сравнение производительности систем хранения данных EMC VNX 5100 vs. IBM DS5300

1. Конфигурации тестируемых систем хранения данных (СХД):

EMC VNX 5100 4GB RAM per controller 15K RPM 3.5” 600GB IBM DS5300 8GB RAM per controller 15K RPM 3.5” 300GB

Хочу сразу отметить, что EMC VNX 5100 является самой младшей моделью EMC в midrange, а IBM DS5300 является самой старшей моделью IBM в

midrange (но уже достаточно старой и будет заменена в продуктовой линейке - IBM Storwize V7000). Среди преимуществ IBM DS5300 в тестируемой конфигурации значительно больший объем памяти - 8GB против 4GB у EMC VNX 5100. К тому же у IBM DS5300 почти вся эта память используется под кэш, в то время как у EMC VNX 5100 более ¾ памяти используется непосредственно под нужды ОС FLARE и только оставшаяся небольшая область доступна под кэш. Еще одно существенное отличие – со стороны хоста с ОС AIX для логического диска IBM DS5300 поддерживает максимальное значение queue_depth=256 EMC VNX 5100 поддерживает максимальное значение queue_depth=64 С другой стороны, т.к. для обоих систем будет использоваться идентичная по объему тестовая область (~1.2TB), а емкость дисков, установленных в тестируемый EMC VNX 5100 вдвое выше чем у IBM DS 5300 – на результаты производительности ЕМС VNX 5100 будет оказывать положительное влияние так называемый short stroking* эффект. *short stroking – снижение времени доступа у HDD, за счет более короткого перемещения магнитных головок, при использовании для хранения данных только части доступного на HDD пространства Сравнение производительности будет проведено на следующих типах рейд-групп: R10, R5 и R6. В качестве профиля нагрузки будет использоваться 100% Random с соотношением R/W=80/20 (типичная нагрузка для СУБД) и линейное чтение/запись (типичная нагрузка для backup/restore).

2. При сравнении производительности рейд-групп R10 использовалась следующая конфигурация:

EMC VNX 5100 Одна рейд-группа R10 (4+4) IBM DS5300 Одна рейд-группа R10 (4+4)

0

500

1000

1500

2000

2500

4K 8K 32K 64K 256K

IOPS

block size

EMC VNX 5100 (8x15K 3.5" HDD) cache 128MBRead 673MBWrite

EMC VNX 5100 (8x15K 3.5" HDD) cache 476MBRead 325MBWrite (default)

IBM DS5300 (8x15K 3.5" HDD)

R1064 I/O treads100%Random

R/W=80/20

0

2

4

6

8

10

12

4K 8K 32K 64K 256K

latency, ms

block size

EMC VNX 5100 (8x15K 3.5" HDD) cache 128MBRead 673MBWrite

EMC VNX 5100 (8x15K 3.5" HDD) cache 476MBRead 325MBWrite (default)

IBM DS5300 (8x15K 3.5" HDD)

R1064 I/O treads100%Random

R/W=80/20

2.1. Результаты тестирования при нагрузке с 64 I/O процессами для размера блока 4KB,8KB,32KB,64KB,256KB при 100% random нагрузке и соотношении R/W=80/20 представлены на диагр.2.1a. Соответствующее время отклика дисковой подсистемы во время проведения тестирования отображено на диагр.2.1b.

Для EMC VNX 5100 были апробированы два варианта настройки кэша:

- дефолтный - 476MB кэша на запись и 325МB кэша на чтение (на каждом SP)

- оптимизированный вариант - 673MB кэша на запись и 128МB кэша на чтение (на каждом SP) На диаграммах, представленных выше видно, что оптимизированный вариант по сравнению с дефолтными настройками незначительно увеличивает показатели производительности. Поэтому во всех дальнейших тестах для EMC VNX 5100 использовался именно этот вариант настройки кэша.

IBM DS5300 не позволяет выполнять подобные манипуляции с настройкой кэша - поэтому аналогичная оптимизация не могла быть проведена.

0

500

1000

1500

2000

2500

4K 8K 32K 64K 256K

IOPS

block size

EMC VNX 5100 8x 15K 3.5" HDD

IBM DS5300 8x 15K 3.5" HDD

R10512 I/O treads100%Random

R/W=80/20

0

2

4

6

8

10

12

4K 8K 32K 64K 256K

latensy, ms

block size

EMC VNX 5100 8x 15K 3.5" HDD

IBM DS5300 8x 15K 3.5" HDD

R10512 I/O treads100%Random

R/W=80/20

2.2. Результаты тестирования при нагрузке с 512 I/O процессами для размера блока 4KB,8KB,32KB,64KB,256KB при 100% random нагрузке и соотношении

R/W=80/20 представлены на диагр.2.2A. Соответствующее время отклика дисковой подсистемы во время проведения тестирования отображено на диагр.2.2B.

Как видно из вышеприведенных диаграмм, увеличение количества I/O процессов с 64 до 512 не приводит к увеличению производительности ни одной из СХД – сказывается крайне незначительное кол-во HDD, используемых в тестировании. Поэтому в дальнейшем ограничимся максимально 64 I/O процессами при тестировании.

0

100

200

300

400

500

600

700

800

1 I/O 2 I/O 4 I/O 8 I/O

MBps

I/O process

EMC VNX 5100 8x 15K 3.5" HDD

IBM DS5300 8x 15K 3.5" HDD

R10sequentialread

0

100

200

300

400

500

600

700

800

1 I/O 2 I/O 4 I/O 8 I/O

MBps

I/O process

EMC VNX 5100 8x 15K 3.5" HDD

IBM DS5300 8x 15K 3.5" HDD

R10sequential write

2.3. Результаты тестирования при нагрузке с 1/2/4/8 I/O процессами на линейном чтении представлены на диагр.2.3A. Результаты тестирования при нагрузке с 1/2/4/8 I/O процессами на линейной записи представлены на диагр.2.3B. На мой взгляд, диаграмма 2.3B достаточно наглядно демонстрируют различия в пропускной способности бек-энд интерфейсов применяемых в данных СХД (использование двух таких интерфейсов на бек-энде обоих СХД нивелируется write penalty=2 для R10): - 4Gbps FC у IBM DS5300 - 6Gbps SAS у EMC VNX 5100

3. При сравнении производительности рейд-групп R5 использовалась следующая конфигурация рейд-групп:

EMC VNX 5100 Одна рейд-группа R5 (7+1) IBM DS5300 Одна рейд-группа R5 (7+1)

3.1. Результаты тестирования при нагрузке с 64 I/O процессами для размера блока 4KB,8KB,32KB,64KB,256KB при 100% random нагрузке и соотношении R/W=80/20 представлены на диагр.3.1A. Соответствующее время отклика дисковой подсистемы во время проведения тестирования отображено на диагр.3.1B.

0

500

1000

1500

2000

4K 8K 32K 64K 256K

IOPS

block size

EMC VNX 5100 8x 15K 3.5" HDD

IBM DS5300 8x 15K 3.5" HDD

R564 I/O treads100%Random

R/W=80/20

0

2

4

6

8

10

12

4K 8K 32K 64K 256K

latensy, ms

block size

EMC VNX 5100 8x 15K 3.5" HDD

IBM DS5300 8x 15K 3.5" HDD

R564 I/O treads100%Random

R/W=80/20

3.2. Результаты тестирования при нагрузке с 1/2/4/8 I/O процессами на линейном чтении представлены на диагр.3.2A. Результаты тестирования при нагрузке с 1/2/4/8 I/O процессами на линейной записи представлены на диагр.3.2.B. Обе СХД при использовании R5, ожидаемо демонстрируют лучшие результаты последовательного чтения/записи, чем при использовании R10.

0

100

200

300

400

500

600

700

800

1 2 4 8

MBps

I/O process

EMC VNX 5100 8x 15K 3.5" HDD

IBM DS5300 8x 15K 3.5" HDD

R5sequentialRead

0

100

200

300

400

500

600

700

800

1 2 4 8

MBps

I/O process

EMC VNX 5100 8x 15K 3.5" HDD

IBM DS5300 8x 15K 3.5" HDD

R5sequentialWrite

4. При сравнении производительности рейд-групп R6 использовалась следующая конфигурация рейд-групп:

EMC VNX 5100 Одна рейд-группа R6 (6+2) IBM DS5300 Одна рейд-группа R6 (6+2)

4.1. Результаты тестирования при нагрузке с 64 I/O процессами для размера блока 4KB,8KB,32KB,64KB,256KB при 100% random нагрузке и соотношении R/W=80/20 представлены на диагр.4.1A. Соответствующее время отклика дисковой подсистемы во время проведения тестирования отображено на диагр.4.1B.

4.2.

0

500

1000

1500

2000

2500

4K 8K 32K 64K 256K

IOPS

block size

EMC VNX 5100 8x 15K 3.5" HDD

IBM DS5300 8x 15K 3.5" HDD

R664 I/O treads100%Random

R/W=80/20

0

2

4

6

8

10

12

4K 8K 32K 64K 256K

latensy, ms

block size

EMC VNX 5100 8x 15K 3.5" HDD

IBM DS5300 8x 15K 3.5" HDD

R664 I/O treads100%Random

R/W=80/20

4.2. Результаты тестирования при нагрузке с 1/2/4/8 I/O процессами на линейном чтении (для размера блока 256KB) представлены на диагр.4.2A. Результаты тестирования при нагрузке с 1/2/4/8 I/O процессами на линейной записи (для размера блока 256KB) представлены на диагр.4.2.B.

4.3.

0

100

200

300

400

500

600

700

800

1 2 4 8

MBps

I/O process

EMC VNX 5100 8x 15K 3.5" HDD

IBM DS5300 8x 15K 3.5" HDD

R6sequentialRead

0

100

200

300

400

500

600

700

800

1 2 4 8

MBps

I/O process

EMC VNX 5100 8x 15K 3.5" HDD

IBM DS5300 8x 15K 3.5" HDD

R6sequentialWrite

5. Собственно тестирование производительности двух СХД здесь могло бы и подойти к своему логическому завершению. Но… тут дистрибьютор ЕМС (МУК) предоставил нам для EMC VNX 5100 пару SSD, емкостью по ~100GB каждый. А на самой СХД присутствовали лицензии на EMC FAST Cache. Так появились последующие главы данного обзора .

Мне уже приходилось ранее использовать EFD в СХД EMC, но это были SSD производства STEC из линейки ZeusIOPS, основанные на SLC-памяти и известные не только своей высокой производительностью, но и своей не менее высокой стоимостью. Именно они ранее использовались EMC и в линейке Symmetrix и в линейке CLARiiON.

В EMC VNX же применяется enterprise SSD другого производителя (а именно Samsung), тоже основанный на SLC-памяти, но предлагаемый по более демократичной цене (в сравнении с STEC ZeusIOPS). Данный SSD для подключения использует SATA интерфейс (3Gbps) и выполнен в форм-факторе 3,5”.

Сначала изучим скоростные возможности данного SSD, а потом посмотрим, как вырастет производительность дисковых рейд-групп при использовании FAST Cache.

0

5000

10000

15000

20000

IOPS

block size

EMC VNX 5100 2x SSD 3.5" HDD R/W=80/20

EMC VNX 5100 2xSSD 3.5" R/W=0/100

EMC VNX 5100 2xSSD 3.5" R/W=100/0

R116 I/O treads100%Random

0

2

4

6

8

10

12

4K 8K 32K 64K 256K

latensy, ms

block size

EMC VNX 5100 2x 3.5" SSD R/W=80/20

EMC VNX 5100 2x 3.5" SSD R/W=0/100

EMC VNX 5100 2x 3.5" SSD R/W=100/0

R116 I/O treads100%Random

R/W=80/20

5.1 Для оценки производительности SSD, из 2xSSD была создана рейд-группа R1. Результаты тестирования SSD при нагрузке с 16 I/O процессами для размера блока 4KB,8KB,32KB,64KB,256KB при 100% random нагрузке и соотношении R/W=80/20, R/W=0/100 R/W=100/0 представлены на диагр.5.1A.

Соответствующее время отклика дисковой подсистемы во время проведения тестирования отображено на диагр.5.1B.

5.2. Результаты тестирования при нагрузке с 1/2/4/8 I/O процессами на линейном чтении представлены на диагр.5.2A. Результаты тестирования при нагрузке с 1/2/4/8 I/O процессами на линейной записи представлены на диагр.5.2.B.

0

200

400

600

800

1 2 4 8

MBps

I/O process

EMC VNX 5100 2x 3.5" SSD

R1 (1+1) SSDsequentialRead

0

200

400

600

800

1 2 4 8

MBps

I/O process

EMC VNX 5100 2x 3.5" SSD

R1 (1+1) SSDsequentialWrite

6. Перейдем к тестированию Fast Cache – сравним ранее полученные результаты производительности EMC VNX 5100 на 8хHDD без FAST Cache с результатами, полученными при активации Fast Cache. Эффект от использования Fast Cache не проявляется мгновенно – нужно время, чтобы «горячие» данные оказались в кэше – данный временной интервал обычно именуют «прогревом» кэша (Cache Warm-Up). Это особенность, касающаяся кэшей вообще (большого объема), а не только EMC FAST Cache. Хочу отметить, что активация Fast Cache использует часть RAM кэша чтения/записи (и так небольшого). Особенности, связанные с активацией и деактивацией FAST Cache приведены на скриншотах ниже

6.1 Результаты тестирования R10 при нагрузке с 64 I/O процессами для размера блока 4KB,8KB,32KB,64KB,256KB при 100% random нагрузке и соотношении R/W=80/20 представлены на диагр.6.1A.

Соответствующее время отклика дисковой подсистемы во время проведения тестирования отображено на диагр.6.1B.

0

5000

10000

15000

20000

4K 8K 32K 64K 256K

IOPS

block size

EMC VNX 5100 8x 15K 3.5" HDD

EMC VNX5100 8x 15K 3.5" HDD with FAST Cache (2xSSD R1) after 30min Cache Warm-Up

R1064 I/O treads100%Random

R/W=80/20

0

2

4

6

8

10

12

4K 8K 32K 64K 256K

latensy, ms

block size

EMC VNX 5100 8x 15K 3.5" HDD

EMC VNX5100 8x 15K 3.5" HDD with FAST Cache (2xSSD R1) after 30min Cache Warm-Up

R1064 I/O treads100%Random

R/W=80/20

6.2 Результаты тестирования R10 при нагрузке с 1/2/4/8 I/O процессами на линейном чтении представлены на диагр.6.2A. Результаты тестирования R10 при нагрузке с 1/2/4/8 I/O процессами на линейной записи представлены на диагр.6.2.B.

0

100

200

300

400

500

600

700

800

1 2 4 8

MBps

I/O process

EMC VNX 5100 8x 15K 3.5" HDD

EMC VNX5100 8x 15K 3.5" HDD with FAST Cache (2xSSD R1) after 30min Cache Warm-Up

R10sequentialRead

0

100

200

300

400

500

600

700

800

1 2 4 8

MBps

I/O process

EMC VNX 5100 8x 15K 3.5" HDD

EMC VNX5100 8x 15K 3.5" HDD with FAST Cache (2xSSD R1) after 30min Cache Warm-Up

R10sequentialWrite

6.3 Результаты тестирования R5 при нагрузке с 64 I/O процессами для размера блока 4KB,8KB,32KB,64KB,256KB при 100% random нагрузке и соотношении R/W=80/20 представлены на диагр.6.3A. Соответствующее время отклика дисковой подсистемы во время проведения тестирования отображено на диагр. 6.3B.

0

5000

10000

15000

20000

4K 8K 32K 64K 256K

IOPS

block size

EMC VNX 5100 8x 15K 3.5" HDD

EMC VNX5100 8x 15K 3.5" HDD with FAST Cache (2xSSD R1) after 30min Cache Warm-Up

R564 I/O treads100%Random

R/W=80/20

0

2

4

6

8

10

12

14

4K 8K 32K 64K 256K

latensy, ms

block size

EMC VNX 5100 8x 15K 3.5" HDD

EMC VNX5100 8x 15K 3.5" HDD with FAST Cache (2xSSD R1) after 30min Cache Warm-Up

R564 I/O treads100%Random

R/W=80/20

6.4 Результаты тестирования R5 при нагрузке с 1/2/4/8 I/O процессами на линейном чтении представлены на диагр.6.4A. Результаты тестирования R5 при нагрузке с 1/2/4/8 I/O процессами на линейной записи представлены на диагр.6.4.B.

0

100

200

300

400

500

600

700

800

1 2 4 8

MBps

I/O process

EMC VNX 5100 8x 15K 3.5" HDD

EMC VNX5100 8x 15K 3.5" HDD with FAST Cache (2xSSD R1) after 30min Cache Warm-Up

R5sequentialRead

0

100

200

300

400

500

600

700

800

1 2 4 8

MBps

I/O process

EMC VNX 5100 8x 15K 3.5" HDD

EMC VNX5100 8x 15K 3.5" HDD with FAST Cache (2xSSD R1) after 30min Cache Warm-Up

R5sequentialWrite

6.5 Результаты тестирования R6 при нагрузке с 64 I/O процессами для размера блока 4KB,8KB,32KB,64KB,256KB при 100% random нагрузке и соотношении R/W=80/20 представлены на диагр.6.5A. Соответствующее время отклика дисковой подсистемы во время проведения тестирования отображено на диагр.6.5B.

0

5000

10000

15000

20000

4K 8K 32K 64K 256K

IOPS

block size

EMC VNX 5100 8x 15K 3.5" HDD

EMC VNX 5100 8x 15K 3.5" HDD with FAST Cache (2xSSD R1) after 30min Cache Warm-Up

R664 I/O treads100%Random

R/W=80/20

0

2

4

6

8

10

12

4K 8K 32K 64K 256K

latensy, ms

block size

EMC VNX 5100 8x 15K 3.5" HDD

EMC VNX 5100 8x 15K 3.5" HDD with FAST Cache (2xSSD R1) after 30min Cache Warm-Up

R664 I/O treads100%Random

R/W=80/20

6.6 Результаты тестирования R6 при нагрузке с 1/2/4/8 I/O процессами на линейном чтении представлены на диагр.6.6A. Результаты тестирования R6 при нагрузке с 1/2/4/8 I/O процессами на линейной записи представлены на диагр.6.6B.

6.7

0

100

200

300

400

500

600

700

800

1 2 4 8

MBps

I/O process

EMC VNX 5100 8x 15K 3.5" HDD

EMC VNX 5100 8x 15K 3.5" HDD with FAST Cache (2xSSD R1) after 30min Cache Warm-Up

R6sequentialRead

0

100

200

300

400

500

600

700

800

1 2 4 8

MBps

I/O process

EMC VNX 5100 8x 15K 3.5" HDD

EMC VNX 5100 8x 15K 3.5" HDD with FAST Cache (2xSSD R1) after 30min Cache Warm-Up

R6sequentialWrite

Приложение

- Все тестируемые СХД были подключены к одному и тому же LPAR с AIX 6.1 TL6 SP4

- Со стороны хоста использовалось подключение через FC 8Gbps

- Использовалась файловая система JFS2 с inline log

- На файловой системе в качестве рабочего множества были созданы файлы, суммарным размером ~1.2TB

- Для создания тестовой нагрузки был использован пакет nstress, в частности утилита ndisk64

- Для сбора и обработки информации о времени отклика СХД использовались утилиты NMON и NMON Analyser соответственно

Олег Король

it-expert@ukr.net