ivan vetkasov high performance computing · v2 1-4 v100 gpus, 6-24 ocpus 104-360 gb ram up to 1 pb...
Post on 11-Oct-2020
0 Views
Preview:
TRANSCRIPT
Иван Веткасов
Principal Sales Consultant
Oracle Russia
October 30th, 2019
High Performance ComputingСценарии использования и показатели производительности
2 Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted
Safe harbor statement
The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions.
The development, release, timing, and pricing of any features or functionality described for Oracle’s products may change and remains at the sole discretion of Oracle Corporation.
3 Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted
Немного истории
Program agenda
1
2
3
4
5
Инфраструктура OCI
Сервисы OCI
Производительность
Примеры использования
4 Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted
“High Performance Computing most generally refers to the practice ofaggregating computing power in a way that delivers much higherperformance than one could get out of a single server in order to solve largeproblems in science, engineering, or business.”
“HPC tasks are characterized as needing large amounts of computing powerfor short periods of time”
5 Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted
InsideHPC.com
Wikipedia.org
Типичные примеры:• Обработка геологических и сейсмологических данных• Проектирование и моделирование в машиностроении, обработка телеметрии• Моделирование потоков воздуха, жидкостей, течений• Медицинские исследования
Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted6
DEC, 1994 Sun, 2010Mellanox, 2010
Bare Metal, 2016
2x Pascal, 2017
8x Volta, 2Q2018
RDMA, 1Q2019
Bare Metal инфраструктура в Oracle Public Cloud
Security
Isolated Network Virtualization
Общая инфраструктура сети
Второе поколение инфраструктуры:
Oracle Cloud Infrastructure
Разделение сети и
окружения заказчиков
Host OS/Kernel
HypervisorContainer (Optional)
Общая инфраструктура сети
Первое поколение инфраструктуры:
Наиболее распространено на сегодняшний день
Host OS/Kernel
NetworkHypervisor
Server Virtualization
Server Virtualization Hypervisor
Network Virtualization
VM/ Guest
OS
VM/ Guest
OS
VM/ Guest
OS
VM/ Guest
OS
VM/ Guest
OSVM/
Guest OS
VM/ Guest
OS
VM/ Guest
OS
Bare Metal инфраструктура в Oracle Public Cloud
Performance
Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted7
Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted8
ORACLEREGION
SERVICES
CO
NN
ECTI
VIT
Y
STORAGE DATABASE NETWORKING
VIRTUAL NETWORK
PHYSICAL NETWORK
DATACENTERS / AVAILABILITY DOMAINS
GOVERNANCE(IAM / APIs)
Department A Department B Department C
ORACLEREGION n
YOURDATACENTER
AD-1
EDGE
AD-2 AD-3
COMPUTE
INTERNET
“Плоская” сетевая инфраструктура в Oracle Public Cloud
Compute сервисы в Oracle Cloud Infrastructure
ENTERPRISE WEB & APPLICATION SERVERS
ENTERPRISE APPLICATION SERVERS, HADOOP
MODERN DISTRIBUTED APPLICATIONS
HPC, AI/ML, 3D RENDERING
VM Standard1-24 OCPUs,
15-320 GB RAMUp to 1 PB Block
$0.0638 OCPU/ч
VM Dense IO
8-24 OCPUs,120-320 GB RAM,6.4-25.6TB NVMeUp to 1 PB Block
$0.0638 OCPU/ч
VM GPU Standard1 P100 GPU, 12 OCPUs,
104 GB RAMUp to 1 PB Block$1.275 GPU/ч
v21-4 V100 GPUs,
6-24 OCPUs104-360 GB RAMUp to 1 PB Block
NVLINK$2.25 GPU/ч
VM E2Standard
1-24 OCPUs,8-192 GB RAM
Up to 1 PB Block$0.03 OCPU/ч
DNA SEQUENCING, CFD, CRASH SIMULATIONS
Bare Metal Dense IO52 OCPUs,
768 GB RAM,51.2 TB NVMe
Up to 1 PB Block$ 0.1275 OCPU/ч
Bare Metal GPU Standard
2 P100 GPUs, 28 OCPUs, 192 GB
RAMUp to 1 PB Block$1.275 GPU/ч
v28 V100 GPUs,
52 OCPUs, 768 GB RAM
Up to 1 PB BlockNVLINK
$2.25 GPU/ч
Bare Metal Standard52 OCPUs,
768 GB RAMUp to 1 PB
Block$0.0638 OCPU/ч
Bare Metal E2 Standard64 OCPUs,
512 GB RAMUp to 1 PB Block$0.03 OCPU/ч
Bare Metal HPC Dense IO
36 OCPUs (3.7 GHz),384 GB RAM
Up to 1 PB BlockRDMA
$ 0.075 OCPU/ч
Доступны в конфигурации Dedicated VM Hosts
* * *
*
* *
10 Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted
Local Block File Object
NVMe SSDs
До 51 TB
Миллионы IOPS
10-100 мкс
latency
NVMe SSDs
32 TB / диск
60 IOPS / GB
< 1 мс latency
HA: distributed
file system
От КБ до ЭБ
HA: distributed
Практически
неограниченный
объем
Archive Storage Gateway Data Transfer
Надежное (durable)
объектное
хранилище с ценой
на 90% ниже
Локальное NAS
решение
Конфигурируемый
кэш
Перемещение ПБ данных
Устраняет затраты на
миграцию данных
Storage
Функциональные, высоко
производительныесервисы хренения для разнородной
нагрузки
Сервисы хранения данных в Oracle Cloud Infrastructure
11
* *
Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted
Object & Archive Storage
Limitless capacityNative & S3 APIs,
HDFS, encryption
10TB max object size
VM Dense IO 6.4-25.6 TB NVMe SSD1.8M IOPS
Block StorageUp to 32 TB volumes
Up to 1 PB/hostSnapshots, scheduled
backups, clones, grouped clones,
encryption
File StorageScales to exabytes
NFS, NLM, snapshots, encryption
HADOOP, MEDIA, LOGs, BACKUP, ARCHIVE
ENTERPRISE APPLICATIONS, DATABASES, GPU, CONTAINERS, APPLICATION LIFECYCLE
ANALYTICS, OLTP, HPC, CONTAINERS, KUBERNETES
Bare metalDense IO
51 TB NVMe SSD
5M IOPS
Сервисы хранения данных в Oracle Cloud Infrastructure
12 Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted
* *
*
Compute & HPC
Лучшая CPU производительность
GPU
Лучшая GPUпроизводительность
Лучшая Memory Bandwidth
Clustered RDMA Network1.5 µs latency, 100Gb/s
CPU Servers GPU Servers* CPU Servers and Block Storage*
*Planned
X
AMD EXADATA
0-368 OCPUs106-424 TB (HC диски)
Extreme DB Edition
Infiniband сеть в Oracle Cloud Infrastructure
Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted14
Сверхнизкая latency и высокая пропускная способность
Clustered RDMA Network1.5 µs latency, 100Gb/s
X X
CPU Servers GPU Servers* Block Storage*Exadata*
Для нагрузок требующих большой кластерной производительности (HPC, Database, Big Data, AI) включая такие задачи как CFD, Crash Simulations, Reservoir Modelling, DNA Sequencing
Скоро: GPU Bare-Metal инстансы с 8 GPUs, 2TB RAM, 25TB local NVMe и 8x 100GB сетевых портов для кластерной подсети и RDMA
*Planned
Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted15
Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted15
Price and PerformanceHPC
16
Влияние виртуализации на HPC нагрузки
0.86
0.90.88
0.93
0.89
0.82
0.75
0.8
0.85
0.9
0.95
1
1.05
LS-DYNA ANSYS Fluent MILC WRF HPL Stream
Top HPC Applications Simulation Timelower is faster
Virtual Machine OCI Bare Metal
Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted
Обработка кардиологических данных
– Входные данные – 8 файлов (примерно по 8 MB)
– Задача с большим потреблением cpu и rdma сети
– 5 итераций расчета (1 узел – 8 ядер -> 4 узла – 128 ядер)
– ПО: Intel compilers, MPI, PETSC with Hypre, Mumps, Superlu
On Premise (синий график) показывает невозможность масштабирования кластера более 2 узлов и 64 ядер. OCI (красный график)
демонстрирует возможность масштабирования –время вычислений улучшается на 4 узлах с168 ядрами.
32%
29%
27%38%
72%
68% 71% 73%62% 28%
Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted20
LeMans StarCCM+ Benchmark Model
21Copyright © 2019, Oracle and/or its affiliates. All rights reserved.
EXABYTE.IO: Cloud-based Materials Modeling Benchmarks
SOURCE if information and Graphics: https://docs.exabyte.io/benchmarks/2018-11-12-comparison/
Для сравнения производительности использовались следующие нагрузочные модели: High-Performance Linpack (HPL), Vienna Ab-initio Simulation Package (VASP) и Intel MPI Benchmark для тестирования сетевых задержек и пропускной способности.
GROMACS (Polystyrene)
22Copyright © 2019, Oracle and/or its affiliates. All rights reserved.
EXABYTE.IO: Cloud-based Materials Modeling Benchmarks
“A comparison of the speedup ratios for all cloud vendors described are presented. As it can be seen, Oracle and Microsoft Azure have better speedup ratios because of the low latency interconnect network that facilitates efficient scaling.”
Конфигурации тестовых окружений:
SOURCE if information and Graphics: https://docs.exabyte.io/benchmarks/2018-11-12-comparison/
23Copyright © 2019, Oracle and/or its affiliates. All rights reserved.
Network comparison: “The following shows the result of Intel MPI Benchmarks running on Amazon Web Services C5 instances, Azure H-series VMs and Oracle hardware. As it can be seen Oracle interconnect network is faster and has the lowest latency.”
SOURCE if information and Graphics: https://docs.exabyte.io/benchmarks/2018-11-12-comparison/
EXABYTE.IO: Cloud-based Materials Modeling Benchmarks
23Copyright © 2019, Oracle and/or its affiliates. All rights reserved.
EXABYTE.IO: Cloud-based Materials Modeling Benchmarks
SOURCE if information and Graphics: https://docs.exabyte.io/benchmarks/2018-11-12-comparison/
Per-Core performance comparison: ”The following figure shows a comparative plot of the performance per core in giga-FLOPS (GFLOPS). Oracle and Microsoft Azure outperform AWS because of faster processors and the low latency interconnect network.”
24Copyright © 2019, Oracle and/or its affiliates. All rights reserved.
Международный авто-концернComputational Fluid Dynamics и Crash Simulation в Oracle Cloud• Собственная инфраструктура HPC
недостаточно гибка и эластична, а так же имеет очень длинный цикл обновления. Кроме того, ресурсы затрачиваемые на сопровождение и администрирование могли быть перенаправлены на более приоритетные задачи бизнеса.
• Компания получила возможность разворачивать и масштабировать HPC инфраструктуру за минуты, буквально в несколько кликов мышью.
• Использование облачной инфраструктуры позволило оптимизировать и улучшить процессы моделирования и проектирования, а так же оптимизировать затраты на них.
От 5% до 20%увеличение производительности при
масштабировании до 20.000 ядер
25Copyright © 2019, Oracle and/or its affiliates. All rights reserved.
Zenotech предоставяетComputational Fluid Dynamics SaaS проект на Oracle Cloud
• Zenotech предоставляет облачное HPC решение для моделирования динамики потоков как для крупных, так и для средних заказчиков, многие из которых не имеют собственной HPC инфраструктуры
• Моделирование воздушных потоков используется Zenotech и их заказчиками в проектировании самолетов и гоночных автомобилей, увеличив точность моделирования и снизив, при этом, стоимость по сравнению с собственной инфраструктурой
76%от линейной масштабируемости для 1,296 ядер
26Copyright © 2019, Oracle and/or its affiliates. All rights reserved.
Oracle и Altair: SaaS решение для CFD
• Altair HyperWorks предоставляет виртуальную среду для Computational Fluid Dynamics (CFD) анализа — на Oracle Cloud Infrastructure
• Быстрое время развертывания, а так же модель оплаты по мере использования –заказчик платит только за затраченные на моделирование ресурсы
• Так же способствовало сокращению цикла разработки и тестирования программного обеспечения Altair на 300% 3x
быстрее разработка и тестирование
27Copyright © 2019, Oracle and/or its affiliates. All rights reserved.
YellowDog: On-demand 3D Rendering
2x - 10xвыше производительность
• Yellowdog предоставляет продукт для рендеринга изображений для мелких и средних медиа компаний
• Увеличение производительности в 10 раз по сравнению с их предыдущим решением и в 2 раза по сравнению с AWS
• Миграция с OCI-C на OCI позволила увеличить гибкость решения, заняла менее года и не потребовала увеличения стоимости
• Позволила снизить стоимость сервиса для конечного заказчика
28Copyright © 2019, Oracle and/or its affiliates. All rights reserved.
High Performance Computing: не только наукоемкие отрасли
• Ведущее SaaS решение в области
путешествий построенное на AI для
подбора маршрутов на основе
критерия времени, а не расстояния
• В 21 раз быстрее обработка 3
милионов локаций в месяц со времем
отклика 250 миллисекунд
• Сокращение цикла разработки за счет
использования Kubernetes с 1 недели
до 8 часов
• Рост на 500 000 пользователей за
первый месяц, сейчас работают в 36
странах
Спасибо
Вопросы?
Иван Веткасов
Principal Sales ConsultantOracle Russia
30 Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted
Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted31
PHOENIX
TORONTO
ASHBURN
SAO PAULO
LONDON
FRANKFURT ZURICH
MUMBAI
SYDNEY
SEOUL TOKYO
OSAKA
Commercial
Government
Planned Commercial
Planned Government
Edge Points of Presence
Planned Edge Points of Presence
• Global edge locations
• Distinct geo security profiles
• Automated global edge protection
• 2,000+ cloud security personnel
• 24/7 monitoring
• Trillions of signals collected daily
• Internet and Cloud Intelligence
JEDDAH
CHICAGO
Oracle Cloud Infrastructure is Global
Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted32
Oracle Cloud Infrastructure Global Footprint
End of CY2020: 36 Oracle Regions
ASHBURNPHOENIX
SYDNEY
CHICAGO
TORONTO
BELO HORIZONTESAO PAULO
TOKYOSEOUL
MUMBAI
OSAKA
MELBOURNE
AMSTERDAM
HYDERABAD
JEDDAHDUBAI
UK
BAY AREA
SINGAPORE
SAUDI 2
UAE 2
CHILE
Commercial
Government
Microsoft Azure Interconnect
ISRAEL
ISRAEL GOV
FRANKFURT
ZURICHMONTREAL
CHUNCHEON
SOUTH AFRICA
US GOV
EUROPE
ASIA
End of 2020: In-Country Disaster Recovery
US
European Union
India
Japan
Australia
UAE
Saudi Arabia
Brazil
South Korea
UK
Canada
top related