sap hana: Новая эпоха в data management и...

SAP HANA: Новая эпоха в Data Management и

технологиях разработки. Сергей Кузин, Старший архитектор бизнес-решений

Апрель, 2015 Public


Что же необходимо для решения современных задач?

Обработка потоков данных

SAP HANA Stream Engine

Загрузка и обработка больших объемов

данных

SAP HANA EIM

Хранение больших объемов данных

SAP HANA Dynamic Tiering, Hadoop Integration

Платформа для разработки

SAP HANA XS and Calculation Engine

Управление ресурсами и приложениями

SAP HANA Multi-Tenant






данных

SAP HANA EIM








Что является источником нашей

информации?

Биржевые показатели

Транзакции

Социальные сети

Действия пользователей

Сенсоры




Считывание, фильтрация, анализ и реакция

на миллионы событий в секунду в реальном времени

Сохранение значимой информации в SAP HANA

и прямая запись потоковой информации в Hadoop

Анализ потоков информации – прямая интеграция с

операционными инфопанелями

Построение моделей обработки потоков

используя декларативный язык (CCL) и графические

модели обработки

Администрирование с помощью SAP HANA Studio и

SAP HANA Cockpit

SAP HANA – Stream Engine Встроенная поддержка обработки потоков данных

Incoming

streams

Stream

(push)

SAP HANA

Streamin

g

Service




Основная концепция Stream Engine

Входные потоки данных (окна событий) Данные рассматриваются как поток событий

Выходящий поток (окно

событий) Выполнение «continuous

query» к одному или

нескольким входящим

потокам для получения

результирующего потока

Аналогия к базам данных • Потоки – это таблицы

• События – записи в таблицах

• Поля в событиях – колонки

таблицы

Окна событий имеют свои параметры • Параметры хранения определяют как много

и как долго события хранятся в окне

событий

• Тип событий автоматически учитывается

при обработке события – автоматически

определяется добавить/обновить/удалить

информацию в окне




SAP HANA Studio – средство для

создания проектов Stream Engine

Создание и

отладка

проекта

Streaming plug-in

добавляет

новые

перспективы в

HANA Studio

Визуальны

й и

текстовый

формат

разработки








данных

SAP HANA EIM








Использование встроенных в SAP HANA механизмов для

загрузки данных из внешних систем. Возможность

использования в собственных приложениях функционала SAP

HANA Smart Data Integration (ETL and Data Quality)

Встроенный функционал Real-time replication, пакетной

загрузки, преобразования и очистки данных

Встроенная среда разработки

– SAP HANA Studio

– SAP HANA WebIDE

Поддержка on-premise и cloud источников

Открытый SDK и преднастроенные адаптеры

SAP HANA – Smart Data Integration Новое интегрированное решение для загрузки и очистки данных

Загрузка и обработка данных

SAP HANA EIM


SAP HANA EIM Встроенные возможности интеграции нового уровня

Упрощение ландшафта, Ускорение, Открытый SDK

Загрузка и обработка данных

SAP HANA EIM






данных

SAP HANA EIM








Использование дискового пространства и усовершенствованной

технологии поколоночного хранения

Поддержка петабайтных решений – отсутствие ограничений

оперативной памяти

Встроенная технология SAP HANA platform – отсутствие дупликации

данных

– «Push down» обработка запросов

– Поддержка SQL и Calculation View

Оптимизация ТСО и нахождение баланса

производительности/стоимости

– Хранение текущей, часто используемой информации в памяти и

исторических данных на диске

Поддержка SAP решениями. В настоящий момент SAP BW 7.4.

SAP HANA - Dynamic Tiering Реализация подхода температуры данных – warm data

Hot Warm

SAP HANA

Хранение больших

объемов данных


Прямой доступ к файловой системе HDFS из SAP

HANA

Использование пользовательских функций для

вызова map-reduce jobs

– SAP HANA Studio как единая среда разработки для

вызова Map Reduce jobs

– Поддержка кэширования выполняемых функций

Поддержка всех текущих версий

распространения Hadoop (Hortonworks, Cloudera

etc.)

SAP HANA – Hadoop Integration Углубленная интеграция

SAP HANA

vUDF Operator

RFC Hadoop

Hadoop

Map Reduce

HDFS

YARN

HIVE

Virtual

Tables

SDA

(ODBC)

Spark

SQL

ODBC/

JDBC

SDI

Adapter

Framework

Хранение больших

объемов данных






данных

SAP HANA EIM








SAP HANA – разработка собственных

приложений $£¥ ©™




HANA Web IDE – новая среда разработки

в SP9 $£¥ ©™




Новый графический интерфейс для создания

новых расчетных функций и процедур в HANA

Studio

Исполнение функций в SQLScript

Интеграция с:

– Predictive Analysis Library (PAL)

– Business Function Library (BFL)

– Собственными AFL функциями

– R

Поддержка транспортов между системами

(хранится в HANA repository)

$£¥ ©™

SAP HANA – разработка приложений Новая среда для написания собственных функций




Более 60 AFL прогнозных алгоритмов реализованных в

SAP HANA

Новые алгоритмы, включая:

– Classification Analysis – Neural network

– Clustering - K-medians

– Feature selection & dimensionality – Principal component analysis

– Time Series Analysis – ARIMA-X, 2nd order exp smoothing,

forecasting with simple linear regression, seasonal linear

regression, Croston’s method, time series comparison, forecast

accuracy, Brown’s simple exp smoothing

– Top-K Association rule mining – KORD

– …

$£¥ ©™

SAP HANA – разработка приложений Расширение библиотеки прогнозных функций




$£¥ ©™

Deve

lop

er

too

l e

nh

an

ce

me

nts

• Web-based Development Workbench (Web IDE)

• SQLScript Debugging

• SQLScript Editor

• Calculation View editor

• XSOData editor

• Manual test explorer for XSOData artifacts (app explorer)

• Web Templates and code completion

• Application Preview

• Form based role editor for hdb objects

• Check File Access

• XSUnit integration

• CDS/HDBDD Editor with local semantic code completion

• SAP HANA Answers plug-in

• SAP HANA Studio

• Project set up – artifact generation

• Navigation to XS administration tool

• Run as configuration and execution)

Mo

deli

ng

en

han

ce

me

nts

• Web IDE

• Calculation View editor,

• Analytic Privilege editor

• SAP HANA Studio

• Editor usability

• Value help entity reference

• Calculation Views (Rank node, Table function as data sources)

• Script-based CV enhancements (Table function support, Output column structure import)

• History Views support (time travel support)

• Spatial support: spatial joins, spatial expressions in filters

• Harmonize Development- and Modeler- Studio perspectives

• Harmonize object naming

• Debugging Views with drill-down analysis, join cardinality

• Logging and tracing for modeler plugins (preferences)

• Replace node / replace node with a data source

• Propagate semantics from data sources / extract semantics

XS

Pro

gra

mm

ing

mo

de

l e

nh

an

ce

me

nts

• SMTP support in XS

• XML Parser

• ZIP

• $UTIL (CODEC/CRYPTO)

• Extended CORS support

• X-Frame

• New SQL DB interface

• User Self Service applications

• XSDS

• XSProcedures

• XSUnit

• REST API – Repo API

• Better Technical User support – default connection for user

• Better integration of Web Dispatcher

SQ

LS

cri

pt

en

han

ce

me

nts

• Tooling

• SQLScript Debugging in the Web-based Dev Workbench

• SQLScript Editor in the Web-based Dev Workbench

• SQLScript semantic code completion in the HANA Studio

• Enhanced SQL performance analysis in SAP HANA studio

• Language

• Table type definitions for input parameters

• Table type definitions for intermediate variables

• Autonomous transactions

SAP HANA – разработка приложений Платформа для написания собственных приложений








данных

SAP HANA EIM








Schema X

SAP HANA Instance

App X

Schema Y

App Y

HW

OS

Database

Schema

SAP HANA Instance

App

HW

OS

Database

Одна схема

Одна база данных SAP

HANA

Несколько схем (MCOD)

Одна база данных SAP HANA

Schema X

Database

SAP HANA Instance

App X

Schema Y

App Y

Database

SAP HANA Instance

Hypervisor

HW

OS OS

Несколько инстанций SAP HANA в

рамках нескольких виртуальных

машин

Schema X

Tenant DB

SAP HANA Instance

App X

Schema Y

App Y

Tenant DB

HW

OS

Несколько «тенантов» баз данных

Единый HANA сервер

Prior to SPS09 With SPS09 Multi-tenant

database feature

SAP HANA – Multi-tenant Оптимизация использования ресурсов




SAP HANA – Multi-tenant Концепция работы

Новый слой для администрирования всех

систем - System database

• Информация с топологией всего ландшафта

• Установка глобальных параметров

• Выполнение backup для всех «тенантов»

• Управление ресурсами во всей системе (CPU, memory,

disk для отдельных баз данных)

Доступ к базе по названию «тенанта»

• Установка специфических параметров для отдельного

«тенанта»

• Индивидуальное выполнение backup для «тенанта»

• Управление пользователями и данными конкретной

базы

*Единая версия SAP HANA

*Единые политики по HA/DR

AS ABAP

Connect to:

HAN.DB’A’

SAP HANA

SID: HAN

HAN.DB A

Any Application

Connect to:

HAN.<port>

HAN.DB B

HAN.SystemDB




SAP HANA System

SAP HANA – Multi-tenant Организация работы в scale-out конфигурации

Tenant DB A.3

Tenant DB B.1

System DB

(standby) System DB

Tenant DB C

Tenant DB B.2

Tenant DB A.2

System DB

(standby)

Tenant DB D

Tenant DB A.1

HOST 1 HOST 3 HOST 2 Standby (HOST 4)

System DB

(standby)




SAP HANA – Multi-tenant Доступ к данным из разных систем

SAP HANA System

Tenant DB

B

Tenant DB

A

Sca

n

Sca

n

Join

Sca

n

Sca

n

Tenant DB

C

Sca

n

HOST 1 HOST 2

Возможность

выполнения

запросов сразу по

нескольким

«тенантам»*

*на текущий

момент Read only




SAP HANA Monitoring Dashboard – Единое место отслеживания состояния систем




Подводя итоги




данных

SAP HANA EIM







© 2015 SAP SE or an SAP affiliate company. All rights reserved.

Разрабатывайте свои

приложения с SAP HANA!

Кузин Сергей

Эксперт в области баз данных и технологий, SAP СНГ

t: 8(963)672-57-94

E-mail: [email protected]

sap hana: Новая эпоха в data management и...

Documents