sas event stream processing...Потоковая обработка Больших Данных...

15
Company Confidential – For Internal Use Only Copyright © SAS Institute Inc. All rights reserved. SAS Event Stream Processing Потоковая обработка Больших Данных Андрей Матвеенко Старший консультант, Департамент платформенных решений SAS Россия/СНГ

Upload: others

Post on 21-May-2020

20 views

Category:

Documents


1 download

TRANSCRIPT

Page 1: SAS Event Stream Processing...Потоковая обработка Больших Данных Андрей Матвеенко Старший консультант, Департамент

C o m p a n y C o n f id e n t ial – Fo r In t e rn a l U se O n lyC o p y r ig h t © S AS In st i tu t e In c. Al l r ig h t s re se r ve d .

SAS Event Stream ProcessingПотоковая обработка Больших Данных

Андрей МатвеенкоСтарший консультант, Департамент платформенных решенийSAS Россия/СНГ

Page 2: SAS Event Stream Processing...Потоковая обработка Больших Данных Андрей Матвеенко Старший консультант, Департамент

C o m p a n y C o n f id e n t ial – Fo r In t e rn a l U se O n lyC o p y r ig h t © S AS In st i tu t e In c. Al l r ig h t s re se r ve d .

Volume

Velocity

Variety

Быстрый ответ с низкой задержкой

Сокращение времени принятия решения

Непрерывная оценка возможностей и рисков

Гибкость и простое управление

Готовность работы с большим потоком

Большие Данные: новые задачи

Page 3: SAS Event Stream Processing...Потоковая обработка Больших Данных Андрей Матвеенко Старший консультант, Департамент

C o m p a n y C o n f id e n t ial – Fo r In t e rn a l U se O n lyC o p y r ig h t © S AS In st i tu t e In c. Al l r ig h t s re se r ve d .

Сенсоры

/ ЭБУCAN Bus

IoT Gateway на ТС

- SAS Event Stream Processing

- IoT Gateway

- Event Stream Manager

Непрерывная потоковая обработка показаний датчиков и системных ошибок внутри автомобиля

WWAN

Аналитика отдел SAS Центр управления автопарком- Разработка аналитических

моделей- Машинное обучение

Обработка событий с датчиков автомобиля

Page 4: SAS Event Stream Processing...Потоковая обработка Больших Данных Андрей Матвеенко Старший консультант, Департамент

C o m p a n y C o n f id e n t ial – Fo r In t e rn a l U se O n lyC o p y r ig h t © S AS In st i tu t e In c. Al l r ig h t s re se r ve d .

Обработка показаний датчиков в реальном времени

*

* демо-стенд SAS ESP

Предотвращение аварий

Предотвращение поломок, своевременное ТО

Оптимизация маршрутов

Онлайн маркетинг

Онлайн страхование Телематика

Каршеринг Оптимизация затрат (плата за км)

Противодействие мошенничеству

….

Page 5: SAS Event Stream Processing...Потоковая обработка Больших Данных Андрей Матвеенко Старший консультант, Департамент

C o m p a n y C o n f id e n t ial – Fo r In t e rn a l U se O n lyC o p y r ig h t © S AS In st i tu t e In c. Al l r ig h t s re se r ve d .

Глобальный производитель ТСЦЕЛЬ Проактивное прохождение технического обслуживания

Предоставление новых услуг с высоким SLA

РЕЗУЛЬТАТЫ Предсказание времени ТО

Обнаружение высоковероятных поломок более чем за 30 дней как они случаться

Увеличение времени работы единиц техники на 30%

Ускорение диагностики неисправностей на 25%

Диагностика в пути

Инновационная координация между производителями и поставщиками

Снижение стоимости гарантийного обслуживания

Пересмотр текущих процессов

Каждый грузовик получил балл риска исходя из стоимости ТО, сложности поставки, параметров груза

Оптимизация прохождения обслуживания, выявлено что только 75% парка требует своевременное обновление ПО

HEAVY TRUCK

Page 6: SAS Event Stream Processing...Потоковая обработка Больших Данных Андрей Матвеенко Старший консультант, Департамент

C o m p a n y C o n f id e n t ial – Fo r In t e rn a l U se O n lyC o p y r ig h t © S AS In st i tu t e In c. Al l r ig h t s re se r ve d .

SAS Event Stream Processing

результатанализа

Действия

SAS In-Memory

SAS®

Event Stream Processing Model

Непрерывный

запрос

Пу

бл

ика

ци

я

По

дп

ис

ка

Поток событий

Обогащениеданных

Применение моделей

Бизнес правила

Page 7: SAS Event Stream Processing...Потоковая обработка Больших Данных Андрей Матвеенко Старший консультант, Департамент

C o m p a n y C o n f id e n t ial – Fo r In t e rn a l U se O n lyC o p y r ig h t © S AS In st i tu t e In c. Al l r ig h t s re se r ve d .

Готовые механизмы интеграции SAS ESP

OPEN PLATFORM

SYSTEMS & APPLICATIONS

PUBLISH & SUBSCRIBE API

CONNECT TO ANY SYSTEM WITH JAVA, C++, PYTHON

FULLY DOCUMENTED AND EASY TO USE

RendezVous

STANDARDS

FILE/SOCKET

XML / JSON

ODBC

JMS

MQTT

SYSLOG

DB LOG SNIFFERS

HTTP RESTFUL

SMTP

NETWORK SNIFFERS

WEB SERVICES

*

Page 8: SAS Event Stream Processing...Потоковая обработка Больших Данных Андрей Матвеенко Старший консультант, Департамент

C o p y r ig h t © S AS In st i tu t e In c. A l l r i g h ts r e se r ve d .

Drag & drop моделированиеVisual, XML и C

Publish & Subscribe API (Java, C, Python)

SAS Event Stream Processing Studio

Визуальный инструмент разработки

Позволяет быстро создавать и поддерживать правила обработки потока событий для своевременного и гибкого адаптивного действия

Полный набор компонентов для построения любого типа процесса

Простая интеграция аналитических моделей

Разворачивание существующих моделей с использованием встроенных языков: SAS® DS2, SAS® Datastep или Python кода

Поддержка динамического изменения логики обработки событий

Page 9: SAS Event Stream Processing...Потоковая обработка Больших Данных Андрей Матвеенко Старший консультант, Департамент

C o p y r ig h t © S AS In st i tu t e In c. A l l r i g h ts r e se r ve d .

Трансформация «geofence»Работа с координатами на потоковых данных

Позволяет в реальном времени определить:

• Момент пересечения границы/полигона

• Приближение к интересующему объекту

• Плотность объектов в области

• И др…

Позволяет обновлять границы в реальном времени

Позиционирование объекта на потоковых данных:

• В указанных границах

• Вблизи указанной точки

Page 10: SAS Event Stream Processing...Потоковая обработка Больших Данных Андрей Матвеенко Старший консультант, Департамент

C o p y r ig h t © S AS In st i tu t e In c. A l l r i g h ts r e se r ve d .

“Выявить когда событие А следует за событием Б и не наступает событие В в 3-х минутном интервале времени”

E1 E2AND

FOLLOWED

BY

E4 E5AND

NOT

E6

E3OR

5 MIN

1 HOURFOLLOWED

BY

Трансформация «pattern»Выявление сложных событий

Page 11: SAS Event Stream Processing...Потоковая обработка Больших Данных Андрей Матвеенко Старший консультант, Департамент

C o p y r ig h t © S AS In st i tu t e In c. A l l r i g h ts r e se r ve d .

SAS Event Stream ManagerУправление проектами

Мониторинг и управление проектами SAS ESP

Мониторинг ресурсов

Планы развертывания и обслуживания элементов ESP кластера

Управление версиями

(разработка, тестированиеи промышленная среда)

Page 12: SAS Event Stream Processing...Потоковая обработка Больших Данных Андрей Матвеенко Старший консультант, Департамент

C o m p a n y C o n f id e n t ial – Fo r In t e rn a l U se O n lyC o p y r ig h t © S AS In st i tu t e In c. Al l r ig h t s re se r ve d .

Запуск маркетинга в режиме реального времени

Real Time Processing

SAS ESP Engine

Offers preparations

SAS Real-Time

Decision Manager

(offer preparation)

Input

Customers

activity

(streaming data)

customers segment, MCC data, targets and limits

Campaign Data

(batch data)

sms

Hi, Alex! You left only 4

transactions and then you’ll get a cashback for all the next - 10%!

stimulated transactions activity

online customers aggregates help to make right decisions

Page 13: SAS Event Stream Processing...Потоковая обработка Больших Данных Андрей Матвеенко Старший консультант, Департамент

C o p y r ig h t © S AS In st i tu t e In c. A l l r i g h ts r e se r ve d .

The Forrester Wave™: Real-Time Interaction Management, Q2 2017 is copyrighted by Forrester Research, Inc. Forrester and Forrester Wave are trademarks of Forrester Research, Inc. The Forrester Wave is a graphical representation of Forrester's call on a market and is plotted using a detailed spreadsheet with exposed scores, weightings, and comments. Forrester does not endorse any vendor, product, or service depicted in the Forrester Wave. Information is based on best available resources. Opinions reflect judgment at the time and are subject to change.

SAS is a Leader in The Forrester Wave™: Real-Time Interaction Management, Q2 2017

The Forrester Wave™: Real-Time Interaction Management, Q2 2017 (link)

Page 14: SAS Event Stream Processing...Потоковая обработка Больших Данных Андрей Матвеенко Старший консультант, Департамент

C o m p a n y C o n f id e n t ial – Fo r In t e rn a l U se O n lyC o p y r ig h t © S AS In st i tu t e In c. Al l r ig h t s re se r ve d .

Запуск программ лояльности «Спасибо от Сбербанка»

Page 15: SAS Event Stream Processing...Потоковая обработка Больших Данных Андрей Матвеенко Старший консультант, Департамент

sas.com

C o m p a n y C o n f id e n t ial – Fo r In t e rn a l U se O n lyC o p y r ig h t © S AS In st i tu t e In c. Al l r ig h t s re se r ve d .

Спасибо!