predictive analytics and machine learning for utilities · in database execution –automated...
TRANSCRIPT
PUBLIC
Predictive Analytics and Machine Learning for Utilities
Андрій ТищенкоSAP Ukraine
2PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
The information in this presentation is confidential and proprietary to SAP and may not be disclosed without the permission of SAP.
Except for your obligation to protect confidential information, this presentation is not subject to your license agreement or any other service
or subscription agreement with SAP. SAP has no obligation to pursue any course of business outlined in this presentation or any related
document, or to develop or release any functionality mentioned therein.
This presentation, or any related document and SAP's strategy and possible future developments, products and or platforms directions and
functionality are all subject to change and may be changed by SAP at any time for any reason without notice. The information in this
presentation is not a commitment, promise or legal obligation to deliver any material, code or functionality. This presentation is provided
without a warranty of any kind, either express or implied, including but not limited to, the implied warranties of merchantability, fitness for a
particular purpose, or non-infringement. This presentation is for informational purposes and may not be incorporated into a contract. SAP
assumes no responsibility for errors or omissions in this presentation, except if such damages were caused by SAP’s intentional or gross
negligence.
All forward-looking statements are subject to various risks and uncertainties that could cause actual results to differ materially from
expectations. Readers are cautioned not to place undue reliance on these forward-looking statements, which speak only as of their dates,
and they should not be relied upon in making purchasing decisions.
Disclaimer
3PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Predictive Analytics and Machine Learning
Data
Prepare
Data
Train
Model
Apply
Model
Monitor
Aggregate Visualize
Humans make decision
Data is aggregated for
visualization
UI integration at best
Machines propose/make
decision
Data is de-normalized,
flattened, fine grain
Process integration at last
Analytics / BI
Advanced Analytics / Predictive Analytics
4PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Data Science & Machine Learning Portfolio
SAP Cloud PlatformSAP HANAHadoop
Data Scientists & Citizen Data Scientists
Business servicesFunctional services
Leonardo Machine Learning Foundation
SAP Predictive Analytics
Data Manager Automated Modeler Expert Modeler(Visual Composition Framework)
Predictive Factory
Hadoop / SparkVora
SAP Applications
SAP Fraud Management
SAP Analytics Cloud
HANA Predictive & Machine Learning
GraphSpatial Predictive (PAL/APL)
SeriesData
Streaming Analytics
Text Analytics
HANA DBaaS
Big Data Services
On Premise
Line of Business User
Developers and Data Scientists
DB
DB2 Oracle
Teradata etc…
5PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
SAP Predictive AnalyticsCore workflows
▪ Build analytical datasets with clicks, not code
▪ Create thousands of derived features to increase
predictive accuracy
▪ Automate dataset production & create reusable
transformations
▪ Identify which variables are changing over time with
timestamped populations
▪ Generate automatically reusable SQL code with
associated documentation
Prepare Data
with Data Manager
▪ Automate Predictive Modelling with
Classification, Regression, Clustering, Time
Series Forecast, Association Rules
▪ Identify automatically of key contributing
variables on very wide datasets
▪ Automate executive and operational reports
▪ In Database Execution – Automated Predictive
Library (APL) on SAP HANA & Native Spark
Modelling on Hadoop
▪ Easy to Use - Drag-and-drop data selection,
preparation and predictive modelling
▪ Use the predictive models in SAP HANA such as
Unified Demand Forecast (UDF), Predictive
Analytics Library (PAL) & APL
▪ Leverage 8000+ existing R functions and
libraries
▪ Embed the models in external SAP applications
Build robust Predictive Models quickly
with Automated Modeler
Build complex Predictive Pipelines
with Expert Analytics
6PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
SAP Predictive AnalyticsCore workflows
▪ In-database scoring using SQL
▪ Interface with business applications using
scoring equations and code: SQL, Java,
PMML, SAS, C, C++
▪ Real Time Scoring on SAP HANA and
Spark Streaming environments
Scoring
▪ Manage lifecycle of thousands of models in
parallel, whatever their origin (Automated
Modeler & Expert Analytics)
▪ Schedule model automated application to new
data
▪ Detect data deviation & retrain model
automatically when required
▪ Event and time based scheduling
▪ Segmented Time Series Modelling
Operationalization with
Predictive Factory
▪ Extract variables for enhanced link analysis
and prediction
▪ Identify communities amongst your
customers
▪ Find influencers within communities to focus
efforts where they count the most
▪ Create personalized recommendations for
each visitor
Link Analysis &
Recommendation
7PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Two complementary approaches to Machine LearningAnswering Experts and Business Analysts
Automated Modeler
▪ Guided Workflow for all users – No coding (low touch user
experience)
▪ Maximize user productivity through totally automated model
selection
▪ Support all major Data Mining functions (Time Series, Classification,
Regression, Clustering, Link Analysis and Recommendation)
▪ In-database apply on all platforms
▪ In-database training on SAP HANA & Hadoop
▪ All data sources for training & apply (ODBC connections)
Expert Analytics
▪ Predictive Pipelines for advanced users (high touch user experience)
▪ Build Predictive Pipelines using a drag and drop editor with support for native
predictive libraries including PAL, APL & R on SAP HANA
▪ Advanced configuration of Automated Modeler Nodes (APL)
▪ Ready for Massive Modelling including support for Data Manager (Automated
Data Preparation) & Predictive Factory (Industrialization)
▪ Self-sufficient end to end user experience for Data Scientists with support for
Datasets prepared in Data Manager
Complementary
Modeling Approachs
8PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Machine Learning in ApplicationsAccurate predictions and advanced analytics insights for business decision makers
SAP Predictive Analytics
Machine Learning platform for Data Scientists and
Business Analysts to create, manage and monitor
predictive models to answer to business issues
Predictive Analytics Integrator (PAI)
Framework for SAP Developers
to embed Machine Learning algorithms
in SAP Applications
SAP S/4HANA
SAP Analytics Cloud
C4CPrepare & refine models
Publish Models
9PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Machine Learning Framework for
SAP Applications
➢ PAI enables applications to deliver preconfigured
predictive use cases to customers.
➢ Scores are consumed directly in the LOB application by
the decision maker.
➢ The lifecycle of the models within the application is
easily managed, include model retraining.
➢ Lengthy development cycles are avoided.
➢ Customers can seamlessly embedded more
sophisticated models or create their own predictive use
cases using SAP Predictive Analytics.
SAP Predictive Analytics Integrator (PAI)
PUBLIC
• Моделирование и прогнозирование загрузки сети/потребления
• Прогнозирование отключений/перебоев/потерь
• Оптимизация технического и регламентного обслуживания
• Энерго-эффективность и аудит
• Анализ показаний «Смарт счетчиков» и выявление несоответствий
• Оптимизация резервирования
• Построение моделей для объяснения и прогноза условно постоянных и
условно переменных потерь активной мощности для энергосистемы
• Моделирование зависимости потерь от: метеоданных, ремонтов,
транзитных перетоков по сечениям, напряжения, напряжения в
контрольных точках
• Прогнозирование цен на ЭЭ в рамках новой модели рынка
Predictive Analytics use cases for Utilities
11PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Проект в Энергосбытовой компании
12PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Результаты применения SAP Predictive Analytics в
ОАО Нефтедобывающая Компания
PUBLIC
Проект в Федеральной Сетевой Компании
Прогнозирование и минимизация потерь
14PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Бизнес-кейс: Прогнозирование объема потребления
электроэнергии клиентами ЭСК Предпосылки
Краткосрочное (на 1-2 дня вперед) прогнозирование общего объема потребления э/э
клиентами энергосбытовой компании (ЭСК) необходимо ЭСК для формирования заявок
на покупку э/э на РСВ.
Реализация
Демо-пример был реализован на реальных данных ЭСК за 2010 год. В качестве
исходных данных использовались исторические данные за 2010 год о почасовом
потреблении э/э клиентами ЭСК, а также почасовые данные о погодных условиях в
регионе обслуживания ЭСК. Необходимо было построить прогнозною модель, которая
бы строила прогноз потребления э/э клиентами ЭСК на следующие 2 дня на основании
исторических данных о потреблении э/э и на основе прогноза погоды на эти 2 дня.
Результаты
Прогнозная модель, построенная SAP PA, показала высокую точность прогнозирования.
Средняя ошибка прогнозирования составила 1,41% при средней допустимой ошибке 3%.
15PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Бизнес-кейс: исторические данные (обучающая
выборка)
16PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Бизнес-кейс: фактический объем потребления
электроэнергии клиентами ЭСК за январь – август
2010 года
17PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Бизнес-кейс: результат прогноза – сравнение
фактического и предсказанного объемов потребления
э/э
1300
1350
1400
1450
1500
1550
1600
1650
1700
1750
1800
МВ
т*ч
Фактический объем э/э Предсказанный объем э/э
18PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Бизнес-кейс: результат прогноза – сравнение
фактического и предсказанного объемов потребления
э/э2
8.0
8.2
01
0 0
:00
28.0
8.2
01
0 4
:00
28.0
8.2
01
0 8
:00
28.0
8.2
01
0 1
2:0
0
28.0
8.2
01
0 1
6:0
0
28.0
8.2
01
0 2
0:0
0
29.0
8.2
01
0 0
:00
29.0
8.2
01
0 4
:00
29.0
8.2
01
0 8
:00
29.0
8.2
01
0 1
2:0
0
29.0
8.2
01
0 1
6:0
0
29.0
8.2
01
0 2
0:0
0
Объем ээ
фактический1598,526 1503,309 1685,951 1732,058 1621,683 1717,229 1470,407 1402,834 1500,305 1611,523 1574,22 1681,362
Объем ээ
предсказанный1565,694 1462,12 1662,659 1758,583 1656,444 1690,214 1493,701 1404,026 1525,307 1637,453 1584,769 1663,138
Точность, % 97,95% 97,26% 98,62% 98,47% 97,86% 98,43% 98,42% 99,92% 98,33% 98,39% 99,33% 98,92%
19PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Модель нагрузочных потерь по N энергосистеме в ВЛ
500кВт24 316 записей
453 параметра
Средняя ошибка 10%
Наиболее влияющие параметры:
▪ Переток активной мощности
Киндери АТ4
▪ Температура на метеостанции
29643
▪ Переток реактивной мощности
Вешкайма АТ2
20PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Применение подсистемы, пример. Данные для
анализа
ПЕРВЫЙ ЭТАП
Телеизмерения
▪ Генерация
▪ Напряжения
▪ Ток
▪ Частота
▪ Перетоки по линиям
Метеостанции
Календарь
ВТОРОЙ ЭТАП
Данные первого этапа +
Перетоки
■ Межсетевые
■ ГК
■ РСК
■ С иностранными государствами
База ремонтов
■ Воздушных линий
■ Подстанций
Суммарные показатели
■ По всей системе
■ По линиям проходящим через
подстанции
40 608 записей
1 062 параметра
10 минутный интервалы
За период 21-04-XX – 01-09-XX
21PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Модели прогнозирования потерь по N энергосистеме
6 Моделей
• Общая модель с учетом всех параметров
• Модель зависимости потерь от напряжения,
напряжения в контрольных точках
• Модель зависимости потерь от метеоданных
• Модель зависимости потерь от ремонтов
• Модель зависимости потерь от транзитных перетоков по
сечениям
• Модель зависимости потерь от суммарного перетока
активной мощности по всем трансформаторам 500 кВ
на уровне МЭС
Все построенные модели предоставлены в виде файла MS
Excel
22PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Применение подсистемы, пример. Общая модель с
учетом всех параметров
40 000 записей
1 064 первоначальных параметра
53 параметра в итоговом варианте
Средняя ошибка
1,4 %
Наиболее влияющие параметры
• Отдача по перетоку мощности с
Чебоксарской ГЭС, сеть ФСК
• Генерация активной мощности
УрГРЭС ТГ4
• Приём по перетоку мощности с
Жигулёвской ГЭС, сеть ФСК
PUBLIC
Проект в генерирующей компании
Прогнозирование цен на рынке
24PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Постановка задачи
Выручка энергетических компаний значительным образом зависит от цены
электроэнергии на рынке на сутки вперед.
Указанная цена в основном определяется набором следующих факторов:
• оптовая цена на газ;
• потребление;
• величина ценопринимающего предложения (предложения о выработке
электроэнергии при любой цене, складывающейся на рынке)
• выработка электростанций с низкими переменными затратами (АЭС, ГЭС);
• тип дня (рабочий, выходной).
В рамках недельного планирования режима работы энергосистемы (так называемой
процедуры выбора состава включенного генерирующего оборудования) системный
оператор (ОАО «СО ЕЭС») размещает на своем сайте информацию о прогнозных
значениях отмеченных факторов. Это позволяет осуществлять прогноз цены на рынке
на сутки вперед на предстоящую неделю.
25PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Результаты пилотного проекта
В рамках пилотного проекта была построена и обучена модель на
следующих данных:
Затем были загружены данные на неделю вперед, на основе которых
был построен прогноз «Индекс хабаЦентр руб/МВтч». Полученный
прогноз был сравнен с фактическим значением и с аналогичными
значениями, полученными не-SAPсистемами.
26PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Результаты моделирования
27PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Результаты моделирования
28PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Важность переменных
29PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Самые важные переменные
30PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Результат прогноза на неделю вперед
31PUBLIC© 2017 SAP SE or an SAP affiliate company. All
rights reserved. ǀ
Выводы
• Результаты были получены с более высокой точностью
• Подготовка прогноза заняло 2 часа
• Данных было достаточно для построение модели
Спасибо
Андрей ТищенкоSolution Sales Executive
Digital Enterprise Platform Group
SAP Ukraine (incl. Georgia)
5, Dilova str. UA-03150 Kyiv
T +38 490 33 93 ext. 354
M +38 050 387 00 44