keynote at depsa07 - architectural view of event processing

Post on 09-May-2015

777 Views

Category:

Technology

1 Downloads

Preview:

Click to see full reader

TRANSCRIPT

IBM Software Group – Event Processing technologies

© 2007 IBM Corporation

������������� ��������������������� ��� � ������������ �������� � ����������� ���

������������ ������� �����������������������

�������������������� ������������� � ����

�������� �� ������ ��������!����

"��� �!����#� $�

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�������Event Processing in a nutshell

Event Processing Network – as main abstraction

Architectural Principles

Producing and consuming the events

Processing the events

Some Non-Functional Issues

Concluding Remarks

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�������Event Processing in a nutshell

Event Processing Network – as main abstraction

Architectural Principles

Producing and consuming the events

Processing the events

Some Non-Functional Issues

Concluding Remarks

� �������� ������������������������� ���������������!

����������������� �������������

Consume and react to either raw or complex events

Generate and may publish events

perform operations on events

Event Processing

EventConsumer

EventProducer

© 2003 IBM Corporation 5

Event Flow

Event Sensors

Business Processes Services

Event Producer

Event Consumer

EDA Reference Architecture Overview

Event Processing

Network

Event Bus

Event Consolidator

Event Operator (Facilitator)

State Machines

Event Actuators

Business Processes Services State

Machines

Event S

ecurity Services

Event M

onitoring and Analytic Infrastructure

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

g

�� ���� ����������������������������

Producers Agents

Consumers

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

g

�����������

Producers AgentsConsumers

if the customer has breached his credit limit the second time within the last 48 hours then divert the workflow based on policies that relate to the history of credit violations in the last year.

Transform validate

Retrospective pattern

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

g

!"���������

Producers AgentsConsumers

If a customer sends three requests over the last hour on the same topic and the requests have been handled, notify immediately to the “unhappy customers officer” and include count of “unhappy” detections for this customer in the last year

Detect Pattern

Enrich

#

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

g

$���������!%����������������

Producers AgentsConsumers

I am interested to know whenever my investment portfolio is down 2 percent within the last couple of hours

Detect Pattern

Dynamic Subscribe

&'

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�������Event Processing in a nutshell

Event Processing Network – as main abstraction

Architectural Principles

Producing and consuming the events

Processing the events

Some Non-Functional Issues

Concluding Remarks

&&

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�(��)����������

� *��)������������+�����(�����������,

� �-��. �����������-�������������������

� *���. *��������/���������������01��2(��3

� �$ �� "���������2����

� ��+�������,

� �-��,�4������5�(��6� �))7�8���+6������������-��������������������,�9��������6� �������6�����9����7����"���������$����������!�������8����76��'':

� *���,�9�/���1��2(��6��(����%����+��/����6�!�������8����76��''�;

� �$ �,�9�/���*(�����,������������$��/���� ��6��<�����76��'':;

&�

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

8(������������������ �=

� �������������� *������������� !���������� *(�����������

&

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

��������� ���

� $����� -���������� !������

&:

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

*������������

� ������ ����+7� ���(�������

&>

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

*(����������

� �(���������������,

� ���/������������,���)?��)6����@;

� ���/����������������������

� -��������A����B ��C����

&

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

8(�������������������

� �����������������. �/�����+�����(��������7���������+�����(������������������(����������2

� A�����B ����(��������������+��������������������������������

&�

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

8(������������������������� ��0��!3�=

D ���������������/������������������0�� 3

D -�����,��/�����������0�����������3�!E!�A�/���������B

D ������,��/�����������0�����������3

D ����������,��������������������

D -��������������������/����7%(����)��%�����(���%����������,

� ���(���������/��������(�������++������������������������

� !�����������������������������������������

&�

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

!�����7��+�!�����

Selector Processor Router

Processor examples:

Validate, transform, detect pattern, derive, enrich

&#

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

!����������

F�����

�����(

���������

$���� �����

�����

���������

*��������

�'

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

���+���

� $�����������+���������,����(�����������������������+���%������+�����+��������0�������-����������3;

���������(���������+��������7������%��(������������������)�����)7���������������7�0�;�;�����������)����������������3;

� $��������(��(�7�������)�������/��������� $��������(��(������)����7����/��������7�������)����7� $�����������7�%�7����/������G���(��+��%6�������+��(�����������(�/���� �����������������;

© 2006 TIBCO Software Inc. All Rights Reserved. Confidential and Proprietary.21

Event Processing Reference Architecture

24

EVENT PRE-PROCESSING

EVENTSOURCES

EXTERNAL

.

.

.

LEVEL ONE

EVENTREFINEMENT

USERINTERFACE

Event Processing (EP/CEP)

DB MANAGEMENT

HistoricalData

Profiles &Patterns

DISTRIBUTED

LOCAL

EVENTSERVICES

.

.EVENT

PROFILES..

DATABASES

.

.OTHER DATA

LEVEL TWO

SITUATIONREFINEMENT

LEVEL THREE

IMPACTASSESSMENT

LEVEL FOUR

PROCESSREFINEMENT

Adapted from JDL: Steinberg, A., & Bowman, C., Handbook of Multisensor Data Fusion, CRC Press, 2001

© 2006 TIBCO Software Inc. All Rights Reserved. Confidential and Proprietary.22

Summary of Event Processing (Event-Decision)

� User Interface� Human visualization, interaction and situation management

� Level 4 - Process Refinement� Decide on control feedback, for example resource allocation, event source and state

management, parametric and algorithmic adjustments

� Level 3 - Impact Assessment� Impact assessment, i.e. assess impact on the basis of situation development, recognition

and prediction

� Level 2 – Situation Refinement� Identify situations based on events relations, relational state estimation, etc.

� Level 1 – Event Refinement� Identify and track events based on association, filtering, joins, correlation etc.

� Level 0 – Event Preprocessing� Cleansing of event-stream to produce semantically understandable data

� Event Sources

Level of Inference

Low

Med

High

Reference: Bass, T., Processing Patterns for PredictiveBusiness™, March 2006.

23

Overview

Publication(Publishers)

Event DataProcessing

SelectionCorrelationDistribution

Consumption(Consumers*)

publish consume

Applications Files/DBs FeedsSensor Data Propagations

* Consumers can act as publishers

24

Event Data Processing

Event DataProcessing

Stream

Stream

Stream

Stream

Stream

Single or multiple stepsLocal or distributed

SelectProcess

ComposeRetain

Deliver/propagate

�>

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�������Event Processing in a nutshell

Event Processing Network – as main abstraction

Architectural Principles

Producing and consuming the events

Processing the events

Some Non-Functional Issues

Concluding Remarks

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�/���������������!��(���������. �(��)����������

5���%����

����������$7�����

*�������������1�7��

����������1�7���

�/���������������-�+������������1�7���

�/��������������������7���

�/������������������������1�7���

��

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

����������-,�*���������!��(��������

� �(��+�����������������+��/�����������������+�%���������������+���������(������������������

� �(��������������������0�������������7�+��������/������3�����������+��������������(���������. ������������,

� �(����C������������������������������(��6��(������������/���������+�+������������������+��������������������;�

� H��6��(���������)���+����+�2��������(������������������������6��(������������������+�����������

� *��+�������%��(���������������

��

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

����������--,�$���2�����(��������������

� �(����������,�����+����-�����������"����

� 9��������/�����������. ����)����������������,

� ���������$I1

� ����������������������

� $���������������

� 1���������(���������������+7,

� ���+��������������������

� !����)�7�����������������+�����������

�#

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

����������---,��J������������������������

� �(���(�������,��

� �������������� �������%��2����������+�/�������- "�������%����+����%��2�,�����������6�����)����6����������������/���6������������������������+����%��2�;��

� !��������(��A������(����(B �������(�)����)��������������������(������������)7����������0��"�����3;

� �/�������������������������������������������������7���������%��(��(����++������+����%��2���������(�7����������������(����(����������������

� 5�%�/���. ���������������(������������+�������������,

� K�����5!6�F����/������;;�F�����(��+����%��2

� *������������������)��������+��������������(�������)7��(��+����%��2

'

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

����������-J,���/����F��%������(��������

D5������(�������7���L�

D *������������������ *������������%��(�

9

&

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

����������J,������������/���/��%,��/����������(��������+��(�����/����

� �/��������/�������������,

� *�������7,��/����!�����������7�����������%��(��/���� 6��++��(�7�(�/������������������������������,

� �(�����������������7��(����/���� �(��������+��/����!�(������

� �(��������������������/����6���������M���������������������������;��

� "�7�(�/������������������0� �(�������%��(�������������/����++�����+�����(��������������+�!3

� *�������7�����)�������+���6�����)���/���0�����3;�

� 4�������G�����6�9������������� �/������������������

� �/������������7����������(��

� ��+������

� ������

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�������Event Processing in a nutshell

Event Processing Network – as main abstraction

Architectural Principles

Producing and consuming the events

Processing the events

Some Non-Functional Issues

Concluding Remarks

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�����������7���

!�����������?

���/����

���������)���/���

$������

9������"����

9����$�����

:

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�/�������������������

� ���(,���(���������������������/�����/������(������)7������%����������/�

� �������������,���(���(�����������A���������������B ����)������/����������������7

� ���9����������,��!��������������������������������(���+��(���;

>

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

9���)�������������������������������

� -��������������(���/�������������������������)���6������(������)�������/�������(������������0�;�;�*�-�%��2������(��������3;

� *���)�������������(�0�������6�����������������3���������0�;�;�C���7��(������)�������3

� -��������������(������������������������������(������)������/���

� 1�2�%����. �/���������)�����������;�

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�7�����+�*���������

-���/�����������������+���������

9��()�����

$��/����?������������

9����$�����

!��������

8��2+��%�

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�/�������������(��������

� �/�������7����������%��(�%��2+��%��0��2�����(����7�����3������/�����%�7��0(�%�/��6��(���+�����������7������C���������)������������+�����(��%��2+��%�����3;

� ������������%�%��2+��%���������

� $���������������������������������;

� "���+7�������������;

� �����G/����� M������������(������)������������������/����

� ��������������������)��������A�/��������������B;

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

-����������������(���(��������/��

� ���������������7�. (�%�������(����(������(������)���������+��������������/������������;

� ������������������������� �����������������0����������3

#

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�(�������������

� -��������������/�������������)��������7��������6������������������������������(�������

� �;�;��+��(���������%���/�����A������������������B ����A������������++�����B�(����������������������+��(������������������)���

� �(����������(��������������������(����������7��)�����(���������+A���������������B /�;�A�/���������B %(��(��������$��;

� �(�����������%(��(��(���/�������������(���7������������������������7������������(�������������������������7

� �/��������������7��������/�����������/������ (�%�/��6�������7��������(�7�����)��������������������A�(�����B %(��(����������������7��(��������������������������������������6���������������(�������(�������������)����0�;�;�������6�������6���73;

� -+����(������(�������������������6�����(�����������������/�������������������(�������. �(����(������2����������)���7��(����G���0����������������/��������������/������������3;

:'

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�����+����������(��C���

� "�����������. �(��)�++���������(��C��,

� !���������,��(������������������������7��������6�)���������7���7�/��76��(����(���/�������7�������������(�����(�������;

� $�������,�������(���/����������)�++���)�+�������������(������)������������)7��(���������������6�%������������������6�%(����(������������������. ������(���/����������/������+���������L���������/������(���(�/��)���������/������������(����������;

� ���)����,�

� -����������(��������7�0�/���������������������������������73

� �/����������������������(������������7�����)���������� !��������/�?��������������������. �����������/������������,

� *������������+���������/�����)7�������A����B ����A����B +�������������;��*���)��C��������������������������;

:&

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�������Event Processing in a nutshell

Event Processing Network – as main abstraction

Architectural Principles

Producing and consuming the events

Processing the events

Some Non-Functional Issues

Concluding Remarks

:�

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�/���������������!�������� (�%����%����������(��������+�������=�

� 9�����������(������������������(���������������������������������++�,

� ������������. ���7����(�%���(��������;

� *�������������)��%����������;

� *(�������,�����+����+���������;�

:

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

$����������(������/�����/�����. �(����������+���������

����

$����

��+������

����,��J������!����

�����,�!������

��+������,��$����������+���

::

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�/���������+����������������

����������,� ��(������+������������������������

!���������,������������������������������������������/����6�����)������������������������������������/�����;�"�7�)��������%��2�����;�

$�������,�$�������/������������������/����

:>

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�/���������(�����������

�����(��,������(����(�����������+��/�����+������+�������������������)����6��������(����6���������������6������+��������;;�

:

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�/����F���������������

� F������������������������������(���+��������/����;�-������(�������������������6�������+���������������(���)������C������)7����7�������������;

� $����/���������,�N�!�5�������������+���N"1��/����L��$I1�8(����������������+���+�����/����;�

� "�7�)�������)��������/���������6����%��2���������;;

:�

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�/�����������������������������

����������������������������,�A$������������B ����������������;

���������������������,�+����������+���������������������;

!�/����������������������,�/����������2�������+���������6�����������������;�

����������A���������/���B. �/��������������+��(���/������(�����������(���������

:�

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�/����9���/�������������

$������9���/�����,��*�����������������/�������+�������/����/����)�������������������/���;�

$���9���/�����,9���/����������+��/�����

��������������/�����,�9���/������%��(�+�����������������0�����)�7����)�)�������3;�

:#

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�/����J����������������

*������+�A/����B ������. �7��������������������������������

�����������������%(��(����������������+���+�����������������7���������;�

!�����������������)��2�������/����������

!���/������������������/����������

>'

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�/�����������

-�������7�)������������

$�)����������)������������

-������������������

>&

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�/�������������������(������)������/��

� !���/�������%���(����,��������7��������������������������������������������

� 0��������3�$I1������������/�������������,

� F�����9 "$

� F��������������7�����)���

>�

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�����������/������������

� F����������������/���(��������������������/��,

� $���������,���������������/��������������%��������(��+�����;

� �����,����������������/�����������������������(������

� "����,��������������/��������������(��������������������(��+�����;

� ��������������(��$!"�����������. ����)�������������������+������/����. �;�;�+����/��7���7�%��(����(�����������(�. +�������������;

>

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

-�+������������+����/���������������/����������������������7,������������)�����/����6�������6������+��������

*������?�������������,�4��)�����������0���������3����������(������������7��������

*�������,����/��������������/�����������������/����

9��������7��������,����)���������������������������(������������+������������������������������0� 93;�

>:

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�������Event Processing in a nutshell

Event Processing Network – as main abstraction

Architectural Principles

Producing and consuming the events

Processing the events

Some Non-Functional Issues

Concluding Remarks

>>

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

��������������������

� !���/������������������%��2�0�������)����3���7�(�/�����������������������7�. ���������+����������������(����������%��(��(�����������������������������(����������;�

8(�������(�����������+�����)��2�=�

>

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

I�$���������+��������������

� I�$���7�����7�+��,

� !�������

� !����(�����(����

� !�����������

� !������(���(����������+����������

� ���+����������������������

� 1�����7

� �(����(���

� F���������

>�

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

$����)����7�������

� $����)����7�����������,

� ��)����+��/����

� ��)����+����������������0C������6������3

� ��)����+���������

� ��)����+����2�

� !)����7������������������������(���������

>�

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

!�����< �������������

� �(��)������������������������������. �;�;����(�������������������+������(������������������������������7��(����(��(����

� $�����������+���������������������������,

� !�����C��������(������������������+�����(��������

� !��������A��/�����B ����/���6���������+�������������������(������������(����/���

� *�������������%��(����)������/����,

� *��������������

� *�������

� ��������/������/�����

>#

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

�������Event Processing in a nutshell

Event Processing Network – as main abstraction

Architectural Principles

Producing and consuming the events

Processing the events

Some Non-Functional Issues

Concluding Remarks

'

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

8(������%��(�/�������������������������(�����1�������+���������������9���)����

� 8(7��������������=�0A ��������������!������B6� ��)����J���5����3

� -��(������������(���7�)�(������;

� $�+�%����/�������������������(���(���7�0%���@ ��������������36���������/������������������������

� �(����%��������������)��2���(������C�����7������������(���(���76��(��)���+���6������(�������������76�����(��-����������7

� ����������������/����������(����������+�����������;

� 0�7���������3,��$I1������)�����7������������������;

� 0�7���������3,��!������+��O9�-�/�������������/������(������������������������������0������������6�C���7�������G�����6�����������7��������3@

&

IBM Software Group – Event Processing Technologies and Architecture

Event-Driven Processing in IBM © 2007 IBM Corporation

!�+�%�%������)�������������

� 1��2��+�������������������(�)���������(��������� $��������/���������������������

� ���$�. �/������������������(������$�����7�. ��������������)�����

� $I1����������������������������

� $�������������,

� ����������7�

� ��+������������

� -���������)����7

� 1��������� ����+���������������������

top related