keynote at depsa07 - architectural view of event processing
TRANSCRIPT
IBM Software Group – Event Processing technologies
© 2007 IBM Corporation
������������� ��������������������� ��� � ������������ �������� � ����������� ���
������������ ������� �����������������������
�������������������� ������������� � ����
�������� �� ������ ��������!����
"��� �!����#� $�
�
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�������Event Processing in a nutshell
Event Processing Network – as main abstraction
Architectural Principles
Producing and consuming the events
Processing the events
Some Non-Functional Issues
Concluding Remarks
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�������Event Processing in a nutshell
Event Processing Network – as main abstraction
Architectural Principles
Producing and consuming the events
Processing the events
Some Non-Functional Issues
Concluding Remarks
�
� �������� ������������������������� ���������������!
����������������� �������������
Consume and react to either raw or complex events
Generate and may publish events
perform operations on events
Event Processing
EventConsumer
EventProducer
© 2003 IBM Corporation 5
Event Flow
Event Sensors
Business Processes Services
Event Producer
Event Consumer
EDA Reference Architecture Overview
Event Processing
Network
Event Bus
Event Consolidator
Event Operator (Facilitator)
State Machines
Event Actuators
Business Processes Services State
Machines
Event S
ecurity Services
Event M
onitoring and Analytic Infrastructure
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
g
�� ���� ����������������������������
Producers Agents
Consumers
�
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
g
�����������
Producers AgentsConsumers
if the customer has breached his credit limit the second time within the last 48 hours then divert the workflow based on policies that relate to the history of credit violations in the last year.
Transform validate
Retrospective pattern
�
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
g
!"���������
Producers AgentsConsumers
If a customer sends three requests over the last hour on the same topic and the requests have been handled, notify immediately to the “unhappy customers officer” and include count of “unhappy” detections for this customer in the last year
Detect Pattern
Enrich
#
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
g
$���������!%����������������
Producers AgentsConsumers
I am interested to know whenever my investment portfolio is down 2 percent within the last couple of hours
Detect Pattern
Dynamic Subscribe
&'
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�������Event Processing in a nutshell
Event Processing Network – as main abstraction
Architectural Principles
Producing and consuming the events
Processing the events
Some Non-Functional Issues
Concluding Remarks
&&
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�(��)����������
� *��)������������+�����(�����������,
� �-��. �����������-�������������������
� *���. *��������/���������������01��2(��3
� �$ �� "���������2����
� ��+�������,
� �-��,�4������5�(��6� �))7�8���+6������������-��������������������,�9��������6� �������6�����9����7����"���������$����������!�������8����76��'':
� *���,�9�/���1��2(��6��(����%����+��/����6�!�������8����76��''�;
� �$ �,�9�/���*(�����,������������$��/���� ��6��<�����76��'':;
&�
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
8(������������������ �=
� �������������� *������������� !���������� *(�����������
&
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
��������� ���
� $����� -���������� !������
&:
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
*������������
� ������ ����+7� ���(�������
&>
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
*(����������
� �(���������������,
� ���/������������,���)?��)6����@;
� ���/����������������������
� -��������A����B ��C����
&
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
8(�������������������
� �����������������. �/�����+�����(��������7���������+�����(������������������(����������2
� A�����B ����(��������������+��������������������������������
&�
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
8(������������������������� ��0��!3�=
D ���������������/������������������0�� 3
D -�����,��/�����������0�����������3�!E!�A�/���������B
D ������,��/�����������0�����������3
D ����������,��������������������
D -��������������������/����7%(����)��%�����(���%����������,
� ���(���������/��������(�������++������������������������
� !�����������������������������������������
&�
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
!�����7��+�!�����
Selector Processor Router
Processor examples:
Validate, transform, detect pattern, derive, enrich
&#
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
!����������
F�����
�����(
���������
$���� �����
�����
���������
*��������
�'
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
���+���
� $�����������+���������,����(�����������������������+���%������+�����+��������0�������-����������3;
���������(���������+��������7������%��(������������������)�����)7���������������7�0�;�;�����������)����������������3;
� $��������(��(�7�������)�������/��������� $��������(��(������)����7����/��������7�������)����7� $�����������7�%�7����/������G���(��+��%6�������+��(�����������(�/���� �����������������;
© 2006 TIBCO Software Inc. All Rights Reserved. Confidential and Proprietary.21
Event Processing Reference Architecture
24
EVENT PRE-PROCESSING
EVENTSOURCES
EXTERNAL
.
.
.
LEVEL ONE
EVENTREFINEMENT
USERINTERFACE
Event Processing (EP/CEP)
DB MANAGEMENT
HistoricalData
Profiles &Patterns
DISTRIBUTED
LOCAL
EVENTSERVICES
.
.EVENT
PROFILES..
DATABASES
.
.OTHER DATA
LEVEL TWO
SITUATIONREFINEMENT
LEVEL THREE
IMPACTASSESSMENT
LEVEL FOUR
PROCESSREFINEMENT
Adapted from JDL: Steinberg, A., & Bowman, C., Handbook of Multisensor Data Fusion, CRC Press, 2001
© 2006 TIBCO Software Inc. All Rights Reserved. Confidential and Proprietary.22
Summary of Event Processing (Event-Decision)
� User Interface� Human visualization, interaction and situation management
� Level 4 - Process Refinement� Decide on control feedback, for example resource allocation, event source and state
management, parametric and algorithmic adjustments
� Level 3 - Impact Assessment� Impact assessment, i.e. assess impact on the basis of situation development, recognition
and prediction
� Level 2 – Situation Refinement� Identify situations based on events relations, relational state estimation, etc.
� Level 1 – Event Refinement� Identify and track events based on association, filtering, joins, correlation etc.
� Level 0 – Event Preprocessing� Cleansing of event-stream to produce semantically understandable data
� Event Sources
Level of Inference
Low
Med
High
Reference: Bass, T., Processing Patterns for PredictiveBusiness™, March 2006.
23
Overview
Publication(Publishers)
Event DataProcessing
SelectionCorrelationDistribution
Consumption(Consumers*)
publish consume
Applications Files/DBs FeedsSensor Data Propagations
* Consumers can act as publishers
24
Event Data Processing
Event DataProcessing
Stream
Stream
Stream
Stream
Stream
Single or multiple stepsLocal or distributed
SelectProcess
ComposeRetain
Deliver/propagate
�>
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�������Event Processing in a nutshell
Event Processing Network – as main abstraction
Architectural Principles
Producing and consuming the events
Processing the events
Some Non-Functional Issues
Concluding Remarks
�
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�/���������������!��(���������. �(��)����������
5���%����
����������$7�����
*�������������1�7��
����������1�7���
�/���������������-�+������������1�7���
�/��������������������7���
�/������������������������1�7���
��
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
����������-,�*���������!��(��������
� �(��+�����������������+��/�����������������+�%���������������+���������(������������������
� �(��������������������0�������������7�+��������/������3�����������+��������������(���������. ������������,
� �(����C������������������������������(��6��(������������/���������+�+������������������+��������������������;�
� H��6��(���������)���+����+�2��������(������������������������6��(������������������+�����������
� *��+�������%��(���������������
��
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
����������--,�$���2�����(��������������
� �(����������,�����+����-�����������"����
� 9��������/�����������. ����)����������������,
� ���������$I1
� ����������������������
� $���������������
� 1���������(���������������+7,
� ���+��������������������
� !����)�7�����������������+�����������
�#
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
����������---,��J������������������������
� �(���(�������,��
� �������������� �������%��2����������+�/�������- "�������%����+����%��2�,�����������6�����)����6����������������/���6������������������������+����%��2�;��
� !��������(��A������(����(B �������(�)����)��������������������(������������)7����������0��"�����3;
� �/�������������������������������������������������7���������%��(��(����++������+����%��2���������(�7����������������(����(����������������
� 5�%�/���. ���������������(������������+�������������,
� K�����5!6�F����/������;;�F�����(��+����%��2
� *������������������)��������+��������������(�������)7��(��+����%��2
'
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
����������-J,���/����F��%������(��������
D5������(�������7���L�
D *������������������ *������������%��(�
9
&
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
����������J,������������/���/��%,��/����������(��������+��(�����/����
� �/��������/�������������,
� *�������7,��/����!�����������7�����������%��(��/���� 6��++��(�7�(�/������������������������������,
� �(�����������������7��(����/���� �(��������+��/����!�(������
� �(��������������������/����6���������M���������������������������;��
� "�7�(�/������������������0� �(�������%��(�������������/����++�����+�����(��������������+�!3
� *�������7�����)�������+���6�����)���/���0�����3;�
� 4�������G�����6�9������������� �/������������������
� �/������������7����������(��
� ��+������
� ������
�
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�������Event Processing in a nutshell
Event Processing Network – as main abstraction
Architectural Principles
Producing and consuming the events
Processing the events
Some Non-Functional Issues
Concluding Remarks
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�����������7���
!�����������?
���/����
���������)���/���
$������
9������"����
9����$�����
:
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�/�������������������
� ���(,���(���������������������/�����/������(������)7������%����������/�
� �������������,���(���(�����������A���������������B ����)������/����������������7
� ���9����������,��!��������������������������������(���+��(���;
>
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
9���)�������������������������������
� -��������������(���/�������������������������)���6������(������)�������/�������(������������0�;�;�*�-�%��2������(��������3;
� *���)�������������(�0�������6�����������������3���������0�;�;�C���7��(������)�������3
� -��������������(������������������������������(������)������/���
� 1�2�%����. �/���������)�����������;�
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�7�����+�*���������
-���/�����������������+���������
9��()�����
$��/����?������������
9����$�����
!��������
8��2+��%�
�
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�/�������������(��������
� �/�������7����������%��(�%��2+��%��0��2�����(����7�����3������/�����%�7��0(�%�/��6��(���+�����������7������C���������)������������+�����(��%��2+��%�����3;
� ������������%�%��2+��%���������
� $���������������������������������;
� "���+7�������������;
� �����G/����� M������������(������)������������������/����
� ��������������������)��������A�/��������������B;
�
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
-����������������(���(��������/��
� ���������������7�. (�%�������(����(������(������)���������+��������������/������������;
� ������������������������� �����������������0����������3
#
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�(�������������
� -��������������/�������������)��������7��������6������������������������������(�������
� �;�;��+��(���������%���/�����A������������������B ����A������������++�����B�(����������������������+��(������������������)���
� �(����������(��������������������(����������7��)�����(���������+A���������������B /�;�A�/���������B %(��(��������$��;
� �(�����������%(��(��(���/�������������(���7������������������������7������������(�������������������������7
� �/��������������7��������/�����������/������ (�%�/��6�������7��������(�7�����)��������������������A�(�����B %(��(����������������7��(��������������������������������������6���������������(�������(�������������)����0�;�;�������6�������6���73;
� -+����(������(�������������������6�����(�����������������/�������������������(�������. �(����(������2����������)���7��(����G���0����������������/��������������/������������3;
:'
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�����+����������(��C���
� "�����������. �(��)�++���������(��C��,
� !���������,��(������������������������7��������6�)���������7���7�/��76��(����(���/�������7�������������(�����(�������;
� $�������,�������(���/����������)�++���)�+�������������(������)������������)7��(���������������6�%������������������6�%(����(������������������. ������(���/����������/������+���������L���������/������(���(�/��)���������/������������(����������;
� ���)����,�
� -����������(��������7�0�/���������������������������������73
� �/����������������������(������������7�����)���������� !��������/�?��������������������. �����������/������������,
� *������������+���������/�����)7�������A����B ����A����B +�������������;��*���)��C��������������������������;
:&
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�������Event Processing in a nutshell
Event Processing Network – as main abstraction
Architectural Principles
Producing and consuming the events
Processing the events
Some Non-Functional Issues
Concluding Remarks
:�
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�/���������������!�������� (�%����%����������(��������+�������=�
� 9�����������(������������������(���������������������������������++�,
� ������������. ���7����(�%���(��������;
� *�������������)��%����������;
� *(�������,�����+����+���������;�
:
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
$����������(������/�����/�����. �(����������+���������
����
$����
��+������
����,��J������!����
�����,�!������
��+������,��$����������+���
::
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�/���������+����������������
����������,� ��(������+������������������������
!���������,������������������������������������������/����6�����)������������������������������������/�����;�"�7�)��������%��2�����;�
$�������,�$�������/������������������/����
:>
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�/���������(�����������
�����(��,������(����(�����������+��/�����+������+�������������������)����6��������(����6���������������6������+��������;;�
:
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�/����F���������������
� F������������������������������(���+��������/����;�-������(�������������������6�������+���������������(���)������C������)7����7�������������;
� $����/���������,�N�!�5�������������+���N"1��/����L��$I1�8(����������������+���+�����/����;�
� "�7�)�������)��������/���������6����%��2���������;;
:�
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�/�����������������������������
����������������������������,�A$������������B ����������������;
���������������������,�+����������+���������������������;
!�/����������������������,�/����������2�������+���������6�����������������;�
����������A���������/���B. �/��������������+��(���/������(�����������(���������
:�
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�/����9���/�������������
$������9���/�����,��*�����������������/�������+�������/����/����)�������������������/���;�
$���9���/�����,9���/����������+��/�����
��������������/�����,�9���/������%��(�+�����������������0�����)�7����)�)�������3;�
:#
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�/����J����������������
*������+�A/����B ������. �7��������������������������������
�����������������%(��(����������������+���+�����������������7���������;�
!�����������������)��2�������/����������
!���/������������������/����������
>'
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�/�����������
-�������7�)������������
$�)����������)������������
-������������������
>&
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�/�������������������(������)������/��
� !���/�������%���(����,��������7��������������������������������������������
� 0��������3�$I1������������/�������������,
� F�����9 "$
� F��������������7�����)���
>�
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�����������/������������
� F����������������/���(��������������������/��,
� $���������,���������������/��������������%��������(��+�����;
� �����,����������������/�����������������������(������
� "����,��������������/��������������(��������������������(��+�����;
� ��������������(��$!"�����������. ����)�������������������+������/����. �;�;�+����/��7���7�%��(����(�����������(�. +�������������;
>
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
-�+������������+����/���������������/����������������������7,������������)�����/����6�������6������+��������
*������?�������������,�4��)�����������0���������3����������(������������7��������
*�������,����/��������������/�����������������/����
9��������7��������,����)���������������������������(������������+������������������������������0� 93;�
>:
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�������Event Processing in a nutshell
Event Processing Network – as main abstraction
Architectural Principles
Producing and consuming the events
Processing the events
Some Non-Functional Issues
Concluding Remarks
>>
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
��������������������
� !���/������������������%��2�0�������)����3���7�(�/�����������������������7�. ���������+����������������(����������%��(��(�����������������������������(����������;�
8(�������(�����������+�����)��2�=�
>
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
I�$���������+��������������
� I�$���7�����7�+��,
� !�������
� !����(�����(����
� !�����������
� !������(���(����������+����������
� ���+����������������������
� 1�����7
� �(����(���
� F���������
>�
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
$����)����7�������
� $����)����7�����������,
� ��)����+��/����
� ��)����+����������������0C������6������3
� ��)����+���������
� ��)����+����2�
� !)����7������������������������(���������
>�
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
!�����< �������������
� �(��)������������������������������. �;�;����(�������������������+������(������������������������������7��(����(��(����
� $�����������+���������������������������,
� !�����C��������(������������������+�����(��������
� !��������A��/�����B ����/���6���������+�������������������(������������(����/���
� *�������������%��(����)������/����,
� *��������������
� *�������
� ��������/������/�����
>#
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
�������Event Processing in a nutshell
Event Processing Network – as main abstraction
Architectural Principles
Producing and consuming the events
Processing the events
Some Non-Functional Issues
Concluding Remarks
'
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
8(������%��(�/�������������������������(�����1�������+���������������9���)����
� 8(7��������������=�0A ��������������!������B6� ��)����J���5����3
� -��(������������(���7�)�(������;
� $�+�%����/�������������������(���(���7�0%���@ ��������������36���������/������������������������
� �(����%��������������)��2���(������C�����7������������(���(���76��(��)���+���6������(�������������76�����(��-����������7
� ����������������/����������(����������+�����������;
� 0�7���������3,��$I1������)�����7������������������;
� 0�7���������3,��!������+��O9�-�/�������������/������(������������������������������0������������6�C���7�������G�����6�����������7��������3@
&
IBM Software Group – Event Processing Technologies and Architecture
Event-Driven Processing in IBM © 2007 IBM Corporation
!�+�%�%������)�������������
� 1��2��+�������������������(�)���������(��������� $��������/���������������������
� ���$�. �/������������������(������$�����7�. ��������������)�����
� $I1����������������������������
� $�������������,
� ����������7�
� ��+������������
� -���������)����7
� 1��������� ����+���������������������