isug - real time in bi by hagai jacoby

-בלתי מסווג-

ISUG - 2010

מחסן נתונים זמן אמת מחסן נתונים זמן אמת בפרויקט "מאור" בזרוע היבשהבפרויקט "מאור" בזרוע היבשה

מחסן נתונים זמן אמת מחסן נתונים זמן אמת בפרויקט "מאור" בזרוע היבשהבפרויקט "מאור" בזרוע היבשה

IBMחגי יעקבי,

ראש צוות בינה עסקית בפרויקט "מאור"

2

ISUG-2010חגי יעקבי

- בלתי מסווג -

מהלך העניינים

מבט לעתיד סיכום

דילמת זמינות המידע במחסן הנתונים

סיפור לקוח - זרוע היבשה

בזרוע היבשהBW פתרון ה-

וגם טיפה טכנולוגיה

3




לפני כעשור, לא הפסקתי לשמוע את הדרישה BIכבר מהמפגש הראשון שלי עם לקבל את הדוחות באון ליין "הדוח הזה לא שווה לי כלום אם לא אקבל נתוני זמן אמת"

מאז ועד היום הדרישה לזמינות נתונים בסמיכות ליצירתם במערכות המקור, רק הולכת וגדלה.

.BWבמצגת זו אני מעוניין להציף את הדילמה המשמעויות והפתרונות האפשריים ב אעשה זאת דרך סיפור הלקוח של פרויקט "מאור" במזי.

אציג את זרוע היבשה, את הפתרון על הדילמות והשיקולים, וגם אגע טיפה בפאן הטכני

4




דרישות השוק

שיקולים ניתוחיים

שיקולים טכניים

פגיעה בביצועי מערכת הקפאת מצבהמקור

פגיעה בביצועי מחסן הנתונים

תעבורת רשת

סיכון לכשל בטעינותועוד.....

שיקולים כנגד

אחריות, סמכות וחובת ההוכחה

5




אנחנו חיים בעולם אינסטנס של רווח מהיר, הכול כאן ועכשיו, ארגון שלא עומד בקצב ולא יכול לנתח את העבר, להסיק מסקנות בהווה, להפיק לקחים ליישם ולהשתנות במהירות האור, לא יוכל לשרוד בעולם תחרותי זה.

צריך להתיישר לדרישות השוקBIאולי ה

היה טוען פעם ביום וצפונה – שבועי, חודשי...BIלפני עשור ה היום אנו נתקלים פחות ופחות בטעינות שבועיות ויותר ויותר בטעינות תת יומיות.

אז בעצם למה לא להפוך את מחסן הנתונים למראת זמן אמת של מערכות המקור?אנו כולנו מכירים את הסיבות טכניות•

פגיעה בביצועי מערכת המקור•פגיעה בביצועי מחסן הנתונים•תעבורת רשת•סיכון לכשל בטעינות•

אבל יש גם סיבה עקרונית•יש חשיבות ניתוחית להקפאת המצב.•

ברור שישי עוד אלפי סיבות.•

אני חוזר לאותו לקוח קצה שצריך הכול כאן ועכשיו.

בפועל אנו יודעים שניתוח מעמיק יביא אותנו להבנה שהצורך לא כל כך קריטי כמו שמתואר ברוב המכריע של המקרים.אז מי צריך לקחת החלטה כשלקוח הקצה מעוניין בדוחות זמן אמת?

חשוב לאפיין היררכייה מתאימה לענות על שאלה זו. צריך לדעת לשים מעצור ולהעביר את חובת ה"הוכחה לצורך" אל הלקוח.BIמנתח מערכות ה

בסוף ברור שלפני שניגשים לפתרונות יוצאי דופן צריך לבחון טוב טוב את כל הפרמטרים והחלטה צריכה להלקח בדרג שרואה את התמונה המלאה.

6









7 - בלתי מסווג -

פרויקט "מהעלייה לאוויר הוקדמה• עלה לאוויר ביחד עם המערכת כולהBWה

ASAPבמהלך כל הפרויקט השתמשנו במתודולוגיית – אבני דרך

11/08 12/08 1/09 2/09 3/09 4/09 5/09 6/09 7/09 8/09 9/09 10/09

2/11

קליטה(Go Live)

קליטה(Go Live)

(P4P)היערכות למבצוע (P4P)היערכות למבצוע

11/09 12/09

IOC

12/2

27/8

3/12

30/12

(Blueprint)אפיון (Blueprint)אפיון

(Realization)מימוש (Realization)מימוש

(SOWתיחום ) (SOWתיחום )

8



ארכיטקטורה לוגית – מוצרים מרכזיים

10% מהמשתמשים

ניגשים גם באמצעות

Windows Client

כלל המשתמשיםצופים באמצעות

דפדפן

מערכת מאור

ECC6

BI 7 – מחסן

נתונים

פורטל דוחות

פורטל בשימוש Flash Island

RDA

9




SAP ECCמימוש הפרויקט מתבצע על-גבי מערכת כמנגנון עקרי לתהליכי הרקע.PSתוך שימוש במודול ה

לא התאים לצרכים של תכנון הגאנט שלנו SAP של הUIה בעצמנו.UIלכן החלטנו לפתח מנגנון

המנהל גם את התהליכים העסקיים.ECCהנתונים מיוצרים בגאנט, נשמרים ומנוהלים ב RDA ע"י מנגנון ה BW דקות ל 5 הנתונים נגזרים אחת ל ECCמה

בפורטל הדוחות.WADומוצגים לצופה הסופי דרך


תוצר הפרויקט – גרף מייצג

11









12



דרישות והנחות עבודה

דרישות

ECC( אשר מבוצעת ב BPS/IPמערכת תכנון )בדומה ל-

תובנות עסקיות רב ממדיות עם יכולות ניתוח מתקדמות

ניתוח דוחות סיכומיים ותפעוליים תוך כדי עבודת התכנון

הנחות עבודה

כמות רשומות מצומצמת

קצב אחיד של שינוי ויצירת רשומות

13



מרחב הפתרונות

טעינות מלאות

טעינות דלתאיות

הפרדת דוחות בין המערכת התפעולית למחסן

הנתונים

קוביות וירטואליות

טעינה לפי דרישה

Real-time Data Acquisition טעינות זמן אמת –




הפרדת דוחות בין המערכת התפעולית למחסן

הנתוניםדוחות תפעוליים או דוחות שחשוב שיהיו בזמן אמת ואינם דורשים ניתוח

מורכב מוצגים במערכת התפעולית

דוחות סיכומיים, דוחות אשר נדרשת יכולת ניתוחית, יוצגו במערכת הבינה

מתי העסקיתמתאים

יתרונותחסרונות

כשאין צורך

לניתוח מורכב

בזמן אמת

חוסר ביכולות ניתוח מורכבות בזמן אמת

לא דורש העברת נתונים

שאינם זמן אמת למחסן הנתונים

נתונים תפעוליים אינם

צריכים להיות מוכפלים



קוביות וירטואליות הנתונים נגזרים ממערכת המקור ברגע הרצת הדוח

לקובייה ומוצגים בדוח.ETLהנתונים עוברים דרך מסלול ה

הנתונים אינם נשמרים במחסן הנתונים

מתי מתאים

יתרונותחסרונות

כשמדובר במעט נתונים

ובטעינות פשוטות

זמן הצגת הדוח כולל את זמן הטעינה

לא דורש שמירת נתונים,

עיבוד הנתונים בטעינה לא יכולים להיות מורכבים

זמן אמת

הביצועים מגבילים את כמות הנתונים ואת מורכבות הטעינה

אפשר לטעון קובייה בטעינה יומית ולעשות קובייה וירטואלית על MultyProviderהרשומות החדשות בלבד – מעל שתי הקוביות לבנות

16



דוגמא לפתרון קובייה וירטואלית

ECC

BW

ECC6

צופים בדוחות

טעינות יומיות

זרימת נתונים לפי דרישה רק נתונים שנוצרו/שונו מאז הטעינה האחרונה

קובייה וירטואלית

קובייה רגילה

Multi Provider



טעינה לפי דרישה

משתמש הקצה מקבל כלי המאפשר לו להריץ טעינה בכל רגע נתון שיבחר

יתרונותחסרונותמתי מתאים

משתמשים מסוימים מאד

העברת אחריות למשתמש

עומס בלתי נשלט על המערכות

שינוי הנתונים ללא שליטה

המשתמש מקבל את הנתונים בדיוק מתי שהוא

צריך, ללא תעבורה מיותרת.

כשהדיווח נדרש בסיום תהליך עסקי

מוגדר

מאפשר גם גזירות מורכבות

ארגון בשל ביחסיו עם ה

BI



Real-time Dataטעינות זמן אמת –

Acquisitionיתרונותחסרונותמתי מתאיםטעינות דלתאיות במרווחים קצרים מאד.

כשכמות הרשומות

החדשות לזמן מוגדר אינה

גדול

זמן אמתתעבורת רשת קבועה

חשש לנפילות בטעינות

טעינה דלתאית קטנה מאד

מתאים לנפחים קטנים

מאפשר גם גזירות מורכבות

הנתונים נשמרים במחסן הנתונים


מרחב הפתרונות - תזמונים

RDA טעינהלפי

דרישה

קוביות וירטואליו

ת

טעינות דלתאיות

טעינות מלאות

שעה עד דקה

לפי דרישת

המשתמש

מוגבל בזמן

הטעינה

מיידי ברגע

הצפייה בדוח

יומי,

כל מספר שעות,

עד כל שעה

חודשי

שבועי

יומי

* מדובר בכללי אצבע

20




קוביות וירטואליותהנתונים נגזרים ממערכת המקור ברגע הרצת הדוח

לקובייה ומוצגים בדוח.ETLהנתונים עוברים דרך מסלול ה

טעינה לפי דרישהמשתמש הקצה מקבל כלי המאפשר לו להריץ טעינה בכל רגע נתון שיבחר

Real-time Data טעינות זמן אמת –

Acquisitionטעינות דלתאיות במרווחים קצרים מאד.

21



בפרויקט "מאור"RDAשלבי יישום

לימוד הכלי מכתובים

– לא מצאנו ניסיון אמיתי חיפוש אחר ניסיון של אחרים

בארץ

פיילוט פנימי ורכישת ניסיון

תקלות

קבלת החלטה

פתרונות

22




חיפוש ניסיון – לא מצאנו ניסיון אמיתי בארץבהמשך התברר שכלמוביל פיתחו במקביל אלינו

דילמות – עד לעליה לאוויר לא היה ברור מה היציבות של הכלי – גם בבדיקות שעלו יפה לא הצלחתי לקבל תחושת בטחון מלאה.

תקלות – העברות טרנספורטים בזמן עבודת הכלי1. שלא נתן פתרון – מה שדרש מאיתנו לאלתר פתרון מקומי. OSS הוביל ל ODSטעינות מקבילות לאותו 2.

23



בפרויקט "מאור"RDAשלבי יישום

פיילוט פנימי

ורכישת ניסיון

תקלות

והתמודדות עימן

קבלת

החלטה

לימוד הכלי מכתובים

חיפוש אחר ניסיוןשל אחרים

24









25



טכנולוגיה – אז איך זה עובד?

External Systems

Web Service Push

)XI Etc(

RDA with Generic Extraction

ECC )SAP Source System(

RDA Daemon

Pull ~ 5/min

DataSource YFI_GL_FAGLFLEX2

PSA

Service API

Delta Queue

DataStore Object0FIGL_O14

Operational Data Store

DTP for Real-Time Data Acquisition )Step 2(

Infopackage for Real-Time Data Acquisition )Step 1(

SAP Net Weaver Business Intelligence

InfoCube

0FIGL_CXX

InfoCube

Real-Time Update

Generic Extraction using the real-time DataSourceDelta Queue populated at the time of extraction

26



RSRDAטרנזקציית

ציית רנזק

ט

RSRDA

27



Monitoring Over the ODS

28



Monitoring Over the ODS

29



DTPאיך נראה ה

30



Info Packageאיך נראה ה

31



Info Packageאיך נראה ה

32




סיכום






סיכום

SAP ישימים בסביבת Real-Timeקיימים מספר כלי

יש לבחון היטב את הצרכים טרם שימוש בפתרונות מסוג זה

)"לא להשתמש אוטומטית"(

בזרוע היבשה קטפנו "רווח כפול"

הפתרונות התאימו לדרישות

ECC בפרויקט חסך פיתוח דוחות ב-RDAיישום

בפרויקט יציב וכמעט נטול תקלותRDAפתרון ה-


שאלותשאלותשאלותשאלותתודה רבה

isug - real time in bi by hagai jacoby

Documents

sap rda ecc

bw rda wad

sap ecc

bw asap

bpsip ecc

ecc bw ecc6 multi provider

flash island rda

ui sap ui