isug - real time in bi by hagai jacoby
Post on 14-Aug-2015
21 Views
Preview:
TRANSCRIPT
-בלתי מסווג-
ISUG - 2010
מחסן נתונים זמן אמת מחסן נתונים זמן אמת בפרויקט "מאור" בזרוע היבשהבפרויקט "מאור" בזרוע היבשה
מחסן נתונים זמן אמת מחסן נתונים זמן אמת בפרויקט "מאור" בזרוע היבשהבפרויקט "מאור" בזרוע היבשה
IBMחגי יעקבי,
ראש צוות בינה עסקית בפרויקט "מאור"
2
ISUG-2010חגי יעקבי
- בלתי מסווג -
מהלך העניינים
מבט לעתיד סיכום
דילמת זמינות המידע במחסן הנתונים
סיפור לקוח - זרוע היבשה
בזרוע היבשהBW פתרון ה-
וגם טיפה טכנולוגיה
3
ISUG-2010חגי יעקבי
- בלתי מסווג -
מהלך העניינים
לפני כעשור, לא הפסקתי לשמוע את הדרישה BIכבר מהמפגש הראשון שלי עם לקבל את הדוחות באון ליין "הדוח הזה לא שווה לי כלום אם לא אקבל נתוני זמן אמת"
מאז ועד היום הדרישה לזמינות נתונים בסמיכות ליצירתם במערכות המקור, רק הולכת וגדלה.
.BWבמצגת זו אני מעוניין להציף את הדילמה המשמעויות והפתרונות האפשריים ב אעשה זאת דרך סיפור הלקוח של פרויקט "מאור" במזי.
אציג את זרוע היבשה, את הפתרון על הדילמות והשיקולים, וגם אגע טיפה בפאן הטכני
4
ISUG-2010חגי יעקבי
- בלתי מסווג -
דילמת זמינות המידע במחסן הנתונים
דרישות השוק
שיקולים ניתוחיים
שיקולים טכניים
פגיעה בביצועי מערכת הקפאת מצבהמקור
פגיעה בביצועי מחסן הנתונים
תעבורת רשת
סיכון לכשל בטעינותועוד.....
שיקולים כנגד
אחריות, סמכות וחובת ההוכחה
5
ISUG-2010חגי יעקבי
- בלתי מסווג -
דילמת זמינות המידע במחסן הנתונים
אנחנו חיים בעולם אינסטנס של רווח מהיר, הכול כאן ועכשיו, ארגון שלא עומד בקצב ולא יכול לנתח את העבר, להסיק מסקנות בהווה, להפיק לקחים ליישם ולהשתנות במהירות האור, לא יוכל לשרוד בעולם תחרותי זה.
צריך להתיישר לדרישות השוקBIאולי ה
היה טוען פעם ביום וצפונה – שבועי, חודשי...BIלפני עשור ה היום אנו נתקלים פחות ופחות בטעינות שבועיות ויותר ויותר בטעינות תת יומיות.
אז בעצם למה לא להפוך את מחסן הנתונים למראת זמן אמת של מערכות המקור?אנו כולנו מכירים את הסיבות טכניות•
פגיעה בביצועי מערכת המקור•פגיעה בביצועי מחסן הנתונים•תעבורת רשת•סיכון לכשל בטעינות•
אבל יש גם סיבה עקרונית•יש חשיבות ניתוחית להקפאת המצב.•
ברור שישי עוד אלפי סיבות.•
אני חוזר לאותו לקוח קצה שצריך הכול כאן ועכשיו.
בפועל אנו יודעים שניתוח מעמיק יביא אותנו להבנה שהצורך לא כל כך קריטי כמו שמתואר ברוב המכריע של המקרים.אז מי צריך לקחת החלטה כשלקוח הקצה מעוניין בדוחות זמן אמת?
חשוב לאפיין היררכייה מתאימה לענות על שאלה זו. צריך לדעת לשים מעצור ולהעביר את חובת ה"הוכחה לצורך" אל הלקוח.BIמנתח מערכות ה
בסוף ברור שלפני שניגשים לפתרונות יוצאי דופן צריך לבחון טוב טוב את כל הפרמטרים והחלטה צריכה להלקח בדרג שרואה את התמונה המלאה.
6
ISUG-2010חגי יעקבי
- בלתי מסווג -
מהלך העניינים
מבט לעתיד סיכום
דילמת זמינות המידע במחסן הנתונים
סיפור לקוח - זרוע היבשה
בזרוע היבשהBW פתרון ה-
וגם טיפה טכנולוגיה
7 - בלתי מסווג -
פרויקט "מהעלייה לאוויר הוקדמה• עלה לאוויר ביחד עם המערכת כולהBWה
ASAPבמהלך כל הפרויקט השתמשנו במתודולוגיית – אבני דרך
11/08 12/08 1/09 2/09 3/09 4/09 5/09 6/09 7/09 8/09 9/09 10/09
2/11
קליטה(Go Live)
קליטה(Go Live)
(P4P)היערכות למבצוע (P4P)היערכות למבצוע
11/09 12/09
IOC
12/2
27/8
3/12
30/12
(Blueprint)אפיון (Blueprint)אפיון
(Realization)מימוש (Realization)מימוש
(SOWתיחום ) (SOWתיחום )
8
ISUG-2010חגי יעקבי
- בלתי מסווג -
ארכיטקטורה לוגית – מוצרים מרכזיים
10% מהמשתמשים
ניגשים גם באמצעות
Windows Client
כלל המשתמשיםצופים באמצעות
דפדפן
מערכת מאור
ECC6
BI 7 – מחסן
נתונים
פורטל דוחות
פורטל בשימוש Flash Island
RDA
9
ISUG-2010חגי יעקבי
- בלתי מסווג -
דילמת זמינות המידע במחסן הנתונים
SAP ECCמימוש הפרויקט מתבצע על-גבי מערכת כמנגנון עקרי לתהליכי הרקע.PSתוך שימוש במודול ה
לא התאים לצרכים של תכנון הגאנט שלנו SAP של הUIה בעצמנו.UIלכן החלטנו לפתח מנגנון
המנהל גם את התהליכים העסקיים.ECCהנתונים מיוצרים בגאנט, נשמרים ומנוהלים ב RDA ע"י מנגנון ה BW דקות ל 5 הנתונים נגזרים אחת ל ECCמה
בפורטל הדוחות.WADומוצגים לצופה הסופי דרך
11
ISUG-2010חגי יעקבי
- בלתי מסווג -
מהלך העניינים
מבט לעתיד סיכום
דילמת זמינות המידע במחסן הנתונים
סיפור לקוח - זרוע היבשה
בזרוע היבשהBW פתרון ה-
וגם טיפה טכנולוגיה
12
ISUG-2010חגי יעקבי
- בלתי מסווג -
דרישות והנחות עבודה
דרישות
ECC( אשר מבוצעת ב BPS/IPמערכת תכנון )בדומה ל-
תובנות עסקיות רב ממדיות עם יכולות ניתוח מתקדמות
ניתוח דוחות סיכומיים ותפעוליים תוך כדי עבודת התכנון
הנחות עבודה
כמות רשומות מצומצמת
קצב אחיד של שינוי ויצירת רשומות
13
ISUG-2010חגי יעקבי
- בלתי מסווג -
מרחב הפתרונות
טעינות מלאות
טעינות דלתאיות
הפרדת דוחות בין המערכת התפעולית למחסן
הנתונים
קוביות וירטואליות
טעינה לפי דרישה
Real-time Data Acquisition טעינות זמן אמת –
מרחב הפתרונות
14 - בלתי מסווג -
מרחב הפתרונות
הפרדת דוחות בין המערכת התפעולית למחסן
הנתוניםדוחות תפעוליים או דוחות שחשוב שיהיו בזמן אמת ואינם דורשים ניתוח
מורכב מוצגים במערכת התפעולית
דוחות סיכומיים, דוחות אשר נדרשת יכולת ניתוחית, יוצגו במערכת הבינה
מתי העסקיתמתאים
יתרונותחסרונות
כשאין צורך
לניתוח מורכב
בזמן אמת
חוסר ביכולות ניתוח מורכבות בזמן אמת
לא דורש העברת נתונים
שאינם זמן אמת למחסן הנתונים
נתונים תפעוליים אינם
צריכים להיות מוכפלים
15 - בלתי מסווג -
מרחב הפתרונות
קוביות וירטואליות הנתונים נגזרים ממערכת המקור ברגע הרצת הדוח
לקובייה ומוצגים בדוח.ETLהנתונים עוברים דרך מסלול ה
הנתונים אינם נשמרים במחסן הנתונים
מתי מתאים
יתרונותחסרונות
כשמדובר במעט נתונים
ובטעינות פשוטות
זמן הצגת הדוח כולל את זמן הטעינה
לא דורש שמירת נתונים,
עיבוד הנתונים בטעינה לא יכולים להיות מורכבים
זמן אמת
הביצועים מגבילים את כמות הנתונים ואת מורכבות הטעינה
אפשר לטעון קובייה בטעינה יומית ולעשות קובייה וירטואלית על MultyProviderהרשומות החדשות בלבד – מעל שתי הקוביות לבנות
16
ISUG-2010חגי יעקבי
- בלתי מסווג -
דוגמא לפתרון קובייה וירטואלית
ECC
BW
ECC6
צופים בדוחות
טעינות יומיות
זרימת נתונים לפי דרישה רק נתונים שנוצרו/שונו מאז הטעינה האחרונה
קובייה וירטואלית
קובייה רגילה
Multi Provider
17 - בלתי מסווג -
מרחב הפתרונות
טעינה לפי דרישה
משתמש הקצה מקבל כלי המאפשר לו להריץ טעינה בכל רגע נתון שיבחר
יתרונותחסרונותמתי מתאים
משתמשים מסוימים מאד
העברת אחריות למשתמש
עומס בלתי נשלט על המערכות
שינוי הנתונים ללא שליטה
המשתמש מקבל את הנתונים בדיוק מתי שהוא
צריך, ללא תעבורה מיותרת.
כשהדיווח נדרש בסיום תהליך עסקי
מוגדר
מאפשר גם גזירות מורכבות
ארגון בשל ביחסיו עם ה
BI
18 - בלתי מסווג -
מרחב הפתרונות
Real-time Dataטעינות זמן אמת –
Acquisitionיתרונותחסרונותמתי מתאיםטעינות דלתאיות במרווחים קצרים מאד.
כשכמות הרשומות
החדשות לזמן מוגדר אינה
גדול
זמן אמתתעבורת רשת קבועה
חשש לנפילות בטעינות
טעינה דלתאית קטנה מאד
מתאים לנפחים קטנים
מאפשר גם גזירות מורכבות
הנתונים נשמרים במחסן הנתונים
19 - בלתי מסווג -
מרחב הפתרונות - תזמונים
RDA טעינהלפי
דרישה
קוביות וירטואליו
ת
טעינות דלתאיות
טעינות מלאות
שעה עד דקה
לפי דרישת
המשתמש
מוגבל בזמן
הטעינה
מיידי ברגע
הצפייה בדוח
יומי,
כל מספר שעות,
עד כל שעה
חודשי
שבועי
יומי
* מדובר בכללי אצבע
20
ISUG-2010חגי יעקבי
- בלתי מסווג -
מרחב הפתרונות
קוביות וירטואליותהנתונים נגזרים ממערכת המקור ברגע הרצת הדוח
לקובייה ומוצגים בדוח.ETLהנתונים עוברים דרך מסלול ה
טעינה לפי דרישהמשתמש הקצה מקבל כלי המאפשר לו להריץ טעינה בכל רגע נתון שיבחר
Real-time Data טעינות זמן אמת –
Acquisitionטעינות דלתאיות במרווחים קצרים מאד.
21
ISUG-2010חגי יעקבי
- בלתי מסווג -
בפרויקט "מאור"RDAשלבי יישום
לימוד הכלי מכתובים
– לא מצאנו ניסיון אמיתי חיפוש אחר ניסיון של אחרים
בארץ
פיילוט פנימי ורכישת ניסיון
תקלות
קבלת החלטה
פתרונות
22
ISUG-2010חגי יעקבי
- בלתי מסווג -
דילמת זמינות המידע במחסן הנתונים
חיפוש ניסיון – לא מצאנו ניסיון אמיתי בארץבהמשך התברר שכלמוביל פיתחו במקביל אלינו
דילמות – עד לעליה לאוויר לא היה ברור מה היציבות של הכלי – גם בבדיקות שעלו יפה לא הצלחתי לקבל תחושת בטחון מלאה.
תקלות – העברות טרנספורטים בזמן עבודת הכלי1. שלא נתן פתרון – מה שדרש מאיתנו לאלתר פתרון מקומי. OSS הוביל ל ODSטעינות מקבילות לאותו 2.
23
ISUG-2010חגי יעקבי
- בלתי מסווג -
בפרויקט "מאור"RDAשלבי יישום
פיילוט פנימי
ורכישת ניסיון
תקלות
והתמודדות עימן
קבלת
החלטה
לימוד הכלי מכתובים
חיפוש אחר ניסיוןשל אחרים
24
ISUG-2010חגי יעקבי
- בלתי מסווג -
מהלך העניינים
מבט לעתיד סיכום
דילמת זמינות המידע במחסן הנתונים
סיפור לקוח - זרוע היבשה
בזרוע היבשהBW פתרון ה-
וגם טיפה טכנולוגיה
25
ISUG-2010חגי יעקבי
- בלתי מסווג -
טכנולוגיה – אז איך זה עובד?
External Systems
Web Service Push
)XI Etc(
RDA with Generic Extraction
ECC )SAP Source System(
RDA Daemon
Pull ~ 5/min
DataSource YFI_GL_FAGLFLEX2
PSA
Service API
Delta Queue
DataStore Object0FIGL_O14
Operational Data Store
DTP for Real-Time Data Acquisition )Step 2(
Infopackage for Real-Time Data Acquisition )Step 1(
SAP Net Weaver Business Intelligence
InfoCube
0FIGL_CXX
InfoCube
Real-Time Update
Generic Extraction using the real-time DataSourceDelta Queue populated at the time of extraction
32
ISUG-2010חגי יעקבי
- בלתי מסווג -
מהלך העניינים
סיכום
דילמת זמינות המידע במחסן הנתונים
סיפור לקוח - זרוע היבשה
בזרוע היבשהBW פתרון ה-
וגם טיפה טכנולוגיה
33 - בלתי מסווג -
סיכום
SAP ישימים בסביבת Real-Timeקיימים מספר כלי
יש לבחון היטב את הצרכים טרם שימוש בפתרונות מסוג זה
)"לא להשתמש אוטומטית"(
בזרוע היבשה קטפנו "רווח כפול"
הפתרונות התאימו לדרישות
ECC בפרויקט חסך פיתוח דוחות ב-RDAיישום
בפרויקט יציב וכמעט נטול תקלותRDAפתרון ה-
top related