נתן פרידחי הקדמה לכנס hadoop
DESCRIPTION
TRANSCRIPT
Big Data - Hadoop
נתן פרידחיסמנכ"ל קבוצת מערכות
טלדור
21/05
2013
מהי טכנולוגייתHadoop?ה-
Big Data- Introduction to Hadoop
2
טכנולוגית קוד פתוח המובילה שלBig Data מבית Google ,אומץ גם על ידי ו-
טכנולוגיה מבוססתJAVA תמיכה בעיבוד מאגרי מידע גדולים מאד ולא מובנים בסביבת
מחשוב מבוזרת Hadoop:כולל מספר כלים, החשובים
- HDFS מערכת ניהול קבצים, המפצלת קובץ למספר קבצים קטנים הנשמרים על מספר שרתים
Map Reduce מסגרת תוכנה המפצלת בקשה למספר – בקשות קטנות הנשלחות למספר שרתים, ומאגדת את
תוצאות העיבוד לתשובה אחת
Hadoop
3
נותן לנו יכולת לארגן את Hadoopפתרון ה- כל הנתונים שלנו מכל סוג שהוא ומכל מקור
שהוא באופן יעיל, זול, וקל לשליפה
יכולות
4
כיצד נראה המידע בארגון שלך
5
מידע רב בעל ערך )מובנה ולא מובנה( קיים ברשתותהחברתיות, באינטרנט, דוא"ל וכדומה
DA
TA G
RO
WT
H
END-USERAPPLICATIONS
THE INTERNET
MOBILE DEVICES
SOPHISTICATED MACHINES
STRUCTURED DATA – 10%
1980 2013
UNSTRUCTURED DATA – 90%
6
בשנים החדשים המידע מקורות ריבויהאחרונות
מאפשר שימוש בכל מעגלי המידע הקיימים
מידע חיצוני לא מובנה
)רשתות חברתיות וכו'(
מידע חיצוני מובנה
(D&B, BDI)'וכו
מידע פנימי לא מובנה , CRM)טקסטים ב-
תמלול, מיילים (וכדומה
מידע פנימי מובנה)פרטי הלקוח, מידע מחושב על הלקוח, תנועות, פעולות וכו'(
7
בזמן Hadoopהאם ניתן להשיג תועלות עסקיות מפרויקט 1.
קצר?
?Hadoopהאם ישנם כלים ומוצרים שיודעים לעבוד מול 2.
הקיימים ?BI הינו תחליף לעולמות ה- Hadoopהאם פרויקט 3.
האם האתגרים בארגון שלי שונים מאלה של ארגונים 4.
אחרים ?
8
ארבע שאלות נפוצות
מה עושים עם זה?
יישומים בארץ ובעולם
Big Data- Introduction to Hadoop
9