داده های جریانی streaming data
TRANSCRIPT
13ند
سف- ا
اد رش
ه اینی
س ح
انهبخ
کتا -
نیریا
جای
ه هداد
95
داده های جریانیسعید اسدی
عضو هیئت علمی گروه علم اطالعات و دانش شناسی دانشگاه شاهد[email protected]
1395اسفند 1
شاد ار
نیهسی
حانه
بخکتا
– نی
ریا ج
ایه ه
دادند
سفا
1395
داده های جریانی
2
( توصیفی است Streaming dataداده های جریانی )برای اطالعات )داده ها( گذرا و وابسته به زمان.
اصطالحات مشابه:(: مجموعه ای از Data streamجریان داده ها )•
داده ها که ارسال یا انتقال داده می شوند.(: هر فعالیت یا Data streamingگسیل داده ها )•
عمل مرتبط با انتقال )فرستادن – دریافت( داده ها)ی جریانی(.
شاد ار
نیهسی
حانه
بخکتا
– نی
ریا ج
ایه ه
دادند
سفا
1395
داده های جریانی
3
( توصیفی است Streaming dataداده های جریانی )برای اطالعات )داده ها( گذرا و وابسته به زمان.
اصطالحات مشابه:(: مجموعه ای از Data streamجریان داده ها )•
داده ها که ارسال یا انتقال داده می شوند.(: هر فعالیت یا Data streamingگسیل داده ها )•
عمل مرتبط با انتقال )فرستادن – دریافت( داده ها)ی جریانی(.
شاد ار
نیهسی
حانه
بخکتا
– نی
ریا ج
ایه ه
دادند
سفا
1395
نمونه های داده های جریانی
4
جریان ترافیک در کالنشهرها و جاده ها•هواشناسی و داده های اقلیمی•داده های زیست محیطی•شبکه های تلویزیونی و رادیویی •شبکه های حسگر گوناگون•علوم و فنون فضایی، جغرافیایی، نظامی•مراقبت های ویژه پزشکی•تجارت، بورس و بازار•
شاد ار
نیهسی
حانه
بخکتا
– نی
ریا ج
ایه ه
دادند
سفا
1395
نمونه های داده های جریانی )فناوری اطالعات(
5
انتقال داده ها در شبکه های رایانه ای )به ویژه •اینترنت(
اطالعات نشست )الگ(•امنیت سیستم ها•کانال ها در شبکه های اجتماعی•برنامه های اینترنتی و پادکست ها•تراکنش های مالی/بانکی برخط•(RFIDانواع سیستم های مبتنی بر سنسور )مانند •
شاد ار
نیهسی
حانه
بخکتا
– نی
ریا ج
ایه ه
دادند
سفا
1395
ویژگی های داده های جریانی
6
Real-time dataبی درنگی •Continuous dataپیوستگی •Ordered dataترتیب •Large dataحجم زیاد •Non-ending dataبدون پایان مشخص •Digital dataفرمت دیجیتال •
شاد ار
نیهسی
حانه
بخکتا
– نی
ریا ج
ایه ه
دادند
سفا
1395
سیستم مدیریت داده های جریانی
7
Lindeberg (2009)
buffer
input module
buffer
output module
Query processor
user query
staticdB
Query Optimizer
query treeLoad Shedder
System monitor
شاد ار
نیهسی
حانه
بخکتا
– نی
ریا ج
ایه ه
دادند
سفا
1395
پرس و جو در داده های جریانی
8
DBMS•Persistent relations
(relatively static, stored)
•One-time queries•Random access
•Unbounded disk store•Only current state matters•No real-time services•Relatively low update rate•Data at any granularity•Assume precise data
•Predictable/unified data characteristics
DSMS• Transient streams
(on-line analysis)• Continuous queries (CQs)• Sequential access
• Bounded main memory• Historical data is important• Real-time requirements• High update rate• Data at fine granularity• Data stale/imprecise• Unpredictable/variable data
characteristics
Lindeberg (2009)
شاد ار
نیهسی
حانه
بخکتا
– نی
ریا ج
ایه ه
دادند
سفا
1395
پرس و جو در داده های جریانی
9
سه حالت نظری رایج:پرسش پیوسته از داده های ثابت.1.پرسش ثابت از داده های جریانی2.پرسش پیوسته از داده های جریانی3.
Continious queryسیستم های پرسش پیوسته ) •systems QCS اجازه پرسش مداوم از یک جریان )
)مداوم( داده را می دهند.
شاد ار
نیهسی
حانه
بخکتا
– نی
ریا ج
ایه ه
دادند
سفا
1395
پرس و جو در داده های جریانی
10
Query Processing
Continuous Query (CQ) Result
Query Processing
Main MemoryData Stream(s) Data Stream(s)
Disk
Main Memory
SQL Query Result
Lindeberg (2009)
شاد ار
نیهسی
حانه
بخکتا
– نی
ریا ج
ایه ه
دادند
سفا
1395
داده های جریانی و علم اطالعات و دانش شناسی
11
الف. کتابخانه ها:مدارک به جای اطالعات )داده(•مجموعه ثابت و افزایشی •غالب بودن منابع چاپی و کاغذی•اهمیت و تمرکز بر داده های متنی•پردازش دستی منابع•جستجوی مدارک •
شاد ار
نیهسی
حانه
بخکتا
– نی
ریا ج
ایه ه
دادند
سفا
1395
داده های جریانی و علم اطالعات و دانش شناسی
12
ب. پایگاه های اطالعاتی:مدارک الکترونیکی و دیجیتال•مجموعه ثابت و افزایشی •فرمت الکترونیکی و دیجیتال داده ها•اهمیت و تمرکز بر داده های متنی•پردازش دستی و/یا ماشینی منابع•جستجوی مدارک و متن•
شاد ار
نیهسی
حانه
بخکتا
– نی
ریا ج
ایه ه
دادند
سفا
1395
داده های جریانی و علم اطالعات و دانش شناسی
13
ج. موتورهای جستجو:مدارک الکترونیکی و دیجیتال•مجموعه ثابت و افزایشی •تنوع رسانه )متن، صدا، گرافیک، ویدئو...(•فنون متنوع بازیابی متن، تصویر، صوت و ... .•پردازش ماشینی منابع و داده ها•جستجوی مدارک، متن و فراداده• Scalabilityبزرگی و گستردگی •
شاد ار
نیهسی
حانه
بخکتا
– نی
ریا ج
ایه ه
دادند
سفا
1395
داده های جریانی و علم اطالعات و دانش شناسی
14
د. حوزه های جدید:داده کاوی•داده های عظیم•تحلیل کاربران و تعامل انسان و اطالعات•پایگاه دانش•اکتشاف دانش•رده بندی و سازمان دهی اجتماعی•علم سنجی•
انی در علمiحوزه های بالقوه برای کار روی داده های جریاطالعات
شاد ار
نیهسی
حانه
بخکتا
– نی
ریا ج
ایه ه
دادند
سفا
1395
منابع منتخب
• H´ebrail, H. 2008. Data stream management and mining. Mining Massive Data Sets for Security, IOS Press, pp.89-102.
• Lindeberg, M. 2009. Data Stream Management Systems (DSMS) Introduction, Concepts and Issues. Accessed from: http://www.uio.no/studier/emner/matnat/ifi/INF5100/h06/undervisningsmateriale/handouts/DSMS.pdf
با تشکر از شماسعید اسدی