داده های جریانی streaming data

13ند

سف- ا

اد رش

ه اینی

س ح

انهبخ

کتا -

نیریا

جای

ه هداد

95

داده های جریانیسعید اسدی

عضو هیئت علمی گروه علم اطالعات و دانش شناسی دانشگاه شاهدs.asadi@shahed.ac.ir

1395اسفند 1

شاد ار

نیهسی

حانه

بخکتا

– نی

ریا ج

ایه ه

دادند

سفا

1395

داده های جریانی

2

( توصیفی است Streaming dataداده های جریانی )برای اطالعات )داده ها( گذرا و وابسته به زمان.

اصطالحات مشابه:(: مجموعه ای از Data streamجریان داده ها )•

داده ها که ارسال یا انتقال داده می شوند.(: هر فعالیت یا Data streamingگسیل داده ها )•

عمل مرتبط با انتقال )فرستادن – دریافت( داده ها)ی جریانی(.

شاد ار

نیهسی

حانه

بخکتا

– نی

ریا ج

ایه ه

دادند

سفا

1395

داده های جریانی

3

( توصیفی است Streaming dataداده های جریانی )برای اطالعات )داده ها( گذرا و وابسته به زمان.

اصطالحات مشابه:(: مجموعه ای از Data streamجریان داده ها )•

داده ها که ارسال یا انتقال داده می شوند.(: هر فعالیت یا Data streamingگسیل داده ها )•

عمل مرتبط با انتقال )فرستادن – دریافت( داده ها)ی جریانی(.

شاد ار

نیهسی

حانه

بخکتا

– نی

ریا ج

ایه ه

دادند

سفا

1395

نمونه های داده های جریانی

4

جریان ترافیک در کالنشهرها و جاده ها•هواشناسی و داده های اقلیمی•داده های زیست محیطی•شبکه های تلویزیونی و رادیویی •شبکه های حسگر گوناگون•علوم و فنون فضایی، جغرافیایی، نظامی•مراقبت های ویژه پزشکی•تجارت، بورس و بازار•

شاد ار

نیهسی

حانه

بخکتا

– نی

ریا ج

ایه ه

دادند

سفا

1395

نمونه های داده های جریانی )فناوری اطالعات(

5

انتقال داده ها در شبکه های رایانه ای )به ویژه •اینترنت(

اطالعات نشست )الگ(•امنیت سیستم ها•کانال ها در شبکه های اجتماعی•برنامه های اینترنتی و پادکست ها•تراکنش های مالی/بانکی برخط•(RFIDانواع سیستم های مبتنی بر سنسور )مانند •

شاد ار

نیهسی

حانه

بخکتا

– نی

ریا ج

ایه ه

دادند

سفا

1395

ویژگی های داده های جریانی

6

Real-time dataبی درنگی •Continuous dataپیوستگی •Ordered dataترتیب •Large dataحجم زیاد •Non-ending dataبدون پایان مشخص •Digital dataفرمت دیجیتال •

شاد ار

نیهسی

حانه

بخکتا

– نی

ریا ج

ایه ه

دادند

سفا

1395

سیستم مدیریت داده های جریانی

7

Lindeberg (2009)

buffer

input module

buffer

output module

Query processor

user query

staticdB

Query Optimizer

query treeLoad Shedder

System monitor

شاد ار

نیهسی

حانه

بخکتا

– نی

ریا ج

ایه ه

دادند

سفا

1395

پرس و جو در داده های جریانی

8

DBMS•Persistent relations

(relatively static, stored)

•One-time queries•Random access

•Unbounded disk store•Only current state matters•No real-time services•Relatively low update rate•Data at any granularity•Assume precise data

•Predictable/unified data characteristics

DSMS• Transient streams

(on-line analysis)• Continuous queries (CQs)• Sequential access

• Bounded main memory• Historical data is important• Real-time requirements• High update rate• Data at fine granularity• Data stale/imprecise• Unpredictable/variable data

characteristics

Lindeberg (2009)

شاد ار

نیهسی

حانه

بخکتا

– نی

ریا ج

ایه ه

دادند

سفا

1395

پرس و جو در داده های جریانی

9

سه حالت نظری رایج:پرسش پیوسته از داده های ثابت.1.پرسش ثابت از داده های جریانی2.پرسش پیوسته از داده های جریانی3.

Continious queryسیستم های پرسش پیوسته ) •systems QCS اجازه پرسش مداوم از یک جریان )

)مداوم( داده را می دهند.

شاد ار

نیهسی

حانه

بخکتا

– نی

ریا ج

ایه ه

دادند

سفا

1395

پرس و جو در داده های جریانی

10

Query Processing

Continuous Query (CQ) Result

Query Processing

Main MemoryData Stream(s) Data Stream(s)

Disk

Main Memory

SQL Query Result

Lindeberg (2009)

شاد ار

نیهسی

حانه

بخکتا

– نی

ریا ج

ایه ه

دادند

سفا

1395

داده های جریانی و علم اطالعات و دانش شناسی

11

الف. کتابخانه ها:مدارک به جای اطالعات )داده(•مجموعه ثابت و افزایشی •غالب بودن منابع چاپی و کاغذی•اهمیت و تمرکز بر داده های متنی•پردازش دستی منابع•جستجوی مدارک •

شاد ار

نیهسی

حانه

بخکتا

– نی

ریا ج

ایه ه

دادند

سفا

1395

داده های جریانی و علم اطالعات و دانش شناسی

12

ب. پایگاه های اطالعاتی:مدارک الکترونیکی و دیجیتال•مجموعه ثابت و افزایشی •فرمت الکترونیکی و دیجیتال داده ها•اهمیت و تمرکز بر داده های متنی•پردازش دستی و/یا ماشینی منابع•جستجوی مدارک و متن•

شاد ار

نیهسی

حانه

بخکتا

– نی

ریا ج

ایه ه

دادند

سفا

1395

داده های جریانی و علم اطالعات و دانش شناسی

13

ج. موتورهای جستجو:مدارک الکترونیکی و دیجیتال•مجموعه ثابت و افزایشی •تنوع رسانه )متن، صدا، گرافیک، ویدئو...(•فنون متنوع بازیابی متن، تصویر، صوت و ... .•پردازش ماشینی منابع و داده ها•جستجوی مدارک، متن و فراداده• Scalabilityبزرگی و گستردگی •

شاد ار

نیهسی

حانه

بخکتا

– نی

ریا ج

ایه ه

دادند

سفا

1395

داده های جریانی و علم اطالعات و دانش شناسی

14

د. حوزه های جدید:داده کاوی•داده های عظیم•تحلیل کاربران و تعامل انسان و اطالعات•پایگاه دانش•اکتشاف دانش•رده بندی و سازمان دهی اجتماعی•علم سنجی•

انی در علمiحوزه های بالقوه برای کار روی داده های جریاطالعات

شاد ار

نیهسی

حانه

بخکتا

– نی

ریا ج

ایه ه

دادند

سفا

1395

منابع منتخب

• H´ebrail, H. 2008. Data stream management and mining. Mining Massive Data Sets for Security, IOS Press, pp.89-102.

• Lindeberg, M. 2009. Data Stream Management Systems (DSMS) Introduction, Concepts and Issues. Accessed from: http://www.uio.no/studier/emner/matnat/ifi/INF5100/h06/undervisningsmateriale/handouts/DSMS.pdf

با تشکر از شماسعید اسدی

asadi.s@gmail.com 15