image processing
DESCRIPTION
MapReduceپردازش تصاویر در هادوپ بر پایهTRANSCRIPT
![Page 1: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/1.jpg)
پردازش تصاویرImages Processing
![Page 2: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/2.jpg)
مقدمهHipi
HDFSفایل های کوچکHadoop Archive
Sequence File
HIB(Hadoop Image Bundle)مثال کاربردی
پردازش تصاویر در مقیاس بزرگHBRSIPS
فهرست مطالب
2
![Page 3: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/3.jpg)
ایندازشپرشود،میبیشتروبیشترتصاویروضوحواندازهوتعدادروزبهروزدونبکهمیگیردخدمتبهرابسیاریمنابعوزمان،تصاویرازعظیمحجم
.ردپذیمیانجامسختیبهگاهوناممکنگاهخاصیتکنیکازاستفاده
مقدمه
3
![Page 4: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/4.jpg)
Hadoop
راحیطباالبسیاراطالعاتحجمپردازشوذخیرهبرایبازکدبسترهایازیکی.استشده
MapReduce
(ادامه)مقدمه
4
![Page 5: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/5.jpg)
HIPI مخففHadoop Image Processing Interface کتابخانه برای یکMapReduceچهارچوب Hadoop برای پردازش تصاویر در محیط های محاسباتی که
.می رودتوزیع شده بکار
HiPi
5
![Page 6: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/6.jpg)
اهداف فراهم کردن کتابخانه قابل توسعه برای تصاویر در چهارچوبMapReduce
ذخیره سازی موثر برای کاربرد هایMapReduce
فراهم کردن فیلتر گذاری بر روی تصاویر
سرو کار نداشتن کاربر با جزئیات چهارچوبMapReduce
اشدراه اندازی کاربردی بسیار موازی و معتادل به صورتی که کاربر نگران جزئیات نب
HiPi
6
![Page 7: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/7.jpg)
ذخیره سازی
7
![Page 8: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/8.jpg)
فایل سیستم توزیع شدهHadoop
برگرفته از(Google File System)اانجام عملیات ذخیره و بازیابی
شامل دو قسمت
NameNode
DataNode
مزایا افزایشScalability
(جلوگیری از از بین رفتن داده ها)قابلیت اعتماد باال
HDFS(Hadoop Distributed File System)
8
![Page 9: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/9.jpg)
(کوچک)فایل کم حجم
پیش فرض بلوک آن از اندازه حجم قابل توجهی که بطور به فایلی گفته می شودHDFS(65 MB) کمتر.باشد
مشکالت
دیگر برای خواندن اطالعاتبه نود داده داده ها از نود پریدن کردن ها و دنبال تعداد زیادی از
برابر 100تا 10پردازش کندتر حتی
HDFS ستبلکه برای فایل های بزرگ طراحی شده ا. زیادی از فایلها رسیدگی کندتعداد تواند به نمی
MapReduce حجمدر مورد یک فایل با حجم زیاد بهتر عمل میکند تا تعداد زیادی فایل کم
ذخیره و پردازش فایل های کوچک
9
![Page 10: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/10.jpg)
مشکل بسیاری از فایل های کوچکبرای یک راه حل مناسب
تعداد زیادی فایلهای کوچک را در قالب یک فایل بسته بندی میکند
برای کاهش بار درNameNode
افزایش مقیاس پذیری سیستم
HAR files(Hadoop Archive)
10
![Page 11: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/11.jpg)
راه حل دیگر مشکل فایلهای کوچک
میتوان همه فایل ها در قالب یک فایل ذخیره کرد و سپس ان را پردازش کرد( به طور مستقیم یاMapReduce)
Sequence Files
11
![Page 12: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/12.jpg)
؟ HIPIروش
12
![Page 13: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/13.jpg)
مخففHipi Image Bundle
شامل تعداد زیادی تصاویر در قالب یک فایل
که شامل دو فایل است:DataFile:شامل تصاویر الحاق شده
Index File:شامل اطالعات محل تصاویر
HIB
13
![Page 14: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/14.jpg)
تفاوت
Hadoop Archive(HAR)Sequence FileHiPi Image Bundle
) تندفقط برای آرشیو فایل ها مفید هس(به عنوان پشتیبان گیری
اما Sequence filesمشابه کاستاندارد بهتر برای فایل های کوچدخواندن ان به صورت سری نمی باش
و در واقع ممکن است کندتر از خواندن.فایل به روش استاندارد باشد
و در نتیجه خواندن به صورت سریمدت زمان طوالنی برای ایجاد
استفاده از میتواند باMapReduceتولید شود
یر پذیر خالف بقیه قابل تنظیم و تغیبراست
14
![Page 15: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/15.jpg)
کنونمراحل انجام شده تا
15
HIPI
Start
HIB
![Page 16: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/16.jpg)
HIPIپشت صحنه
Float Imageرسیدگی به گوناگونی تصاویر
رمزگذاری و رمزگشایی
16
![Page 17: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/17.jpg)
مراحل انجام شده تا کنون
17
HIPI
Start
HIB
Enc/Dec
Float Image
![Page 18: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/18.jpg)
Cullingمرحله
ارسال به بعد از توزیع ورودی ها و قبل ازMapفراخوانده می شود . اعمال میکندتصاویر بر روی فیلترهایی .
18
![Page 19: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/19.jpg)
کل مراحل
19
HIPI
Start
HIB
Enc/Dec
Float Image
Culling
M-R
![Page 20: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/20.jpg)
مثال استفاده
20
![Page 21: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/21.jpg)
گام هامشخص کردن یک لیست از تصاویر برای گرفتن
جدا کردن ادرس ها به گروه هایی و ارسال هر گروه بهMap
دانلود تصاویر از اینترنت
ذخیره تصاویر درHIB
دانلود میلیونی تصاویر
21
![Page 22: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/22.jpg)
تصاویر در مقیاس بزرگ
22
![Page 23: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/23.jpg)
مشکالت جدا سازی تصاویر بزرگجه می شوددر بسیاری از الگو های پردازش تصاویر ماهواره ای به ردیف و ارتباط پیکسلها با یکدیگر تو.حال اگر فایل فقط تقسیم شود و در بانک اطالعات دخیره شود
که . داردار مخصوصا الگوریتمی که با ارتباط بین پیکسل ها سرو کنمی دهد داده ها و ردیف را تشخیص الگوریتم محل.شود نتیجه اشتباه بدهدنتیجتا باعث
سرعت داده ها خیلی اوقات پراکنده هستند و زمان زیادی میبرد که عملیات ارسال و دریافت انجام شود و این باعث کاهش.پردازش می شود
HDFS سایز جداسازی میکند بر اساس متد جداسازی ساختار اطالعاتی تصاویر را می شکند
این میتواند ناسازگاری بین کهMapReduce تاگوریتم پردازش تصویر به وجود اوردو.
23
![Page 24: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/24.jpg)
HBRSIPS مخففHadoop Base Remote Sensing Image Processing System
گام اولجداسازی با حفظ جامعیت اطالعات
با استفاده از افزونگی مرزهای ردیف ها
گام دوم ارسال هر ردیف به هرMap
گام سوم الحاق ردیف ها درReduce
24
![Page 25: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/25.jpg)
Chris Sweeney,Liu Liu,Sean Arietta,Jason Lawrence (2013)
'HIPI: A Hadoop Image Processing Interface for Image-
based MapReduce Tasks', University of Virginia, (), pp. .
Xin Pan,Suli Zhang (2012) 'A REMOTE SENSING IMAGE CLOUD
PROCESSING SYSTEM BASED ON HADOOP', IEEE, (), pp. .
منابع
25
![Page 26: Image processing](https://reader035.vdocument.in/reader035/viewer/2022081404/558e17671a28ab79788b46f0/html5/thumbnails/26.jpg)
پیروز باشید
26