Download - Neural Networks
University of Tehran - http://www.ut.ac.ir2 شبکه های عصبی مصنوعی
رئوس مطالبمقدمه1.کاربردهای شبکه عصبی2.مبانی نظری شبکه های 3.
عصبی مصنوعی
University of Tehran - http://www.ut.ac.ir4 شبکه های عصبی مصنوعی
(ANNsشبکه های عصبی مصنوعی ) •(FLمنطق فازی )•(ECمحاسبات تکاملی )•(GAsالگوریتهای ژنتیک )• حرکت مورچگان•• …
ANNs
FL GAs
(AIهوش مصنوعی )
: شباهت این تکنیکها در سوالچیست؟
University of Tehran - http://www.ut.ac.ir6 شبکه های عصبی مصنوعی
مصنوعی عصبی تعریف شبکه هم به اتصال پایه بر که است محاسبه کامپیوتری برای روشی.می شود ساخته پردازشی واحد چندین پیوسته گره( یا سلول نرون، یا) پردازشی واحد دلخواهی تعداد از شبکه
مجموعه که می شود تشکیل قرار می گیرندالیه )ها(که در .می دهند ربط مجموعه خروجی به را ورودی
University of Tehran - http://www.ut.ac.ir7 شبکه های عصبی مصنوعی
انواع شبکه های عصبی مصنوعی
انواع شبکه های عصبی مصنوعی
University of Tehran - http://www.ut.ac.ir9 شبکه های عصبی مصنوعی
ANNs ANNs کاربردهای عمومیکاربردهای عمومی
((گروه بندي اشكالي كه مشابه هم هستندتشخیص الگو )تشخیص الگو )ذخيره كردن و بازبيني داده ها
تقریب تابع )رگرسیون غیر خطی، تخمین و پیشگویی(
ن جواب با وجود قيود متعددیبهينه سازي و تعياستخراج دانش کالن ، قابل استناد و جديد از داده کاوی )
(پايگاه داده ها ي بزرگ
تخمین، تشخیص الگو یا به طور کلی هر جا که سخن از باشد می توان از شبکه های عصبی طبقه بندی
مصنوعی استفاده کرد.
University of Tehran - http://www.ut.ac.ir10 شبکه های عصبی مصنوعی
database
data prospectingand surveying
selecteddata
select transformeddata
preprocess& transform
(normalization, PCA, pruning,…)
make model
Interpretation &rule formulation
تعريف مساله1.فرایند داده کاویساختن پايگاه داده مربوط انبارش داده ها2.
به داده كاوي جستجوي دادهانتخاب داده ها3. آماده ساختن داده براي مدل تبديل داده ها4.
سازي ساختن مدلکاوش در داده ها5.ارزيابي مدل6.نتايج ارائه ساخت مدل وتفسير نتيجه7.
University of Tehran - http://www.ut.ac.ir11 شبکه های عصبی مصنوعی
ANNs کاربردهای مختلف
شناسایی تصویر /سیگنال بینایی ماشین
مدل کردن غیر خطیکنترل فرآیند ساخت
ارزیابی بکارگیری یک سیاستبهینه سازی محصول
تشخیص ماشین و فرآیندمدل کردن کنترل سیستمها
مدل کردن ساختارهای شیمیاییمدل کردن سیستمهای دینامیکی
تشخیص بیماریپردازش سیگنالهای تصویری
زمانبندی وسیله نقلیهسیستمهای مسیریابی
کالسه بندی نمودارهای مشتری/بازار
سیستمهای بازرسی کیفیت، پیش بینی کیفیت،
کالسه بندی انواع سلولها, میکروبها و نمونه ها،
پیش بینی فروشهای آیندهپیش بینی نیازهای محصول
پیش بینی وضعیت بازارپیش بینی شاخصهای اقتصادی
تعیین قیمت وضعیت فعلیپیش بینی ملزومات انرژی پیش
بینی هواپیش بینی محصول
مدیریت و برنامه ریزیکنترل سیستم فرایند شیمیایی و
دینامیکیکنترل مسیر در دستگاههای
خودکار, ربات, جرثقیلمدل کردن کنترل فرآیند
University of Tehran - http://www.ut.ac.ir12 شبکه های عصبی مصنوعی
AerospaceHigh performance aircraft autopilots, flight path simulations, aircraft control systems, autopilot enhancements, aircraft component simulations, aircraft component fault detectors
AgricultureAgri-product classification, inspection, grading and sorting, soil and yield modeling, prediction and estimation, modeling, regression and non-linear curve-fitting, fault diagnoses and detection, …
AutomotiveAutomobile automatic guidance systems, warranty activity analyzers
BankingCheck and other document readers, credit application evaluators
DefenseWeapon steering, target tracking, object discrimination, facial recognition, new kinds of sensors, sonar, radar and image signal processing including data compression, feature extraction and noise suppression, signal/image identification
ANNs ANNs کاربردهای تخصصیکاربردهای تخصصی
University of Tehran - http://www.ut.ac.ir13 شبکه های عصبی مصنوعی
ElectronicsElectronicsCode sequence prediction, integrated circuit chip layout, Code sequence prediction, integrated circuit chip layout, process control, chip failure analysis, machine vision, voice process control, chip failure analysis, machine vision, voice synthesis, nonlinear modelingsynthesis, nonlinear modeling
FinancialFinancialReal estate appraisal, loan advisor, mortgage screening, Real estate appraisal, loan advisor, mortgage screening, corporate bond rating, credit line use analysis, portfolio trading corporate bond rating, credit line use analysis, portfolio trading program, corporate financial analysis, currency price predictionprogram, corporate financial analysis, currency price prediction
ManufacturingManufacturingManufacturing process control, product design and analysis, Manufacturing process control, product design and analysis, process and machine diagnosis, real-time particle process and machine diagnosis, real-time particle identification, visual quality inspection systems, beer testing, identification, visual quality inspection systems, beer testing, welding quality analysis, paper quality prediction, computer welding quality analysis, paper quality prediction, computer chip quality analysis, analysis of grinding operations, chemical chip quality analysis, analysis of grinding operations, chemical product design analysis, machine maintenance analysis, product design analysis, machine maintenance analysis, project bidding, planning and management, dynamic modeling project bidding, planning and management, dynamic modeling of chemical process systemsof chemical process systems
ANNs ANNs کاربردهای تخصصیکاربردهای تخصصی
University of Tehran - http://www.ut.ac.ir14 شبکه های عصبی مصنوعی
MedicalMedicalBreast cancer cell analysis, EEG and ECG analysis, prosthesis design, Breast cancer cell analysis, EEG and ECG analysis, prosthesis design, optimization of transplant times, hospital expense reduction, hospital optimization of transplant times, hospital expense reduction, hospital quality improvement, emergency room test advisementquality improvement, emergency room test advisement
RoboticsRoboticsTrajectory control, forklift robot, manipulator controllers, vision Trajectory control, forklift robot, manipulator controllers, vision systemssystems
SpeechSpeechSpeech recognition, speech compression, vowel classification, text to Speech recognition, speech compression, vowel classification, text to speech synthesisspeech synthesis
SecuritiesSecuritiesMarket analysis, automatic bond rating, stock trading advisory Market analysis, automatic bond rating, stock trading advisory systemssystems
TelecommunicationsTelecommunicationsImage and data compression, automated information services, real-Image and data compression, automated information services, real-time translation of spoken language, customer payment processing time translation of spoken language, customer payment processing systemssystems
TransportationTransportationTruck brake diagnosis systems, vehicle scheduling, routing systemsTruck brake diagnosis systems, vehicle scheduling, routing systems
ANNs ANNs کاربردهای تخصصیکاربردهای تخصصی
University of Tehran - http://www.ut.ac.ir15 شبکه های عصبی مصنوعی
Bankruptcy prediction modeling with hybrid case-based reasoning and genetic algorithms approach Applied Soft Computing, Volume 9, Issue 2, March 2009, Pages 599-607
Bankruptcy prediction using support vector machine with optimal choice of kernel function parameters Expert Systems with Applications, Volume 28, Issue 4, May 2005, Pages 603-614Jae H. Min, Young-Chan Lee
A threshold-varying artificial neural network approach for classification and its application to bankruptcy prediction problem Computers & perations Research, Volume 32, Issue 10, October 2005, Pages 2561-2582
Hybrid neural network models for bankruptcy predictions Decision Support Systems, Volume 18, Issue 1, September 1996, Pages 63-72
A multivariate neuro-fuzzy system for foreign currency risk management decision making Neurocomputing, Volume 70, Issues 4-6, January 2007, Pages 942-951
چند کاربرد شبکه عصبی
University of Tehran - http://www.ut.ac.ir16 شبکه های عصبی مصنوعی
چند کاربرد شبکه عصبی
Forecasting currency prices using a genetically evolved neural network architecture International Review of Financial Analysis, Volume 8, Issue 1, 1999, Pages 67-82
عص�بي ه�اي ش�بکه وس�يله ب�ه خ�دمات کيفيت س�نجش ه�اي روش ارزي�ابي مصنوعي
ميرغفوري سيدحبيب اله,طاهري دمنه محسن*,زارع احمدآبادي حبيب
ارزیابی یک مدل شبکه عصبی جهت پیش بینی قیمت نفتاصفهانیان و ناصری
پیش بینی نرخ ارز با مدل نروفازیایمان دوست
University of Tehran - http://www.ut.ac.ir17 شبکه های عصبی مصنوعی
بخش سوم:مبانی شبکه های عصبی مصنوعی
University of Tehran - http://www.ut.ac.ir18 شبکه های عصبی مصنوعی
تاریخچه تاریخچهANN has past through three phasesANN has past through three phases
1940’s – 1970’s1940’s – 1970’s, 1970’s – 1980’s, , 1970’s – 1980’s, 1980’s – Now1980’s – Now
Major contributorsMajor contributors
- - McCulloch & Walter PittsMcCulloch & Walter Pitts ((Mathematical modelMathematical model))
- Donald Hebb (Hebbian Rule)- Donald Hebb (Hebbian Rule)
- - Rosenblatt (Rosenblatt (PerceptronPerceptron))
- Widrow & Hoff (Delta rule)- Widrow & Hoff (Delta rule)
- Minsky & Papert- Minsky & Papert
- Kohonen- Kohonen
- Grossberg- Grossberg
- Hopfield- Hopfield
- - Rumelhart & McClelland (Rumelhart & McClelland (BackpropagationBackpropagation))
University of Tehran - http://www.ut.ac.ir19 شبکه های عصبی مصنوعی
تاريخچهدر و پيتس خمك كالمطالعه برروي شبكه هاي عصبي توسط
آغاز شد. شبكه هاي تك اليه، با توابع فعال سازی 1943 سال بنيان گذاري شدند 1962 در سالروزنبالت آستانه اي، توسط
ناميده شدند. پرسپترون كه اين نوع شبكه ها، ، به صورت تجربي نشان داده شد كه 1960در دهه
ولیپرسپترون ها قابليت حل مسائل فراواني را دارند، وسط آنها قابل حل نبود. تبسياري از مسائل پيچيده
توسط 1966در سال يك اليه هایمحدوديت پرسپترون آنها به چاپ رسيد. نتايج كتاب پرسپترون در مينسكي و پپرت
مطالعه اين كتاب باعث شد كه شبكه هاي عصبي به مدت دو دهه كمتر مورد توجه قرار گيرند.
رملهات، هينتن و توسط انتشار-الگوريتم پس کشف با مطالعات جديد بر روي شبكه هاي 1986 در سالويليامز شد. اهميت ويژه اين الگوريتم اين بود مجددا شروع عصبي
كه شبكه هاي عصبي چند اليه توسط آن مي توانستند آموزش داده شوند.
University of Tehran - http://www.ut.ac.ir20 شبکه های عصبی مصنوعی
طبیعت از الهام حد تا مصنوعی عصبی های شبکه مطالعه
یادگیر های سیستم از الهام گرفته زیادی پیچیده مجموعه یک آنها در که است طبیعی
یادگیری کار در متصل هم به نرونهای از.هستند دخیل
11 10 تعداد از انسان مغز که میرود گمان با نرون هر که باشد شده تشکیل نرون
.است ارتباط در دیگر نرون 104 تقریبا
ثانیه 3-10 حدود در نرونها سوئیچنگ سرعت ( 10- 10 کامپیوترها با مقایسه در که است وجود این با. مینماید ناچیز بسیار ) ثانیه
یک تصویر ثانیه 0.1 در است قادر آدمی قدرت این. نماید بازشناسائی را انسان
توزیع موازی پردازش از باید العاده فوق شده حاصل نرونها از زیادی تعدادی در شده.باشد
University of Tehran - http://www.ut.ac.ir22 شبکه های عصبی مصنوعی
نرون مصنوعینرون مصنوعی
An artificial neuron
A physical neuronFrom experience: examples / training data
Strength of connection between the neurons is stored as a weight-value for the specific connection.
Learning the solution to a problem = changing the connection weights
University of Tehran - http://www.ut.ac.ir23 شبکه های عصبی مصنوعی
مک کالخ-پیتس-مدل ریاضی یک نرون )1943)
مک کالخ-پیتس-مدل ریاضی یک نرون )1943)
Inputs Weights Summation Activation Output
b
w1
w2
wn
x1
x2
xn
+
w0
x0
f(y)
…
yO
…
University of Tehran - http://www.ut.ac.ir24 شبکه های عصبی مصنوعی
توابع فعال سازیمتداول
y
f(y)sgn(y)
tanh(y)
1
-1
University of Tehran - http://www.ut.ac.ir25 شبکه های عصبی مصنوعی
توابع فعال سازی سیکموئید
غیر بصورت را گیری تصمیم فضای بتوانیم اینکه برای را واحد سلول هر تا است الزم کنیم، جدا هم از خطی
از مثالی. نمائیم تعریف خطی غیر تابع یک بصورت:باشد سیگموئید واحد یک میتواند سلولی چنین
x1x1
x2x2
xnxn
X0=1X0=1
w0w0
w1w1
w2w2
wnwn
ΣΣ
O = f(net) O = f(net) = 1 / (1 + e = 1 / (1 + e –net–net))
netnetOO
University of Tehran - http://www.ut.ac.ir26 شبکه های عصبی مصنوعی
نرون ه»ا ب»ه ص»ورت ط»بيعي ب»ه روش خاص»ي اتص»ال مي يابن»د ت»ا ه»ا مي ن»رون اتص»ال نح»وه را تش»کيل دهن»د ي»ک ش»بکه عص»بي
تواند به گونه اي باشد که شبکه تک اليه يا چند اليه باشد. از ي»ک الي»ه ورودي، ي»ک الي»ه خ»روجي و ي»ک ي»ا چن»د الي»ه شبکه ه»اي
چن»د الي»ه بين آنه»ا )الی»ه پنه»ان( ک»ه مس»تقيما ب»ه داده ه»اي ورودي و نتايج خروجي متصل نيستند تشکيل يافته اند.
واح»دهاي الي»ه ورودي ص»رفا وظيف»ه توزي»ع مق»ادير ورودي را ب»ه الي»ه بع»د برعه»ده دارن»د. و هيچ گون»ه ت»اثيري ب»ر روي س»يگنال ه»اي ب»ه ه»ا الي»ه تع»داد ش»مارش در دلي»ل همين ب»ه ندارن»د. ورودي ک»ه اس»ت الي»ه خ»روجي ي»ک ان»د. ش»بکه ش»امل نيام»ده حس»اب پاس»خ س»يگنال ه»اي ورودي را ارائ»ه مي ده»د. ک»ه تع»داد ن»رون ه»ا و ه»ا ورودي تع»داد ب»ا براب»ر خ»روجي الي»ه و ورودي الي»ه در خ»روجي ه»ا مي باش»د و الي»ه ي»ا الي»ه ه»اي پنه»ان وظيف»ه ارتب»اط دادن الي»ه ورودي ب»ه الي»ه خ»روجي را ب»ر عه»ده دارن»د. ش»بکه ب»ا داش»تن اين الي»ه ه»اي پنه»ان ق»ادر مي گ»ردد ک»ه رواب»ط غ»ير خطي
را از داده هاي ارائه شده به شبکه استخراج کند.
ساختار شبکه عصبی
University of Tehran - http://www.ut.ac.ir27 شبکه های عصبی مصنوعی
MLPشبکه های عصبی چند الیه یا
x0=1
x1
x2
y0=1
y1
y2
y3
Input
Layer 1
Hidden
Layer 2
Output
University of Tehran - http://www.ut.ac.ir28 شبکه های عصبی مصنوعی
آموزش، كار با هر شبکه عصبی شامل سه مرحله می باشد: . و اجرا تعمیم
، شبکه الگوهای موجود در داده هاي ورودي را یاد آموزشدر مرحله 1.می گیرد. هر شبکه عصبی برای یادگیری از قانون خاص استفاده
می کند. قدرت شبکه عصبی در ایجاد پاسخ های قابل قبول برای تعمیم،2.
اند. ورودی هایی است که عضو مجموعه آموزشی نبودهنیز شبکه عصبی برای عملکردی که به آن منظور اجرا در مرحله3.
طراحی گردیده است، استفاده می شود.
مراحل کار با شبکه اجراعصبی
آموزش
تعمیم
الگو های داده های
ورودی
پاسخ برای ورودی های
مجهول
University of Tehran - http://www.ut.ac.ir29 شبکه های عصبی مصنوعی
شبكه هاي عصبي مصنوعي شبكه هاي عصبي مصنوعيیادگیری دریادگیری در
رس�يدن ب�ه ش�رايطي اس�ت ك�ه ش�بكه ق�ادر رس�يدن ب�ه ش�رايطي اس�ت ك�ه ش�بكه ق�ادر هدف از آم�وزش ش�بكه،هدف از آم�وزش ش�بكه،•)ب�ه )ب�ه ه�اي� ار�ائ�ه ش�ده� در� آ�م�وزش ش�بكهه�اي� ار�ائ�ه ش�ده� در� آ�م�وزش ش�بكه ب�ه پاس�خگويي� ص�حيح� ب�ه داد�هب�ه پاس�خگويي� ص�حيح� ب�ه داد�ه
ه�ا�ي مش�ابه �و م�تف�اوت از ور�ودي ه�ا�ي مش�ابه �و م�تف�اوت از ور�ودي � �خ�اطر س�پ�رد�ن�( و �ه�مچ�نين� دا�دهخ�اطر س�پ�رد�ن�( و �ه�مچ�نين� دا�دهه�ايي ك�ه از� �آنه�ا� ب�راي� آم�وزش� ش�بكه �اس�تفا�ده� ش�ده� اس�ت�)تع�ميم ه�ايي ك�ه از� �آنه�ا� ب�راي� آم�وزش� ش�بكه �اس�تفا�ده� ش�ده� اس�ت�)تع�ميم
د�ادن(،ب�اشد. �د�ادن(،ب�اشد. �
ش�ده ب�ر محاس�بات ش�ده ب�ر محاس�بات هاي عص�بي آم�وزش دادههاي عص�بي آم�وزش داده برت�ري عم�دة ش�بكه برت�ري عم�دة ش�بكه•ش ك�م�تر و در زم�ان ش ك�م�تر و در زم�ان كالس�يك اين ا�س�ت ك�ه نت�ا�يج �م�ورد� ني�از� ب�ا تال� كالس�يك اين ا�س�ت ك�ه نت�ا�يج �م�ورد� ني�از� ب�ا تال�كم��تري ق�اب��ل حص��ول ا�س��ت.در� نتيج��ه �اين �مزاي��ا� خصوص��ا� ب��راي كم��تري ق�اب��ل حص��ول ا�س��ت.در� نتيج��ه �اين �مزاي��ا� خصوص��ا� ب��راي مس�ائ�لي ك�ه مس�تل�زم محا�س�بات� ط�والن�ي هس�تن�د بس�يار مفي�د و مس�ائ�لي ك�ه مس�تل�زم محا�س�بات� ط�والن�ي هس�تن�د بس�يار مفي�د و
موثر� واقع� گردد.موثر� واقع� گردد.
دو نوع آموزش شبكه به شكل زير است: دو نوع آموزش شبكه به شكل زير است: •آموزش با معلم آموزش با معلم �� الفالف آموزش بدون معلمآموزش بدون معلم �� بب
University of Tehran - http://www.ut.ac.ir30 شبکه های عصبی مصنوعی
آموزش شبكه هاي عصبي مصنوعيآموزش شبكه هاي عصبي مصنوعي
الف - آموزش با معلمالف - آموزش با معلمآموزش اكثر شبكه هاي عصبي با استفاده از زوج بردارهاي نمونه صورت آموزش اكثر شبكه هاي عصبي با استفاده از زوج بردارهاي نمونه صورت
مي گيرد به طوري كه به هر بردار ورودي يك بردار خروجي مشخص نسبت مي گيرد به طوري كه به هر بردار ورودي يك بردار خروجي مشخص نسبت داده مي شود.با ارائة اين مجموعه بردارها به شبكه،وزنها بر اساس الگوريتم داده مي شود.با ارائة اين مجموعه بردارها به شبكه،وزنها بر اساس الگوريتم . .يادگيري شبكه اصالح مي گردند.اينگونه آموزش را آموزش با معلم مي نامنديادگيري شبكه اصالح مي گردند.اينگونه آموزش را آموزش با معلم مي نامند
و پس و پس ( ( RBFRBF، تابع پایه شعاعی )، تابع پایه شعاعی )شبکه های دلتا، آداالین ، ماداالینشبکه های دلتا، آداالین ، ماداالین ((BPBP ) )انتشارانتشار
ب-آموزش بدون معلمب-آموزش بدون معلمدر اين نوع آموزش،بردارهاي ورودي به شبكه ارائه گرديده بدون اينكه در اين نوع آموزش،بردارهاي ورودي به شبكه ارائه گرديده بدون اينكه
بردارهاي خروجي مربوط به شبكه داده شوند،وزنهاي شبكه بصورتي اصالح بردارهاي خروجي مربوط به شبكه داده شوند،وزنهاي شبكه بصورتي اصالح پاسخ پاسخ مي شوند كه بردارهاي ورودي مشابه در يك گروه بندي قرار گيرند.مي شوند كه بردارهاي ورودي مشابه در يك گروه بندي قرار گيرند.
شبكه بر اساس نزديكترين بردار به بردار ورودي خواهد بود. شبكه بر اساس نزديكترين بردار به بردار ورودي خواهد بود.
های به های به یادگیری بدون ناظر را خود یادگیری هم میگویند. از شبکهیادگیری بدون ناظر را خود یادگیری هم میگویند. از شبکههای هب، های هب، کارگیرنده الگوریتم بدون ناظر میتوان به شبکهکارگیرنده الگوریتم بدون ناظر میتوان به شبکه
کوهونن و هاپفیلد اشاره کرد.کوهونن و هاپفیلد اشاره کرد.
University of Tehran - http://www.ut.ac.ir31 شبکه های عصبی مصنوعی
معلمدون ب - یادگیری با معلمیادگیری
کدام روش یادگیری مناسب است؟ سوال:
این بلوکها را دردو کالس )گروه( قرار
A.دهید
BA
B A
B
University of Tehran - http://www.ut.ac.ir32 شبکه های عصبی مصنوعی
با معلم با معلمیادگیرییادگیری
A
BA
BA
B
Class
Class
Class
Class
Class
Class
B اين جعبه به کدام کالس تعلق دارد؟
: طبقات کالس به عنوان اطالعاتتوجه تکمیلی داده شده است.
University of Tehran - http://www.ut.ac.ir33 شبکه های عصبی مصنوعی
... دو جواب ممکن
A
B A
B
A
B A
B
A
B
A
B
.هیچگونه هدایتی برای اینکه کدام را انتخاب کنیم نشده است ...
معلم معلمدوندون ب بیادگیرییادگیری
University of Tehran - http://www.ut.ac.ir34 شبکه های عصبی مصنوعی
الگوريتم هاي يادگيري
مي باش»د. ب»ر تنظيم وزن ه�ا و باي�اس ه�اي ش�بكه، ANNمنظ»ور از ي»ادگيري در :اين اساس الگوريتم هاي متفاوتي بيان شده، كه معمول ترين آنها عبارتند از
در اين روش وزن مرب»وط ب»ه ورودي ي»ك ن»رون، زم»اني اف»زايش : يادگيري هب1.مي ياب»د ك»ه س»يگنال ورودي و خ»روجي ه»ر دو ب»اال باش»ند ک»ه در واق»ع منظ»ور تق»ويت
كردن آن ورودي است.
· مي»انگين مرب»ع خط»ا ): ق�انون ي�ادگيري دلت�ا 2. ( ن»يز LMSاين الگ»وريتم ك»ه بعض»انامي»ده مي ش»ود وق»تي اس»تفاده مي گ»ردد ك»ه س»يگنال خط»ا مي»نيمم ش»ود ك»ه ب»ه واق»ع اختالف بين خ»روجي واقعي ش»بكه و خ»روجي م»ورد انتظ»ار )مطل»وب( مي»نيمم باش»د. در اين روش س»يگنال خط»ا جهت اص»الح وزن ه»ا و باياس ه»اي ن»رون ه»ا ب»ه عقب منتش»ر مي ش»ود. الگ»وريتم پس انتش»ار خط»ا معم»ول ت»رين روش پي»اده س»ازي از
از كاربرده»اي ش»بكه ه»اي عص»بي % 75ق»انون ي»ادگيري دلت»ا اس»ت ك»ه دس»ت كم در مصنوعي استفاده مي گردد.
ر اين روش عناص»ر پردازش»ي جهت اص»الح وزن ه»ا و باي»اس : دي�ادگيري رق�ابتي 3.مي كنند. هاي خودشان با هم رقابت
University of Tehran - http://www.ut.ac.ir35 شبکه های عصبی مصنوعی
(Gradient Descentالگوریتم نزول گرایان )
خطا سطح E تعریف نحوه به توجه با بدنبال ما. بود خواهد سهمی یک بصورت
داشته را خطا حداقل که هستیم وزنهائیباشند.
بدنبال وزنها فضای در GD الگوریتم کند. حداقل را خطا که میگردد برداری
برای دلبخواه مقدار یک از الگوریتم این مرحله هر در و کرده شروع وزن بردار جهت در که میدهد تغییر طوری را وزنها داده کاهش خطا فوق منحنی کاهشی شیب.شود
w1w1
w2w2
E(E(WW))
E = ½Σi )Ti – Oi(2
University of Tehran - http://www.ut.ac.ir36 شبکه های عصبی مصنوعی
BP الگوریتمخاتمه شرط
استفاده با بار هزاران خاتمه از پیش BP الگوریتم معموال را مختلفی شروط میگردد تکرار آموزشی های داده همان
:برد بکار الگوریتم خاتمه برای میتوانمعین دفعات به تکرار از بعد توقف.شود کمتر شده تعیین مقدار یک از خطا که وقتی توقف از اعتبار سنجی مجموعه مثالهای در خطا که وقتی توقف.نماید پیروی خاصی قاعده
و داشت خواهیم خطا باشد کم تکرار دفعات اگر.داد خواهد رخ Overfitting مسئله باشد زیاد اگر
University of Tehran - http://www.ut.ac.ir37 شبکه های عصبی مصنوعی
epochepoch
Err
orE
rror Validation set errorValidation set error
Training set errorTraining set error
overfitting و تعمیم قدرتالگوریتم خاتمه شرط BP چیست؟خطا تا دهیم ادامه آنقدر را الگوریتم که است این انتخاب یک
به منجر میتواند امر این. شود کمتر معینی مقدار ازoverfitting شود.
overfitting مثالهای گرفتن نظر در برای وزنها تنظیم از ناشی نداشته مطابقت ها داده کلی توزیع با است ممکن که است نادری شبکه تا میشود باعث عصبی شبکه یک وزنهای زیاد تعداد. باشند.باشد داشته مثالها این با انطباق برای زیادی آزادی درجه
توسط شده یادگرفته فرضیه فضای پیچیدگی تکرار، تعداد افزایش با نادر مثالهای و نویز بتواند شبکه تا میشود بیشتر و بیشتر الگوریتم
.نماید ارزیابی بدرستی را آموزش مجموعه در موجود
University of Tehran - http://www.ut.ac.ir39 شبکه های عصبی مصنوعی
Inputs
Output
جلو سمت به انتشار
عقب سمت به انتشار
University of Tehran - http://www.ut.ac.ir 40
در واق»ع ای»ده اص»لي ش»بکه عص»بی تب»ديل پ»ذير ب»ودن پارامتره»اي در واق»ع ای»ده اص»لي ش»بکه عص»بی تب»ديل پ»ذير ب»ودن پارامتره»اي ب»وده ک»ه ب»وده ک»ه ((باي�اس و وزن ه�اي ارتب�اطي بين ن�رون ه�اباي�اس و وزن ه�اي ارتب�اطي بين ن�رون ه�ا) ) آن آن
اين پارامتره»ا مي توانن»د ط»وري تنظيم ش»وند ک»ه انتظ»ار م»ورد اين پارامتره»ا مي توانن»د ط»وري تنظيم ش»وند ک»ه انتظ»ار م»ورد نظ»ر را ت»امين کنن»د. بن»ابراين ب»ا اس»تفاده از آم»وزش ش»بکه مي نظ»ر را ت»امين کنن»د. بن»ابراين ب»ا اس»تفاده از آم»وزش ش»بکه مي ت»وانيم اين پارامتره»ا را ب»راي انج»ام ک»ار م»ورد نظ»ر خ»ود تع»ديل ت»وانيم اين پارامتره»ا را ب»راي انج»ام ک»ار م»ورد نظ»ر خ»ود تع»ديل
کنيمکنيم
شبکه عصبی
ورودی ها خروجی هامقایسه
مقدار واقعی
شبکه عصبی چگونه کار میکند؟
(1387(، )کیا،1387)منهاج،
University of Tehran - http://www.ut.ac.ir41 شبکه های عصبی مصنوعی
مثال پرسپترون
x w1
x w2
+ >8?
inputs weights
outputthreshold
University of Tehran - http://www.ut.ac.ir42 شبکه های عصبی مصنوعی
P2P2 است که باید پرسپترون یاد بگیرد: است که باید پرسپترون یاد بگیرد: الگویی الگویی
باشد باشد11 با ید با ید خروجیخروجی هستند، هستند، 11 ورودی ورودی یعنی، اگر هر دو یعنی، اگر هر دو
x 2
x 3
+ >8?inputs
weights
outputthreshold
x1x1x2x2TTمثال
001100
111111
………………
P1 =P2 =Pn =
University of Tehran - http://www.ut.ac.ir43 شبکه های عصبی مصنوعی
x 2
x 3
+ >8?
inputs weights
outputthreshold
1
1
مثال آموزشی (1و1)
University of Tehran - http://www.ut.ac.ir44 شبکه های عصبی مصنوعی
x 2
x 3
+ >8?
inputs weights
outputthreshold
1
1
2
3
مثال آموزشی (1و1)
University of Tehran - http://www.ut.ac.ir45 شبکه های عصبی مصنوعی
1
1
x 2
x 3
+ >8?
inputs weights
outputthreshold2
3
5
مثال آموزشی (1و1)
University of Tehran - http://www.ut.ac.ir46 شبکه های عصبی مصنوعی
1
1
x 2
x 3
+ >8?
inputs weights
outputthreshold2
3
50
مثال آموزشی (1و1)
University of Tehran - http://www.ut.ac.ir47 شبکه های عصبی مصنوعی
x 2
x 3
+ >8?
inputs weights
outputthreshold
1
1
2
3
50
مثال آموزشی (1و1)
x1x1x2x2TT
001100
111111
………………
P2 =
University of Tehran - http://www.ut.ac.ir48 شبکه های عصبی مصنوعی
x 2
x 3
+ >8?
inputs weights
outputthresholdMust increase weights!
1
1
2
3
50
مثال آموزشی (1و1)
wi = wi + η)T – O( xiη)T – O( xi
University of Tehran - http://www.ut.ac.ir49 شبکه های عصبی مصنوعی
يك مدل شبكه عصبي به طراحيمراحل :منظور طبقه بندي يا پيش بيني )تخمين(
خروجي و- شناخت متغييرهاي ورودي1- تبديل مقادير ورودي و خروجي به دامنه صفر تا يك2مناسب براي شبكه )توپولوژی( - انتخاب هندسه 3
عصبي- آموزش با داده هاي آموزشي معرف4- آزمون شبكه با داده هايي مستقل از مجموعه 5
آموزشي و در صورت لزوم ادامه آموزش و تنظيم شبكه و پارامترهاي توپولوژیمثال هاي آموزشي،
آن.
University of Tehran - http://www.ut.ac.ir50 شبکه های عصبی مصنوعی
Data set
Training Set
Testing Set
Initial Neural Net
Training
Trained Neural Net
Testing
Trained Net with
Performance Measurement
University of Tehran - http://www.ut.ac.ir51 شبکه های عصبی مصنوعی
شبکه های یمزایا عصبی
شبکه های عصبی رهیافتی : توانایی حل طیف وسیعی از مسائلبسیار عمومی برای حل مسائلی از قبیل پیش بینی،طبقه بندی و
خوشه بندی است و این ماهیت عام مسبب شهرت و مقبولیت آن است.
در :توانایی ایجاد جواب های مناسب در مسائل بسیار پیچیدهمقایسه با رهیافت های آمار استاندارد و درخت تصمیم گیری،شبکه
های عصبی قدرتمندترند و در بسیاری از صنایع کاربرد دارند.
: قابلیت کاربرد بر روی هر دو نوع متغیر پیوسته و رسته ایشبکه های عصبی می توانند از هر دو متغیر پیوسته و رسته ای در
ورودی ها و خروجی ها استفاده نمایند. داده های رسته ای به دو روش مختلف به کار می روند، هم به صورت استفاده از یک گره )سلول( که
[ باشد و 0،1هر ورودی رسته ای داده شده زیر مجموعه ای از دامنه ]هم به صورت سلول های مجزا برای هر دسته. داده های پیوسته نیز به
سادگی به دامنه مورد نظر تبدیل می شوند.
به دلیل جامعیت :در دسترس بودن بسته های نرم افزاریشبکه های عصبی و مناسب بودن جواب های آن ها، نرم افزارهای
قدرتمند و مورد نظر کاربر در این زمینه به وجود آمده است.
University of Tehran - http://www.ut.ac.ir52 شبکه های عصبی مصنوعی
معایب شبکه های عصبی
تغییر مقیاس داده ها نیازمند :نیاز به ورودی ها در دامنه صفر و یکانجام تبدیل های اضافی بر روی ورودی هاست. ابزارهای مناسب، امکان
داده های خودکارمشاهده هیستوگرام توزیع مقادبر رسته ای و تبدیل عددی به دامنه مطلوب را فراهم می نمایند. البته پردازش اولیه داده ها
یک مزیت نیز دارد و آن اینکه این فرایند به تعیین صحت و سقم داده های ده داآموزش کمک می کند. از آنجا که کیفیت، مهمترین مسئله در پردازش
است، لذا این مطالعه اضافی داده ها می تواند مانع بروز مشکالت بعدی گردد.
شبکه های عصبی ابزار های : عدم ارائه توضیح در مورد پاسخ هامناسب برای مسائلی است که در آنها جواب ها مهمتر از درک روابط علت و معلولی است. با اینکه شبکه های عصبی قادر به ارائه قوانین
صریح نیستند، اما آنالیز حساسیت می تواند توضیح دهد که کدام ورودی ها مهمتر از بقیه هستند. در بسیاری از موارد، دانستن اهمیت نسبی هر متغیر
به خوبی داشتن قوانین صریح است.
· شبکه های :امکان ارائه یک جواب زودرس و نامناسب معموالعصبی برای هر مجموعه از داده های آموزشی، به جواب همگرا می شود. متاسفانه هیچ تضمینی وجود ندارد که جواب ارائه شده، بهترین مدل داده
ها باشد. برای رفع این مشکل باید بوسیله داده های موجود، مناسب بودن را سنجید و سپس آن را بر روی داده های جدید به بدست آمدهمدل
کاربرد.
University of Tehran - http://www.ut.ac.ir53 شبکه های عصبی مصنوعی
آشنايي با شبكه هاي عصبي، ۱۳۸۲البرزي، م 1.(مقدماتی )انتشارات دانشگاه صنعتي شريف.
ش محاسباتي )جلد اول( وه۱۳۸۱منهاج، محمدباقر،2.� مباني شبكه هاي عصبي، انتشارات دانشگاه
. (یشرفتهپ. )صنعتي اميركبير
و یا MATLAB استفاده از جعبه ابزار شبکه عصبی3. NeuralWareنرم افزار های حرفه ای ) یکی از
Professional II, Statistica Neural Networks, NeuroSolutions ,)
معرفی چند کتاب و نرم افزار برای ادامه کار
University of Tehran - http://www.ut.ac.ir61 شبکه های عصبی مصنوعی
::مراحل اجرا برای طبقه بندیمراحل اجرا برای طبقه بندی
University of Tehran - http://www.ut.ac.ir76 شبکه های عصبی مصنوعی
::مراحل اجرا برای رگرسیونمراحل اجرا برای رگرسیون
University of Tehran - http://www.ut.ac.ir95 شبکه های عصبی مصنوعی
استفاده از شبکه عصبی برای داده های جدیداستفاده از شبکه عصبی برای داده های جدید
University of Tehran - http://www.ut.ac.ir99 شبکه های عصبی مصنوعی
روش های دیگر در نرم افزارروش های دیگر در نرم افزار
University of Tehran - http://www.ut.ac.ir102 شبکه های عصبی مصنوعی
::پیش پردازش بروی دادهپیش پردازش بروی داده
تصادفی کردن داده هاتصادفی کردن داده ها .1 .1
داده ها را به دو یا سه دسته تقسیم کردنداده ها را به دو یا سه دسته تقسیم کردن .2 .2
تا یک قرار دادن تا یک قرار دادن00داده ها را بین داده ها را بین .3 .3
شبکه عصبیشبکه عصبی
University of Tehran - http://www.ut.ac.ir104 شبکه های عصبی مصنوعی
MATLABMATLABوارد کردن داده ها به نرم افزار وارد کردن داده ها به نرم افزار
شبکه عصبیشبکه عصبی
. وارد کردن داده های ورودی )آموزش (. وارد کردن داده های ورودی )آموزش (11
. وارد کردن داده های خروجی)آموزش (. وارد کردن داده های خروجی)آموزش (22
. وارد کردن داده های ورودی )آزمون(. وارد کردن داده های ورودی )آزمون(33
University of Tehran - http://www.ut.ac.ir125 شبکه های عصبی مصنوعی
MATLABMATLABوارد کردن داده ها به نرم افزار وارد کردن داده ها به نرم افزار
. وارد کردن داده های ورودی و خروجی )آموزش (. وارد کردن داده های ورودی و خروجی )آموزش (11
. وارد کردن داده های ورودی و خروجی)آزمون (. وارد کردن داده های ورودی و خروجی)آزمون (22
شبکه عصبی-فازیشبکه عصبی-فازی
University of Tehran - http://www.ut.ac.ir136 شبکه های عصبی مصنوعی
گرفتن داده از مدل عصبی-فازیگرفتن داده از مدل عصبی-فازی
. وارد کردن داده های ورودی )آزمون(. وارد کردن داده های ورودی )آزمون(11
شبکه عصبی-فازیشبکه عصبی-فازی
University of Tehran - http://www.ut.ac.ir140 شبکه های عصبی مصنوعی
معیارهای مختلف مقایسه مدل هامعیارهای مختلف مقایسه مدل ها
ارزیابی مدلارزیابی مدل