neural networks

University of Tehran - http://www.ut.ac.ir1

Neural Networks

University of Tehran - http://www.ut.ac.ir2 شبکه های عصبی مصنوعی

رئوس مطالبمقدمه1.کاربردهای شبکه عصبی2.مبانی نظری شبکه های 3.

عصبی مصنوعی


بخش اول:مقدمه


(ANNsشبکه های عصبی مصنوعی ) •(FLمنطق فازی )•(ECمحاسبات تکاملی )•(GAsالگوریتهای ژنتیک )• حرکت مورچگان•• …

ANNs

FL GAs

(AIهوش مصنوعی )

: شباهت این تکنیکها در سوالچیست؟


مصنوعی عصبی تعریف شبکه هم به اتصال پایه بر که است محاسبه کامپیوتری برای روشی.می شود ساخته پردازشی واحد چندین پیوسته گره( یا سلول نرون، یا) پردازشی واحد دلخواهی تعداد از شبکه

مجموعه که می شود تشکیل قرار می گیرندالیه )ها(که در .می دهند ربط مجموعه خروجی به را ورودی


انواع شبکه های عصبی مصنوعی

انواع شبکه های عصبی مصنوعی


بخش دوم:کاربردهای شبکه عصبی مصنوعی


ANNs ANNs کاربردهای عمومیکاربردهای عمومی

((گروه بندي اشكالي كه مشابه هم هستندتشخیص الگو )تشخیص الگو )ذخيره كردن و بازبيني داده ها

تقریب تابع )رگرسیون غیر خطی، تخمین و پیشگویی(

ن جواب با وجود قيود متعددیبهينه سازي و تعياستخراج دانش کالن ، قابل استناد و جديد از داده کاوی )

(پايگاه داده ها ي بزرگ

تخمین، تشخیص الگو یا به طور کلی هر جا که سخن از باشد می توان از شبکه های عصبی طبقه بندی

مصنوعی استفاده کرد.


database

data prospectingand surveying

selecteddata

select transformeddata

preprocess& transform

(normalization, PCA, pruning,…)

make model

Interpretation &rule formulation

تعريف مساله1.فرایند داده کاویساختن پايگاه داده مربوط انبارش داده ها2.

به داده كاوي جستجوي دادهانتخاب داده ها3. آماده ساختن داده براي مدل تبديل داده ها4.

سازي ساختن مدلکاوش در داده ها5.ارزيابي مدل6.نتايج ارائه ساخت مدل وتفسير نتيجه7.


ANNs کاربردهای مختلف

شناسایی تصویر /سیگنال بینایی ماشین

مدل کردن غیر خطیکنترل فرآیند ساخت

ارزیابی بکارگیری یک سیاستبهینه سازی محصول

تشخیص ماشین و فرآیندمدل کردن کنترل سیستمها

مدل کردن ساختارهای شیمیاییمدل کردن سیستمهای دینامیکی

تشخیص بیماریپردازش سیگنالهای تصویری

زمانبندی وسیله نقلیهسیستمهای مسیریابی

کالسه بندی نمودارهای مشتری/بازار

سیستمهای بازرسی کیفیت، پیش بینی کیفیت،

کالسه بندی انواع سلولها, میکروبها و نمونه ها،

پیش بینی فروشهای آیندهپیش بینی نیازهای محصول

پیش بینی وضعیت بازارپیش بینی شاخصهای اقتصادی

تعیین قیمت وضعیت فعلیپیش بینی ملزومات انرژی پیش

بینی هواپیش بینی محصول

مدیریت و برنامه ریزیکنترل سیستم فرایند شیمیایی و

دینامیکیکنترل مسیر در دستگاههای

خودکار, ربات, جرثقیلمدل کردن کنترل فرآیند


AerospaceHigh performance aircraft autopilots, flight path simulations, aircraft control systems, autopilot enhancements, aircraft component simulations, aircraft component fault detectors

AgricultureAgri-product classification, inspection, grading and sorting, soil and yield modeling, prediction and estimation, modeling, regression and non-linear curve-fitting, fault diagnoses and detection, …

AutomotiveAutomobile automatic guidance systems, warranty activity analyzers

BankingCheck and other document readers, credit application evaluators

DefenseWeapon steering, target tracking, object discrimination, facial recognition, new kinds of sensors, sonar, radar and image signal processing including data compression, feature extraction and noise suppression, signal/image identification

ANNs ANNs کاربردهای تخصصیکاربردهای تخصصی


ElectronicsElectronicsCode sequence prediction, integrated circuit chip layout, Code sequence prediction, integrated circuit chip layout, process control, chip failure analysis, machine vision, voice process control, chip failure analysis, machine vision, voice synthesis, nonlinear modelingsynthesis, nonlinear modeling

FinancialFinancialReal estate appraisal, loan advisor, mortgage screening, Real estate appraisal, loan advisor, mortgage screening, corporate bond rating, credit line use analysis, portfolio trading corporate bond rating, credit line use analysis, portfolio trading program, corporate financial analysis, currency price predictionprogram, corporate financial analysis, currency price prediction

ManufacturingManufacturingManufacturing process control, product design and analysis, Manufacturing process control, product design and analysis, process and machine diagnosis, real-time particle process and machine diagnosis, real-time particle identification, visual quality inspection systems, beer testing, identification, visual quality inspection systems, beer testing, welding quality analysis, paper quality prediction, computer welding quality analysis, paper quality prediction, computer chip quality analysis, analysis of grinding operations, chemical chip quality analysis, analysis of grinding operations, chemical product design analysis, machine maintenance analysis, product design analysis, machine maintenance analysis, project bidding, planning and management, dynamic modeling project bidding, planning and management, dynamic modeling of chemical process systemsof chemical process systems



MedicalMedicalBreast cancer cell analysis, EEG and ECG analysis, prosthesis design, Breast cancer cell analysis, EEG and ECG analysis, prosthesis design, optimization of transplant times, hospital expense reduction, hospital optimization of transplant times, hospital expense reduction, hospital quality improvement, emergency room test advisementquality improvement, emergency room test advisement

RoboticsRoboticsTrajectory control, forklift robot, manipulator controllers, vision Trajectory control, forklift robot, manipulator controllers, vision systemssystems

SpeechSpeechSpeech recognition, speech compression, vowel classification, text to Speech recognition, speech compression, vowel classification, text to speech synthesisspeech synthesis

SecuritiesSecuritiesMarket analysis, automatic bond rating, stock trading advisory Market analysis, automatic bond rating, stock trading advisory systemssystems

TelecommunicationsTelecommunicationsImage and data compression, automated information services, real-Image and data compression, automated information services, real-time translation of spoken language, customer payment processing time translation of spoken language, customer payment processing systemssystems

TransportationTransportationTruck brake diagnosis systems, vehicle scheduling, routing systemsTruck brake diagnosis systems, vehicle scheduling, routing systems



Bankruptcy prediction modeling with hybrid case-based reasoning and genetic algorithms approach Applied Soft Computing, Volume 9, Issue 2, March 2009, Pages 599-607

Bankruptcy prediction using support vector machine with optimal choice of kernel function parameters Expert Systems with Applications, Volume 28, Issue 4, May 2005, Pages 603-614Jae H. Min, Young-Chan Lee

A threshold-varying artificial neural network approach for classification and its application to bankruptcy prediction problem Computers & perations Research, Volume 32, Issue 10, October 2005, Pages 2561-2582

Hybrid neural network models for bankruptcy predictions Decision Support Systems, Volume 18, Issue 1, September 1996, Pages 63-72

A multivariate neuro-fuzzy system for foreign currency risk management decision making Neurocomputing, Volume 70, Issues 4-6, January 2007, Pages 942-951

چند کاربرد شبکه عصبی


چند کاربرد شبکه عصبی

Forecasting currency prices using a genetically evolved neural network architecture International Review of Financial Analysis, Volume 8, Issue 1, 1999, Pages 67-82

عص�بي ه�اي ش�بکه وس�يله ب�ه خ�دمات کيفيت س�نجش ه�اي روش ارزي�ابي مصنوعي

ميرغفوري سيدحبيب اله,طاهري دمنه محسن*,زارع احمدآبادي حبيب

ارزیابی یک مدل شبکه عصبی جهت پیش بینی قیمت نفتاصفهانیان و ناصری

پیش بینی نرخ ارز با مدل نروفازیایمان دوست


بخش سوم:مبانی شبکه های عصبی مصنوعی


تاریخچه تاریخچهANN has past through three phasesANN has past through three phases

1940’s – 1970’s1940’s – 1970’s, 1970’s – 1980’s, , 1970’s – 1980’s, 1980’s – Now1980’s – Now

Major contributorsMajor contributors

- - McCulloch & Walter PittsMcCulloch & Walter Pitts ((Mathematical modelMathematical model))

- Donald Hebb (Hebbian Rule)- Donald Hebb (Hebbian Rule)

- - Rosenblatt (Rosenblatt (PerceptronPerceptron))

- Widrow & Hoff (Delta rule)- Widrow & Hoff (Delta rule)

- Minsky & Papert- Minsky & Papert

- Kohonen- Kohonen

- Grossberg- Grossberg

- Hopfield- Hopfield

- - Rumelhart & McClelland (Rumelhart & McClelland (BackpropagationBackpropagation))


تاريخچهدر و پيتس خمك كالمطالعه برروي شبكه هاي عصبي توسط

آغاز شد. شبكه هاي تك اليه، با توابع فعال سازی 1943 سال بنيان گذاري شدند 1962 در سالروزنبالت آستانه اي، توسط

ناميده شدند. پرسپترون كه اين نوع شبكه ها، ، به صورت تجربي نشان داده شد كه 1960در دهه

ولیپرسپترون ها قابليت حل مسائل فراواني را دارند، وسط آنها قابل حل نبود. تبسياري از مسائل پيچيده

توسط 1966در سال يك اليه هایمحدوديت پرسپترون آنها به چاپ رسيد. نتايج كتاب پرسپترون در مينسكي و پپرت

مطالعه اين كتاب باعث شد كه شبكه هاي عصبي به مدت دو دهه كمتر مورد توجه قرار گيرند.

رملهات، هينتن و توسط انتشار-الگوريتم پس کشف با مطالعات جديد بر روي شبكه هاي 1986 در سالويليامز شد. اهميت ويژه اين الگوريتم اين بود مجددا شروع عصبي

كه شبكه هاي عصبي چند اليه توسط آن مي توانستند آموزش داده شوند.


طبیعت از الهام حد تا مصنوعی عصبی های شبکه مطالعه

یادگیر های سیستم از الهام گرفته زیادی پیچیده مجموعه یک آنها در که است طبیعی

یادگیری کار در متصل هم به نرونهای از.هستند دخیل

11 10 تعداد از انسان مغز که میرود گمان با نرون هر که باشد شده تشکیل نرون

.است ارتباط در دیگر نرون 104 تقریبا

ثانیه 3-10 حدود در نرونها سوئیچنگ سرعت ( 10- 10 کامپیوترها با مقایسه در که است وجود این با. مینماید ناچیز بسیار ) ثانیه

یک تصویر ثانیه 0.1 در است قادر آدمی قدرت این. نماید بازشناسائی را انسان

توزیع موازی پردازش از باید العاده فوق شده حاصل نرونها از زیادی تعدادی در شده.باشد


نرون بیولوژیکی


نرون مصنوعینرون مصنوعی

An artificial neuron

A physical neuronFrom experience: examples / training data

Strength of connection between the neurons is stored as a weight-value for the specific connection.

Learning the solution to a problem = changing the connection weights


مک کالخ-پیتس-مدل ریاضی یک نرون )1943)

مک کالخ-پیتس-مدل ریاضی یک نرون )1943)

Inputs Weights Summation Activation Output

b

w1

w2

wn

x1

x2

xn

+

w0

x0

f(y)

…

yO

…


توابع فعال سازیمتداول

y

f(y)sgn(y)

tanh(y)

1

-1


توابع فعال سازی سیکموئید

غیر بصورت را گیری تصمیم فضای بتوانیم اینکه برای را واحد سلول هر تا است الزم کنیم، جدا هم از خطی

از مثالی. نمائیم تعریف خطی غیر تابع یک بصورت:باشد سیگموئید واحد یک میتواند سلولی چنین

x1x1

x2x2

xnxn

X0=1X0=1

w0w0

w1w1

w2w2

wnwn

ΣΣ

O = f(net) O = f(net) = 1 / (1 + e = 1 / (1 + e –net–net))

netnetOO


نرون ه»ا ب»ه ص»ورت ط»بيعي ب»ه روش خاص»ي اتص»ال مي يابن»د ت»ا ه»ا مي ن»رون اتص»ال نح»وه را تش»کيل دهن»د ي»ک ش»بکه عص»بي

تواند به گونه اي باشد که شبکه تک اليه يا چند اليه باشد. از ي»ک الي»ه ورودي، ي»ک الي»ه خ»روجي و ي»ک ي»ا چن»د الي»ه شبکه ه»اي

چن»د الي»ه بين آنه»ا )الی»ه پنه»ان( ک»ه مس»تقيما ب»ه داده ه»اي ورودي و نتايج خروجي متصل نيستند تشکيل يافته اند.

واح»دهاي الي»ه ورودي ص»رفا وظيف»ه توزي»ع مق»ادير ورودي را ب»ه الي»ه بع»د برعه»ده دارن»د. و هيچ گون»ه ت»اثيري ب»ر روي س»يگنال ه»اي ب»ه ه»ا الي»ه تع»داد ش»مارش در دلي»ل همين ب»ه ندارن»د. ورودي ک»ه اس»ت الي»ه خ»روجي ي»ک ان»د. ش»بکه ش»امل نيام»ده حس»اب پاس»خ س»يگنال ه»اي ورودي را ارائ»ه مي ده»د. ک»ه تع»داد ن»رون ه»ا و ه»ا ورودي تع»داد ب»ا براب»ر خ»روجي الي»ه و ورودي الي»ه در خ»روجي ه»ا مي باش»د و الي»ه ي»ا الي»ه ه»اي پنه»ان وظيف»ه ارتب»اط دادن الي»ه ورودي ب»ه الي»ه خ»روجي را ب»ر عه»ده دارن»د. ش»بکه ب»ا داش»تن اين الي»ه ه»اي پنه»ان ق»ادر مي گ»ردد ک»ه رواب»ط غ»ير خطي

را از داده هاي ارائه شده به شبکه استخراج کند.

ساختار شبکه عصبی


MLPشبکه های عصبی چند الیه یا

x0=1

x1

x2

y0=1

y1

y2

y3

Input

Layer 1

Hidden

Layer 2

Output


آموزش، كار با هر شبکه عصبی شامل سه مرحله می باشد: . و اجرا تعمیم

، شبکه الگوهای موجود در داده هاي ورودي را یاد آموزشدر مرحله 1.می گیرد. هر شبکه عصبی برای یادگیری از قانون خاص استفاده

می کند. قدرت شبکه عصبی در ایجاد پاسخ های قابل قبول برای تعمیم،2.

اند. ورودی هایی است که عضو مجموعه آموزشی نبودهنیز شبکه عصبی برای عملکردی که به آن منظور اجرا در مرحله3.

طراحی گردیده است، استفاده می شود.

مراحل کار با شبکه اجراعصبی

آموزش

تعمیم

الگو های داده های

ورودی

پاسخ برای ورودی های

مجهول


شبكه هاي عصبي مصنوعي شبكه هاي عصبي مصنوعيیادگیری دریادگیری در

رس�يدن ب�ه ش�رايطي اس�ت ك�ه ش�بكه ق�ادر رس�يدن ب�ه ش�رايطي اس�ت ك�ه ش�بكه ق�ادر هدف از آم�وزش ش�بكه،هدف از آم�وزش ش�بكه،•)ب�ه )ب�ه ه�اي� ار�ائ�ه ش�ده� در� آ�م�وزش ش�بكهه�اي� ار�ائ�ه ش�ده� در� آ�م�وزش ش�بكه ب�ه پاس�خگويي� ص�حيح� ب�ه داد�هب�ه پاس�خگويي� ص�حيح� ب�ه داد�ه

ه�ا�ي مش�ابه �و م�تف�اوت از ور�ودي ه�ا�ي مش�ابه �و م�تف�اوت از ور�ودي � �خ�اطر س�پ�رد�ن�( و �ه�مچ�نين� دا�دهخ�اطر س�پ�رد�ن�( و �ه�مچ�نين� دا�دهه�ايي ك�ه از� �آنه�ا� ب�راي� آم�وزش� ش�بكه �اس�تفا�ده� ش�ده� اس�ت�)تع�ميم ه�ايي ك�ه از� �آنه�ا� ب�راي� آم�وزش� ش�بكه �اس�تفا�ده� ش�ده� اس�ت�)تع�ميم

د�ادن(،ب�اشد. �د�ادن(،ب�اشد. �

ش�ده ب�ر محاس�بات ش�ده ب�ر محاس�بات هاي عص�بي آم�وزش دادههاي عص�بي آم�وزش داده برت�ري عم�دة ش�بكه برت�ري عم�دة ش�بكه•ش ك�م�تر و در زم�ان ش ك�م�تر و در زم�ان كالس�يك اين ا�س�ت ك�ه نت�ا�يج �م�ورد� ني�از� ب�ا تال� كالس�يك اين ا�س�ت ك�ه نت�ا�يج �م�ورد� ني�از� ب�ا تال�كم��تري ق�اب��ل حص��ول ا�س��ت.در� نتيج��ه �اين �مزاي��ا� خصوص��ا� ب��راي كم��تري ق�اب��ل حص��ول ا�س��ت.در� نتيج��ه �اين �مزاي��ا� خصوص��ا� ب��راي مس�ائ�لي ك�ه مس�تل�زم محا�س�بات� ط�والن�ي هس�تن�د بس�يار مفي�د و مس�ائ�لي ك�ه مس�تل�زم محا�س�بات� ط�والن�ي هس�تن�د بس�يار مفي�د و

موثر� واقع� گردد.موثر� واقع� گردد.

دو نوع آموزش شبكه به شكل زير است: دو نوع آموزش شبكه به شكل زير است: •آموزش با معلم آموزش با معلم �� الفالف آموزش بدون معلمآموزش بدون معلم �� بب


آموزش شبكه هاي عصبي مصنوعيآموزش شبكه هاي عصبي مصنوعي

الف - آموزش با معلمالف - آموزش با معلمآموزش اكثر شبكه هاي عصبي با استفاده از زوج بردارهاي نمونه صورت آموزش اكثر شبكه هاي عصبي با استفاده از زوج بردارهاي نمونه صورت

مي گيرد به طوري كه به هر بردار ورودي يك بردار خروجي مشخص نسبت مي گيرد به طوري كه به هر بردار ورودي يك بردار خروجي مشخص نسبت داده مي شود.با ارائة اين مجموعه بردارها به شبكه،وزنها بر اساس الگوريتم داده مي شود.با ارائة اين مجموعه بردارها به شبكه،وزنها بر اساس الگوريتم . .يادگيري شبكه اصالح مي گردند.اينگونه آموزش را آموزش با معلم مي نامنديادگيري شبكه اصالح مي گردند.اينگونه آموزش را آموزش با معلم مي نامند

و پس و پس ( ( RBFRBF، تابع پایه شعاعی )، تابع پایه شعاعی )شبکه های دلتا، آداالین ، ماداالینشبکه های دلتا، آداالین ، ماداالین ((BPBP ) )انتشارانتشار

ب-آموزش بدون معلمب-آموزش بدون معلمدر اين نوع آموزش،بردارهاي ورودي به شبكه ارائه گرديده بدون اينكه در اين نوع آموزش،بردارهاي ورودي به شبكه ارائه گرديده بدون اينكه

بردارهاي خروجي مربوط به شبكه داده شوند،وزنهاي شبكه بصورتي اصالح بردارهاي خروجي مربوط به شبكه داده شوند،وزنهاي شبكه بصورتي اصالح پاسخ پاسخ مي شوند كه بردارهاي ورودي مشابه در يك گروه بندي قرار گيرند.مي شوند كه بردارهاي ورودي مشابه در يك گروه بندي قرار گيرند.

شبكه بر اساس نزديكترين بردار به بردار ورودي خواهد بود. شبكه بر اساس نزديكترين بردار به بردار ورودي خواهد بود.

های به های به یادگیری بدون ناظر را خود یادگیری هم میگویند. از شبکهیادگیری بدون ناظر را خود یادگیری هم میگویند. از شبکههای هب، های هب، کارگیرنده الگوریتم بدون ناظر میتوان به شبکهکارگیرنده الگوریتم بدون ناظر میتوان به شبکه

کوهونن و هاپفیلد اشاره کرد.کوهونن و هاپفیلد اشاره کرد.


معلمدون ب - یادگیری با معلمیادگیری

کدام روش یادگیری مناسب است؟ سوال:

این بلوکها را دردو کالس )گروه( قرار

A.دهید

BA

B A

B


با معلم با معلمیادگیرییادگیری

A

BA

BA

B

Class

Class

Class

Class

Class

Class

B اين جعبه به کدام کالس تعلق دارد؟

: طبقات کالس به عنوان اطالعاتتوجه تکمیلی داده شده است.


... دو جواب ممکن

A

B A

B

A

B A

B

A

B

A

B

.هیچگونه هدایتی برای اینکه کدام را انتخاب کنیم نشده است ...

معلم معلمدوندون ب بیادگیرییادگیری


الگوريتم هاي يادگيري

مي باش»د. ب»ر تنظيم وزن ه�ا و باي�اس ه�اي ش�بكه، ANNمنظ»ور از ي»ادگيري در :اين اساس الگوريتم هاي متفاوتي بيان شده، كه معمول ترين آنها عبارتند از

در اين روش وزن مرب»وط ب»ه ورودي ي»ك ن»رون، زم»اني اف»زايش : يادگيري هب1.مي ياب»د ك»ه س»يگنال ورودي و خ»روجي ه»ر دو ب»اال باش»ند ک»ه در واق»ع منظ»ور تق»ويت

كردن آن ورودي است.

· مي»انگين مرب»ع خط»ا ): ق�انون ي�ادگيري دلت�ا 2. ( ن»يز LMSاين الگ»وريتم ك»ه بعض»انامي»ده مي ش»ود وق»تي اس»تفاده مي گ»ردد ك»ه س»يگنال خط»ا مي»نيمم ش»ود ك»ه ب»ه واق»ع اختالف بين خ»روجي واقعي ش»بكه و خ»روجي م»ورد انتظ»ار )مطل»وب( مي»نيمم باش»د. در اين روش س»يگنال خط»ا جهت اص»الح وزن ه»ا و باياس ه»اي ن»رون ه»ا ب»ه عقب منتش»ر مي ش»ود. الگ»وريتم پس انتش»ار خط»ا معم»ول ت»رين روش پي»اده س»ازي از

از كاربرده»اي ش»بكه ه»اي عص»بي % 75ق»انون ي»ادگيري دلت»ا اس»ت ك»ه دس»ت كم در مصنوعي استفاده مي گردد.

ر اين روش عناص»ر پردازش»ي جهت اص»الح وزن ه»ا و باي»اس : دي�ادگيري رق�ابتي 3.مي كنند. هاي خودشان با هم رقابت


(Gradient Descentالگوریتم نزول گرایان )

خطا سطح E تعریف نحوه به توجه با بدنبال ما. بود خواهد سهمی یک بصورت

داشته را خطا حداقل که هستیم وزنهائیباشند.

بدنبال وزنها فضای در GD الگوریتم کند. حداقل را خطا که میگردد برداری

برای دلبخواه مقدار یک از الگوریتم این مرحله هر در و کرده شروع وزن بردار جهت در که میدهد تغییر طوری را وزنها داده کاهش خطا فوق منحنی کاهشی شیب.شود

w1w1

w2w2

E(E(WW))

E = ½Σi )Ti – Oi(2


BP الگوریتمخاتمه شرط

استفاده با بار هزاران خاتمه از پیش BP الگوریتم معموال را مختلفی شروط میگردد تکرار آموزشی های داده همان

:برد بکار الگوریتم خاتمه برای میتوانمعین دفعات به تکرار از بعد توقف.شود کمتر شده تعیین مقدار یک از خطا که وقتی توقف از اعتبار سنجی مجموعه مثالهای در خطا که وقتی توقف.نماید پیروی خاصی قاعده

و داشت خواهیم خطا باشد کم تکرار دفعات اگر.داد خواهد رخ Overfitting مسئله باشد زیاد اگر


epochepoch

Err

orE

rror Validation set errorValidation set error

Training set errorTraining set error

overfitting و تعمیم قدرتالگوریتم خاتمه شرط BP چیست؟خطا تا دهیم ادامه آنقدر را الگوریتم که است این انتخاب یک

به منجر میتواند امر این. شود کمتر معینی مقدار ازoverfitting شود.

overfitting مثالهای گرفتن نظر در برای وزنها تنظیم از ناشی نداشته مطابقت ها داده کلی توزیع با است ممکن که است نادری شبکه تا میشود باعث عصبی شبکه یک وزنهای زیاد تعداد. باشند.باشد داشته مثالها این با انطباق برای زیادی آزادی درجه

توسط شده یادگرفته فرضیه فضای پیچیدگی تکرار، تعداد افزایش با نادر مثالهای و نویز بتواند شبکه تا میشود بیشتر و بیشتر الگوریتم

.نماید ارزیابی بدرستی را آموزش مجموعه در موجود


MLPFeed Forward- Back

propagation


Inputs

Output

جلو سمت به انتشار

عقب سمت به انتشار

University of Tehran - http://www.ut.ac.ir 40

در واق»ع ای»ده اص»لي ش»بکه عص»بی تب»ديل پ»ذير ب»ودن پارامتره»اي در واق»ع ای»ده اص»لي ش»بکه عص»بی تب»ديل پ»ذير ب»ودن پارامتره»اي ب»وده ک»ه ب»وده ک»ه ((باي�اس و وزن ه�اي ارتب�اطي بين ن�رون ه�اباي�اس و وزن ه�اي ارتب�اطي بين ن�رون ه�ا) ) آن آن

اين پارامتره»ا مي توانن»د ط»وري تنظيم ش»وند ک»ه انتظ»ار م»ورد اين پارامتره»ا مي توانن»د ط»وري تنظيم ش»وند ک»ه انتظ»ار م»ورد نظ»ر را ت»امين کنن»د. بن»ابراين ب»ا اس»تفاده از آم»وزش ش»بکه مي نظ»ر را ت»امين کنن»د. بن»ابراين ب»ا اس»تفاده از آم»وزش ش»بکه مي ت»وانيم اين پارامتره»ا را ب»راي انج»ام ک»ار م»ورد نظ»ر خ»ود تع»ديل ت»وانيم اين پارامتره»ا را ب»راي انج»ام ک»ار م»ورد نظ»ر خ»ود تع»ديل

کنيمکنيم

شبکه عصبی

ورودی ها خروجی هامقایسه

مقدار واقعی

شبکه عصبی چگونه کار میکند؟

(1387(، )کیا،1387)منهاج،


مثال پرسپترون

x w1

x w2

+ >8?

inputs weights

outputthreshold


P2P2 است که باید پرسپترون یاد بگیرد: است که باید پرسپترون یاد بگیرد: الگویی الگویی

باشد باشد11 با ید با ید خروجیخروجی هستند، هستند، 11 ورودی ورودی یعنی، اگر هر دو یعنی، اگر هر دو

x 2

x 3

+ >8?inputs

weights

outputthreshold

x1x1x2x2TTمثال

001100

111111

………………

P1 =P2 =Pn =


x 2

x 3

+ >8?

inputs weights

outputthreshold

1

1

مثال آموزشی (1و1)


x 2

x 3

+ >8?

inputs weights

outputthreshold

1

1

2

3



1

1

x 2

x 3

+ >8?

inputs weights

outputthreshold2

3

5



1

1

x 2

x 3

+ >8?

inputs weights

outputthreshold2

3

50



x 2

x 3

+ >8?

inputs weights

outputthreshold

1

1

2

3

50


x1x1x2x2TT

001100

111111

………………

P2 =


x 2

x 3

+ >8?

inputs weights

outputthresholdMust increase weights!

1

1

2

3

50


wi = wi + η)T – O( xiη)T – O( xi


يك مدل شبكه عصبي به طراحيمراحل :منظور طبقه بندي يا پيش بيني )تخمين(

خروجي و- شناخت متغييرهاي ورودي1- تبديل مقادير ورودي و خروجي به دامنه صفر تا يك2مناسب براي شبكه )توپولوژی( - انتخاب هندسه 3

عصبي- آموزش با داده هاي آموزشي معرف4- آزمون شبكه با داده هايي مستقل از مجموعه 5

آموزشي و در صورت لزوم ادامه آموزش و تنظيم شبكه و پارامترهاي توپولوژیمثال هاي آموزشي،

آن.


Data set

Training Set

Testing Set

Initial Neural Net

Training

Trained Neural Net

Testing

Trained Net with

Performance Measurement


شبکه های یمزایا عصبی

شبکه های عصبی رهیافتی : توانایی حل طیف وسیعی از مسائلبسیار عمومی برای حل مسائلی از قبیل پیش بینی،طبقه بندی و

خوشه بندی است و این ماهیت عام مسبب شهرت و مقبولیت آن است.

در :توانایی ایجاد جواب های مناسب در مسائل بسیار پیچیدهمقایسه با رهیافت های آمار استاندارد و درخت تصمیم گیری،شبکه

های عصبی قدرتمندترند و در بسیاری از صنایع کاربرد دارند.

: قابلیت کاربرد بر روی هر دو نوع متغیر پیوسته و رسته ایشبکه های عصبی می توانند از هر دو متغیر پیوسته و رسته ای در

ورودی ها و خروجی ها استفاده نمایند. داده های رسته ای به دو روش مختلف به کار می روند، هم به صورت استفاده از یک گره )سلول( که

[ باشد و 0،1هر ورودی رسته ای داده شده زیر مجموعه ای از دامنه ]هم به صورت سلول های مجزا برای هر دسته. داده های پیوسته نیز به

سادگی به دامنه مورد نظر تبدیل می شوند.

به دلیل جامعیت :در دسترس بودن بسته های نرم افزاریشبکه های عصبی و مناسب بودن جواب های آن ها، نرم افزارهای

قدرتمند و مورد نظر کاربر در این زمینه به وجود آمده است.


معایب شبکه های عصبی

تغییر مقیاس داده ها نیازمند :نیاز به ورودی ها در دامنه صفر و یکانجام تبدیل های اضافی بر روی ورودی هاست. ابزارهای مناسب، امکان

داده های خودکارمشاهده هیستوگرام توزیع مقادبر رسته ای و تبدیل عددی به دامنه مطلوب را فراهم می نمایند. البته پردازش اولیه داده ها

یک مزیت نیز دارد و آن اینکه این فرایند به تعیین صحت و سقم داده های ده داآموزش کمک می کند. از آنجا که کیفیت، مهمترین مسئله در پردازش

است، لذا این مطالعه اضافی داده ها می تواند مانع بروز مشکالت بعدی گردد.

شبکه های عصبی ابزار های : عدم ارائه توضیح در مورد پاسخ هامناسب برای مسائلی است که در آنها جواب ها مهمتر از درک روابط علت و معلولی است. با اینکه شبکه های عصبی قادر به ارائه قوانین

صریح نیستند، اما آنالیز حساسیت می تواند توضیح دهد که کدام ورودی ها مهمتر از بقیه هستند. در بسیاری از موارد، دانستن اهمیت نسبی هر متغیر

به خوبی داشتن قوانین صریح است.

· شبکه های :امکان ارائه یک جواب زودرس و نامناسب معموالعصبی برای هر مجموعه از داده های آموزشی، به جواب همگرا می شود. متاسفانه هیچ تضمینی وجود ندارد که جواب ارائه شده، بهترین مدل داده

ها باشد. برای رفع این مشکل باید بوسیله داده های موجود، مناسب بودن را سنجید و سپس آن را بر روی داده های جدید به بدست آمدهمدل

کاربرد.


آشنايي با شبكه هاي عصبي، ۱۳۸۲البرزي، م 1.(مقدماتی )انتشارات دانشگاه صنعتي شريف.

ش محاسباتي )جلد اول( وه۱۳۸۱منهاج، محمدباقر،2.� مباني شبكه هاي عصبي، انتشارات دانشگاه

. (یشرفتهپ. )صنعتي اميركبير

و یا MATLAB استفاده از جعبه ابزار شبکه عصبی3. NeuralWareنرم افزار های حرفه ای ) یکی از

Professional II, Statistica Neural Networks, NeuroSolutions ,)

معرفی چند کتاب و نرم افزار برای ادامه کار


Software

MATLAB NeuroSolutions


NeuroSolutions

:مراحل نصب


:مراحل نصب

NeuroSolutions


:مراحل اجرا

NeuroSolutions


::مراحل اجرا برای طبقه بندیمراحل اجرا برای طبقه بندی


::مراحل اجرا برای رگرسیونمراحل اجرا برای رگرسیون


آنالیز حساسیتآنالیز حساسیت


استفاده از شبکه عصبی برای داده های جدیداستفاده از شبکه عصبی برای داده های جدید


روش های دیگر در نرم افزارروش های دیگر در نرم افزار


::پیش پردازش بروی دادهپیش پردازش بروی داده

تصادفی کردن داده هاتصادفی کردن داده ها .1 .1

داده ها را به دو یا سه دسته تقسیم کردنداده ها را به دو یا سه دسته تقسیم کردن .2 .2

تا یک قرار دادن تا یک قرار دادن00داده ها را بین داده ها را بین .3 .3

شبکه عصبیشبکه عصبی


MATLABMATLABوارد کردن داده ها به نرم افزار وارد کردن داده ها به نرم افزار

شبکه عصبیشبکه عصبی

. وارد کردن داده های ورودی )آموزش (. وارد کردن داده های ورودی )آموزش (11

. وارد کردن داده های خروجی)آموزش (. وارد کردن داده های خروجی)آموزش (22

. وارد کردن داده های ورودی )آزمون(. وارد کردن داده های ورودی )آزمون(33


شبکه عصبی-فازیشبکه عصبی-فازی


MATLABMATLABوارد کردن داده ها به نرم افزار وارد کردن داده ها به نرم افزار

. وارد کردن داده های ورودی و خروجی )آموزش (. وارد کردن داده های ورودی و خروجی )آموزش (11

. وارد کردن داده های ورودی و خروجی)آزمون (. وارد کردن داده های ورودی و خروجی)آزمون (22



گرفتن داده از مدل عصبی-فازیگرفتن داده از مدل عصبی-فازی

. وارد کردن داده های ورودی )آزمون(. وارد کردن داده های ورودی )آزمون(11



معیارهای مختلف مقایسه مدل هامعیارهای مختلف مقایسه مدل ها

ارزیابی مدلارزیابی مدل


C:\Program Files\NeuroSolutions 5\Excel\Demos

neural networks

Documents