Fakultet prirodoslovno-

Studij Informatike

paketa Rapid Minera

Diplomski rad

Mostar, 2014.

1

Fakultet prirodoslovno-

Studij Informatike

paketa Rapid Minera

Diplomski rad

Mentor: prof.

Mostar, srpanj, 2014.

2

PODACI O DIPLOMSKOM RADU

I. AUTORICA

STUDIJ: Informatika

II. DIPLOMSKI RAD

TEMA:

BROJ STRANICA: 57

MENTOR:prof.

Datum predaje diplomskog rada: __________________________________

Datum odbrane diplomskog rada: _________________________________

1.__________________________________

2.__________________________________

3.__________________________________

______________

1._________________________________

2._________________________________

3._________________________________

3

ZAHVALA

Zahvaljujem se svoji

svoj san i bili mi potpora tijekom cijelog mog

4

....................................................................................................................... 6

UVOD ............................................................................................................................... 7

1. TEORIJA UMJETNE INTELIGENCIJE ............................................................ 8

1.1. Pojam i definicije umjetne inteligencije ............................................................. 8

1.2. Povijesni razvoj umjetne inteligencije ............................................................. 10

1.3. ......................................................................... 12

1.3.1. ....................................................................... 12

1.3.2. ............................................................................... 12

1.3.3. Ekspertni sustavi ....................................................................................... 12

1.3.4. Inteligentni agenti ..................................................................................... 13

1.3.5. Robotika .................................................................................................... 14

1.3.6. vid ............................................................................................ 14

1.3.7. ................................................... 14

1.3.8. .......................................................................................... 14

2. ................................................................... 16

2.1. ................................................................ 16

2.2. .................................................................. 17

2.3. ................................................................ 19

2.4. .................................................................................... 20

2.4.1. ......................................................................... 20

2.4.2. ......................................................................... 22

2.5. ........................................................... 27

2.6. ................................................................................ 28

5

3. ......................................................... 32

3.1. ................................................................................... 33

3.2. ....................................................... 35

3.3. Backpropagation algoritam .............................................................................. 37

4. ..................................................................... 38

4.1. ................................................................ 38

4.2. Program ............................................................................................................ 38

4.3. Opis tijeka projekta .......................................................................................... 38

4.3.1. Pripremanje podataka .............................................................................. 39

4.3.2. Importiranje podataka .............................................................................. 40

4.3.3. ................................................................. 45

4.3.4. Analiza rezultata ....................................................................................... 49

4.3.4.1. Performance Vector .............................................................................. 49

4.3.4.2. Example Set Role ................................................................................... 52

4.3.4.3. Improved Neural Net ............................................................................. 53

4.3.5. ................................................................................... 54

4.3.5.1. .................................................................................... 54

4.3.5.2. ........................................................ 55

............................................................................................................... 56

LITERATURA .............................................................................................................. 57

6

Korjeni

agenata i ostal

Kod nadgledanog

algoritam.

1/3, i

,

7

UVOD

inteligencije i svakodnevnog pomicanja granica. U okviru umjetne inteligencije pojavio

se p

u definiciju

navedene metode, a neke od najpoznatijih definicija navode se u daljnjem radu. Sve

nostavnih procesora koji imaju lokalne memorije u kojima pamte

8

1. TEORIJA UMJETNE INTELIGENCIJE

1.1. Pojam i definicije umjetne inteligencije

Umjetna inteligencija

inteligencije [1]:

Umjetna inteligencij

-razumijevanju jezika,

Umjetna i

Umjetna inteligencija je znanost o izradi strojeva koji postaju inteligentni kao

ljudi.

Umjetna inteligencija je

9

ava pojam umjetne inteligencije

karakteristike vezane sa ljudskom inteligencijom.

Is

nja

gr jihov rad bio je usmjeren na probleme koji

Zbog toga je Geuarter svojom definicijom umjetne inteligencije dao jedan novi

[1]

kojima je ovisno od autora

Margaret Boden u svojoj knjizi Umjetna inteligencija i p :

inteligenciju da ih rade

ljudi.

razvoja spoznajne znanosti:

10

teorija o prirodnoj inteligenciji treba imati istu osnovnu formu kao teorija koja

umjetne inteligencije koju ona

inteligencija, s tim da postoji interes znanstvenika za otva

mehanizmima ljudske inteligencije.

1.2. Povijesni razvoj umjetne inteligencije

umjesto nas ljudi.

Umjetna inteligencija ima temelje u nekoliko znanstvenih disciplina; psihologiji,

utjecalo na njen razvoj.

posebno isticao Aristotel (384.-

odnosi na druge stvari za koje se zna da

on Stoga se McCarthy

11

smatra i ocem umjetne inteligencije, a definirao ju je kao znanstvenu disciplinu koja se

1936. godine Englez Alan Turing i Amerikanac Post neovisno jedan o drugome

Turingov test

govoriti o inteligentnim strojevima.

Pitt

-neurona. Osim toga,

Prvim programom umjetne inteligencije se smatra Logic Theorist (1956. Allen

Newell i Herbert Simon) koji je pokazao sposobnost otkrivanja dokaza geometrijskih

teorema. 1958. zaslugom McCarthy-a pojavljuje se programski jezik LISP koji postaje

osnovnim jezikom programiranja umjetne inteligencije.

D.W. Paterson 1990. godine:

jezik te mog

12

1.3.

1.3.1.

za popularnu igru

-1 pobjedilo Garija

k od 1985. do

1.3.2.

koja se

psihologije, umjetne inteligencije i logike.

1.3.3. Ekspertni sustavi

Ekspertni sustavi su

znanosti. Razvijeni su 60-ih i 70-

komercijalizirani su kroz 80-e godine.

analiziraju

informacije koje se dobivaju od korisnika

13

Ekspertni sustavi su inteligentni programi na koji koriste znanja i

znatnu ljudsku

. [8].

Ekspertni sustavi su sustavi koji op [8]

1.3.4. Inteligentni agenti

Inteligentni agenti su softveri koji imaju sposobnost da fleksibilno, samostalno i bez

postavljeni zadatak.

a

korisnika, s ciljem obrade in

postavljenih upita. Temelje se na umejtnoj inteligenciji, raspodjeljenom programiranju,

Internet tehnologiji i mobilnoj komunikaciji, a karakteristike koje predstavljaju svakog

inteligentnog agenta su:

radi za svog korisnika

radi s njegovom dozvolom

http://hr.wikipedia.org/wiki/Ra%C4%8Dunalohttp://hr.wikipedia.org/wiki/%C4%8Covjek

14

1.3.5. Robotika

proizvodnja, primjena. Srodna je sa elektronikom i mehanikom.

-

1.3.6.

dvodimenzionalnih i/ili trodimenzionalnih predmeta (npr. ljudskog lica). Bez razvijenog

potencijalno

1.3.7.

OCR, eng. Opitcal Character Recognition

skenera, u editabilni tekst, ili prevodi sliku sa znakovima u standardnu kodnu shemu

1.3.8.

. Postale su jedan od napopularnijih oblika zabave u svijetu. Svakodnevno se

15

16

2.

2.1.

su re

podataka i napraviti model za te podatke.

Ne postoji jedinstv

tavlja vlastitu definiciju

definicijom [1]:

jednostavnih procesora (jedinica,

Te jedinice su povezane komunikacijskim kanalima (vezama), a podaci koji se

Kevin Gurney

pos

klasifikacije robleme kod kojih postoji odnos

izme u prediktivnih (ulaznih) i zavisnih (izlaznih) varijabli, bez obzira na visoku

17

e u njihovoj

Z

ne

predikcije, a ne i pravilo po kojem je to ostvareno.

2.2. Povijesni razvoj

- iz

1943. godine.

Minskija i Deana Edmondsa koji su 50- konstruirali

.

koeficijente.

Na konferenciji Dartmouth Summer Research Project on Artifical Intelligence, koja

- kao jedna od grana umjetne inteligencije,

profiliralo se neuronsko

se pojavljuje kao odgovor Von

Neumann- ostvariti paralelnu obradu informacija

Na razvoj

neuronsk utjecao je velik broj

18

1943 - McCullock i Pitts

osti.

1949 Donald Hebb

-ovo pravilo). Pravilo je

neuronima.

neurona.

1956 - Dartmouth Summer Conference na kojoj su Rochester i skupina autora

predstavili prvu simulaciju Hebb-ovog modela

1958 Frank

.

unalo

1960

ADAptive Linear Neuron)

1969

1974 - -

1986 -

19

- otada do danas

pravila

2.3.

Paralelno raspodijeljena obrada informacija.

h

posebna informacija (podatak) spremljena u svoj vlastiti memorijski prostor.

redudantnost

sposobnima obr

bili u

Univerzalni apoksimator.

nelinearnim procesima.

i sustavi.

20

Sklopovska implementacija.

za imp

obradu u stvarnom vremenu.

elinearne aktivacijske funkcije.

pojedinog sloja

lokalni procesor koji radi

paralelno s ostalim neuronima.

Neuron

zahtjevi rastu s kvadratom broja neurona.

2.4.

nanosti ispitivane su sa dva ra

bno razlikuju.

obradu informacija.

2.4.1.

21

djelovanja. Sastoji se od oko 1011

15 .

Slika 1.: Mozak- [13]

koja prima i ob

drugih neurona i/ili osjetnih organa Njegovi

sinapse

Na

(B) (C)

oji

(A)

22

poveznica preko koje se impulsi prenose iz jednog u drugi neuron.

Slika 2.: [14]

2.4.2.

su

23

s tim da se radi o umjetnim tvorevinama. Dizajnirane

fu

cija, sastavljena od

e na

ivota. U stanju su da prepoznaju smisao u kompliciranim ili nepotpunim

podacima, da prepoznaju obrasce koji su neprepoznatljivi ljudima zbog 9 svoje

slo terskih tehnika.

Slika 3.: Model umjetnog neurona [1]

Umjetni neuron (Slika 3.) dobio je naziv po svojim autorima McCulloch Pittsov

neuron. N

dendrita preuzimaju ulazi (ulazne varijable) u sumu, izlaz (izlazna varijabla) sume je

tzv. aktivacijske funkcije. Veza umjetnog neurona s okolinom ostvaruje se po modu

funkcijs

izlaze (izlazne varijable) iz okoline neurona tj. izlaze drugih neurona (aksone) s ulazima

24

sume (dendriti). Intenzitet te veze ovisi o iznosu (modulu), a vrsta veze o predznaku

Tablica 1.:

Dendriti

Akson

Sinapsa

Izlazi iz

dobiveni produkti sumiraju, a njihova suma se odvodi na ulaz aktivacijske funkcije,

z neurona.

Aktivacijske funkcije dijele se na linearne i nelinearne.

Linearne aktivacijske funkcije

Nelinearne aktivacijske funkcije

a praga

25

Ukoliko neuron nije aktivan, onda je na izlazu neurona 0.

Signali u umjetnom neuronu su

koeficijentima zatim se sumiraju, a ako je dobiveni iznos iznad definirana praga, neuron

daje izlazni signal.

Slika 5. Izlaz iz neurona

-

Slika 6. Sigmoidalna funkcija [15]

26

sloju. Prvi sloj se naziva ulazni,

posljednji se naziva izlazni, a ostali su skriveni slojevi.

Slika 4.: [1]

prethodnoj slici (Slika 4.), od kojih je jedan skriveni. Prvi sloj (ulazni) je jedini sloj koji

prima signale iz

informacije te izdvajaju osobine i sheme primljenih signala. Oni podaci (informacije)

koje se smatraju procesuiraju se do izlaznog sloja kao pos

(izlazni) sloju dobivamo rezultate obrade. Postojanje v

petlji i elemenata za jesu

dizajnirane tako s

osobine ili sheme sa ulaznog nivoa.

27

2.5.

.) je prikazan dijagram zavisnosti mo

potpuno

objasni

podataka

pohranj

ste samo kada je bitan rezultat klasifikacije,

Slika 7. Dijagram zavisnos

:

programirani

28

ipak dati izlaz)

metode

ili nerazumljiv)

:

ja

skupe su za proizvesti

2.6.

1. Broju slojeva

ih i izlaznih slojeva

neurone na srednjim (skrivenim) slojevima.

29

2.

se mogu podijeliti prema vrstama veza tj. arhitekturi na:

slojevite -

jednog neurona se dovode izlazi svih neurona sa prethodnog sloja, a

njegov izlaz se vodi na ulaze svih neurona na narednom sloju. Neuroni sa

prvog (ulaznog) sloja imaju samo po jedan ulaz. Izlazi neurona sa

backpropagation algoritam.

potpuno povezane - Izlaz jednog neurona se vodi ka ulazu svih neurona

celularne - vezani samo susjedni neuroni. Bez obzira

na lokalnu povezanost, signali se prostiru i na neurone i van susjedstva

zbog indirektnog prostiranja informacija.

3.

4. Prema smjeru prostiranja informacija

Mogu se

Feed-forward (ne rekurzivne, ne rekurentne ili nepovratne) -

om

smjeru (od ulaza prema izlazu) odnosno propagaciju signala. Predstavnici:

-

:

30

Slika 8. Feed

Feedback (rekurzivne ili rekurentne ili povratne) Slika 9.

ili u isti sloj. Predstavnici: Hopfildove, Celularne NM, Kohonenove NM,

dvostrukoasocijativne NM. Feed - back

sposobnosti od Feed -

Slika 9. Feed

31

5. Prema vrsti podataka

Ova

podjela se rijetko koristi

32

3.

bi se dobili ulazni podaci.

izlaznim podacima

Podatke dijelimo na dvije vrste:

i testiranje nema nekog posebnog pravila,

kih koeficijenata koji opisuju jakost sinapse signala na

ulazni sloj. u

. Dobiveni iznosi se sumiraju; ako je dobiveni iznos iznad

definiranog praga neuron daje izlazni signal. M

(onaj koji treba da se dobije) izlazni oblik.

koji je najb

m

predsavlja izlaz iz

33

Slika 10. [1]

u1..n ulazni podaci

w1..n koeficijenti

( ) aktivacijska funkcija

i izlazni podatak

nenad

3.1.

koeficijente.

-propagation i

perceptron algoritam.

di po jedan signal. Zatim ovi

34

vremena na izlazu poj ?

dnom

cija i dobivaju se izlazne vrijednosti. Sl

dobiv

zadati test primj

i, daljnja obuka nije potrebna

primjenom delta pravila [1],

D pWij = hdLpiOLpi

gdje su:

DpWij - ij u odnosu na zadati

ulazno-izlazni par p

h -

dLpi -tom neuronu u sloju L za ulazno-izlazni par p

OLpi vrijednost dobivena primjenom prijenosne funkcije u L-tom sloju neurona:

OLpi = 1 / (1 + e-Ulaz

Lpi)

Ideja cijelog back-

35

Ako se uzme prevelika vrijednost, vrlo lako se izbjegavaju lokalni minimumi, ali

ostati u stanju koje nije optimalno. Situacija je prikazana na Slika 11. [1]:

Slika 11 [1]

dozvoljenog praga. Ako jeste,

za

3.2.

36

onenov algoritam.

neuronom u izlaznom sloju, a neuroni u izlaznom sloju su organizirani u

dvodimenzionalnu matricu.

ulazne podatke, odnosno izdvojiti ih u klase ovisno o tome koliko neurona je aktivno.

Slika 12. a

mehaniza

37

3.3. Backpropagation algoritam

Zbog toga i naziv backpropagation algoritam.

Backpropagation

vanom i

strane Rumelhart a, Hinton a i Williams

uje

oja

enja lokalnog umjesto

ivanje

a.

Slika 13. Backpropagation algoritam

38

4. PRIMJER NEURONS

Inspiracija za ovim projektom javila se zbog

promijeniti na bolje, iz dana u dan izgleda kao da samo nazaduje.

4.1.

nii

neuronsk e.

4.2. Program

Program je preuzet sa

web stranice http://rapidminer.com/.

Slika 14. RapidMiner 5

4.3. Opis tijeka projekta

http://rapidminer.com/

39

4.3.1. Pripremanje podataka

U kompleksim

U ovom projektu podaci nisu prethodno nigdje spremljeni, nego su prikupljani kroz

Nakon prikupljanja

koristiti u RapidMineru.

Priku

visina prihoda obitelji

hrana

da li su prihodi obitelji dovoljni

predlagali

nazvan Podaci.

40

Slika 15. Prikaz podataka u Microsoft Excel-u

4.3.2. Importiranje podataka

Prikupljene podatke sada je potrebno importirati u program, a postupak je prikazan

(Sika 16. - Slika 21.).

importirati.

41

Slika 16. Odabir vrste dokumenta

spremljeno je kao xlsx dokument

42

Slika 17. Pronalazak i odabir dokumenta

Slika 18.

43

Slika 19. Obavijest o anotaciji pojedinih polja

do rezultata.

44

Slika 20. Odabir label-a

45

Slika 21. Imenovanje i spremanje podataka

4.3.3.