support vector machine dua hal penng yg perlu diingat: 1. persamaan (13) hanya memiliki sebuah...

Dr.AntoSatriyoNugrohoEmail:[email protected]

h:p://asnugroho.net

PusatTeknologiInformasi&KomunikasiBadanPengkajian&PenerapanTeknologi

Support Vector Machine Teori dan Aplikasinya

UNSSebelasMaret,28Agustus2017

Reviewsingkatmengenai:•  Pa:ernrecogniRon•  Machinelearning•  Feature/a:ribute•  Class/category•  DecisionfuncRon•  Decision/discriminaRonboundary•  Learningphase•  TesRng/recogniRonphase

x1

x2

Beratbadan(feature)

Tinggibadan(feature)

Class:sumo

Class:soccerplayer

x1

x2

f (x) = 4x1 +3x2 −12

Beratbadan

Tinggibadan

HasilprosespelaRhan: menemukanpersamaan garispemisahsumovssoccer4

30

Learningphase

x1

x2f (x) = 4x1 +3x2 −12

f (x) = 0

f (x)> 0

f (x)< 0

DecisionfuncRon

Decisionboundary

feature

feature

ProseslearningInput: trainingsetoutput: decisionfuncRonyangmampu dipakaiuntukmembedakandua kelasyangberbeda

4

30

Learningphase

x1

x2

Decisionboundary

feature

feature

x1 = 2.5x2 = 4f (x1, x2 ) =10→ f (x)> 0

is

Sumoorsoccer?

f (x) = 4x1 +3x2 −12

4

30

TesRng/RecogniRonphase

(2.5,4)

Contohlain,bagaimanadecisionboundaryterbentukolehprosestrainingpadamulRlayerPerceptronURL:h:p://playground.tensorflow.org/

•  ApakahSVMitu?–  BagaimanahyperplaneopRmaldiperoleh?–  HardmarginvsSo_margin–  NonlinearSVM

•  Training&TesRng–  FasetrainingpadaSVM–  MemakaiSVMuntukklasifikasi–  BagaimanamencarisolusifasetrainingpadaSVM?

•  EksperimenperbandinganSVMdanMulRlayerperceptronpadaspiraldata•  ParametertuningSVMmemakaiDOE(DesignofExperiment)•  BagaimanamemakaiSVMpadamulRclassproblem•  So_ware-so_wareSVM•  Studikasus:prediksiefekRfitasterapiinterferonpadapenderitapenyakit

HepaRRsCkronis•  Beberapacatatan

Agenda

•  ApakahSVMitu?–  Bagaimanahyperplaneop7maldiperoleh?–  HardmarginvsSo<margin–  NonlinearSVM




Agenda

•  DiperkenalkanolehVapnik(1992)diinternaRonalconference: AtrainingalgorithmforopRmalmarginclassifiers,BOSER,BernhardE., IsabelleM.GUYON,andVladimirN.VAPNIK,COLT’92:Proceedingsof theFi_hAnnualWorkshoponComputaRonalLearningTheory. NewYork,NY,USA:ACMPress,pp.144–152.

•  SupportVectorMachinememenuhi3syaratutamasebuahmetodePa:ernRecogniRon

•  Robustness•  TheoreRcallyAnalysis•  Feasibility

•  Padaprinsipnyabekerjasebagaibinaryclassifier.BerbagaipeneliRandilakukanuntukmemakainyadalammulRclassproblem

•  Structural-RiskMinimizaRon

Support Vector Machine ?

DiscriminaRonboundaries

Class -1　　　　　Class +1

Binary Classification

Margin

Class -1　　　　　Class +1

d

Optimal hyperplane by SVM

•  Margin(d)=minimumdistanceantarahyperplaneandtrainingsamples

•  Hyperplaneyangpalingbaikdiperolehdenganmemaksimalkannilaimargin

•  HyperplaneyangpalingbaikituakanmelewaRpertengahanantarakeduaclass

•  Sampleyangpalingdekatlokasinyaterhadaphyperplanedisebutsupportvector

•  ProseslearningdalamSVM:mencarisupportvectoruntukmemperolehhyperplaneyangterbaik


d1


d2

d2>d1


d3

bukand3

d3>d2>d1


d4

d4>d3>d2>d1

d4


f (x) =< !w, !x > +b = wjx j + bj=1

dim

∑

Tdxxxx ),,,( 21 !

"=

bias (1)

d

1)( +>xf

1)( −<xf

1)( −=xf1)( +=xf

0)( =xf

margin

w!

wb!


•  Margin(d)=minimumdistanceantarahyperplaneandtrainingsamples.Hyperplaneterbaikdiperolehdenganmemaksimalkand.

•  Bagaimanamemaksimalkand?Trainingset:

),(,),,(),,( 2211 ll yxyxyx !"

!!

pa:ernclass-label(+1atau-1)

mini=1,...,l

<!w, "xi > +b"w

Minimumdistanceantarahyperplanedengantrainingset

(2)distanceantarahyperplanedenganpa:ernxpadatrainingset

<!w, !x > +b!w

(3)


mini=1,...,l

<!w, !xi > +b =1

yi (<!w, !xi > +b) ≥1 (i =1,2,..., l)

Constraint: (4)

SubsRtusi(4)ke(3)diperoleh,makaminimumdistanceantarahyperplanedengantrainingsetmenjadi

w!1

(5)

Minimize

Subjectto

2w! (6)

(7)

harusdimaksimalkan

(7):datadiasumsikan100%dapatterklasifikasikandgbenar

PRIMALFORM


L( !w,b,α) = 12!w 2

− αi (yi (<!xi,!w > +b)−1)

i=1

l

∑

∑=

=l

iii y

1

0α

0,0 =∂

∂=

∂

∂

wL

bL

!

LagrangeMulRplierdipakaiuntukmenyederhanakan(6)dan(7)menjadi

0≥iα (9)

Sehinggadiperoleh

(10)

(11)

bw,

(8)

dimana

SolusidapatdiperolehdenganmeminimalkanLterhadap(primalvariables)danmemaksimalkanLterhadap(dualvariables)Padasaatsolusiitudiperoleh(RRkopRmal),gradientL=0Dengandemikian

iα

∑=

=l

iiii xyw

1

!!α (12)


α

∑=

=l

iii y

1

0α

(11)dan(12)disubsRtusikanke(8),sehinggadiperoleh(13),(14)

(11) ∑=

=l

iiii xyw

1

!" α (12)

(8)

∑=

==≥l

iiii yli

1

0),...,2,1(0 αα

Subjectto

Maximize α

αi −12i=1

l

∑ αiα j yiyji, j=1

l

∑ <!xi,!x j > (13)

(14)

Fungsiygdiperolehhanyamemaksimalkansatuvariablesaja

L( !w,b,α) = 12!w 2

− αi (yi (<!xi,"w > +b)−1)

i=1

l

∑

α


L( !w,b,α) =12!w 2

− αi (yi (<!xi,"w > +b)−1)

i=1

l

∑!w 2

= <!w, !w >

= αi yi!xi

i=1

l

∑ , α j y j!x j

j=1

l

∑

= αiα j yiyj <!xi,!x j >

i, j=1

l

∑

αi (yi (<!xi,"w > +b)−1)

i=1

l

∑ = αi yi <!xi,"w >

i=1

l

∑ + αi yib− αii=1

l

∑i=1

l

∑

= αi yi!xi, α j y j

!x jj=1

l

∑ + 0− αii=1

l

∑i=1

l

∑

= αiα j yiyj!xi,!x j + 0− αi

i=1

l

∑i=1

l

∑

A

AB

L( !w,b,α) =12!w 2

− αi (yi (<!xi,"w > +b)−1)

i=1

l

∑!w 2

= <!w, !w >

= αi yi!xi

i=1

l

∑ , α j y j!x j

j=1

l

∑

= αiα j yiyj <!xi,!x j >

i, j=1

l

∑

αi (yi (<!xi,"w > +b)−1)

i=1

l

∑ = αi yi <!xi,"w >

i=1

l

∑ + αi yib− αii=1

l

∑i=1

l

∑

= αi yi!xi, α j y j

!x jj=1

l

∑ + 0− αii=1

l

∑i=1

l

∑

= αiα j yiyj!xi,!x j + 0− αi

i=1

l

∑i=1

l

∑

A

AB

½A–(A-B)=B-½A

L( !w,b,α) =12!w 2

− αi (yi (<!xi,"w > +b)−1)

i=1

l

∑

αii=1

l

∑ − αiα j yiyj!xi,!x j

i=1

l

∑=),,( αbwL !

FormuladiatasmerupakanmasalahQuadraRcProgramming,yangsolusinyakebanyakanbernilai0.

∑=

==≥l

iiii yli

1

0),...,2,1(0 ααSubjectto

Maximize α

αi −12i=1

l


l

∑ <!xi,!x j > (13)

(14)

Fungsiygdiperolehhanyamemaksimalkansatuvariablesaja

iα

α

DatadaritrainingsetyangRdakbernilai0itulahyangdisebutSupportVector(bagiantrainingsetyangpalinginformaRf)ProsestrainingdalamSVMditujukanuntukmencarinilai

ix iα

iα

DUALFORM


Apabilatelahdiperoleh,makadandapatdihitungsbb.α b

∑=

=l

iiii xyw

1

!" α

w!

b = − 12<!w, !x−1 > + <

!w, !x+1 >( )

(12)

(15)

f (!t ) = sgn αi yi <

!t , !xi > +b

i=1,xi∈SV

l

∑⎛

⎝⎜⎜

⎞

⎠⎟⎟

Klasifikasipa:erndihitungsbb.t!

(16)


( )⎩⎨⎧

≥

<−=

0101

sgnkk

k

AdaduahalpenRngygperludiingat:

1.Persamaan(13)hanyamemilikisebuahsingleglobalmaximumyangdapatdihitungsecaraefisien

2.DataRdakditampilkansecaraindividual,melainkandalambentukdotproductdariduabuahdata

Catatan

yi (<!w, !xi > +b) ≥1 (i =1,2,..., l)

Minimize

Subjectto

2w! (6)

(7)

Padaperhitungansebelumnya,sesuaidenganpers.(7),datadiasumsikan100%dapatterklasifikasikandgbenar(HardMargin).PadahalkenyataannyaRdakdemikian.UmumnyadataRdakdapatterklasifikasikan100%benar,sehinggaasumsidiatasRdakberlakudansolusiRdakdapatditemukan.So_Margin:MelunakkanconstraintdenganmemberikantoleransidataRdakterklasifikasisecarasempurna.

Hard Margin vs Soft Margin

1)( +>xf

yi (<!w, !xi > +b) ≥1

1)( −=xf1)( +=xf

0)( =xf1)( −<xf

Separating hyperplane for 2D-data

yi (<!w, !xi > +b) ≥1 (i =1,2,..., l)

Minimize

Subjectto

2w! (6)

(7)

Padaperhitungansebelumnya,sesuaidenganpers.(7),datadiasumsikan100%dapatterklasifikasikandgbenar(HardMargin).PadahalkenyataannyaRdakdemikian.UmumnyadataRdakdapatterklasifikasikan100%benar,sehinggaasumsidiatasRdakberlakudansolusiRdakdapatditemukan.So_Margin:MelunakkanconstraintdenganmemberikantoleransidataRdakterklasifikasisecarasempurna.

Hard Margin vs Soft Margin

ix!

jξ jx!

iξ

1>ξ mengindikasikanbahwatrainingexampleterletakdisisiyangsalahdarihyperplane

So_margindiwujudkandenganmemasukkanslackvariableξi(ξi > 0)kepersamaan(7),sehinggadiperolehSedangkanobjecRvefuncRon(6)yangdiopRmisasikanmenjadiCmerupakanparameteryangmengkontroltradeoffantaramargindanerrorklasifikasiξ.SemakinbesarnilaiC,berarRpenaltyterhadapkesalahanmenjadisemakinbesar,sehinggaprosestrainingmenjadilebihketat.

yi (<!w, !xi > +b) ≥1−ξi (i =1,2,..., l) (17)

minimize ∑=

+l

iiCw

1

2

21

ξ!

∑=

==≤≤l

iiii yliC

1

0),...,2,1(0 αα

Maximizeα

Subjectto

αi −12i=1

l


l

∑ <!xi,!x j > (13)

(18)

Soft Margin

1)(0 >⇒= iii xfyα

1)( <⇒= iii xfyCα

1)(0 =⇒<< iii xfyCα

BerdasarkanKarush-Kuhn-TuckercomplementarycondiRon,solusi(13)memenuhihal-halsbb.

Pleaseread:•  CrisRanini-Taylor:SupportVectorMachinesandotherkernel-based

learningmethods,CambridgeUniv.Press(2000)p.107•  Vapnik,V.(1998):StaRsRcalLearningTheory,Wiley,NewYork

(unboundedSVs)

(boundedSVs)

(19)

Soft Margin

•  ParameterCditentukandenganmencobabeberapanilaidandievaluasiefeknyaterhadapakurasiyangdicapaiolehSVM(misalnyadengancaraCross-validaRon)

•  PenentuanparameterCbersama-samaparameterSVMyanglaindapatdilakukanmisalnyamemakaiDOE(DesignofExperiments)yangdijelaskandislideselanjutnya

Penentuan parameter C

•  Latarbelakang•  KelemahanLinearLearning-Machines•  Representasidata&Kernel•  NonlinearSVM

Kernel dan Non Linear SVM

•  MachineLearning–  Supervisedlearning:berikansatusetinput-outputdata,danbuatlahsatu

modelyangmampumemprediksidenganbenaroutputterhadapdatabaru.Contoh:pa:ernclassificaRon,regression

–  Unsupervisedlearning:berikansatusetdata(tanpaoutputyangbersesuaian),danekstraklahsuatuinformasibermanfaat.Contoh:clustering,PrincipalComponentAnalysis

•  Apabilabanyaknyadatayangdiberikan“cukupbanyak”,metodeapapunyangdipakaiakanmenghasilkanmodelyangbagus

•  Tetapijikadatayangdiberikansangatterbatas,untukmendapatkanperformayangbaik,mutlakperlumemakaiinformasispesifikmasalahyangdipecahkan(priorknowledgeoftheproblemdomain).Contoh:masalahygdipecahkanapakahberupacharacterrecogniRon,analisasekuensDNA,voicedsb.PriorknowledgeseperR“masalahygdianalisaadalahDNA”iniRdakdapatdinyatakandenganangka.

Latar Belakang

•  Pemanfaatanpriorknowledge:–  FungsiKernel(kemiripansepasangdata)–  ProbabilisRcmodelofdatadistribuRon(Gaussian,Markovmodel,HMM,dsb)

•  PemakaianKernel:usermemanfaatkanpengetahuannyamengenaidomainmasalahyangdipecahkandenganmendefinisikanfungsikerneluntukmengukurkemiripansepasangdata

Latar Belakang

•  Kelebihan:–  AlgoritmapembelajarannyasimpledanmudahdianalisasecaramatemaRs

•  Kelemahan–  Perceptron(salahsatucontohlinearlearningmachine)hanyamampumemecahkanproblemklasifikasilinear(Minsky&Papert)

–  Umumnyamasalahdarireal-worlddomainbersifatnon-lineardankompleks,sehinggalinearlearningmachinesRdakmampudipakaimemecahkanmasalahriil.

Linear Learning Machine

•  Representasidataseringkalimampumenyederhanakansatumasalah

•  Formulasebagaimanapadapersamaan(20)Rdakdapatdipecahkandenganlinearmachines

•  Representasidengan

menghasilkan(21)yangberupapersamaanlinear,sehinggabisadipecahkandenganlinearmachines

221

21 ),,(rmmCrmmf =

(20)

Newton’slawgravitaRon

zyxcrmmC

rmmfzyxg

2ln2lnlnln

),,(ln),,(

21

21

−++=

−++=

=),,(),,( 21 zyxrmm !

(21)

Representasi Data & Kernel

StuartRussel,PeterNorwig,Ar7ficialIntelligenceAModernApproach2ndEd,Pren7ceHall,2003

)2,,(),( 2122

2121 xxxxxx !


•  Representasidataseringkalimampumenyederhanakansatumasalah

•  DatayangdipetakankeruangvektorberdimensilebihRnggi,memilikipotensilebihbesaruntukdapatdipisahkansecaralinear(Covertheorem)

•  Masalah:semakinRnggidimensisuatudata,akanmengakibatkanterRmpakutukandimensiRnggiCurseofdimensionality.–  turunnyageneralisasimodel–  meningkatnyakomputasiyangdiperlukan

•  PemakaiankonsepKernelakanmengatasimasalahdiatas


•  Singlelayernetworks(perceptron)memilikialgoritmalearningyangsimpeldanefisien,tetapikemampuannyaterbatas.Hanyamampumenyelesaikanlinearproblem

•  MulRlayernetworks(MLP)mampumewujudkannon-linearfuncRons,tetapimemilikikelemahanpadasisilocalminima&Rngginyadimensiweight-space

•  SVM:dapatdilaRhsecaraefficient,danmampumerepresentasikannon-linearfuncRons

Perceptron vs SVM

　　　InputSpace High-dimensionalFeatureSpace

Hyperplaneφ

)(X!

φ

X!

Non linear classification dalam SVM

•  Linearlearningmachinesdapatditulisdalamduabentuk:primalform&dualform

•  HypothesesfuncRondapatdirepresentasikansebagaikombinasilineartrainingpoints.Sehinggadecisionruledapatdievaluasiberdasarkaninnerproduct(dotproduct)antaratestpoint&trainingpoints

•  Keuntungandualform:dimensifeaturespaceRdakmempengaruhiperhitungan.InformasiyangdipakaihanyaGrammatrix

f (!x) =< !w, !ϕ(x)> +b = wiϕi (x)+ bi=1

dim

∑

f (!x) = αi yi <ϕ(!xi ),ϕ(

!x)> +bi=1

l

∑

primal

dual

(22)

(23)

∑=

=l

iiii xyw

1

!" α

(12)

Pemetaan implisit ke feature space

G = (< !xi,!x j >)i, j=1

l

<!x1,!x1 > ! <

"xl,!x1 >

! " !<#x1,!xl > ! <

"xl,!xl >

⎛

⎝

⎜⎜⎜⎜

⎞

⎠

⎟⎟⎟⎟

(24)

Gram Matrix

<ϕ(!xi ),ϕ(!x)>

φ

Representasidualform

<ϕ(!xi ),ϕ(!x)>= K(!xi,

!x)

f (!x) = αi yi <ϕ(!xi ),ϕ(

!x)> +bi=1

l

∑

BisadihitungsecaraIMPLISIT.YaituRdakperlumengetahuiwujudfungsipemetaanmelainkanlangsungmenghitungnyalewatfungsiKERNEL

(25)

Fungsi Kernel

0>σ

0>κ

Polynomial K(!x, !y) =< !x, !y >d

Gaussian⎟⎟

⎠

⎞

⎜⎜

⎝

⎛ −−= 2

2

2exp),(

σ

yxyxK

!!!!

Sigmoid K(!x, !y) = tanh(κ < !x, !y > +ϑ )

0<ϑ

where

whereand

(26)

(27)

(28)

Contoh fungsi Kernel

StuartRussel,PeterNorwig,Ar7ficialIntelligenceAModernApproach2ndEd,Pren7ceHall,2003

)2,,(),( 2122

2121 xxxxxx !


)2,,(),( 2122

2121 xxxxxx !

<ϕ(!x) ⋅ϕ(!y)> = (x12, x2

2, 2x1x2 )(y12, y2

2, 2y1y2 )T

= ((x1 , x2 )(y1, y2 )T )2

= (< !x, !y >)2

=: K(!x, !y)


•  Umumnyadatadirepresentasikansecaraindividual.Misalnya,untukmembedakanatlitSumodanatlitsepakbola,bisadenganmengukurberatbadandanRnggimereka

67kg

167cm

A1


MetodeKernel:dataRdakdirepresentasikansecaraindividual,melainkanlewatperbandinganantarasepasangdata

A1 A2 A3 B1 B2 B3

A1 K(A1,A1) K(A1,A2) K(A1,A3) K(A1,B1) K(A1,B2) K(A1,B3)



B1 K(B1,A1) K(B1,A2) K(B1,A3) K(B1,B1) K(B1,B2) K(B1,B3)




•  RepresentasiberupasquarematrixRdaktergantungdimensidata,danselaluberukurannxn(n:banyaknyadata).HalinimenguntungkanjikadipakaiuntukmerepresentasikandatayangberdimensisangatRnggi.Misalnya10Rssueygmasing-masingdikarakterisasikanoleh10,000gen.Matriksyangdiperolehcukup10x10saja

•  Adakalanyakomparasiduabuahobjectlebihmudahdaripadamerepresentasikanmasing-masingobjeksecaraeksplisit(Contoh:pairwisesequencecomparisonmudahdilakukan,tetapirepresentasisekuensproteinkedalambentukvektorRdaklahmudah.Padahalneuralnetworkmemerlukanrepresentasidatasecaraeksplisit)


•  StrukturSVMberupaunitlinear•  Klasifikasinon-lineardilakukandengan2tahap

1.  DatadipetakandarioriginalfeaturespacekeruangbaruyangberdimensiRnggimemakaisuatufungsinon-linear,sehinggadataterdistribusikanmenjadilinearlyseparable

2.  Klasifikasidilakukanpadaruangbarutersebutsecaralinear

•  PemakaianKernelTrickmemungkinkankitauntukRdakperlumenghitungfungsipemetaansecaraeksplisit

φ

qd ℜ→ℜΦ :

qℜ

dℜ

qd <

K(!x, !x ') =<ϕ(!x),ϕ(!x ')>

(19)

(20)

φ


DecisionfuncRonpadanonlinearclassificaRon:yangdapatditulissebagaimanapers.(12)

f (ϕ(!x)) =< !w,ϕ(!x)> +b (21)

f (ϕ(!x)) = αi yi <ϕ(!x),ϕ(!xi )> +b

i=1,xi∈SV

n

∑

= αi yiK(!x, !xi )+ b

i=1,xi∈SV

n

∑

(22)

(23)

K (!x, !xi )• KarakterisRkfungsipemetaansulituntukdianalisa• KernelTrickmemakaisebagaiganRkalkulasi

)(x!φ)(x!φ



•  Training&Tes7ng–  FasetrainingpadaSVM–  MemakaiSVMuntukklasifikasi–  BagaimanamencarisolusifasetrainingpadaSVM?



Agenda

Maximize αSubjectto

(24)

(18)

αii=1

l

∑ −12

αiα j yiyjK(!xi,!x j )

i, j=1

l

∑

∑=

==≤≤l

iiii yliC

1

0),...,2,1(0 αα

Hasiltrainingphase:diperolehSupportVectors()0≠iα

f (!t ) = sgn αi yiK(

!t , !xi )+ b

i=1,xi∈SV

n

∑⎛

⎝⎜⎜

⎞

⎠⎟⎟

ClassificaRonoftestpa:ern t

(23)

Fase training pada Non Linear SVM

f (!t ) = sgn αi yiK(

!t , !xi )+ b

i=1,xi∈SV

l

∑⎛

⎝⎜⎜

⎞

⎠⎟⎟

ClassificaRonoftestpa:ern t

(23)

( )⎩⎨⎧

≥

<−=

0101

sgnkk

k (24)

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛ −−= 2

2

2'

exp)',(σ

xxxxK

!!!!

K(!x, !x ') = (< !x, !x ' > +1)p

K(!x, !x ') = tanh α < !x, !x ' > +β( )

TypicalKernelfuncRons(25)

(26)

(27)

GaussianPolynomialSigmoid

Fase testing pada Non Linear SVM

PenyelesaianfasetrainingpadaSVMdapatmemakaiberbagaimetode,a.l.SMO,Sekuensialdsb.

1.  IniRalizaRonHitungmatriks

2.  Lakukanstep(a),(b)dan(c)dibawahuntuk

(a)(b)(c)

3.  Kembalikestep-2sampainilaikonvergen(Rdakadaperubahansignifikan)

0=iα

li ,...,2,1=

∑=

=l

jijji DE

1α

iii δααα +=

δαi =min max γ 1−Ei( ),−αi⎡⎣ ⎤⎦,C −αi{ } γmengkontrol

kecepatanlearning

Dij = yiyj (K(!xi,!x j )+λ

2 )

Metode sekuensial

αi



•  EksperimenperbandinganSVMdanMul7layerperceptronpadaspiraldata•  ParametertuningSVMmemakaiDOE(DesignofExperiment)•  BagaimanamemakaiSVMpadamulRclassproblem•  So_ware-so_wareSVM•  Studikasus:prediksiefekRfitasterapiinterferonpadapenderitapenyakit


Agenda

CarnegieMellonAIRepository

DatageneraRon:

α

αγ

πα

sincos104

RyRx

i

=

=

=

R

γni ,,2,1 != n

1001000.15.3),( ==== +− nnRwithyx γ

:numofpa:erns

:density

:radius

+−+− −=−= yyxx

Two spirals benchmark problem

Class–1Class+1

SpiralDataset

Class–1(bluedots)Class+1(yellowdots)

Class–1

Class+1

MLPwith10hiddenunits


Class–1

Class+1



Class–1

Class+1

SVM(PolynomialKernel)





Agenda

•  DesignofExperimentsdipakaiuntukmencarinilaiopRmalparameterSVM(CdanσpadaGaussianKernel)

-1 -1

-1 -1

1 1

0 0

1 1 0 0

CarlStaelin,“ParameterSelecRonforSupportVectorMachines”,HPLaboratoriesIsrael,HPL-2002-354h:p://www.hpl.hp.com/techreports/2002/HPL-2002-354R1.pdf

Parameter Tuning

•  DOE

-1

-1

1

0

1 0

-1

-1

1

0

1 0

Parameter Tuning



•  EksperimenperbandinganSVMdanMulRlayerperceptronpadaspiraldata•  ParametertuningSVMmemakaiDOE(DesignofExperiment)•  BagaimanamemakaiSVMpadamul7classproblem•  So_ware-so_wareSVM•  Studikasus:prediksiefekRfitasterapiinterferonpadapenderitapenyakit


Agenda

•  PadaprinsipnyaSVMadalahbinaryclassifier•  ExpansiontomulRclassclassifier:

1.  OnevsOthersApproach2.  OnevsOne:treestructuredapproach

1.  Bo:om-uptree(Pairwise)2.  Top-downtree(DecisionDirectedAcyclicGraph)

•  Darisisitrainingeffort:OnetoOtherslebihbaikdaripadaOnevsOne

•  RunRme:keduanyamemerlukanevaluasiqSVMs(q=num.ofclasses)

Multiclass Problem

Class1 Class2 Class3 Class4





max

One vs Others

Class1 Class2 Class3 Class4 Class5 Class6 Class7 Class8

ProposedbyPonRlandVerri

Bottom-up Tree

not1 not4

not2 not4 not1 not3

1vs4

1234

2vs4234

1vs3123

3vs434 2vs3

23 1vs2

12

ProposedbyPla:etal.

Top DownTree



•  EksperimenperbandinganSVMdanMulRlayerperceptronpadaspiraldata•  ParametertuningSVMmemakaiDOE(DesignofExperiment)•  BagaimanamemakaiSVMpadamulRclassproblem•  So<ware-so<wareSVM•  Studikasus:prediksiefekRfitasterapiinterferonpadapenderitapenyakit


Agenda

•  Weka–  h:p://www.cs.waikato.ac.nz/ml/weka/–  TerdapatimplementasiSMO

•  SVMlight –  h:p://svmlight.joachims.org/–  Mampudipakaipadaproblemskalabesar(ratusanributrainingset)–  MemakaisparsevectorrepresentaRon,sangatsesuaiuntuktext

classificaRon•  SMO(SequenRalMinimalOpRmizaRon)

–  h:ps://www.microso_.com/en-us/research/publicaRon/fast-training-of-support-vector-machines-using-sequenRal-minimal-opRmizaRon/

–  LargeQuadraRcProgrammingopRmizaRonproblemdiselesaikandenganmemecahnyakebanyakQPproblemyanglebihkecil

–  Memoryyangdiperlukanbertambahlinearsesuaidengantraining-set,sehinggadapatdipakaipadalargescaleproblem

Software/Library SVM



•  EksperimenperbandinganSVMdanMulRlayerperceptronpadaspiraldata•  ParametertuningSVMmemakaiDOE(DesignofExperiment)•  BagaimanamemakaiSVMpadamulRclassproblem•  So<ware-so<wareSVM•  Studikasus:prediksiefekRfitasterapiinterferonpadapenderitapenyakit


Agenda

RelatedPublicaRon:EfficacyofInterferonTreatmentforChronicHepaRRsCPredictedbyFeatureSubsetSelecRonandSupportVectorMachine,JournalofMedicalSystems,SpringerUS(h:p://dx.doi.org/10.1007/s10916-006-9046-8)

•  DevelopingapredictoroftheresultoftreatmentusinginterferontothechronicalhepaRRsCpaRents

•  TheinputinformaRonisthebloodobservaRonsofthepaRentstakenbeforetheinterferoninjecRon

•  CollaboraRonwithNagoyaUniversityGraduateSchoolofMedicine

Prediction of interferon efficacy in Hepatitis C treatment

•  MenurutdataWHO,jumlahpenderita170juta(3%dariseluruhpopulasidunia).SeRaptahunbertambah3s/d4jutaorang.

•  DiJepang:1atau2dari100-->Kokuminbyo

•  ReplikasivirussangatRnggi,disertaiangkamutasigeneRkyangcukupRnggi•  HepaRRsCdiIndonesia

–  Jumlah penderita sudah mencapai 7 juta dan 90% penderita tidak mengetahuinya (I Nyoman Kaldun, 7 Oktober 2006)‏

–  Depkes petakan Hepatitis C (7 Sep 2007)‏ •  Efeksampingterapiinterferon:Flu-likesyndrome,menurunnyaseldarahpuRh

(leucocyte),rambutrontok(IFN-alpha),albuminuria(IFN-beta),dsb

Hepatitis C

•  ThedatasetusedinthisexperimentisprovidedbyNagoyaUniversity(Prof.Yamauchi’sgroup)

•  ObservaRonofthepaRentswasconductedfromAugust1997–March2005

•  112paRents(M:80F:32)ofage:17–72yrs.•  Twoclassproblem:

posiRveclasssixmonthsa_erthetreatmentfinished,HCV-RNAwasnegaRve→66samples

negaRveclasssixmonthsa_erthetreatmentfinished,HCV-RNAwasposiRve→46samples

Clinical Dataset

SexAgeHCV-RNA

Ribavirin

… Fisher Criterion Based FSS

SVM withGaussian Kernel

positive class OR

negative class

Proposed Model

List of 30 clinical markers

Purpose :–Reduce the dimensionality of the data–Selection of the “useful” features–Improving the classifier performance

21,1,

21,1,

21,1,

11

11 )()(

−−++

−+

−+

−+

+

−

+=

jjjj

jjj nnnn

nnxFσσ

µµ

Fisher Criterion attempts to select one feature that best discriminating the two classes

Num. of patterns in Positive Class

Num. of patterns in Negative Class Score of the jth feature of vector x

-30

-20

-10

0

10

20

30

40

-10 -5 0 5 10 15 20

Feature No. 1

Feature No. 2

F(Ftr.1) = 2.9 F(Ftr.2) = 0.7 F(Ftr.1) > F(Ftr.2)Ftr. No.1 is better than No.2

50

3

2

1

=

=

σ

σ

INVIDUAL MERIT BASED FEATURE SELECTIONIndividual Merit based Feature Selection

List of features sorted based on its significance

61

61

61

56

74

74

RR[%] RR[%]ErrorsErrors

79141871330

831118741325

77151871320

771520691315

80131278310

8691281115

PosiRveClassNegaRveClassTotalRR[%]

k(best)‏Dim.

K-NN Classifier results

30

25

20

15

10

5

Dim

PosiRveClass

NegaRveClassTotalRR[%]

SupportVectors

SVMParameter

RR[%]

ErrorsRR[%]

ErrorsσC

3.0

8.9

5.5

8.3

4.9

1.5

106

89

85

88

76

70

4.1

13.4

25.8

31.9

7.2

1.99

70

72

76

74

61

83

83111478

8881381

8691182

8691281

8691876

8510884

SVM results

1.  TsudaK.,“OverviewofSupportVectorMachine”,JournalofIEICE,Vol.83,No.6,2000,pp.460-466

2.  CrisRaniniN.,TaylorJ.S.,“AnIntroducRontoSupportVectorMachinesandOtherKernel-BasedLearningMethods”,CambridgePressUniversity,2000

3.  VijayakumarS,WuS,“SequenRalSupportVectorClassifiersandRegression”,Proc.InternaRonalConferenceonSo_CompuRng(SOCO'99),Genoa,Italy,pp.610-619,1999

4.  ByunH.,LeeS.W.,“ASurveyonPa:ernRecogniRonApplicaRonsofSupportVectorMachines”,InternaRonalJournalofPa:ernRecogniRonandArRficialIntelligence,Vol.17,No.3,2003,pp.459-486

5.  EfficacyofInterferonTreatmentforChronicHepaRRsCPredictedbyFeatureSubsetSelecRonandSupportVectorMachine,JournalofMedicalSystems,2007Apr,31(2),pp.117-123,SpringerUS,PMID:17489504,dapatdiaksesdari:h:p://dx.doi.org/10.1007/s10916-006-9046-8

Referensi

support vector machine dua hal penng yg perlu diingat: 1. persamaan (13) hanya memiliki sebuah...

Documents