![Page 1: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/1.jpg)
เท็กอะแดปทีพเรโซแนนเทียรนีิวรอลเน็ตเวิรค
Text Adaptive Resonance Theory Neural Network
นายนรเศรษฐ จันทสูตร43067138
แขนงวชิา วิทยาการสารสนเทศ รุนที่ 10คณะเทคโนโลยสีารสนเทศ
สถาบันเทคโนโลยีพระจอมเกลาเจาคุณทหารลาดกระบังอาจารยผูควบคุมวิทยานพินธ ผศ.ดร.วรพจน กรสีรุะเดช
![Page 2: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/2.jpg)
โครงเรื่อง
ความเปนมาและปญหาของงานวิจัยแนวความคิดหลักของงานวิจัยนิวรอลเน็ตเวิรคที่ออกแบบใหมและใชในงานวิจัยการวัดประสิทธิภาพผลการทดลองบทสรุป
![Page 3: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/3.jpg)
ความเปนมาและปญหาของงานวิจัย
ความเปนมาขอมูลเอกสารที่มีรูปแบบเปนอิเล็กทรอนิกสมีปริมาณเพิ่มมากขึ้นความตองการในการสืบคนขอมูลเอกสารที่ถกูตองและรวดเร็วการจัดกลุมเอกสาร (Document Clustering) เพื่อชวยในการคนคืนขอมูลใชเทคนิค Vector Space Model ในการแปลงขอมูลในรูปแบบตัวเลขสําหรับอัลกอริทึมการจัดกลุม
![Page 4: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/4.jpg)
ความเปนมาและปญหาของงานวิจัย (ตอ)
Doc1 = “care, cat, dog”Doc2 = “care, care, cat, cat, dog”Index Terms set = {care, cat, dog}Ex. Query = “cat”
q = { 0, 1, 0}
21care
12Doc211Doc1
dogcat
Doc x index term
![Page 5: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/5.jpg)
ความเปนมาและปญหาของงานวิจัย (ตอ)
Similarity in vector SpaceCosine similarity measure
, ,1( , )2 2, ,1 1
t w wi j i qisim d qj t tw wi j i qi i
∑ ==∑ ∑= =
![Page 6: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/6.jpg)
ความเปนมาและปญหาของงานวิจัย (ตอ)
Sim(d1, q) = [ (1*0) + (1*1) + (1*0)] /sqrt(12 +12 + 12 ). sqrt( 02 + 12 + 02 )
= 1 / (1.73*1) = 1/1.73 = 0.578Sim(d2, q) = [ (2*0) + (2*1) + (1*0)] /
sqrt(22 +22 + 12 ). sqrt( 02 + 12 + 02 ) = 2 / (3*1) = 2/3 = 0.667
![Page 7: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/7.jpg)
ความเปนมาและปญหาของงานวิจัย (ตอ)
ปญหา การจัดกลุมเอกสาร (Document Clustering) เมื่อขอมูลเอกสารถูกนําเขากระบวนการ Document Representation โดยการหลักการจาก Vector Space Model อาจนําไปสูปญหา High Dimensional Vector ถาจํานวนคําศัพท (Index Term) มีมากขึ้นตามหลักการของ Vector Space Model การกําหนดคําใน Index Term set ตองถูกกําหนดขึ้น
![Page 8: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/8.jpg)
ความเปนมาและปญหาของงานวิจัย (ตอ)k มีจํานวนมากเกินไป จะทําใหเกิดปญหา High Dimension Vector
docxtermknkn3n2n1n
k242322212
k111111111
)term,doc(tf...)term,doc(tf)term,doc(tf)term,doc(tf)term,doc(tf..................
)term,doc(tf...)term,doc(tf)term,doc(tf)term,doc(tf)term,doc(tf)term,doc(tf...)term,doc(tf)term,doc(tf)term,doc(tf)term,doc(tf
![Page 9: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/9.jpg)
ความเปนมาและปญหาของงานวิจัย (ตอ)
Term 1
Term 2
Term 3
Term 4
Term k
Unsupervised Learning ANNs
wijyj
Xi
![Page 10: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/10.jpg)
วัตถปุระสงคของงานวิจัย
เพื่อศกึษาและพัฒนาการจัดแบงกลุมเอกสารดวยโครงขายประสาทเทียมที่ใชอัลกอริทึมเท็กอะแดปทีพเรโซแนนเทียรีนิวรอลเน็ตเวิรค ที่สามารถรับอินพุตคํา (Text) เขาไปประมวลผลไดโดยตรง
![Page 11: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/11.jpg)
ประโยชนที่คาดวาจะไดรับ
ลดปญหาการเกิด High-Dimensional Vector ของคําทําใหการจัดกลุมเอกสารทําไดสะดวกโดยวิธีการรับอนิพุตคํา (Text) โดยตรงเขามาประมวลผลในโครงขายประสาทเทียม
![Page 12: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/12.jpg)
แนวความคิดหลักของงานวิจัย
Adaptive Resonance Theory Neural NetworksSimilarity Measure for symbolic Objectโครงขายประสาทเทียมที่พัฒนาขึ้นใชอัลกอริทึม
เท็กอะแดปทีพเรโซแนนเทียรีนิวรอลเน็ตเวิรค:Text Adaptive Resonance Theory Neural Network
![Page 13: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/13.jpg)
Binary ART Neural Network Architecture
Reset
Y1
Y2
Yj
bij
tji
X1
Si
Y3
Y4
Zi
S1
Xi
สถาปตยกรรมของ Binary Adaptive Resonance Theory Neural Network
vigilance
F1(a) Layer F1(b) Layer F2 Layer
Gain
R
+
+
-
![Page 14: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/14.jpg)
ART1 learning algorithm1. Weights เริ่มตนไดจากการสุม2. หาคา 3. X = S4. ทุกเอาทพุทโหนด 5. หาเอาทพุทโหนดที่มีคาสูงสุด
เปนโหนดชนะ6. คํานวณอินพุต X กับ top-down
weight ของโหนดที่ชนะ 7. ทดสอบ Resonance
∑=i
iijj xby
}ymax{ j
s
ρ≥sx
∑=i
jii tsx
![Page 15: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/15.jpg)
ART1 learning algorithm (ตอ)8. ปรับ weight ของโหนดที่ชนะ Jy
x1LLxb i
)new(iJ +−=
i)new(Ji xt =
![Page 16: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/16.jpg)
Text ART Neural Network Architecture
Reset
Y1
Y2
Yj
bij
tji
X1
Di
Y3
Y4
Zi
D1
Xi
สถาปตยกรรมของ Text Adaptive Resonance Theory Neural Network
vigilance
F1(a) Layer F1(b) Layer F2 Layer
Gain
R
+
+
-
![Page 17: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/17.jpg)
Document Representation
เอกสารแตละชุดสามารถเขียนแทนดวย Cartesian Product ไดดังนี้
เมื่อ คือ Feature ลําดับที ่d ของเอกสาร
dDxxDxDxDDoc ... 321=
dD
![Page 18: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/18.jpg)
Document Representation (ตอ)
ในงานวิจัยนี้ไดใช feature ของขาว คือ feature Titlefeature Keyword
ดังนัน้ขาวหนึ่งขาวสามารถแทนไดดวยสมการดังนี้KeywordxTitleDoc =
![Page 19: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/19.jpg)
Text ART Neural NetworkDocument input,
Title = {money, bank} Keyword ={economic, market, finance, interest}
ADoc
1D
2D
Reset
vigilance
Yj
tji
Xibij
Di
{money, bank}
{economic, market, finance, interest}
Z
![Page 20: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/20.jpg)
Text ART Neural Network
)}e,B(),...,e,B(),e,B{(t pjipjiji2ji2ji1ji1ji =
Weight ของ Text ART Neural Network ประกอบดวย• คํา• คาระดับความสัมพันธของคํา
)}e,A(),...,e,A(),e,A{(b pijpijij2ij2ij1ij1ij =
![Page 21: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/21.jpg)
Similarity Measure for Symbolic object
คา ความคลายคลึง ประกอบดวยสองสวนคือคา ความคลายคลึงในเชิง span เขียนแทนดวย SS
ความคลายคลึงในเชิง content เขียนแทนดวย SC
![Page 22: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/22.jpg)
Similarity Measure for Symbolic object (ตอ)
blal
inters
sl
คือ จํานวนสมาชิกทั้งหมดใน Feature A
คือ จํานวนสมาชิกทั้งหมดใน Feature B
คือ จํานวนของสมาชิกทั้งหมดที่ Intersection กันระหวาง Feature A และ Feature B
คือ จํานวนสมาชิกทั้งหมดของ Feature A และ Feature B รวมกันลบดวยจํานวนของสมาชิกทั้งหมดที่ Intersection กันระหวาง Feature A และ Feature B (la + lb – inters)
( )s
bakks l
llBAS
×+
=2
),(s
kkc lBAS inters),( =
![Page 23: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/23.jpg)
Similarity Measure for symbolic object (ตอ)
คาความคลายคลึงสุทธิระหวางเอกสาร และ คือ),(),(),( kkckkskk BASBASBAS +=
Ak B k
∑==
d
kkk BASBAS
1),(),(
นิยามให k คือ คุณลักษณะของเอกสารที่ kd คือ จํานวนของคุณลักษณะที่กําหนด
![Page 24: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/24.jpg)
Text ART Learning AlgorithmCompetition ทําการหาโหนดผูชนะซึ่งมีคาความคลายคลึงสงูทีส่ดุ โดยใช Similarity Measure ของเอกสารอินพุตเปรียบเทียบกับ bottom-up weight และโหนดที่มีคาความคลายคลึงรองลงมาใหกําหนดเปนโหนดคูแขง Resonance ทําการทดสอบหาความสอดคลองโดยใชคา Vigilance Threshold เปรียบเทียบกับคาความคลายคลึงของเอกสารอินพุตและ top-down weight ของโหนดผูชนะ
กรณีไมสอดคลอง: ยกเลิกโหนดผูชนะ และเลือกโหนดคูแขงทีม่ีคาความคลายคลึงสงูทีส่ดุ กําหนดใหเปนโหนดผูชนะ และกลับไปขั้นตอน Resonance เพื่อทาํการทดสอบหาความสอดคลองใหม กรณสีอดคลอง: ยอมรับโหนดผูชนะ และไปขั้นตอนการปรับ Weight
Update weight
![Page 25: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/25.jpg)
การคํานวณหาโหนดผูชนะ (Competition)
∑∑= =
=d
1inijnij
p
1nij e).A,X(SY
}Ymax{Y jJ =
![Page 26: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/26.jpg)
ทดสอบสวนความสอดคลอง Resonance
)d*5.0()d*2(
)d*5.0()t,X(SZ
d
1iJii
−
−
=∑=
weightsupdate,vigilanceZreset,vigilanceZ
≥<
![Page 27: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/27.jpg)
การปรับ Weight ของ Text ART Neural Nets
Word in input document
weightUNION
Word in input document weight
![Page 28: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/28.jpg)
การปรับ Weight ของ Text ART Neural Nets (ตอ)
∩∉−
∩∈+
=
∪=
Otherwise;*5
,Xb A if )e(f
,Xb A if )e(f
e
Xbb
iJnij)old(
niJ
iJnij)old(
niJ
)new(niJ
)old(iJ
)new(iJ
η
η
η
∩∉−
∩∈+
=
∪=
Otherwise;*5
,X tB if )e(f
,X tB if )e(f
e
Xtt
Jinji)old(
nJi
Jinji)old(
nJi
)new(nJi
)old(Ji
)new(Ji
η
η
η
Bottom-up weight Top-down weight
if 0 x 1( ) 0 if x 0
1 if x 1
xf x
≤ ≤= < >
Where F(.) is defined as
![Page 29: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/29.jpg)
การวัดประสิทธิภาพของการจัดกลุม
Entropy F-measure
![Page 30: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/30.jpg)
การวัดประสิทธิภาพของการจัดกลุม (ตอ)Entropy แตละ cluster
1
m N jE Ep jNj= ×∑
=
log( )E p pj ij iji
= −∑
คา Entropy รวม หาไดจากคือจํานวนของสมาชิกใน Cluster j คือจํานวนของสมาชิกทั้งหมดคือจํานวน Cluster
jN
Nm
p i j คือ Probability ของ Sample, Sj , ซึ่งเปนของ class Ci
Class1
Class3 Class4
Class2
j
ij
Ss
=
![Page 31: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/31.jpg)
การวัดประสิทธิภาพของการจัดกลุม (ตอ)
j
ij
NN
)j,i(precisionP ==
คือจาํนวนสมาชิกของ class Ci ใน Clusterjคือจํานวนสมาชิกของ Clusterjคือจํานวนสมาชิกของ class Ci
ijN
jN
iN
Cluster ,JClass, I
i
ij
NN
)j,i(recallR ==
Correct classes found in clusters
![Page 32: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/32.jpg)
การวัดประสิทธิภาพของการจัดกลุม (ตอ)
คา F-Measure ของ class Ci หาไดจาก=
+2( ) PRF iP R
คา F-Measure รวม หาไดจาก( )( )×∑
=∑
i F iiFp iii คือจํานวนสมาชิกใน class Ci
![Page 33: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/33.jpg)
การทดลองSynthesized data
Synthesized Alphabet Documents 3 classSynthesized Text Documents 3 class
Reuter-21578 dataReuter news 3 classReuter news 5 classReuter news 14 class
![Page 34: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/34.jpg)
การทดลอง (ตอ)Synthesized alphabet document
gh
k mn
r s tu v
c df
u v w x y
m n p
a c d
ij
Title keyword
![Page 35: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/35.jpg)
ผลการทดลอง (ตอ)
Entropy = 0.04F measure = 0.99
004132600213201321
จํานวนสมาชิกที่ตกในแตละ ClusterClass
Synthesized alphabet documentLearning Rate = 0.01, Epoch = 6/100 , output node =3 , vigilance = 0.1
![Page 36: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/36.jpg)
การทดลอง (ตอ)Synthesized text document
javanetwork
internetprotocolcisco3com
car businesstravel hotelbank airline
algorithmdatabasepredictcluster
market tourbenz toyotamoney airway
mailsmtphttpftp
computealgorithmdatabaseintel
webfirewall
Title keyword
![Page 37: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/37.jpg)
ผลการทดลอง (ตอ)
Entropy = 0.01F measure = 0.99
326003003232034921321
จํานวนสมาชิกที่ตกในแตละ ClusterClass
Synthesized text documentLearning Rate = 0.01, Epoch = 8/100 , output node =3 , vigilance = 0.1
![Page 38: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/38.jpg)
การทดลอง (ตอ)
Reuter-21578 dataขั้นตอนที่ 1 แยกเอาเฉพาะขอความใน Title และใน Body ของทุกๆขาว และทํา Index ของแตละขาววาอยูใน Topic ไหนขั้นตอนที่ 2 นําตัวเนื้อขาวที่ได (จากแท็ก Body) ทั้งหมดมาหาคําสําคัญ (keyword) ดวยโปรแกรม copernic summarizer โดยในการหาคําสําคัญของแตละขาวไดกําหนดจํานวนของคําที่ซ้ําไวที่ 10 คํา ขั้นตอนที่ 3 นํา ขอความ Title และ Keyword ที่ไดมาหา stemming ของคํารวมทั้งตัดคําที่เปน stop word
![Page 39: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/39.jpg)
เปรียบเทียบกับผลการทดลองของ TPCLNN
0.85 0.85
0.66
0.88 0.84
0.65
00.10.20.30.40.50.60.70.80.9
1
Reuter 3 Reuter 5 Reuter 14
F-measure
Text ART NNTPCLNN
0.450.51
0.86
0.39
0.5
0.8
00.10.20.30.40.50.60.70.80.9
1
Reuter 3 Reuter 5 Reuter 14
Entorpy
Text ART NNTPCLNN
81
136
275
379
256
340
0
50
100
150
200
250
300
350
400
Reuter 3 Reuter 5 Reuter 14
Datasets
Loop Text ART
TPCLNN
![Page 40: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/40.jpg)
สรุปงานวิจัย ปญหาที่พบ และขอเสนอแนะสรุปงานวิจัยลดปญหาของการเกิด High-Dimension vector ของคํา จํานวนรอบในการ Train ของนิวรอลเน็ตเวิรคนอยลงปญหาที่พบความทับซอนกัน (overlap) ของขาวขอเสนอแนะเพิ่มวิธีการที่สามารถจัดกลุมขาวที่สามารถอยูไดมากกวา 1 class
![Page 41: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/41.jpg)
จบการนําเสนอ ขอบคุณครับ
![Page 42: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/42.jpg)
![Page 43: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/43.jpg)
Text ART Neural Network (ตัวอยาง)
Document input,
Title = {money, bank} Keyword ={economic, market, finance, interest}
ADoc
1D
2D
Reset
vigilance
Yj
tji
Xibij
Di
{money, bank}
{economic, market, finance, interest}
Z
![Page 44: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/44.jpg)
Text ART Neural Network (ตัวอยาง)Learning rate = 0.01Vigilance = 0.1Initialize weights
bottom-up weighttop-down weight
X = D
ρη
![Page 45: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/45.jpg)
Text ART Neural Network (ตัวอยาง)
Initial bottom-up weightb11={(interest,0.5),(bank,0.5),(credit,0.5)}b21={(interest,0.5),(bank,0.5),(finance,0.5)}b12={(compute,0.5),(science,0.5),(logic,0.5)}b22={(compute,0.5),(accuracy,0.5),(math,0.5)}b13={(logic,0.5),(bank,0.5),(biz,0.5)}b23={(interest,0.5),(bank,0.5),(cost,0.5)}
![Page 46: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/46.jpg)
Text ART Neural Network (ตัวอยาง)
Initial top-down weightt11={(market,1),(money,1),(biz,1)}t12={(market,1),(money,1),(finance,1)}t21={(algorithm,1),(biz,1),(crude,1)}t22={(interest,1),(biz,1),(crude,1)}t31={(acq,1),(economic,1),(war,1)}t32={(money,1),(economic,1),(marvel,1)}
![Page 47: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/47.jpg)
ตัวอยางการคํานวณหาโหนดผูชนะ (ตอ)หาคาความคลายคลึงในเชิง Span ระหวาง Xtitle กับ b11
Xtitle = {money, bank}b11= {(interest,0.5),(bank,0.5),(credit,0.5)}
5.0)012(2
12)A,X(S 111titles =−+×
+=
75.0)112(2
12)A,X(S 211titles =−+×
+=
5.0)012(2
12)A,X(S 311titles =−+×
+=
![Page 48: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/48.jpg)
ตัวอยางการคํานวณหาโหนดผูชนะ (ตอ)หาคาความคลายคลึงในเชิง Content ระหวาง Xtitle กับ b11
0)012(
0)A,X(S 111titlec =−+
=
5.0)112(
1)A,X(S 211titlec =−+
=
0)012(
0)A,X(S 311titlec =−+
=
![Page 49: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/49.jpg)
ตัวอยางการคํานวณหาโหนดผูชนะ (ตอ)หาคาความคลายคลึงรวมในเชิง Span และ Content ระหวาง Xtitle กับ b11
1111titlec11titles1111title e)).A,X(S)A,X(S(e).A,X(S +=
05.125.055.025.0
5.0)*05.0(5.0)*5.075.0(
5.0)*05.0(=
=
+++
![Page 50: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/50.jpg)
ตัวอยางการคํานวณหาโหนดผูชนะ (ตอ)หาคาความคลายคลึงในเชิง Span ระหวาง Xkeyword กับ b21
625.0)114(2
14)A,X(S 121keywords =−+×
+=
5.0)014(2
14)A,X(S 221keywords =−+×
+=
625.0)114(2
14)A,X(S 321keywords =−+×
+=
![Page 51: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/51.jpg)
ตัวอยางการคํานวณหาโหนดผูชนะ (ตอ)หาคาความคลายคลึงในเชิง Content ระหวาง Xkeyword กับ b21
25.0)114(
1)A,X(S 121keywordc =−+
=
0)014(
0)A,X(S 221keywordc =−+
=
25.0)114(
1)A,X(S 321keywordc =−+
=
![Page 52: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/52.jpg)
ตัวอยางการคํานวณหาโหนดผูชนะ (ตอ)หาคาความคลายคลึงรวมในเชิง Span และ Content ระหวาง Xkeyword กับ b21
1111keywordc11keywords1111keyword e)).A,X(S)A,X(S(e).A,X(S +=
125.1437.025.0
437.0
5.0)*25.0625.0(5.0)*05.0(
5.0)*25.0625.0(=
=
+++
![Page 53: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/53.jpg)
ตัวอยางการคํานวณหาโหนดผูชนะ (ตอ)หาคาความคลายคลึงสุทธิ ของโหนด Y1
1.05+1.125 = 2.175หาคาความคลายคลึงสุทธิ ของโหนด Y2
0.75+0.75 = 1.5หาคาความคลายคลึงสุทธิ ของโหนด Y3
1.05+ 0.9375 = 1.9875โหนด Y1 คือโหนดชนะ ทําการทดสอบความสอดคลอง Resonance
![Page 54: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/54.jpg)
ทดสอบสวนความสอดคลอง Resonance (ตอ)
6.14.02.1)t,X(S)t,X(S)t,X(S 12keywordc12keywords12keyword =+=+=
375.125.0125.1)t,X(S)t,X(S)t,X(S 11titlec11titles11title =+=+=
575.26.1375.1)t,X(S 1 =+=
525.0)2*5.0()2*2()2*5.0()575.2(Z =
−−
=
weights update,Z1.0
ρρ≥=
![Page 55: Text Adaptive Resonance Theory Neural Network for Support Textual Inputs](https://reader031.vdocument.in/reader031/viewer/2022020206/5467b8c7b4af9fdf3f8b54c5/html5/thumbnails/55.jpg)
การปรับ Weight ของ Text ART Neural Nets (ตอ)Input data Xtitle={money, bank}Xkeyword={economic, market, finance, interest}
Old weightsb11={(interest,0.5),(bank,0.5),(credit,0.5)}b21={(interest,0.5),(bank,0.5),(finance,0.5)}t11={(market,1),(money,1),(biz,0.5)}t12={(market,1),(money,1),(finance,1)}
New weightsb11={(interest,0.49),(bank,0.51),(credit,0.49),(money,0.05)}b21={(interest,0.51),(bank,0.49),(finance,0.51),(economic,0.05),(market,0.05)}t11={(market,0.99),(money,1),(biz,0.99),(bank,0.05)}t12={(market,1),(money,0.99),(finance,1),(economic,0.05),(interest,0.05)}