การเรียนรู้โครงสร้างเบย์...

62
การเรียนรู ้โครงสร้างเบย์เซียนเน็ตเวิร์คด้วย Genetic Algorithm โดย ใช้โครโมโซมรูปแบบ Directed Acyclic Graph สมพล สุนัยรัตนาภรณ์ ª· ¥µ ·¡ r ¸Ê ÁÈ n ª® ¹ É °µ¦ «¹¬µµ¤®¨´ ¼ ¦ วิทยศาสตรมหาบัณฑิต (วิทยาการคอมพิวเตอร์ ) คณะสถิติประยุกต์ สถาบันบัณฑิตพัฒนบริหารศาสตร์ 2551

Upload: others

Post on 19-Jan-2020

5 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

การเรยนรโครงสรางเบยเซยนเนตเวรคดวย Genetic Algorithm โดย

ใชโครโมโซมรปแบบ Directed Acyclic Graph

สมพล สนยรตนาภรณ

ª ·�¥µ�·¡ ��r�ÊÁ�È�­ nª �®�¹É��°��µ¦ «¹�¬µ�µ¤®¨ �­ ¼�¦

วทยาศาสตรมหาบณฑต (วทยาการคอมพวเตอร)

คณะสถตประยกต

สถาบนบณฑตพฒนบรหารศาสตร

2551

Page 2: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new
Page 3: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

บทคดยอ

�ºÉ° ª ·�¥µ�·¡ ��r การเ รยน รโครงสราง เบยเ ซยนเนตเว รคดวย Genetic

Algorithmโดยใชโครโมโซมรปแบบ Directed Acyclic

Graph

�ºÉ°�¼oÁ�¥� นายสมพล สนยรตนาภรณ

�ºÉ°�¦ ·��µ วทยาศาสตรมหาบณฑต (วทยาการคอมพวเตอร)

ปการศกษา 2551

�µ¦ ª ·�¥�Ê�εÁ­ �° การเรยนรโครงสรางเบยเซยนเนตเวรคดวย Genetic Algorithm

(GA) โดยใชโครโมโซมรปแบบ Directed Acyclic Graph (DAG) Á¡ ºÉ°�ε�µ¦ Á¦ ¥�¦ ¼oÃ�¦ �­ ¦ oµ�

Á�¥rÁ�¥�Á�È�Áª ·¦ r��É��É­ »�¦ ª ¤ �Ê��εÁ­ �° ª ·��µ¦ Crossover และ Mutation ของประชากร

Á¡ ºÉ° Ä®o���»�­ ¤��·�°��DAG โดยไมตองใชวธการแกไข (Repair Operator) Á¡ ºÉ°�¦ ��¦ »�

ประชากรใหกลบเปน DAG ��Á�·¤��µ¦ ª ·�¥�Ê¥�Å�o�εเสนอวธการประยกตใช Frequency

Count Tree Á¡ ºÉ° Ä�oÄ��µ¦ ®µ�nµความเหมาะสมของประชากรแทนการตดตอกบฐานขอมล

Ã�¥�¦ ��¹É��εĮo�GA ¤ �¦ ³ ­ ·��·£µ¡ �É­ ¼��¹Ê��ผลการทดลองพบวา° ´ �° ¦ ·�¹¤ �É�εÁ­ �° ให

�¦ ³ ­ ·��·£µ¡ �É��ª nµ�µ¦ Ä�o¦ ¼�Ã�¦ äÃ�¤Ä�¦ ¼��¦ µ¢ �ɪ Å�Á�ºÉ°��µ�Ã�¦ äโซมในรปแบบ

Directed Acyclic Graph ไมตองทาการÂ�oÅ��¦ ³ �µ�¦ �ÉÁ�È��¦ µ¢ �ɪ Å�Ä®o¤ �»�­ ¤ ��·�°��

DAG

Page 4: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

ABSTRACT

Title of Thesis Structure Learning of Bayesian Networks by Genetic

Algorithm using Directed Acyclic Graph Chromosome

Encoding

Author Mr. Sompon Sunairattanaporn

Degree Master of Science (Computer Science)

Year 2008

This paper presents the structure learning of Bayesian networks by genetic algorithm

(GA), using Directed Acyclic Graph (DAG) Chromosome Encoding, to learn the best

Bayesian network structure from data. Moreover, it proposes new crossover and mutation

methods that can preserve DAG property without repairing operator for adjusting the DAG of

child population. To calculate the fitness of population effectively, Frequency Count Tree

method is used to represent training data to avoid time consuming data retrieval from

database. The results from experiments show that the proposed algorithm is considerably

more efficient than other algorithms that use general graph chromosome encoding.

Page 5: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

กตตกรรมประกาศ

ª ·�¥µ�·¡ ��rÁ¦ ºÉ°�การเรยนรโครงสรางเบยเซยนเนตเวรคดวย Genetic Algorithm โดย

ใชโครโมโซมรปแบบ Directed Acyclic Graph �Ê�สาเรจลลวงไดดวยดÁ�ºÉ°�¤µ�µ��»��®¨ µ¥

�nµ��ÉÅ�o�¦ »�µ�nª ¥Á®¨ º° Ä®o�o° ¤ ¼��o°Á­ �°Â�³��ε�¦ ¹�¬µÂ�³�ε��ª µ¤�·�Á®È�และกาลงใจ

ผเขยนขอกราบขอบพระคณ รองศาสตราจารย ดร. สรพงค Á° ºÊอวฒนามงคล �ÉÅ�oÄ®o

คาแนะนา �ÊÂ�³ Â�ª �µ�และตรวจสอบวทยานพนธใน�»��Ê��°�

ขอขอบพระคณคณาจารยของคณะสถตประยกตทกทาน �É�¦ ³ ­ ·��·Í�¦ ³ ­ µ�ª ·�µÂ ³

ถายทอดความรใหแกผศกษา ขอขอบ�»�Á�oµ®�oµ�É��³ ­ �·�·�¦ ³ ¥»��r�ÉÅ�oÄ®o�ª µ¤�nª ¥Á®¨ º° ใน

การตดตอประสานงานเปนอยางด  ³ �°�°��»�Á�oµ®�oµ�É­ ε���¦ ¦ �­ µ¦ �µ¦ ¡ ��µ��É�¦ »�µ

�nª ¥�¦ ª �­ °�¦ ¼�Án¤ ª ·�¥µ�·¡ ��rÄ®o�¼��o°��¦ ��oª ��¦ ��µ¤ ¦ ¼�Â���É�µ�­ �µ���ε®��

ขอขอบคณนกศกษารวมรน ¦ »n�¡ É�¨ ³ ¦ »n��o°�ในคณะสถตประยกต�ÉÅ�oÄ®o�ª µ¤

ชวยเหลอ  ³ �¦ ³ ­ µ��µ��°��nª �Áª ¨ µ�ÉÅ�o«¹�¬µ° ¥¼n�É��³ ­ �·�·�¦ ³ ¥»��r

�oµ¥­ »��Ê�ขอกราบขอบพระคณบดา มารดา และญาต¡ É�o° ��ÉÅ�o�nª ¥­ n�Á­ ¦ ·¤

สนบสนน และเปนกาลงใจใหแกผจดทาวทยานพนธตลอดมา

สมพล สนยรตนาภรณ

พฤษภาคม 2552

Page 6: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

สารบญ

หนา

บทคดยอ.........................................................................................................................................(5)

กตตกรรมประกาศ..........................................................................................................................(7)

สารบญ ...........................................................................................................................................(8)

สารบญตาราง ...............................................................................................................................(10)

สารบญภาพ ..................................................................................................................................(11)

���É�1 บทนา................................................................................................................................... 1

1.1 ความสาคญของปญหา 1

1.2 วตถประสงคของการวจย 3

1.3 ขอบเขตของการวจย 4

1.4 �Ê��°��µ¦ ª ·�¥ 4

1.5 �¦ ³ Ã¥��r�É�³ Å�o¦ ��µ��µ¦ ª ·�¥ 5

���É�2 การทบทวนวรรณกรรม ...................................................................................................... 6

2.1 Genetic Algorithm 6

2.2 การเรยนรโครงสรางเบยเซยนเนตเวรค 7

���É�3 ª ·��É�εÁ­ �° และรปแบบการทดลอง ................................................................................. 19

3.1 Directed Acyclic Graph 19

3.2 Proposed Crossover Method 21

3.2.1 Crossover ในสวนของ Topological Node Order 21

3.2.2 Crossover ในสวนของ Parent Information 23

3.3 Mutation Method 24

3.4 Population Initialization Method 25

3.5 Selection Method 25

3.6 Frequency Count Tree 26

Page 7: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

(9)

���É�4 การทดลอง......................................................................................................................... 29

4.1 ตวแปร (Parameters) �ÉÄ�oในการทดลองของ GA 32

���É�5 สรปผลการวจยและขอเสนอแนะ ...................................................................................... 43

5.1 สรปผลการวจย 43

5.2 ขอเสนอแนะ 44

บรรณานกรม .................................................................................................................................. 45

ภาคผนวก ....................................................................................................................................... 48

ประวตผเขยน 52

Page 8: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

สารบญตาราง

�µ¦ µ��É หนา

3.1 ตวอยางฐานขอมล......................................................................................................27

4.1 ��µ¦ ��°�Á¤ºÉ° Ä�o�Elitism Probability: 0.0 ...........................................................34

4.2 ��µ¦ ��°�Á¤ºÉ° Ä�o�Elitism Probability: 0.3 ...........................................................35

4.3 ��µ¦ ��°�Á¤ºÉ° Ä�o�Elitism Probability: 0.5 .........................................................

4.4 ��µ¦ ��°�Á¤ºÉ° Ä�o�Elitism Probability: 1.0 ...........................................................37

4.5 ผลการทดลองจาก Larranaga et al. (1996a: 912-926) โดยเลอกผลการทดลอง 38

�É��É­ »�Äนกรณ Without Order Restriction, Without Local Optimizer และวธ

Elitist

4.6 เปรยบเทยบผลการทดลองตามคา Elitism Probability กบ Larranaga et al. .............39

(1996a: 912-926) ของขนาดประชากรเทากบ 10

4.7 เปรยบเทยบผลการทดลองตามคา Elitism Probability กบ Larranaga et al. ..............41

(1996a: 912-926) ของขนาดประชากรเทากบ 50

36

Page 9: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

สารบญภาพ

£µ¡ �É หนา

1.1 ตวอยาง Conditional Probability Tables ในเบยเซยน ..................................................2

2.1 โครงสรางของ Single Population Evolutionary Algorithm ........................................7

2.2 ตวอยางโครงสรางเบยเซยนเนตเวรค .........................................................................11

2.3 The Evaluation of the Proposed Method for Structure Learning from 12

a Database of Case

2.4 รปแบบ Illegal Structures หลงจากกระบวนการ Genetic..........................................13

2.5 A Bayesian Network, a Topological Node Order and the Corresponding 14

2.6 Parent Chromosomes.................................................................................................15

2.7 Generating New Topological Node Order ................................................................15

2.8 Crossover for Chromosomes of Same Node Orders .................................................16

2.9 Generating Parent Information กอนทาการ Reverse Edges ......................................16

2.10 Generating Parent Information..............................................................................

3.1 แสดงโครงสรางเบยเซยนเนตเวรค ASIA �ÉÅ�o�µ��µ¦ ¦ �Ã�รแกรม.........................20

3.2 î���É thI และ thJ กาลงหา Interchange Set ในกลมเดยวกน ................................22

3.3 โครงสราง Frequency Count Tree จากฐานขอมล .....................................................28

4.1 โครงสรางของเนตเวรค ASIA ...................................................................................30

4.2 โครงสรางของเนตเวรค CAR DIAGNOSIS2............................................................31

4.3 โครงสรางของเนตเวรค ALARM ..............................................................................31

4.4 เปรยบเทยบผลการทดลองตามคา Elitism Probability กบ Larranaga et al. 40

(1996a: 912-926) ของฐานขอมล ASIA และมขนาดประชากรเทากบ 10

4.5 เปรยบเทยบผลการทดลองตามคา Elitism Probability กบ Larranaga et al. 40

(1996a: 912-926) ของฐานขอมล ALARM และมขนาดประชากรเทากบ 10

4.6 เปรยบเทยบผลการทดลองตามคา Elitism Probability กบ Larranaga et al. 42

(1996a: 912-926) ของฐานขอมล ASIA และมขนาดประชากรเทากบ 50

17

Page 10: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

(12)

4.7 เปรยบเทยบผลการทดลองตามคา Elitism Probability กบ Larranaga et al. 42

(1996a: 912-926) ของฐานขอมล ALARM และมขนาดประชากรเทากบ 50

Page 11: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

���É1

บทนา

1.1 ความสาคญของปญหา

Á�È�Áª ¨ µ®¨ µ¥� oª �ÉÁ�¥rเซยนเนตเวรคไดถกนามาชวยในการตดสนใจในปญหา

ตµ�Ç��ɤ�ª µ¤Å¤nÂ�n�°��°��o° Á�È��¦ ·��¦ ª ¤ �Ê��ª µ¤Å¤nÂ�n�°��°��ª µ¤ ­ ¤ ¡ ��r¦ ³ ®ª nµ�

Á®�»Â ³ ��¹É�Â���nµ��µ�¦ ³ ���Rule-Base ®¦ º° ¦ ³ ���¼oÁ�É¥ª �µ��É�ª µ¤ ­ ¤ ¡ ��r¦ ³ ®ª nµ�Á®�»

 ³ � ³ �o° Á�È��¦ ·��o°�¤�ª µ¤Â�n�°���ª ° ¥nµ���®µ�É�εÁ�¥rÁ�¥�Á�È�Áª ·¦ r�¤µÄ�o�เชน การ

วเคราะหหาสาเหตของความบกพรองในอปกรณคอมพวเตอร การวนจฉยโรค เปนตน เบย

เซยนเนตเวรคเปนวธการหาเหตผลภายใต Uncertainty �¹É�¤�ª µ¤Â���nµ��µ�¦ ³ ���Rule-

Based ®¦ º° ¦ ³ ���¼oÁ�É¥ª �µ�Á�ºÉ°��µ�¦ ³ �����nµª �oµ¤�o° ¤ ¼Å¤n�¦ ��³�εĮo�µ¦ ®µÁ®�»�

ไมถกตอง เบยเซยนเนตเวรคจะวเคราะหขอเทจจรงของเหตและผลโดยใชกราฟแบบ Acyclic

Ã�¥�ÉÂ�n ³ �ª Â�¦ Ä�Á�¥rÁ�¥�Á�È�Áª ·¦ r��³�¼�Â���oª ¥Ã®����¹É�Â�n ³ î��¤ ­ Á��®¦ º° Á��

คาของตวแปร Ã�¥Ã®���¼�Á�ºÉ° ¤�oª ¥�Edges �¹É��Ê�¹��·«�µ��°�î��° ºÉ��ɤ�ª µ¤ ­ ¤ ¡ ��r��

î���Ê�ทกๆ โหนดจะเกบ Condition Probability Table (CPT) �Éแสดงถงคาความเปนไปได

�°��o° ¤ ¼�ÉÁ�É¥ª �o°���î��° ºÉ��Ã�¥�nµ�Conditional Probability เปนคาทางคณตศาสตรใน

รปแบบ ),...,,|( 21 npppxP �¹É�­ ���¹��nµ�ÉÁ�È�Å�Å�o�°��ª Â�¦ ��X ในสเตท x โดยม

Parent 1P ในสเตท 1p , Parent 2P ในสเตท 2p , …, และ Parent nP ในสเตท np Ä��¦ ��É

โหนดไมม Parent เลยคา Conditional Probability ของโหนดจะแทนคา Prior Probability �É�ª

แปรของโหนดวาจะเปนจรงหรอเทจ ตวอยาง CPT ดง£µ¡ �É1.1

Page 12: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

2

£µ¡ �É�1.1 ตวอยาง Conditional Probability Tables ในเบยเซยน

®¨ n��ɤµ: Charles River Analytics, 2008.

ประโยชนของเบยเซยนเนตเวรคคอÁ�È�Á�¦ ºÉ° �¤º° ­ 宦 ��µ¦ ®µÁ®�»� £ µ¥Ä�o�

Uncertainty เบยเซยนเนตเวรคมคณสมบตเปน DAG มโหนดเปนตวÂ�¦ Â��­ »n¤  ³ Á­ o�Á�ºÉ° ¤

¦ ³ ®ª nµ�î���o°�Á�È�° ·­ ¦ ³ ��µ¦ �É�³ ®µ�nµ Condition Probability Distribution ของแตละ

โหนดในเบยเซยนเนตเวรค ตองรคา Probabilities �µ�Á�¥rÁ�¥�Á�È�Áª ·¦ r��É�ε®��Ä®oÁ¦ µ¤��³

ตองการทราบคา Joint Probability �°��ª Â�¦ �Ê�®¤�Á¤ºÉ°�ε®��คาของแตละโหนด การหาคา

Joint Probability �°��ª Â�¦ �Ê�®¤�Ä�เบยเซยนเนตเวรคสามารถคานวณไดจาก Chaining

Rule �n°Å��Ê

n

iiin xPxxp

11 )|(),...,(

�¹É��ix ­ ���¹��nµ�°��ª Â�¦ �É¡ ·�µ¦ �µ�µ��ª Â�¦ � iX และ i แสดงถงคาของตว

Â�¦ �É¡ ·�µ¦ �µÄ��¦ ��ÉÁ�È�Parent ของตวแปร iX

เบยเซยนเนตเวรคประกอบดวยโครงสรางและ Conditional Probabilities ในการสราง

Á�¥rÁ�¥�Á�È�Áª ·¦ r�Á¡ ºÉ° Ä�o�µ�° µ��εÅ�oÃ�¥Á¦ ¥�¦ ¼oÃ�¦ �­ ¦ oµ�Á�¥rÁ�¥�Á�È�Áª ·¦ r��µ��o° ¤ ¼�·��¹É�

�°�Á®�»�µ¦ �r®¦ º° ­ Á���°��ª Â�¦ �ÉÁ�·��¹Ê��ปญหา�É­ ε��Ä�การเรยนรโครงสรางเบยเซยน

Page 13: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

3

เนตเวรคคอการ�É�o°�ใชเวลานานในการเรยนรโครงสรางดงกลาว �¹É�Áª ¨ µ�ÉÄ�oÄ��µ¦ Á¦ ¥�¦ ¼oจะ

�¹Ê�° ¥¼n���ε�ª ��ª Â�¦  ³  ³ ��µ��°��o° ¤ ¼�Ä��¦ ��ɤ�ε�ª �ตวแปรในขอมลมมากจะ

ทาใหมรปแบบโครงสราง�É�³ �o° �¡ ·�µ¦ �µ¤ �ε�ª �¤ µ��oª ¥ และในกรณ�É��µ��°�

ฐานขอมลใหญจะทาใหการเรยนรตองใชเวลา¤µ��¹Ê��oª ¥

�µ¦ Á¦ ¥�¦ ¼oÃ�¦ �­ ¦ oµ�Á�È�Áª ·¦ r��µ��o° ¤ ¼Á�È���®µ�É�nµ�oµ�µ¥Á¡ ¦ µ³ ��®µ�°��µ¦

เรยนรโครงสรางเนตเวรคจากขอมลถกจดเปนปญหา NP-Hard (Chickering, Geiger and

Heckerman, 1994; Heckerman, Geiger and Chickering, 1995: 197-243) การเรยนรโครงสราง

Á�È�Áª ·¦ r��¹�° µ�ŤnÅ�oÃ�¦ �­ ¦ oµ�Á�È�Áª ·¦ r��ÉÂ�o�¦ ·��µ¤�o° ¤ ¼�·��É�ε®��Ä®oÂ�nÁ�È�Ã�¦ �­ ¦ oµ��É

Ä�oÁ�¥�¤µ��É­ »�Á�nµ�É�³�εÅ�o

1.2 วตถประสงคของการวจย

Á�ºÉ°��µ��GA Á�È�° ´ �° ¦ ·�¹¤�É­ µ¤µ¦ �ววฒนาการÁ¡ ºÉ° Â�o��®µ�ɤ�ª µ¤���o°��Á�n�

ปญหา NP-Hard �¹�¤ o�³ Ťn¡ ��ε�°��ÉÂ�o�¦ ·�Â�n�È­ µ¤µ¦ ��o�®µ�ε�°��É��É­ »��ÉÄ�o��

�ε�°��ÉÂ�o�¦ ·�Å�o�����Ê��¹�Å�o¤�µ¦ Ä�o�GA Á¡ ºÉ° Á¦ ¥�¦ ¼oÃ�¦ �­ ¦ oµ�Á�¥rÁซยนเนตเวรคมาแลว

(Larranaga, Poza, Yurramendi, Murga and Kuijpers, 1996a: 912-926; Larranaga, Sierra,

Gallego, Michelena and Picaza, 1997: 261-272; Guo, Perry, Stilson and Hsu, 2002: 951-952;

Gupta and Allan, 2003: 1429-1442) �µ�ª ·�¥Á®¨ nµ�Êมกจะใชโครโมโซมในรปแบบกราฟ

�ɪ Å��¹É�Á¤ºÉ° ¤ �µ¦ �εÃ�¦ äÃ�¤¤µ�ε�µ¦ �Crossover Á¡ ºÉ° ­ ¦ oµ�Ã�¦ äÃ�¤ ¨ ¼��³ �εĮoÁ�·�

Ã�¦ äÃ�¤�ÉÁ�È��¦ µ¢ �ÉŤnÁ�È��Acyclic จงตองมการปรบปรงโครโมโซมใหมใหเปน Acyclic

Graph การปรบปรงทาใหเสยเวลาและอาจกระทบตอประสทธภาพของการคนหาคาตอบ�É�

�É­ »�����Ê��µ¦ ª ·�¥�¦ Ê��Ê�¹�Ä�o�GA Á¡ ºÉ° Á¦ ¥�¦ ¼oÃ�¦ �­ ¦ oµ��°�Á�¥rÁ�¥�Á�È�Áª ·¦ r�โดยใช

โครโมโซมรปแบบ Directed Acyclic Graph และการทา Crossover Â��Ä®¤nÁ¡ ºÉ°���»�­ ¤��·

ความเปน Acyclic Graph ของโครโมโซมลกทาใหไมจาเปนตองมวธการปรบปรงโครงสราง

Á¡ ºÉ° Ä®o¤ �»�­ ¤ ��·ของ DAG Á®¤º°��µ¦ ª ·�¥�É�nµ�¤µ�ÉÄ�o�Repair Operator หรอการทา

Reverse Edges �°��µ��Ê¥��ε�µ¦ �¦ ³ ¥»��rÄ�o�Frequency Count Tree Á¡ ºÉ° Á�È��o° ¤ ¼­ ¦ »��°�

ฐานขอมลดบ�ÉÄ�oÁ¦ ¥�¦ ¼oÄ�¦ ¼�Â���Frequency Counts Á¡ ºÉ° ปรบปรงประสทธภาพในการนบ

จานวนเหตการณตางๆ จากการอานขอมลจากฐานขอมลทาใหการหาคาความเหมาะสมของแต

¨ ³ �¦ ³ �µ�¦ �εÅ�o¦ ª �Á¦ Ȫ �¹Ê�

Page 14: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

4

1.3 ขอบเขตของการวจย

�µ¦ ª ·�¥�ÊมงÁ�o�Å��É�µ¦ Á¦ ¥�¦ ¼oÃ�¦ �­ ¦ oµ�เบยเซยนเนตเวรคโดยทาการทดลองกบเบย

เซยนเนตเวรค 3 เครอขายไดแก ASIA (Lauritzen and Spiegelhalter, 1988: 157-224), CAR

DIAGNOSIS2 (Norsys Software Corp., 2008) และ ALARM (Beinlinch, Suermondt, Chavez

and Cooper, 1989: 247-256) �µ¦ ��°��³ Ä�o�o° ¤ ¼�Éมขนาด 500, 1000, 2000 และ 3000

Records การสรปผลการทดสอบจะมการเปรยบเทยบคาคะแนนความเหมาะสม�Éควรจะไดจาก

โครงสรางÁ�¥rÁ�¥�Á�È�Áª ·¦ r��É�ε®��Ä®o�(Initial Structure Score) กบคาคะแนนความ

เหมาะสมของโครงสราง�ÉÅ�o�µ��µ¦ Á¦ ¥�¦ ¼oÃ�¥�GA (Induced Structure Score) ¦ ª ¤ �Ê�¤�µ¦

เปรยบเทยบคาคะแนนความเหมาะสมของโครงสราง�ÉÅ�o�µ��µ¦ Á¦ ¥�¦ ¼oÃ�¥�GA กบผลการวจย

�É�nµ�¤µ

1.4 �Ê��°��µ¦ ª ·�¥

�Ê��°��µ¦ �εª ·�¥Â�n�° °�Á�È��6 �Ê��°����Ê

1) «¹�¬µÁ°�­ µ¦  ³ �µ�ª ·�¥�ÉÁ�É¥ª �o°��Å�oÂ�n

(1) «¹�¬µ�µ�ª ·�¥�ÉÁ�É¥ª �o°���Á�¥rÁ�¥�Á�È�Áª ·¦ r� ³ �GA

(2) «¹�¬µ�µ�ª ·�¥�ÉÁ�É¥ª �o°���การเรยนรโครงสรางเบยเซยนเนตเวรคดวย GA

(3) ศกษาการประยกตใช Frequency Count Tree Á¡ ºÉ°�nª ¥Ä��µ¦ �ε�ª ��nµ�³ Â��

ความเหมาะสมของโครงสรางเบยเซยนเนตเวรค

2) ª ·Á�¦ µ³ ®rÁ¡ ºÉ° ®µÂ�ª �·�®¦ º° ª ·��µ¦ Ä®¤nÇ��ÉÁ�É¥ª �o°���การเรยนรโครงสรางเบย

เซยนเนตเวรคดวย GA

3) ออกแบบและพฒนาการเรยนรโครงสรางเบยเซยนเนตเวรคดวย GA โดยใช

โครโมโซมรปแบบ Directed Acyclic Graph �¹É�¤�µ¦ �¦ ³ ¥»��rÄ�o�Frequency Count Tree Á¡ ºÉ°

เกบขอมลในรป Count แทนการนบจานวนเหตการณจากการอานขอมลจากฐานขอมล

4) ทดสอบขอมลและประเมนประสทธภาพการเรยนรโครงสรางเบยเซยนเนตเวรค

ดวย GA โดยใชโครโมโซมรปแบบ Directed Acyclic Graph และวธการ Crossover �É¡ ��µ

โดยทาการเปรยบเทยบคาคะแนนความเหมาะสม�Éควรไดกบคาคะแนนความเหมาะสม�ÉÅ�o

จากการเรยนรโดย GA

Page 15: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

5

5) ประเมนประสทธภาพการเรยนรโครงสรางเบยเซยนเนตเวรคดวย GA โดยใช

โครโมโซมรปแบบ Directed Acyclic Graph โดยทาการเปรยบเทยบผลการทดลองกบงานวจย

° ºÉ�Ä�° ��

6) วเคราะห สรปผลการวจย และขอเสนอแนะ

1.5 �¦ ³ Ã¥��r�É�³ Å�o¦ ��µ��µ¦ ª ·�¥

Á�ºÉ°��µ��µ¦ Á¦ ¥�¦ ¼oÃ�¦ �­ ¦ oµ�Á�¥rÁ�¥�Á�Èตเวรคดวย GA Ä��µ¦ ª ·�¥�É�nµ�¤µ¥�¤�ª µ¤

ยงยากในการปรบโครงสรางใหมคณสมบตตามโครงสราง DAG หลงจากการทา Crossover

หรอ Mutation ���Ê��»��¦ ³ ­ ��r�µ¦ ª ·�¥�¦ Ê��ÊÁ¡ ºÉ° �É�³ เรยนรโครงสรางเบยเซยนเนตเวรคดวย

GA โดยใชโครโมโซมรปแบบ Directed Acyclic Graph และวธการทาง Genetic Â��Ä®¤n�¹É�

Á�È�ª ·��É�nµ¥Â ³ ¤ �¦ ³ ­ ·��·£µ¡ ¤ µ��ª nµÃ�¥Å¤n�εÁ�È��o°�¤ ª ·��µ¦ �Repair Operator หรอ

Reverse Edge เหมอนงานª ·�¥�É�nµ�¤µ

Page 16: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

���É2

การทบทวนวรรณกรรม

Ä����Ê�³ �nµª �¹��µ¦ «¹�¬µ�µ�ª ·�¥�ÉÁ�É¥ª �o°����¹É��¦ ³ �°��oª ¥�GA และการเรยนร

Ã�¦ �­ ¦ oµ�Á�¥rÁ�¥�Á�È�Áª ·¦ r���¹É�¤ ¦ µ¥¨ ³ Á° ¥����n°Å��Ê

2.1 Genetic Algorithm

Genetic Algorithms (GA) เปนวธการคนหา�ε�°��É��É­ »��°���®µÃ�¥Á ¥�Â��

ววฒนาการทางธรรมชาต อลกอรธมจะÂ���ε�°��°���®µÄ�¦ ¼�Ã�¦ äÃ�¤�¹É�¤¸ �¬�³

ในรป String ของคาตวแปรตางๆ ในคาตอบคาแตละตวเรยกวา ยนส อลกอรธมจะพจารณา

คดเลอกประชากร�¹É�Â���ε�°��°���®µ�ɤ�ª µ¤Á®¤µ³ ­ ¤Á¡ ºÉ° Á�È�¡ n° ¡ ��»r ³ ¤n¡ ��»rÄ�

การสรางประชากรรนลกโดยวธทางพนธกรรม ประชากรรนลกจะไดรบการถายทอดลกษณะด

�°�¡ n° ¤n�εĮoÅ�o�¦ ³ �µ�¦ �ɤ�ª µ¤Á®¤µ³ ­ ¤¤µ�Á¡ ·É¤�¹Ê��

โดยปกต GA จะประกอบดวยวธพนธกรรม 3 วธ ไดแก Selection, Recombination

หรอ Crossover และ Mutation วธการ Selection �³�ε�µ¦ ��Áº°��¦ ³ �µ�¦ �ÉÁ®¤µ³ ­ ¤Á¡ ºÉ° Ä�o

Á�È�¡ n° ¡ ��»r ³ ¤n¡ ��»rÁ¡ ºÉ°�ε�µ¦ �Recombination Ä®oÅ�o¼��ɤ�ª µ¤Á®¤µ³ ­ ¤ ¥·É��¹Ê��®¨ ��µ�

�Ê�¼��³�ε�µ¦ �Mutation Á¡ ºÉ° Ä®o­ µ¤µ¦ �Å�o�¦ ³ �µ�¦ �ÉÂ���nµ��µ�¡ n° ¡ ��»r ³ ¤n¡ ��»r�εĮo

�µ¦ �o�®µ�ε�°�Ťn®¥»�° ¥¼n�É�ε�°��ÉÁ�È��Local Optimal Á�nµ�Ê��µ�£µ¡ �É�2.1 แสดง

�Ê��°��°���GA �³ Á®È�Å�oª nµ¤ �Ê��°��µ¦ �ε�µ�Â���Îʵ���¦ ³ �É�Å�o�ε�°��É��É­ »��µ¤

Á�ºÉ°�Å�®¦ º°�Criteria �É�ε®��

GA �ɪ Å��³ �ε�µ¦ ­ ¦ oµ��¦ ³ �µ�¦ Á¦ ·É¤ ¦ �Â��­ »n¤��»�Ç��nª �ª ·ª ��µ�µ¦ Á¦ ¥�ª nµ�

Generation แตละบคคลในประชากรปจจบนจะถกถอดรหสและคานวณคาความเหมาะสมตาม

ฟงกชน Fitness ของ��®µ�É¡ ·�µ¦ �µ��µ¦ �Crossover จะทาระหวµ�­ °��¦ ³ �µ�¦ �É�¼�Áº°�

Ã�¥�µ¦ Á�É¥�­ nª ��°�Ã�¦ äÃ�¤ ¦ ³ ®ª nµ���Á¡ ºÉ° ­ ¦ oµ��¦ ³ �µ�¦ ¨ ¼�ใหม การ Mutation จะม

Page 17: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

7

�µ¦ Á�É¥��nµ�°�¥�­ rÄ�Ã�¦ äÃ�¤Ä��¬�³ Â��­ »n¤Á¡ ºÉ°�o°����µ¦ �Éประชากรไมสามารถ

ลเขาหา Global Optima

ถงแมวา GA จะไมมการรบประกนวาจะพบวธการแ�o��®µ�É��É­ »�เสมอไป แตÁ¤ºÉ° ¤ ¸

การ ¦ �° ´ �° ¦ ·�¹¤®¨ µ¥Ç��¦ Ê��È�³ Ä®o�ε�°��É�®¦ º° Ä�oÁ�¥����ε�°��É��É­ »�Ä�¦ ³ ��®�¹É�

�o° ��É­ ε���°��GA �º°�µ¦ �É­ µ¤µ¦ ����µ¦ �String จานวนมากพรอมๆ กนดวยกระบวนการ

Â����µ���¹É�ทาใหการคนหาทาไดรวดÁ¦ Ȫ ¥·É��¹Ê�

£µ¡ �É�2.1 โครงสรางของ Single Population Evolutionary Algorithm

®¨ n��ɤµ: Townsend, 2003.

2.2 การเรยนรโครงสรางเบยเซยนเนตเวรค

การเรยนรเบยเซยนเนตเวรคแบงไดเปน 2 สวนคอ เรยนรÃ�¦ �­ ¦ oµ��¹Éงจะพจารณาถง

โครงสรางหรอ Topology ของเบยเซยนเนตเวรค และอกสวนคอการเรยนรพารามเตอรไดแก

Conditional Probabilities ในแตละโหนดของเนตเวรค �µ¦ ª ·�¥�ÊมงÁ�o�Å��É�µ¦ Á¦ ¥�¦ ¼o

โครงสรางมากกวาการเรยนรพารามเตอร

อลกอรธมแรกๆ �Éใชเรยนรโครงสรางของเบยเซยนเนตเวรคจากขอมลคอ K2

Algorithm ของ Cooper และ Herskovits (1992: 309-347) ° ´ �° ¦ ·�¹¤ �Ê�³ ตองทราบ

Topological Order ของเบยเซยนเนตเวรคลวงหนาและจะทาการสรางโครงสรางของเบยเซยน

Page 18: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

8

เนตเวรค sB จากฐานขอมล D �É�εĮo� ),( DBP s มคาสงสด (Heckerman, 1995;

Heckerman et al., 1995: 197-243) สาหรบ ),( DBP s สามารถคานวณไดจาก

n

iss ifBPDBP

1

),()(),( (1)

โด¥�É� ),( if �º°�nµ�ª µ¤�nµ�³ Á�È��°��µ��o° ¤ ¼�ɤ �Parent ของ ix คอ i และ

สามารถคานวณไดจาก

i iq

j

r

kijk

iij

i

rN

rif

1 1

!)!1(

)!1(),(

D = ฐานขอมลสาหรบหาโครงสรางของเบยเซยนเนตเวรค

sB = Ã�¦ �­ ¦ oµ�Á�È�Áª ·¦ r��É�ε �¡ ·�µ¦ �µ

n จานวนโหนดในเนตเวรค

i เซตของ Parent ของโหนด ix

i : รายการของคา Possible Instantiations จาก Parent ของ ix ในฐานขอมล D �¹É�

คอ ถา spp ,...,1 คอ Parent ของ ix แลว i คอ Cartesian Product

},...,...,{...},...,{ 1111

1

1 s

sp

ss

p

pr

pppr

pvvvvv �°��nµ�ÉÁ�È�Å�Å�o�Ê�®¤��µ�°��¦ ·�·ª �rของ

1p ถง sp

iiq

ii Vr

iV : ¦ µ¥�µ¦ �°��nµ�ÉÁ�È�Å�Å�o�Ê�®¤��°�°��¦ ·�·ª �r ix

ijk : �ε�ª ��¦ ��ÉÁ�·��¹Ê�Ä��D �¹É�°��¦ ·�·ª �rx i เปน Instantiation กบคาของ thk

และ Parent ของ x i ใน i เปน Instantiations กบคา thj Instantiation ใน i

ijN

ir

k ijk1 �¹É��º°�ε�ª ��¦ �Ä��µ��o° ¤ ¼�¹É� Parent ของ x i ใน เปน

Instantiations กบคา thj Instantiation ใน i

Page 19: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

9

ตวอยาง�É�2.1 การหาคาคะแนน ),( iif จากฐานขอมล (Ruiz, 2005) �n°Å��Ê

case 1x 2x 3x

1 1 0 0

2 1 1 1

3 0 0 1

4 1 1 1

5 0 0 0

6 0 1 1

7 1 1 1

8 0 0 0

9 1 1 1

10 0 0 0

พจารณา 2x ( 2i ) Á¤ºÉ°�Parent ของ 2x คอ { 1x } จะสามารถหาคา }){,2( 1xf ได

���Ê

2 2

1 12

22

21 !

)!1(

)!1(}){,2(

q

j

r

kjk

j rN

rxf

2 = (( 1x =0), ( 1x =1))

222 q

211 = 4 = cases with 1x = 0 และ 2x = 0 (case 3, 5, 8, 10)

212 = 1 = cases with 1x = 0 และ 2x = 1 (case 6)

221 = 1 = cases with 1x = 1 และ 2x = 0 (case 1)

222 = 4 = cases with 1x = 1 และ 2x = 1 (case 2, 4, 7, 9)

21N 211 + 212 = 5

22N 221 + 222 = 5

Page 20: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

10

2

1

2

12221

1

2

12

22

21 !*

)!125(

)!12(!**

)!125(

)!12(!

)!1(

)!1(}){,2(

2

k kkk

q

j kjk

j rN

rxf

900/15*6

1*

5*6

1!4!*1*

!6

1!*1!*4*

!6

1!!**

!6

1!*!**

!6

1222211212211

อลกอรธม K2 ¤ �o°�ε���É�³ �o°�¤�µ¦ �ε®��Topological Order ของเบยเซยน

Á�È�Áª ·¦ r�nª �®�oµ�¹É�° µ��εŤnÅ�oÄ��µ���·��·��°��µ��Ê�oµ° ´ �° ¦ ·�¹¤ ¤ ¸ �¬�³ Á�È��

Exhaustive Search จงทาใหเสยเวลาในการทางานมาก

�µ��µ¦ ª ·�¥�É�nµ�¤µÅ�o¤�µ¦ Ä�o�GA Á¡ ºÉ° ®µÃ�¦ �­ ¦ oµ�Á�¥rÁ�¥�Á�È�Áª ·¦ r��µ��µ��o° ¤ ¼

โดยมรปแบบโครโมโซมและวธทางพนธกรรม�ÉÂ���nµ����

Larranaga et al. (1996a: 912-926) และ Larranaga et al. (1997: 261-272) ไดนาเสนอ

¦ ¼�Â��Ã�¦ äÃ�¤�ÉÁ¦ ¥�ª nµConnectivity Matrix ( ijc ) Á¡ ºÉ° Ä�oÂ��Ã�¦ �­ ¦ oµ�Á�¥rÁ�¥�

เนตเวรคโดยมรปแบบโครโมโซมเปนเมตรกซ C ขนาด nn โดย n คอจานวนตวแปรหรอ

โหนด แตละ ijc �ε®��Å�o���Ê

แตละประชากรแทนดวย String:

............. 212221212111 nnnnnn ccccccccc

โดยมความยาวของ String คอ 2n

Page 21: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

11

£µ¡ �É�2.2 ตวอยางโครงสรางเบยเซยนเนตเวรค

®¨ n��ɤµ: Larranaga et al., 1996a: 912-926.

จาก£µ¡ �É2.2 ม Connectivity Matrix คอ Á¤ºÉ° ¡ ·�µ¦ �µÄ�¦ ¼�Â���

String คอ 001001000

Ä��¦ ��É�ε®���µ¦ Á¦ ¥�ε��î��(Topological Order) จากโหนด 1, 2, 3,…, n

ตามลาดบ โครโมโซมจะแทนดวย String �ɤ��µ������Ê

|||...|...|...|...| 1221363534325242321413121 nnnnnnnnn ccccccccccccccc

Ä��Ê��°��GA ของ Larranaga et al. (1996a: 912-926) และ Larranaga et al. (1997:

261-272) Å�oÂ�n��Ê��°�Á�È�3 �Ê��°�ดง£µ¡ �É2.3

�Ê��°��É�1: สรางฐานขอมล D �µ�Ã�¦ �­ ¦ oµ�Á�¥rÁ�¥�Á�È�Áª ·¦ r��É�o°��µ¦ �(Initial

Structure) โดยวธ Simulation Probabilistic Logic Sampling

�Ê��°��É�2: ใช GA Á¡ ºÉ° ®µÃ�¦ �­ ¦ oµ�Á�¥rÁ�¥�Á�È�Áª ·¦ r��*sB (Induced Structure) �¹É�

ให ),( * DBP s ¤�nµ¤µ��É­ »�(Cooper and Herskovits, 1992: 309-347)

�Ê��°��É�3: เปรยบเทยบคาความเหมาะสมระหวาง Initial Structure และ *sB

Page 22: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

12

£µ¡ �É�2.3 The Evaluation of the Proposed Method for Structure Learning from a Database of

Case

®¨ n��ɤµ: Larranaga et al., 1996a: 912-926.

�µ¦ ­ ¦ oµ��¦ ³ �µ�¦ Á¦ ·É¤Â¦ �Å�o�ε���ε�ª น Parent ของแตละโหนดไมเกน 4 โหนดใน

สวนของฟงกชน Fitness ไดใชสตรคานวณเชนเดยวกบ K2 (Cooper and Herskovits, 1992:

309-347; Heckerman, 1995) แตอยในรปของ Logarithm ของ ),( DBP s ในแตละชวงของ

�¦ ³ �µ�¦ �³ ¤ �Ê��°��µ¦ �ª ��»¤�ε�ª ��Parent ของแตละโหนดไมใหเกน 4 โหนดดวยวธ

Hybridization �¹É�Â�n�Á�È� 2 ประเภทคอม Local Optimizer และไมม Local Optimizer

ประเภทม Local Optimizer จะทาการหาสบเซตของ Parent �É��É­ »��°�î���Ê�Á¡ ºÉ° Ä®o

จานวน Parent ไมเกน 4 สวนประเภทไมม Local Optimizer จะทาการเลอกลบ Parent �ÉÁ�·�

จานวน 4 โหนดแบบสม

Ä��¦ ��ÉŤn¤�µ¦ Á¦ ¥�ε��î��(Without Ordering between the Nodes) Á¤ºÉ°�ε

กระบวนการทางพนธกรรมแลวทาใหเบยเซยนเนตเวรคไมเปน DAG คอเปน Cyclic Graph ดง

£µ¡ �É2.4 อลกอลธมจงม Repair Operator �¹É��³�ε�µ¦ Á� É¥�Â��Ã�¦ �­ ¦ oµ��µ��ÉŤnÁ�È��

DAG ใหเปน DAG สาหรบ Repair Operator จะกระทาหลงจากกระบวนการ Mutation Á¡ ºÉ°

Â��Ã�¦ �­ ¦ oµ�¼��É¥�ŤnÁ�È��DAG ใหเปน DAG Ã�¥�µ¦ ­ »n¤Á¡ ºÉ°�ε���Edges �Éทาใหไมม

คณสมบต DAG ออกไป

Page 23: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

13

£µ¡ �É�2.4 รปแบบ Illegal Structures หลงจากกระบวนการทางพนธกรรม

®¨ n��ɤµ: Larranaga et al., 1996a: 912-926.

Á�¥rÁ�¥�Á�È�Áª ·¦ r��ÉÄ�o��­ °��º°�ASIA และ ALARM จะมการเปรยบเทยบคาคะแนน

Initial Structure ���³ Â���ÉÅ�o�µ�Induced Structure ในกรณคาตางๆ ของคาพารามเตอร

(ขนาดประชากร, Local Optimizer, Reduction Mechanism, Probability of Crossover,

Mutation Rate)

จาก Gupta และ Allan (2003: 1429-1442) นาเสนอวธ Acyclic Bayesian Net

Generator Á¡ ºÉ° Á¦ ¥�¦ ¼oÃ�¦ �­ ¦ oµ��°�Á�¥rÁ�¥�Á�È�Áª ·¦ r�ดวย GA �¹É�¤ ¦ ¼�Â��Ã�¦ äÃ�¤

แตกตางจาก Larranaga et al. (1996a: 912-926) และ Larranaga et al. (1997: 261-272) โดยจะ

ใชโครโมโซมในรป Directed Acyclic Graph �¹É�Â�n�Ã�¦ äÃ�¤ออกเปน 2 ­ nª ���º° ­ nª ��ÉÁ�È��

Topological Node Order  ³ ­ nª ��ÉÁ�È��Parent Information โครโมโซม C สาหรบเบยเซยน

เ น ต เ ว ร ค n โ ห น ด ส า ม า ร ถ แ ท น โ ด ย nC ป ร ะ ก อ บ ด ว ย n ย น ส

110 .,...,.,. nGeneCGeneCGeneC โดยแตละยนสของโหนดแสดงถงโหนดใดบางเปน Parent

ของ�Ê�Ç�ดง£µ¡ �É2.5

Page 24: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

14

£µ¡ �É�2.5 A Bayesian Network, a Topological Node Order and the Corresponding

Encoded Chromosome

®¨ n��ɤµ: Gupta and Allan, 2003: 1429-1442.

จาก£µ¡ �É2.5 Â�n³ Â�ª �³ Â��®�¹É�¥�­ rÃ�¥Â�n³ ¥�­ r�¦ ³ �°��oª ¥­ °�­ nª �����Ê

1. Node Number �É° ¥¼nÄ��ε®�n��Topology Order (จากบนลงลางในรปภาพ 2.6)

ตวอยางÁ�n��Ä�Â�ª ¦ ��º° î��ε���É�1 ใน Topological Order คอโหนด 1 เปนตน

2. Parents ขอมล Parent ของโหนดตาม Node Number �Ê���¹É�Á�È�Bit String �ɦ ³ �»

ª nµÃ®���É° ¥¼n�n°�®�oµÃ®���°�¥�­ r�Ê�µ¤ Topological Order จะเปน Parent ของโหนดของ

ยนสหรอไมกลาวคอ 0 แทนการไมเปน Parent และ 1 แทนการเปน Parent เชน ขอมล Parent

โหนด 6 คอ 0100 �¹É�­ ��ª nµโหนด 1, 8, 7, 2 เปน Parents ของโหนด 6 หรอไมตามลาดบ

(โหนด 8 เปน Parent จรงของโหนด 6)

ในกระบวนการทาง GA ของ Gupta และ Allan (2003: 1429-1442) �³ ¤ �Ê��°�

แตกตางจาก Larranaga et al. (1996a: 912-926) โดยแบงแยกกระบวนการของ GA (Crossover

และ Mutation) ในสวนของ Node Order และ สวนของ Parent Information ออกจากกน โดยวธ

���n° Å��Ê��ε®��ใหโครโมโซม Parent คอ A และ B และโครโมโซมลก คอ X และ Y

�Ê��°�Crossover ของ Node Order �³ Â�n�Á�È�­ °��Ê��°��º°�1) สราง Node Orders ของ

Parent A และ Parent B คอ orderA และ orderB 2) กาหนด Crossover Point Á¡ ºÉ° Â�n�Ã�¦ äÃ�¤

เปน orderA1 , orderA2 , orderB1 และ orderB2 แลวทาการ Crossover ตามหลกการ Permutation

Encoding ดงตวอยางโครโมโซมใน£µ¡ �É2.6 และใน£µ¡ �É2.7

Page 25: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

15

£µ¡ �É�2.6 Parent Chromosomes

®¨ n��Éมา: Gupta and Allan, 2003: 1429-1442.

£µ¡ �É�2.7 Generating New Topological Node Order

®¨ n��ɤµ: Gupta and Allan, 2003: 1429-1442.

Ä��Ê��°��É�2 Á¤ºÉ° ®µ� orderX และ orderY เรยบรอยแลวจะทาการ Crossover ในสวน

ของ Parent Information โดยแบงเปนวธ M1 และ M2 ดงตวอยางใน£µ¡ �É2.8 และ£µ¡ �É2.9

Page 26: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

16

£µ¡ �É�2.8 Crossover for Chromosomes of Same Node Orders

®¨ n��ɤµ: Gupta and Allan, 2003: 1429-1442.

£µ¡ �É�2.9 Generating Parent Information กอนทาการ Reverse Edges

Page 27: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

17

£µ¡ �É�2.10 Generating Parent Information

®¨ n��ɤµ: Gupta and Allan, 2003: 1429-1442.

�µ�£µ¡ �É�2.9(b) X และ Y �º° ¨ ¼��ÉÁ�·��µ�A และ B โดยวธ M1 X เกดจากการจบค

กนระหวาง orderA1 และ orderB2 โดย Parent Information (Edges) ในกลมของ orderA1 และ

orderB2 ยงคงอยเหมอนเดม คอ Node 0 → Node 1, Node 0 → Node 2 และ Node 5 →

Node 3 และทาการสราง Parent Information ใหมโดยพจารณาจาก Edge �ÉÁ�ºÉ° ¤�ª µ¤ ­ ¤ ¡ ��r

ระหวางกลมของ orderA1 และ orderA2 คอ Node 2 → Node 4, Node 2 → Node 3 และ Node

1 → Node 3 เปนสาคญแลª �ε�µ¦ �nµ¥�°��ª µ¤ ­ ¤ ¡ ��r�ÊÄ®o�X ในกรณ Y กเชนเดยวกนกบ

X โดย Y เกดจากการจบคกนระหวาง orderB1 และ orderA2 โดย Parent Information ในกลม

orderB1 และ orderA2 ยงคงอยเหมอนเดม คอ Node 1 → Node 0, Node 4 → Node 5 และ

Node 3 → Node 5 และทาการสราง Parent Information ใหมโดยพจารณาจาก edge �ÉÁ�ºÉ° ¤

ความสมพนธระหวางกลมของ B คอ orderB1 และ orderB2 คอ Node 1 → Node 3, Node 4 →

Node 2 และ Node 4 → Node 1

Á�ºÉ°��µ��Parent Information ของ X และ Y �ÉÅ�o¤�Cycle Á�·��¹Ê��¹��εÁ�È��o°�¤�µ¦

แกไขโดยกาจด Cycle โดยวธ Reverse Edges ในกรณตวอยางตองมการหา Reverse Edges จาก

Node 4 → Node 2 และ Node 4 → Node 1 เปน Node 2 → Node 4 และ Node 1 → Node 4

ด�£µ¡ �É�2.10(b) ในกรณวธ M2 จะมวธการเดยวกบวธ M1 แตแตกตางตรงการพจารณา Edge

�ÉÁ�ºÉ° ¤�ª µ¤ ­ ¤ ¡ ��r¦ ³ ®ª nµ��»n¤�Ã�¥�X จากวธ M2 จะพจารณาจาก B และ Y จะพจารณาจาก

A

Page 28: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

18

จากวธการ Crossover ในสวน Parent Information ไดใชวธ M1 และ M2 �¹É��o°�¤�µ¦

Reverse Edge Á¡ ºÉ°�¦ �Ä®oEdge �Ê�µ��Node ใน orderA1 ไปยง Node ใน orderB2 และ Node

ใน orderB1 ไปยง Node ใน orderA2 Á­ ¤ ° Á¡ ºÉ° Ä®oไดคณสมบตของ DAG �¹É�Â���nµ��µ��

Larranaga et al. (1996a: 912-926) �Éใชการลบ Edge เปน Repair Operator Á¡ ºÉ° Ä®oไดคณสมบต

DAG กลบคนมา

ในสวนของ Mutation �³�ε�Ê�Ä�­ nª ��°��Node Order และ Parent Information ของ

โครโมโซมตามคา Mutation Probability โดยในสวนของ Node Order จะทาการสลบ 2 โหนด

แบบสมตามคา Mutation Probability และในสวนของ Parent Information จะทาการ Toggle

บตตามคา Mutation Probability เชนเดยวกน ในการทดลองของ Gupta และ Allan ไดทาการ

สรางชดขอมลโดยวธ Logic Sampling และใชคา Logarithm ของ ),( DBP s Á¡ ºÉ°�ε�ª �®µ�nµ

ความเหมาะสม เชนเดยวกบ Larranaga et al. (1996a: 912-926)

โดยสรปแลว Gupta และ Allan (2003: 1429-1442) ทาการเรยนรโครงสรางเบยเซยน

เนตเวรคโดยใช Acyclic Graph Chromosome Encoding แตยงคงตองใช Repair Operator

(Reverse Edge) Á¡ ºÉ°�ε�µ¦ �¦ �Ã�¦ äÃ�¤�° �¼�Ä®oÁ�È�Directed Acyclic Graph ดงเดม

�°��µ��Ê�¦ ³ �ª ��µ¦ �Crossover คอนขางมความซบซอน

Page 29: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

���É3

ª ·��É�εÁ­ �° และรปแบบการทดลอง

­ 宦 ��µ¦ ª ·�¥�ÊÅ�oÄ�oÂ���ε °�Ã�¦ äÃ�¤�Directed Acyclic Graph Á¡ ºÉ° Ä�oÂ��

Ã�¦ �­ ¦ oµ��°�Á�¥rÁ�¥�Á�È�Áª ·¦ r��¹É��¦ ³ �°��oª ¥�2 สวน คอ Topological Node Order และ

Parent Information เชนเดยวกบ Gupta และ Allan (2003: 1429-1442) แต�µ¦ ª ·�¥�Ê�³ ใช

วธการทาง GA คอ Crossover �ÉÂ���nµ��µ�ª ·��M1 และ M2 โดยใชหลกการ GA �ɪ Å��º°

การประยกตใช Uniform Crossover และ Random Mutation ในสวน Parent Information ของ

Directed Acyclic Graph จะมรปแบบคลายกบ Larranaga et al. (1996a: 912-926) และ

Larranaga et al. (1997: 261-272) Ä��¦ ��ɤ�µ¦ Á¦ ¥�ε��î��(Larranaga et al. (1996a:

912-926) ไดจาแนกรปแบบโครโมโซมออกเปน 2 ชนดคอแบบเรยงลาดบโหนดและแบบ

ไมไดเรยงลาดบโหนด) ขอดของโครโมโซมรปแบบ Directed Acyclic Graph คอเปนรปแบบ

�É�nµ¥Å¤n���o°��¹É�­ µ¤µ¦ �Ä�oÅ�o�Ê��¦ ��ɤ�µ¦ Á¦ ¥�ε��î�� ³ ŤnÅ�oÁ¦ ¥�ε��î��

3.1 Directed Acyclic Graph

รปแบบจาลองโครโมโซม Directed Acyclic Graph สาหรบเบยเซยนเนตเวรค n

î���¤¸ �¬�³ ���Ê

โครโมโซม C ประกอบดวย OrderC และ Connectivity Matrix ijc

OrderC แสดงการเรยงลาดบโหนด (Topological Node Order) ภายในโครโมโซม C

มรปแบบ nccc ,...,, 21

Connectivity Matrix ijc แสดง Parent Information ของแตละโหนดในโครโมโซม

C โดยมคณสมบต

Page 30: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

20

Á¤ºÉ° ¡ ·�µ¦ �µ¥�Ä�Â�n ³ �¦ ³ �µ�¦ �³ ¤ �ª µ¤ ¥µª �° �Ã�¦ ä Ã�¤ Á�nµ��

2/1 nnn แทนดวย String: 1321434241323121321 ......,... nnnnnn cccccccccccccc

£µ¡ �É�3.1 แสดงโครงสรางเบยเซยนเนตเวรค ASIA �ÉÅ�o�µ��µ¦ ¦ �Ã�¦ Â�¦ ¤

จากภาพ�É�3.1 สามารถแสดงในรปแบบโครโมโซม Directed Acyclic Graph ���Ê

Parent 1 1 8 1 8 2 1 8 2 7 1 8 2 7 6 1 8 2 7 6 3 1 8 2 7 6 3 4

1 8 2 7 6 3 4 5| 0 | 1 0 | 0 1 0 | 0 1 0 0 | 0 0 1 1 0 | 0 0 0 0 0 1 | 0 0 0 0 1 1 0

Child 8 2 7 6 3 4 5

�¹É��ระกอบดวย

Topological Node Order: 1 8 2 7 6 3 4 5

Parent Information: 0100100100001100000010000110

จากภาพ�É�3.1 î��ε���É�5 ( 5c ) คอโหนด 6 ม Parent คอ โหนด 8

Page 31: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

21

3.2 Proposed Crossover Method

Ä��Ê��°�Crossover ไดแบงเปน 2 สวนคอการทา Crossover ในสวน Topological

Node Order และ Parent Information การทา Crossover ในสวนของ Topological Node Order

เปรยบเหมอนการผสม Order ของโหนดจาก Parent �Ê�­ °�Á�oµÁ�È��Order ของโหนดของลก

�¹É�Ťn¤�nµÃ®���É�Îʵ���Parent Information �°�î���Ê�ŤnÅ�o¤�µ¦ Á� É¥�Â���µ¤�µ¦

Á� É¥�Â���°��Topological Node Order แตอยางใด การทา Crossover ในสวนของ Parent

Information จะทาหลงจากการ Crossover ในสวนของ Topological Node Order เรยบรอยแลว

การทา Crossover ในสวนของ Parent Information เปนแบบ Single Point Crossover �¹É�¤�ª µ¤

° ·­ ¦ ³ Ä��µ¦ ­ ¦ oµ�Ã�¦ �­ ¦ oµ�Ä®¤n®¦ º° Á� É¥�Ã�¦ �­ ¦ oµ�Á�·¤Ã�¥Á�É¥ª �o°���เซต Parent ของ

î���É¡ ·�µ¦ �µ° ¥¼nÄ���³ �Ê�Á¡ ¥�î��Á�¥ª �¹É�Á�È��µ¦ ¦ ��¦ ³ ��Å�oª nµÅ¤n¤ ð�µ­ Á�·�

ª �¦ °�Á¡ ºÉ°�εĮo�»�­ ¤��·�DAG เสยไป

3.2.1 Crossover ในสวนของ Topological Node Order

จาก Surapong Auwatanamongkol (2007: 1428-1437) ไดนาเสนอวธการประยกต

Uniform Crossover ��Ã�¦ äÃ�¤�ÉÁ�È��Permutation Encoding ในทานองเดยวกบการ

Crossover แบบ Cycle (Oliver, Smith and Holland, 1987: 224-230) โดยสราง Disjoint Set �É

แตละ Set ประกอบดวยตาแหนงใน Topological Order �É�³ �o°�¤�µ¦ ­ ¨ �®¦ º° Ťn­ ¨ �¡ ¦ o° ¤

���Ê�®¤�¤·�³ �Ê��³ Á�·��µ¦ �Îʵ�o°�Ä��Offspring โดยเรยก Disjointed Set วา Interchange

Set จากภาพ�É�3.2 พจารณา Parent 1 และ Parent 2 ­ ¤ ¤�·�oµÃ®���É�thI ของ Parent 1 มคา

Á�n�Á�¥ª ��î���É�thJ ของ Parent 2  oª ����Ê��ε®�n��I และ J จะอยใน Interchange Set

เดยวกน กลาวคอคาในตาแหนง I และ J จะตองมการสลบหรอไมสลบพรอมกน ถาไมพรอม

���³�εĮoÁ�·��nµ�°�î��Ä�¼��É�Îʵ��การหา Interchange Sets �Ê�®¤�จะÁ¦ ·É¤�µ�การหา

Set{I,J} �Ê�®¤��ÉÁ�·��¹Ê�Ä��Topological Node Order ของ Parent 1 และ Parent 2 Á¤ºÉ° ­ ¦ oµ�

Á�È��Ê�®¤� oª �¹��εÁ�È��Ê�®¤�¤µ�¦ ª �­ °���oµÁ�È��¼nÄ�¤�nµ�É�Îʵ���³�¼��Union เขาดวยกน

�εÁ�n��Ê���¦ ³ �É�Å�o�Disjoint Sets �¹É�®�¹Éง Disjoint Set จะแทน®�¹É�Interchange Set

Page 32: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

22

£µ¡ �É�3.2 î���É thI และ thJ กาลงหา Interchange Set ในกลมเดยวกน

®¨ n��ɤµ: Surapong Auwatanamongkol, 2007: 1428-1437.

�µ¦ ª ·�¥�¦ Ê��ÊÅ�o�εª ·��ʤµÄ�oÄ��µ¦ �Crossover ของ Topological Node Order ตามคา

Crossover Probability โดยแบงเปน 2 �Ê��°�����Ê

�Ê��°��É�1: สราง Interchange Sets จาก Parent1 และ Parent2

�Ê��°��É�2: ทาการสลบคาหรอไมสลบคา ในแตละตาแหน��É° ¥¼nÄ�Â�n ³ �

Interchange Set โดยพจารณาจากคา Interchange Probability

การทา Crossover ในสวน Topological Node Order ¤ �ª ° ¥nµ����n°Å��Ê

�ª ° ¥nµ��É�3.1

ตาแหนง: 1 2 3 4 5 6 7 8

Offspring1: 3 1 5 8 7 6 2 4

Offspring2: 7 6 3 1 2 8 5 4

Interchange Set Number: 1 2 1 2 1 2 1 0

Page 33: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

23

จาก Offspring1 และ Offspring2 ประกอบดวย Interchange Set จานวน 3 เซตดวยกน

คอ

Interchange Set [0]: ตาแหนง 8

Interchange Set [1]: ตาแหนง 1, 3, 5, 7

Interchange Set [2]: ตาแหนง 2, 4, 6

Á¤ºÉอสราง Interchange Set เรยบรอยแลว ในคาแตละตาแหนงในแตละ Interchange Set

จะทาการสลบคา®¦ º° Ťn�¹Ê�° ¥¼n���nµ Interchange Probability �¹É�ในการทดลองของการวจย

�¦ Ê��Êจะใชคา�ª µ¤�nµ�³ Á�È��ÊÁ�nµ��0.5

3.2.2 Crossover ในสวนของ Parent Information

การทา Crossover ในสวน Parent Information จะใชวธแบบ Single Point Crossover

โดยแบงการทางานเปน 3 �Ê��°�����Ê

กาหนดเบยเซยนเนตเวรคม n โหนด

�Ê��°��É�1: เลอกโหนด xc แบบสมจาก n โหนด

�Ê��°��É�2: หาตาแหนง 11........ xpp ใน Parent Information ของโหนด xc Á¤ºÉ° Ä�o

เปน Crossover Point �³ Ťn�εĮoÁ�·�¼��Éî���xc ม Parent Á�·��nµ�É�ε®��(เชน จากดคา

จานวน Parent ไมเกน 4)

�Ê��°��É�3: สมตาแหนง 1 sp �µ��ε®�n��ÉÅ�o�µ��Ê��°��É�2 แลวใชเปน

Crossover Point ในการสลบหรอไมสลบคาของ Parent Information �Ê�®¤��°�

โครโมโซมโดยใช Crossover Rate �µ¤�nµ�É�ε®��

ตวอยาง�É�3.2 การทา Crossover ในสวน Parent Information

ทาการเลอกโหนด xc Â��­ »n¤�µ�î���Ê�®¤�สมมตได 7c

จาก Parent1, 7c คอโหนด 4 ม Parent Information คอ 0 0 0 0 0 1 �¹É�Á�ºÉ° ¤Ã¥��¹��

Parent: 1 8 2 7 6 3

จาก Parent2, 7c คอโหนด 1 ม Parent Information คอ 1 0 0 0 1 0 �¹É�Á�ºÉ° ¤Ã¥��¹��

Parent: 6 3 2 4 7 5

Page 34: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

24

Parent1:

Parent 1 1 8 1 8 2 1 8 2 7 1 8 2 7 6 1 8 2 7 6 3 1 8 2 7 6 3 4

1 8 2 7 6 3 4 5| 0 | 1 0 | 0 1 0 | 0 1 0 0 | 0 0 1 1 0 | 0 0 0 0 0 1 | 0 0 0 0 1 1 0

Child 8 2 7 6 3 4 5

11... xpp → Crossover Point set

Parent2:

Parent 6 6 3 6 3 2 6 3 2 4 6 3 2 4 7 6 3 2 4 7 5 6 3 2 4 7 5 1

6 3 2 4 7 5 1 8| 0 | 1 0 | 0 0 0 | 0 0 1 1 | 0 0 0 0 0 | 1 0 0 0 1 0 | 0 0 0 1 1 1 0

Child 3 2 4 7 5 1 8

จาก Crossover Point Set ทาการเลอกจด sp แบบสมได 3sp

Offspring1:

Parent 1 1 8 1 8 2 1 8 2 7 1 8 2 7 6 1 8 2 7 6 3 1 8 2 7 6 3 4

1 8 2 7 6 3 4 5| 0 | 1 0 | 0 1 0 | 0 1 0 0 | 0 0 1 1 0 | 0 0 0 0 1 0 | 0 0 0 0 1 1 0

Child 8 2 7 6 3 4 5

Offspring2:

Parent 6 6 3 6 3 2 6 3 2 4 6 3 2 4 7 6 3 2 4 7 5 6 3 2 4 7 5 1

6 3 2 4 7 5 1 8| 0 | 1 0 | 0 0 0 | 0 0 1 1 | 0 0 0 0 0 | 1 0 0 0 0 1 | 0 0 0 1 1 1 0

Child 3 2 4 7 5 1 8

3.3 Mutation Method

Ä��Ê��°��Mutation แบงเปน 2 สวนคอในสวนของ Topological Node Order และใน

สวน Parent Information เชนเดยวกบการทา Crossover �¹É�Ä�­ nª ��°��Topological Node

Order จะทาการ Mutation �µ¤®¨ ��µ¦ �ɪ Åปคอเลอก Node Order จานวน 2 โหนดแบบสม

Á¡ ºÉ°�ε�µ¦ ­ ¨ ��nµ��µ¤�nµ�Mutation Probability ในสวนของ Parent Information �³ ¤ �Ê��°�

Page 35: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

25

Ã�¥Áº°�î���É�o°��µ¦ Â��­ »n¤  oª �ε�µ¦ ��Mutation ในสวนของ Parent Information ของ

î���Ê�Ã�¥�ε�µ¦ ­ »n¤ Á º°��»��Mutation Point ถาคาเดมของ Parent Information ณ จด

Mutation Point มคาเปน 0 Ä®oÁ� É¥��nµÁ�È��1 ในกรณเดยวกนถาคาเดมของ Parent

Information ณ จด Mutation Point มคาเปน 1 Ä®oÁ� É¥��nµÁ�È��0 ®¨ ��µ��Ê��ε�µ¦ Á�È��nµ�

Limit Parent (LP) ถาหลงจากการทา Mutation มคา LP �°�î���Ê�Á�·��³�ε�µ¦ Á º°��»��

Mutation Point Ä®¤n° �®�¹É��»�Â��­ »n¤�µ��Offspring �ɤ�nµ�1 ° ¥¼n�n°� oª Á¡ ºÉ° Á� É¥��nµ�µ��1

ใหเปน 0

3.4 Population Initialization Method

การ­ ¦ oµ��¦ ³ �µ�¦ �¦ Ê�¦ �Ä�­ nª ��°��Topological Node Order ไดทาการสราง

จานวนแบบสมตามจานวน Node Order ตามหลกการ Permutation Encoding และในสวน

Parent Information �³ Á�È��µ¦ ­ ¦ oµ��ε�ª �Â��­ »n¤�Ê�Â�n�0 ถง LP Á¡ ºÉ° ­ ¦ oµ��ε�ª ��Parent

�Ê�®¤�Ä®oÂ�nî���Ê�Å n�Ê�Â�nî���É�2 ถง n โดยมจานวน Parent ตามรปแบบโครงสราง

Directed Acyclic Graph และจะมการสมเลอก Parent ตามจานวน Parent �É­ »n¤Å�o�°�¦ �° �

�¦ Ê�Á¡ ºÉ°�ε®��Parent Information ใหมคาเปน 1

การ­ ¦ oµ��¦ ³ �µ�¦ �¦ Ê�¦ �ไดจากดจานวน Parent ในแตละโหนดไมเกน 4 (LP=4)

Ä��»��µ��o° ¤ ¼�Éใชทดสอบยกเวน CAR DIAGNOSIS2 �É�ε�ดจานวน Parent ไมเกน 5

(LP=5) ตามรปแบบเบยเซยนเนตเวรคจาก Norsys Software Corp. (2008)

3.5 Selection Method

สาหรบ Selection Method �ÉÄ�o�³ Á�È�Â���Fitness Proportionate หรอ Roulette

Wheel อยางไรกตามทกๆ �¦ Ê��É�ε­ ¦ oµ��¦ ³ �µ�¦ Ä®¤n�µ�ประชากรปจจบนมโอกาสอยางมาก

�É�³ ­ ¼�Á­ ¥Ã�¦ ä Ã�¤�É��É­ »�Å��µ��¦ ³ �µ�¦ ���»���ª ·��µ¦ Elitism จะชวยรกษา

Ã�¦ äÃ�¤�É��É­ »�Ã�¥�µ¦ �ε­ εÁ�µÃ�¦ äÃ�¤�É��É­ »�Å�­ ¼n�¦ ³ �µ�¦ Ä®¤n��¹É�­ µ¤µ¦ ��nª ¥

Á¡ ·É¤�¦ ³ ­ ·��·£µ¡ Ä��¦ ³ �ª ��µ¦ �GA Á¡ ¦ µ³ �nª ¥�o°����µ¦ ­ ¼�Á­ ¥Ã�¦ äÃ�¤�É��É­ »�Ä�

การแ�o��®µ�É¡ ·�µ¦ �µ�

Ä��µ¦ ª ·�¥�¦ Ê��Ê�³ Ä�o®¨ ��µ¦ �Elitism Ä��Ê��°� Selection ª nµ�³ �ε�Ê��°�

Roulette Wheel Selection �µ¤���·®¦ º°�³ �ε�µ¦ ­ εÁ�µÃ�¦ äÃ�¤�É��É­ »�Å�­ ¼nParent ตวใด

Page 36: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

26

�ª ®�¹É� oª �ε�µ¦ �Roulette Wheel Selection ใน Parent �ÉÁ®¨ º°��¹É��³�¦ ³ ¥»��rÄ�oหลกการ

Elitism Ä��Ê��°��Roulette Wheel Selection ®¦ º° Ťn�¹Ê�° ¥¼n���nµ�Elitism Probability �É

กาหนดกอนการรน GA

จากการประยกตใชหลกการ Elitism Ä��Ê��°�Roulette Wheel Selection จะเรยก

ª ·��µ¦ �ʪ nµ�Roulette Wheel - Elitism Method

3.6 Frequency Count Tree

Ä��µ¦ ª ·�¥�¦ Ê��ÊÅ�o�ε�µ¦ ­ ¦ oµ�Ã�¦ �­ ¦ oµ��Frequency Count Tree �µ��µ��o° ¤ ¼Á¡ ºÉ°

ปรบปรงประสทธภาพในการคานวณหาคาความเหมาะสมจากแตละโครโมโซมของประชากร

จากโครงสราง Frequency Count Tree สามารถนาคา Counter จากแตละ Item มาใชในการ

�ε�ª ��³ Â���¹É�­ µ¤µ¦ ���µ¦ Á­ ¥Áª ¨ µ�µ��µ¦ �·��n° ���µ��o° ¤ ¼�ÎʵÇ�����¹É��³ Á� É¥�

จากการทางานของ I/O ¤µÁ�È��µ¦ �ε�µ���®�nª ¥�ª µ¤�εÂ��Ã�¥¤®¨ ��µ¦ ���n°Å��Ê

Frequency Count Tree Á�È�Ã�¦ �­ ¦ oµ��o° ¤ ¼�ɤ�¦ ³ ­ ·��·£µ¡  ³ �³ ��¦ ��¹É�­ ¦ oµ�

จาก Transaction ของฐานขอมล โครงสรางของ Frequency Count Tree แตละโหนดบรรจ

Item, Counter, Sibling Pointer และ Parent Pointer Ã�¥¤ ¦ µ¥¨ ³ Á° ¥����Ê

Item: Á�È��ºÉ° î���

Counter: เกบคานบ

Sibling Pointer: เกบ Pointer �É�ÊÅ�¥�î���Ê��É° ¥¼nÄ�¦ ³ ��Á�¥ª ��Ä��Frequency

Count Tree

Parent Pointer: เกบ Pointer �É�ÊÅ�¥��Parent �°�î���Ê�

แตละ Transaction �µ��µ��o° ¤ ¼�¼�Ä­ nÁ¡ ·É¤Á�oµÅ�Ä�Ã�¦ �­ ¦ oµ��°��Frequency Count

Tree ตามคณสมบต Unique Path Ã�¥�ε�µ¦ Á¡ ·É¤�Counter ใน Path �Ê� ³ �1

ในแตละ Path ประกอบดวย Node �¹É�Â���Item ตางๆ ใน Transaction �¹É�Å�o

เรยงลาดบไวกอนแลว ในแตละ Transaction �ÉÁ¡ ·É¤Á�oµ¤µÄ��¦ ��É¥�Ťn¤ î���³�ε�µ¦ Á¡ ·É¤

โหนด จากโครงสราง Frequency Count Tree ถา Transaction ม Item i �É�o°��µ¦ ° ¥¼n oª กจะ

มองหา Child i จากโหนดปจจบน ถา Child ยงไมไดสรางจะถกสรางและเซต Counter Á¦ ·É¤�o�

ใหเปน 1 ในกรณถา Child ­ ¦ oµ�Ū o�n°� oª �³ �ε�µ¦ Á¡ ·É¤�Counter อก 1 �µ¦ Á¡ ·É¤Ã�¦ �­ ¦ oµ��

Page 37: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

27

Frequency Count Tree ในแตละ Transaction ถาม Prefix Path �ÉÁ®¤º°���อยกอนจะทาการ

���� ³ �ε�µ¦ Á¡ ·É¤�Counter อก 1 ในแตละ Item �É° ¥¼nÄ��Prefix Path �Ê��

โครงสราง Frequency Count Tree นอกจากประกอบดวย Unique Path จากแตละ

Transaction จากฐานขอมลแลวยงประกอบดวย Sibling List ของแตละตวแปร�¹É�Å�oÂ�nโหนด

�É° ¥¼nÄ�ระดบเดยวกน (Sibling Node) ของโครงสราง Frequency Count Tree เชน จากตวแปร

B จะประกอบดวย Sibling List: B → 3(1) → 4(4) →3(4) →4(1) ตามลาดบ ดงตวอยาง

ฐานขอมลและโครงสราง Frequency Count Tree Ä��µ¦ µ��É�3.1 และภาพ�É�3.3 ตามลาดบ

ตาราง�É3.1 ตวอยางฐานขอมล

A B C

1 3 5

1 4 6

2 3 6

1 4 6

2 3 5

2 4 6

1 4 6

2 3 5

1 4 6

2 3 5

Page 38: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

28

£µ¡ �É�3.3 โครงสราง Frequency Count Tree จากฐานขอมล

ตวอยาง�É�3.3 การนบคาจากโครงสราง Frequency Count Tree

ลาดบ 0 1 2 3 4 5

Sibling List C 5(1) 6(4) 5(3) 6(1) 6(1)

Items in Prefix Path - 1,3,5 1,4,6 2,3,5 2,3,6 2,4,6

Counter - 1 4 3 1 1

จากภาพ�É�3.3 สมมตถา�o°��µ¦ ���ε�ª ��¦ Ê�®¦ º°�ε�ª ��Transactions �Éปรากฏ

A = 2 และ C = 6 อนดบแรกจะพจารณา �ª Â�¦ �É° ¥¼n�Îɵ�É­ »��º° �ª Â�¦ �C ®¨ ��µ��Ê��³ ตาม

Sibling Pointer Á¡ ºÉ° ตรวจสอบวาคา Item C ในโหนดมคาเทากบ 6 หรอไม ถาใช จะทาการ

�¦ ª �­ °����nµ�ª Â�¦ ° ºÉ��É�o°��µ¦ ��โหนด° ºÉ��ɤ ° ¥¼nใน Parent Path �°�î���Ê��(ใช

Parent Pointer) ตอไป การตรวจสอบจะกระทากบทกโหนดใน Sibling List และนาคา Counter

ของโหนดใน Sibling List �ɤ�nµ�ª Â�¦ �nµ��Ç��¦ ��µ¤Á�ºÉ°�Å�¤µ¦ ª ¤ ��Á�È��ε�°�����Ê�

�µ��ª ° ¥nµ��oµ����³ Á®È�ª nµÄ�î��Ä� ε���É�4 และ 5 ใน Sibling List มคาตวแปร C = 6

และ A = 2 ด��Ê��¹��ε�nµ�Counter Ä�î���Ê�­ °�¤µ¦ ª ¤���¹É��ε�°��È�º°�2

Page 39: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

���É4

การทดลอง

�µ¦ ��°�Á¡ ºÉ° ประสทธภาพของ° ´ �° ¨ ·�¹¤�É�εÁ­ �° ไดใชรปแบบ Directed Acyclic

Graph แทนโครโมโซมใน GA Ã�¥¤ �Ê��°�Á�n�Á�¥ª ���Larranaga et al. (1996a: 912-926)

��£µ¡ �É2.3 ดงตอไป�Ê

�Ê��°��É�1: สรางฐานขอมล D จากÁ�¥rÁ�¥�Á�È�Áª ·¦ r��É�o°��µ¦ �(โครงสราง +

Conditional Probabilities)

�Ê��°��É�2: ใช GA Á¡ ºÉ° ®µÃ�¦ �­ ¦ oµ�Á�¥rÁ�¥�Á�È�Áª ·¦ r�� *sB �¹É�Ä®o� ),( * DBP s มคา

มาก�É­ »�(Cooper and Herskovits, 1992: 309-347)

�Ê��°��É�3: เปรยบเทยบคาความเหมาะสมของโครงสรา�Á�¥rÁ�¥�Á�È�Áª ·¦ r��É��É­ »��É

Å�o���nµ�ª µ¤Á®¤µ³ ­ ¤�É�ª ¦ �³ Á�È��µ¤Ã�¦ �­ ¦ oµ�Á�·¤�ÉÄ�o­ ¦ oµ��µ��o° ¤ ¼Ä��Ê��°��É�1

Ä��Ê��°��É�1 �µ��o° ¤¼�É�夵��­ °�ถกสรางจากโปรแกรม�ºÉ° Tetrad IV โดย

Department of Philosophy, Carnegie Mellon University (2009) �¹É�Á�È��Freeware พฒนามา

�Ê�Â�n�Tetrad II (Scheines, Spirtes, Glymour and Meek, 1994) โดยมการปอนคาอนพธของ

เบยเซยนเนตเวรคเชน ตวแปร (Parameter), Conditional Probabilities และโครงสรางเบยเซยน

เนตเวรค ในการทดลอง�¦ Ê��ÊÅ�oÄ�oเบยเซยนเนตเวรค ASIA, CAR DIAGNOSIS2 และ

ALARM �¹É�¤ จานวนตวแปรเทากบ 8, 18 และ 37 ตามลาดบ (ดภาคผนวก) ฐานขอมล�Ê�®¤��É

สรางÁ¡ ºÉ° Ä�oÄ��µ¦ ��°�จะมหลายขนาดแตกตางกนคอ 500, 1000, 2000 และ 3000 Records

�¹É�¤Ã�¦ �­ ¦ oµ�Á�È�Áª ·¦ r���£µ¡ �É4.1, 4.2 และ 4.3

Page 40: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

30

£µ¡ �É�4.1 โครงสรางของเนตเวรค ASIA

®¨ n��ɤµ: Norsys Software Corp., 2008.

Page 41: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

31

£µ¡ �É�4.2 โครงสรางของเนตเวรค CAR DIAGNOSIS2

®¨ n��ɤµ: Norsys Software Corp., 2008.

£µ¡ �É�4.3 โครงสรางของเนตเวรค ALARM

®¨ n��ɤµ: Norsys Software Corp., 2008.

Page 42: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

32

4.1 ตวแปร (Parameters) �ÉÄ�oÄ��µ¦ ��°�ของ GA

ในการทดลองมพารามเตอรตางๆ ในการทางานของ GA จะถกกาหนด���n°Å��Ê�

1. Population Size: 10 และ 50

2. Generations: 1000

3. จานวน Runs: 10

4. Crossover Probability: 0.9

5. Interchange Probability: 0.5

6. Mutation Rate: 0.1

7. Selection: Roulette Wheel - Elitism Method

8. Elitism Probability: 0, 0.3, 0.5 และ 1

วธการ Crossover และ Mutation จะใช�µ¤ ª ·��ÉÅ�o�εÁ­ �° Ä����É�3 โดยพจารณาใน

�¦ ��ÉŤn¤�µ¦ Á¦ ¥�ε��î�����µ¦ ��°��ÉÅ�o�µ��»��µ��o° ¤ ¼�εÁ­ �° Ä��µ¦ µ��É�4.1 -

4.4 โดยมคา Elitism Probability 0, 0.3, 0.5 และ 1 ตามลาดบ ฟงกชน Fitness �ÉÄ�oÁ�È�­ ¼�¦

เดยวกบ Cooper and Herskovits (1992: 309-347) และ Heckerman (1995) (­ ¤�µ¦ �É�1) ใน

รปแบบของ Logarithm ฐาน 10

ผลการทดลองตามตาราง�É�4.1 - 4.4 จะมการเปรยบเทยบคาคะแนนความเหมาะสม�É

ไดจาก GA �µ¤ ª ·��É�εÁ­ �° กบคะแนนคาความเหมาะสม�ÉÅ�o�µ��Initial Structure (BDe

Score) ตามขนาดฐานขอมลในรปแบบ ),(log DBP s

ในการเปรยบเทยบคะแนนคา�ª µ¤Á®¤µ³ ­ ¤�Ê�­ °��³ Ä�o�nµ��nµ�� xS �¹É�คานวณได

จาก

x

xxx

B

SBS

โด¥�É

x = ขนาดประชากร

xB = คา Initial Structure Score (BDe Score) ตามขนาดประชากร x

xS = คา Induced Structure Score ตามขนาดประชากร x �ÉÅ�o�µ��GA

Page 43: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

33

คา xS ถามขนาดนอยจะแสดงถงÃ�¦ �­ ¦ oµ��°�Á�¥rÁ�¥�Á�È�Áª ·¦ r��ÉÅ�o�µ��GA

ใกลเคยงกบ Initial Structure �É�o°��µ¦ ¤ µ��¹Ê��oª ¥ �µ���µ¦ ��°��ÉÅ�o�³ Á®È�ª nµ��µ�

ประชากรและคา Elitism Probability ¤ ­ nª �­ ε���n°�³ Â���ÉÅ�o�µ¤�µ��o° ¤ ¼�É��­ °�จาก

�µ¦ µ��É�4.1- 4.4 �É��µ��¦ ³ �µ�¦ �50 มผลของคะแนน�Éดกวาขนาดประชากร 10 คอม

คา 50S < 10S �¹É�®¤µ¥�ª µ¤ ª nµ�³ Â���°��Induced Structure �ÉÅ�o�µ��µ¦ ¦ ��GA ของ

ขนาดประชากร 50 มคาคะแนนใกลเคยง Initial Structure มากกวาขนาดประชากร 10 Á¤ºÉ°

พจารณาคา Elitism Probability �µ��µ¦ µ��É�4.1 �¹É�¤�nµ Elitism Probability เปน 0

Á�¦ ¥�Á�¥����µ¦ µ��É�4.4 �¹É�¤�nµ�Elitism Probability เปน 1 จะพบวาการทา Roulette wheel -

Elitism Method ไดชวยใหคะแนนของ Induced Structure เขาใกลคา Initial Structure อยางเหน

Å�o����¹É�วธการ Roulette Wheel - Elitism Method ได�nª ¥¨ ��µ¦ ­ ¼�Á­ ¥Ã�¦ äÃ�¤�É��É­ »�

Á¡ ºÉ°�εÃ�¦ äÃ�¤�Ê�¤µÁ�È�พอพนธและแมพนธในการสราง Offspring ในแตละรอบของการ

สรางประชากรใหมตอไป

�µ��µ¦ µ��É�4.5, 4.6, 4.7 และภาพ�É�4.4, 4.5, 4.6, 4.7 ไดนาผลการทดลองจาก

Larranaga et al. (1996a: 912-926) ¤µÂ­ �� ³ Á�¦ ¥�Á�¥�����µ¦ ��°��ÉÅ�o�µ��µ¦ ª ·�¥

�¦ Ê��ÊÃ�¥Á º°���µ¦ ��°��É��É­ »�Ä��¦ �Without Order Restriction, Without Local

Optimizer และ วธ Elitist มาเปรยบเทยบ

��µ¦ ��°��ÉÅ�o�³ ¤�µ¦ Á�¦ ¥�Á�¥���µ¦ ��°���Larranaga et al. (1996a:

912-926) Á�nµ�Ê�Á�ºÉ°��µ�Gupta และ Allan (2003: 1429-1442) ŤnÅ�o¤ ��µ¦ ��°��É

สามารถนามาใชในการเปรยบเทยบไดเชนเดยวกบ Larranaga et al. (1996a: 912-926) จงไม

สามารถนาผลการทดลองจาก Gupta และ Allan (2003: 1429-1442) มาเปรยบเทยบกบการวจย

�¦ Ê��ÊÅ�o

จากตารางจะเหนวาคา 50S และ 10S �ÉÅ�o�µกการทดลองในการª ·�¥�Êมคา�É��ª nµ

ของ Larranaga et al. (1996a: 912-926) กลาวคอคะแนนจาก Induced Structure มคาใกลเคยง

คะแนนจาก Initial Structure มากกวาโดยไมจาเปนตองมวธการ Repair Operator Á¡ ºÉ°�ε��

Ã�¦ �­ ¦ oµ��ÉŤn¤�»�­ ¤��·�DAG ออกไป

Page 44: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

34

ตาราง�É4.1 ��µ¦ ��°�Á¤ºÉ° Ä�o�Elitism Probability: 0.0

Database Size

BDe

Score Genetic Algorithm

10S 50S 10S 50S

Asia 500 502.13 509.81 504.08 0.0153 0.0039

1000 986.51 999.30 992.25 0.0130 0.0058

2000 1962.26 1979.49 1968.25 0.0088 0.0031

3000 2972.22 2978.07 2975.33 0.0020 0.0010

Car 500 1328.52 1552.85 1524.64 0.1689 0.1476

Diagnosis 1000 2615.59 2936.66 2911.59 0.1228 0.1132

2000 5140.41 5813.52 5644.01 0.1309 0.0980

3000 7639.40 8539.61 8524.53 0.1178 0.1159

Alarm 500 2546.91 4109.14 3936.49 0.6134 0.5456

1000 4748.70 7622.72 7548.15 0.6052 0.5895

2000 9272.44 14673.19 14365.50 0.5825 0.5493

3000 13775.03 21744.28 21524.90 0.5785 0.5626

Page 45: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

35

ตาราง�É4.2 ��µ¦ ��°�Á¤ºÉ° Ä�o�Elitism Probability: 0.3

Database Size

BDe

Score Genetic Algorithm

10S 50S 10S 50S

Asia 500 502.13 502.58 500.77 0.0009 0.0027

1000 986.51 985.60 986.19 0.0009 0.0003

2000 1962.26 1960.23 1959.88 0.0010 0.0012

3000 2972.22 2972.42 2971.32 0.0001 0.0003

Car 500 1328.52 1320.91 1317.74 0.0057 0.0081

Diagnosis 1000 2615.59 2594.87 2602.13 0.0079 0.0051

2000 5140.41 5140.44 5111.64 0.0000 0.0056

3000 7639.40 7636.03 7624.80 0.0004 0.0019

Alarm 500 2546.91 2825.91 2641.38 0.1095 0.0371

1000 4748.70 5244.36 4916.78 0.1044 0.0354

2000 9272.44 10103.93 9433.81 0.0897 0.0174

3000 13775.03 15190.09 14191.82 0.1027 0.0303

Page 46: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

36

ตาราง�É4.3 ��µ¦ ��°�Á¤ºÉ° Ä�o�Elitism Probability: 0.5

Database Size

BDe

Score Genetic Algorithm

10S 50S 10S 50S

Asia 500 502.13 501.83 501.36 0.0006 0.0015

1000 986.51 985.79 986.56 0.0007 0.0000

2000 1962.26 1960.52 1959.88 0.0009 0.0012

3000 2972.22 2972.33 2971.32 0.0000 0.0003

Car 500 1328.52 1323.71 1318.40 0.0036 0.0076

Diagnosis 1000 2615.59 2617.15 2614.31 0.0006 0.0005

2000 5140.41 5134.05 5122.93 0.0012 0.0034

3000 7639.40 7630.31 7616.51 0.0012 0.0030

Alarm 500 2546.91 3120.25 2606.01 0.2251 0.0232

1000 4748.70 5613.34 4849.62 0.1821 0.0213

2000 9272.44 10771.95 9461.15 0.1617 0.0204

3000 13775.03 15522.71 14053.84 0.1269 0.0202

Page 47: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

37

ตาราง�É4.4 ��µ¦ ��°�Á¤ºÉ° Ä�o�Elitism Probability: 1.0

Database Size

BDe

Score Genetic Algorithm

10S 50S 10S 50S

Asia 500 502.13 501.52 500.77 0.0012 0.0027

1000 986.51 985.21 986.60 0.0013 0.0001

2000 1962.26 1959.88 1959.88 0.0012 0.0012

3000 2972.22 2972.39 2972.33 0.0001 0.0000

Car 500 1328.52 1319.35 1358.37 0.0069 0.0225

Diagnosis 1000 2615.59 2604.79 2685.19 0.0041 0.0266

2000 5140.41 5144.09 5120.42 0.0007 0.0039

3000 7639.40 7632.53 7620.17 0.0009 0.0025

Alarm 500 2546.91 2802.22 2769.60 0.1002 0.0874

1000 4748.70 5168.12 4876.52 0.0883 0.0269

2000 9272.44 9963.61 9409.94 0.0745 0.0148

3000 13775.03 14373.39 13971.42 0.0434 0.0143

Page 48: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

38

ตาราง�É�4.5 ผลการทดลองจาก Larranaga et al. (1996a: 912-926) Ã�¥Áº°���µ¦ ��°��É�

�É­ »�Ä��¦ �Without Order Restriction, Without Local Optimizer และ วธ Elitist

Database Size

BDe

Score Genetic Algorithm

10S 50S 10S 50S

Asia 500 548.56 544.90 544.90 0.0067 0.0067

1000 1080.00 1074.70 1074.70 0.0049 0.0049

2000 2154.10 2152.50 2152.50 0.0007 0.0007

3000 3243.70 3242.20 3241.60 0.0005 0.0006

Alarm 500 2646.10 3086.90 2921.60 0.1666 0.1041

1000 5034.50 5938.70 5425.80 0.1796 0.0777

2000 9729.10 10917.00 10440.00 0.1221 0.0731

3000 14412.00 16360.00 15646.00 0.1352 0.0856

®¨ n��ɤµ: Larranaga et al., 1996a: 912-926.

Page 49: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

39

ตาราง�É4.6 เปรยบเทยบผลการทดลองตามคา Elitism Probability กบ Larranaga et al. (1996a:

912-926) ของขนาดประชากรเทากบ 10

Elitism Probability

Database Size 0 0.3 0.5 1 *[S]

10S 10S 10S 10S 10S

Asia 500 0.0153 0.0009 0.0006 0.0012 0.0067

1000 0.0130 0.0009 0.0007 0.0013 0.0049

2000 0.0088 0.0010 0.0009 0.0012 0.0007

3000 0.0020 0.0001 0.0000 0.0001 0.0005

Alarm 500 0.6134 0.1095 0.2251 0.1002 0.1666

1000 0.6052 0.1044 0.1821 0.0883 0.1796

2000 0.5825 0.0897 0.1617 0.0745 0.1221

3000 0.5785 0.1027 0.1269 0.0434 0.1352

หมายเหต: *[S] �º° ��µ¦ ��°��µ��µ¦ µ��É�4.5

Page 50: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

40

ภาพ�É�4.4 เปรยบเทยบผลการทดลองตามคา Elitism Probability กบ Larranaga et al. (1996a:

912-926) ของฐานขอมล ASIA และมขนาดประชากรเทากบ 10

หมายเหต: *[S] �º° ��µ¦ ��°��µ��µ¦ µ��É�4.5

ภาพ�É�4.5 เปรยบเทยบผลการทดลองตามคา Elitism Probability กบ Larranaga et al. (1996a:

912-926) ของฐานขอมล ALARM และมขนาดประชากรเทากบ 10

หมายเหต: *[S] �º° ��µ¦ ��°��µ��µ¦ µ��É�4.5

Page 51: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

41

ตาราง�É4.7 เปรยบเทยบผลการทดลองตามคา Elitism Probability กบ Larranaga et al.

(1996a: 912-926) ของขนาดประชากรเทากบ 50

Elitism Probability

Database Size 0 0.3 0.5 1 *[S]

50S 50S 50S 50S 50S

Asia 500 0.0039 0.0027 0.0015 0.0027 0.0067

1000 0.0058 0.0003 0.0000 0.0001 0.0049

2000 0.0031 0.0012 0.0012 0.0012 0.0007

3000 0.0010 0.0003 0.0003 0.0000 0.0006

Alarm 500 0.5456 0.0371 0.0232 0.0874 0.1041

1000 0.5895 0.0354 0.0213 0.0269 0.0777

2000 0.5493 0.0174 0.0204 0.0148 0.0731

3000 0.5626 0.0303 0.0202 0.0143 0.0856

หมายเหต: *[S] �º° ��µ¦ ��°��µ��µ¦ µ��É�4.5

Page 52: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

42

ภาพ�É�4.6 เปรยบเทยบผลการทดลองตามคา Elitism Probability กบ Larranaga et al. (1996a:

912-926) ของฐานขอมล ASIA และมขนาดประชากรเทากบ 50

หมายเหต: *[S] �º° ��µ¦ ��°��µ��µ¦ µ��É�4.5

ภาพ�É�4.7 เปรยบเทยบผลการทดลองตามคา Elitism Probability กบ Larranaga et al. (1996a:

912-926) ของฐานขอมล ALARM และมขนาดประชากรเทากบ 50

หมายเหต: *[S] �º° ��µ¦ ��°��µ��µ¦ µ��É�4.5

Page 53: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

���É5

สรปผลการวจยและขอเสนอแนะ

5.1 สรปผลการวจย

�µ¦ ª ·�¥�ÊÅ�o�εÁ­ �° ª ·�Á¦ ¥�¦ ¼oÃ�¦ �­ รางเบยเซยนเนตเวรคจากฐานขอมลดวยวธ GA

โดยใชโครโมโซมรปแบบ Directed Acyclic Graph ¦ ª ¤ �Ê��εÁ­ �° ª ·��µ¦ �µ��Genetic �É�nµ¥

กวา ³ Â���nµ��µ��µ¦ ª ·�¥�É�nµ�¤µÃ�¥Å¤n�εÁ�È��o°�¤�µ¦ �ε�Repair Operator หรอ Reverse

Edge �¹É�° µ�¤�Ä��µ¦ ���ª µ��µ¦ Á�oµ­ ¼n�ε�°��É��É­ »��°�GA วธการ Crossover �É�εÁ­ �°

เปนª ·��µ¦ �ÉŤn���o°�Á®¤º°��µ¦ �εCrossover ของ Gupta และ Allan (2003: 1429-1442)

โดยวธ M1 หรอ M2

ในการคานวณหาคาความเหมาะสม ไดใชโครงสราง Frequency Count Tree �ÉÁ�È�

�ε�ª ��¦ Ê��É�ª Â�¦ ¤�nµ�nµ�Ç�จากฐานขอมล�εĮo�µ¦ ���ε�ª ��¦ Ê��É�ª Â�¦ ¤�nµ�É�o°��µ¦

ทาไดโดยไมตองทาการ Query Å�¥��µ��o° ¤ ¼�¹É��³ Ä�oÁª ¨ µ�É�µ��ª nµ���ÉÅ�o�³�nª ¥�¦ ��¦ »�

ประสทธภาพของอลกอรธมÃ�¥�nª ¥Á¡ ·É¤�ª µ¤Á¦ Ȫ ในการหาคาความเหมาะสมของแตละ

ประชากร จากผลการทดลองแสดงใหเหนวาการใช GA Á¡ ºÉ° Á¦ ¥�¦ ¼oÃ�¦ �­ ¦ oµ�Á�¥rÁ�¥�Á�È�Áª ·¦ r�

โดยโครโมโซมรปแบบ Directed Acyclic Graph �µ¤ ª ·��É�εÁ­ �° Ä®oคาความแตกตางระหวาง

�³ Â���ÉÅ�o�µ��GA กบคะแนนจาก Initial Structure �É�o° ¥®¦ º° ��ª nµª ·��°�Larranaga et al.

(1996a: 912-926) ถงแมวาการกาหนดขนาดประชากรขนาดเลกจะใชเวลารนนอยกวาประชากร

��µ�Ä®�n�Â�n�µ���µ¦ ��°�¡ �ª nµ��µ��¦ ³ �µ�¦ �ÉÁÈ�Á�·�Å��εĮoÅ�o�¦ ³ ­ ·��·£µ¡ �°��

GA ŤnÁ�Ȥ�É��µ��µ¦ µ��É�4.1 - 4.4 พบวาขนาดประชากร 50 Ä®o�³ Â���É��ª nµ��µ��¦ ³ �µ�¦ �

10

Page 54: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

44

5.2 ขอเสนอแนะ

�¹�¤ oª nµ�µ¦ ª ·�¥�ÊŤn�εÁ�È��o°�¤ ª ·�การ Repair Operator หรอ Reverse Edge Á¡ ºÉ° Ä�o

Ä��µ¦ �¦ �Ã�¦ �­ ¦ oµ�Á�¥rÁ�¥�Á�È�Áª ·¦ r�Á¡ ºÉ° Ä®o¤�»�­ ¤��·�µ¤Ã�¦ �­ ¦ oµ��DAG �¹É��nª ¥¨ �

ความยงยากในกระบวนการทางพนธกรรมแตในกรณฐานขอมลขนาดใหญยงคงตองใชเวลาใน

การรน GA �n°��oµ��µ��µ¤��µ��°��µ��o° ¤ ¼�¹É��ª ¦ �Éจะมการปรบปรงอลกอรธมในการ

ª ·�¥�¦ Ê��n°Å�Á¡ ºÉ° Á¡ ·É¤�¦ ³ ­ ·��·£µ¡

วธการทาง GA Ä��µ¦ ª ·�¥�ÊŤnÅ�o¡ ·�µ¦ �µ�¹��µ¦ ®µ�Parent Information แบบ Local

Optimizer Á¡ ºÉ°�夵�¦ ��¦ »� Parent Information �°�Â�n³ î���ª ·��µ¦ �ÊÅ�o�¼�Ä�oÄ��

Larranaga et al. (1996a: 912-926) �¹É�¤�o° ��º° ­ µ¤µ¦ ���µ¦ Á­ ¥Áª ¨ µ�ÉÁ�·��µ��µ¦ �o�®µ�

���Ê�Ä��µ¦ ª ·�¥�¦ Ê��n°Å��ª ¦ �³ ¤�µ¦ �¦ ��¦ »�° ´�° ¦ ·�¹¤Ä��µ¦ Á¦ ¥�¦ ¼oÃ�¦ �­ ¦ oµ�Á�¥rÁ�¥�

Á�È�Áª ·¦ r��É��É­ »�Ã�¥ใช Local Optimizer ในการหา Parent Information �É��É­ »��°�Â�n³

โหนด �Ê��ÊÁ¡ ºÉ° Ä®oใชเวลาในการคนหา�ε�°��É��É­ »��°�GA �É­ Ê��

Page 55: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

บรรณานกรม

Beinlich, I. A.; Suermondt, H. J.; Chavez, R. M. and Cooper, G. F. 1989. The ALARM

Monitoring System: A Case Study with two Probabilistic Inference Techniques

for Belief Networks. In Second European Conference on Artificial

Intelligence in Medicine Germany: Springer-Verlag, Berlin. Pp. 247-256.

Carnegie Mellon University. Department of Philosophy. 2008. The TETRAD Project:

Causal Models and Statistical Data. Retrieved May 25, 2008 from

http://www.phil.cmu.edu/projects/tetrad/tetrad4.html

Charles River Analytics. 2008. About Bayesian Belief Networks for BNet Version 1.0.

Retrieved May 25, 2008 from http://www.cra.com/pdf/BNetBuilder

Background.pdf

Chickering, D. M.; Geiger, D. and Heckerman, D. 1994. Learning Bayesian Networks is

NP-Hard. (Microsoft Research Number: MSR-TR-94-17) Retrieved May 25,

2008 from http://research.microsoft.com/apps/pubs/default.aspx?id=69598

Cooper, G. F. and Herskovits, E. A. 1992. A Bayesian Method for the Induction of

Probabilistic Networks from Data. Machine Learning. 9 (October): 309-347.

Guo, H.; Perry, B. B.; Stilson, J. A. and Hsu, W. H. 2002. A Genetic Algorithm for Tuning

Variable Orderings in Bayesian Network Structure Learning. In Eighteenth

National Conference on Artificial Intelligence (Edmonton, Alberta, Canada,

July 28 - August 01, 2002). Edmonton, Alberta, Canada: American Association

for Artificial Intelligence. Pp. 951-952.

Gupta, P. B. and Allan, V. H. 2003. The Acyclic Bayesian Net Generator. In Proceedings

of the 1st Indian International Conference on Artificial Intelligence, IICAI

Page 56: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

46

2003, Hyderabad, India, December18-20, 2003. Pp. 1429-1442. Retrieved

May 25, 2008 from http://www.cs.usu.edu/~allanv/Pubs/iic03.pdf

Heckerman, D. 1995. A Tutorial on Learning Bayesian Networks. (Microsoft Research

Number: MSR-TR-95-06) Retrieved May 25, 2008 from

http://research.microsoft.com/apps/pubs/default.aspx?id=69588

Heckerman, D.; Geiger, D. and Chickering, D. M. 1995. Learning Bayesian Networks: The

Combination of Knowledge and Statistical Data. Machine Learning. 20

(September): 197-243.

Larranaga, P.; Poza, M.; Yurramendi, Y.; Murga, R. H. and Kuijpers, C. M. H. 1996a.

Structure Learning of Bayesian Networks by Genetic Algorithms: A

Performance Analysis of Control Parameters. Pattern Analysis and Machine

Intelligence, IEEE Transactions on. 18 (September): 912-926.

Larranaga, P.; Kuijpers, C. M. H.; Murga, R. H. and Yurramendi, Y. 1996b . Learning

Bayesian Network Structures by Searching for the best Ordering with Genetic

Algorithms. Systems, Man and Cybernetics, Part A: Systems and Humans,

IEEE Transactions on. 26 (July): 487-493.

Larranaga, P.; Sierra, B., Gallego, M. J., Michelena, M. J. and Picaza, J. M. 1997. Learning

Bayesian Networks by Genetic Algorithms: A Case Study in the Prediction of

Survival in Malignant Skin Melanoma. In Artificial Intelligence in Medicine:

6th Conference in Artificial Intelligence in Medicine, Europe, AIME '97,

Grenoble, France, March 23-26, 1997, Proceedings. Germany: Springer

Berlin / Heidelberg. Pp. 261-272.

Lauritzen, S. L. and Spiegelhalter, D. J. 1988. Local Computations with Probabilities on

Graphical Structures and Their Application to Expert Systems. Journal of the

Royal Statistical Society: Series B (Methodological). 50 (2): 157-224.

Oliver, I. M.; Smith, D. J. and Holland, J. R. C. 1987. A Study of Permutation Crossover

Operators on the Travelling Salesman Problem. In Proceedings of the Second

International Conference on Genetic Algorithms and their Application.

Cambridge, Massachusetts, U.S.: L. Erlbaum Associates. Pp.224-230

Page 57: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

47

Norsys Software Corp. 2008. Bayes Net Library. Retrieved May 25, 2008 from

http://www.norsys.com/netlibrary/index.htm

Ruiz, C. 2005. Illustration of the K2 Algorithm for Learning Bayes Net Structures.

Massachusetts, U.S.: Department of Computer Science, Worcester Polytechnic

Institute. Retrieved May 25, 2008 from http://web.cs.wpi.edu/~cs539/

s05/Projects/k2_algorithm.pdf

Scheines, R.; Spirtes, P.; Glymour,C. and Meek, C. 1994. TETRAD II: Tools for

Discovery. Hillsdale, NJ.: Lawrence Erlbaum Associates.

Surapong Auwatanamongkol. 2007. Inexact Graph Matching Using a Genetic Algorithm for

Image Recognition. Pattern Recognition Letters. 28 (September): 1428-1437.

Townsend, A.A.R. 2003. Genetic Algorithm – a Tutorial. Retrieved May 25, 2008 from

http://www.course.cs.york.ac.uk/evo/SupportingDocs/TutorialGAs.pdf

Page 58: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

ภาคผนวก

Page 59: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

Á�¥rÁ�¥�Á�È�Áª ·¦ r��ÉÄ�oÄ��µ¦ ��°�

1. ASIA

เบยเซยนเนตเวรค ASIA มจานวนตวแปรเทากบ 8 โดยมรายละเอยด���n°Å��Ê

1. VisitAsia - Visit To Asia

2. Tuberculosis - Tuberculosis

3. Smoking - Smoking

4. Cancer - Lung Cancer

5. TbOrCa - Tuberculosis or Cancer

6. XRay - XRay Result

7. Bronchitis - Bronchitis

8. Dyspnea - Shortness of Breath

2. CAR DIAGNOSIS 2

เบยเซยนเนตเวรค CAR DIAGNOSIS 2 มจานวนตวแปรเทากบ 18 โดยมรายละเอยด

���n°Å��Ê

1. AL - Alternator

2. CS - Charging System

3. BA - Battery Age

4. BV - Battery Voltage

5. MF - Main Fuse

6. DS - Distributer

Page 60: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

50

7. PV - Voltage at Plug

8. SM - Starter Motor

9. SS - Starter System

10. HL - Headlights

11. SP - Spark Plugs

12. SQ - Spark Quality

13. CC - Car Cranks

14. TM - Spark Timing

15. FS - Fuel System

16. AF - Air Filter

17. AS - Air System

18. ST - Car Starts

3. ALARM

เบยเซยนเนตเวรค ALARM มจานวนตวแปรเทากบ 37 โดยมรายละเอยดดงตอไป�Ê

1. Hypovolemia

2. LVFailure - Left Ventricular Failure

3. LVEDVolume - Left Ventricular End-Diastolic Volume

4. StrokeVolume

5. CVP - Central Venous Pressure

6. PCWP - Pulmonary Capillary Wedge Pressure

7. InsuffAnesth - Anest/Anelgesia Insufficient

8. PulmEmbolus

9. Intubation

10. Shunt

11. KinkedTube

12. MinVolSet - Minute Ventilation? MV = Respitory Rate * Tidal Volume

13. VentMach

Page 61: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

51

14. Disconnect - Disconnection

15. VentTube

16. VentLung

17. VentAlv

18. FiO2

19. PVSat - Pulmonary Artery Oxygen Saturation

20. SaO2

21. Anaphylaxis

22. TPR - Total Peripheral Resistance

23. ArtCO2

24. Catechol - Catecholamine

25. HR - Heart Rate

26. CO - Cardiac Output

27. History

28. BP - Blood Pressure

29. ErrCauter - Error Cauter

30. HREKG

31. HRSat

32. ErrLowOutput - Error Low Ouput

33. HRBP

34. ExpCO2

35. PAP - Pulmonary Artery Pressure

36. Press - Breathing Pressure

37. MinVol

Page 62: การเรียนรู้โครงสร้างเบย์ ...libdcms.nida.ac.th/thesis6/2551/b161681.pdfBayesian network structure from data. Moreover, it proposes new

ประวตผเขยน

�ºÉ°���µ¤ ­ �» นายสมพล สนยรตนาภรณ

ประวตการศกษา วศวกรรมศาสตรบณฑต (วศวกรรมไฟฟา)

มหาวทยาลยเกษตรศาสตร ปการศกษา 2545