เอกสารประกอบการสอน วิ�ชา 427-302 Methods of Social Sciences Research

เร��อง เคร��องมื�อการเก�บข้�อมื�ล

การหาค�ณภาพข้องเคร��องมื�อวิ�ด

ห�วิข้�อในการบรรยาย• ค�ณภาพข้องเคร��องมื�อวิ�ด• ทบทวินแนวิค�ดเบ�#องต้�นข้อง CTT• ประเภทข้อง Reliability• ประเภทข้อง Validity• การต้รวิจสอบค�ณภาพข้องเคร��องมื�อวิ�ด

ด�วิยโปรแกรมื SPSS

การวิ�ดค�ออะไร?

• การวิ�ด ค�อ การให�ค(าส�ญล�กษณ+ ต้(อ ค�ณสมืบ�ต้� ข้องส��งท,�ต้�องการศึ.กษา

• การวิ�ด ก�ค�อ การให�ค(าต้�วิเลข้ ต้(อ ค�ณสมืบ�ต้� ข้อง ส��ง ท,�ต้�องการศึ.กษา เพ��อท,�จะสามืารถจ0าแนกหน(วิย

ต้�วิอย(างต้ามืล0าด�บมืากหร�อน�อยข้องค�ณสมืบ�ต้�ข้อง ส��งท,�ศึ.กษาได�

การวิ�ดจ.งประกอบด�วิย

ไมื�บรรท�ด ควิามืยาวิ หน�งส�อ น�#วิ, ซ.มื.วิ�ด ข้อง ได�

ต้าช��ง น0#าหน�ก น�กเร,ยน ก�โลกร�มืช��ง ข้อง ได�

ค�ณสมืบ�ต้�(Attribute)

ส��งท,�ศึ.กษา(Object)

ค(าต้�วิเลข้(Number)

วิ�ด ข้อง ได�เคร��องมื�อวิ�ด(Measure)

ต้�วิอย(างการวิ�ดในการวิ�จ�ยทางส�งคมืศึาสต้ร+

ค�ณสมืบ�ต้�(Attribute)

ส��งท,�ศึ.กษา(Object)

ค(าต้�วิเลข้(Number)

วิ�ด ข้อง ได�เคร��องมื�อวิ�ด(Measure)

แบบทดสอบ, แบบวิ�ด

ต้�วิแปรทางทฤษฎี,

หน(วิยต้�วิอย(าง

ค(าคะแนนต้�วิแปรวิ�ด ข้อง ได�

(Test, Measure) (Construct Variable) (Subject) (Variable Values)

TOEFLS ควิามืสามืารถภาษาอ�งกฤษ

น�กศึ.กษา คะแนนวิ�ด ข้อง ได�

JDI ควิามืพ.งพอใจในงาน พน�กงาน ค(าคะแนนวิ�ด ข้อง ได�

(Job Description Index)

(Job Satisfaction)

ต้�วิอย(างการวิ�ดในการวิ�จ�ยทางส�งคมืศึาสต้ร+

เคร��องมื�อวิ�ดจ.งประกอบด�วิย

• ข้�อค0าถามื (Items)• เคร��องมื�อวิ�ด หร�อ แบบทดสอบ ท�#งฉบ�บ

(Measure or Test)

การหาค�ณภาพข้องเคร��องมื�อวิ�ด

• ค�ณภาพข้องข้�อค0าถามื• ค�ณภาพข้องเคร��องมื�อวิ�ดหร�อแบบทดสอบ ท�#งฉบ�บ

• ควิามืเป5นปรน�ย (Objectivity)• ควิามืยาก (Difficulty)• อ0านาจจ0าแนก (Discrimination)

ค�ณภาพข้องข้�อค0าถามื

ปรากฏการณ+

Subject

ObjectSubject

Objectivityปรากฏการณ+

SubjectObjectReality

Subjectivity

Reality

Reality

• ควิามืเช��อมื��น (Reliability)• ควิามืเท,�ยงต้รง (Validity)

ค�ณภาพข้องเคร��องมื�อวิ�ด

Review of Classical Test Theory

• VarianceoTrue ScoresoErrors

• 75 = 70 + 5• 80 = 70 + 10

Observed Scores

• Reliabilityo Var (T) / Var (X)o Var (T) / Var (T) + Var (E)

• Reliabilty = Rx1x2

การประมืาณค(า True Scores

Errors

• Systematic Error• Random Error

Random Error

Systematic Error

• Reliabilty = True Score + Systematic Error= T + ES

• Validity = True Score = T

Reliability VS. Validity

Reliability VS. Validity

Reliability VS. Validity

• Stability (Times)• Equivalence (Forms)• Consistency (Items)

ประเภทข้อง Reliability

Test-Retest

• Test-Retest เป5นการหาควิามืเช��อมื��นโดยน0า เคร��องมื�อวิ�ดไปวิ�ดส��งท,�ศึ.กษา แล�วิท�#งช(วิง

ระยะเวิลาหน.�ง จากน�#นน0าไปวิ�ดซ0#าอ,กคร�#งแล�วิน0าผลการวิ�ดท,�ได�จากคร�#งแรกก�บคร�#งหล�งมืาเปร,ยบเท,ยบก�น

Stability (Times)

Parallel Form

Inter-Rater

• Parallel Form เป5นการหาควิามืเช��อมื��นโดยสร�างเคร��องมื�อ วิ�ดท,�มื,ควิามืเท(าเท,ยมืก�นข้.#นมืา 2 เคร��องมื�อ น0าไปวิ�ดส��งท,�

ต้�องการศึ.กษา แล�วิน0าผลการวิ�ดจากเคร��องมื�อวิ�ดท�#งสองมืาเปร,ยบเท,ยบก�น

• Inter-Rater เป5นการหาควิามืเช��อมื��นในกรณ,ท,�เคร��องมื�อวิ�ด เป5นคนท,�คอยส�งเกต้หร�อประเมื�น โดยใช�ผ��ประเมื�นอย(างต้0�า

2 คนมืาส�งเกต้หร�อประเมื�นส��งท,�ต้�องการศึ.กษาร(วิมืก�น จากน�#นน0าผลท,�ได�มืาเปร,ยบเท,ยบก�น

Equivalence (Forms)

• Average Inter-Item Correlation• Average Item-Total Correlation• Split-Half Correlation• Cronbach's Alpha

Consistency (Items)

Average Inter-Item Correlation

Average Item-Total Correlation

Split-Half Correlation

Cronbach’ s Alpha

Cronbach’ s Alpha

• Cronbach's Alpha เป5นการหาควิามืเช��อมื��นโดยด�ท,�ควิามืสอดคล�องกลมืกล�นข้องข้�อค0าถามืในเคร��องมื�อ

วิ�ด ถ�าแต้(ละข้�อค0าถามืสามืารถวิ�ดส��งท,�ต้�องการศึ.กษา ส��งเด,ยวิก�น คะแนนท,�ได�แต้(ละข้�อค0าถามืควิรมื,ควิามื

สอดคล�องก�น

• ควิามืเท,�ยงต้รงข้องการวิ�จ�ย(Research Validity)

• ควิามืเท,�ยงต้รงข้องการวิ�ด (Measurement Validity)

ควิามืเท,�ยงต้รง (Validity)

Research Validity

• (Face Validity)• Content Validity• Criterion-Related Validity

Classicial Classification of Validity

• Construct Validity

• ควิามืเท,�ยงต้รงต้ามืผ�วิหน�า เป5นควิามืเท,�ยงต้รงในระด�บท,�ต้0�า ท,�ส�ด กล(าวิค�อ เมื��ออ(านหร�อมืองด�ต้ามืสภาพหร�อต้ามืผ�วิ

เผ�นแล�วิ เคร��องมื�อวิ�ด น(าจะวิ�ดต้�วิแปรได�ต้รงก�บท,�ผ��วิ�จ�ยต้�องการ

(Face Validity)

• ควิามืเท,�ยงต้รงต้ามืเน�#อหา เป5นควิามืเท,�ยงต้รงท,�ประเมื�นวิ(าเคร��องมื�อสามืารถวิ�ดต้�วิแปรได�ครบถ�วินและครอบคล�มื

เน�#อหาข้องต้�วิแปรได�ครบท�กประเด�น ท�กองค+ประกอบ ข้องต้�วิแปรท,�จะวิ�ดหร�อไมื(

Content Validity

• ควิามืเท,�ยงต้รงต้ามืเกณฑ์+ เป5นควิามืเท,�ยงต้รงท,�ใช�เกณฑ์+หร�อ มืาต้รฐานบางอย(างท,�ทราบมืาก(อนแล�วิวิ(ามื,ควิามืเท,�ยงต้รง น0า

มืาใช�เท,ยบเค,ยงหร�อประเมื�นควิามืเท,�ยงต้รงข้องเคร��องมื�อวิ�ด• แบ(งออกเป5น 2 ประเภท ค�อ Concurrent Validity และ

Predictive Validity

Criterion-Related Validity

• ควิามืเท,�ยงต้รงต้ามืเกณฑ์+ท,�ใช�เกณฑ์+หร�อมืาต้รฐานท,�มื,อย�(แล�วิ ในข้ณะน�#น น0ามืาประเมื�นควิามืเท,�ยงต้รงข้องเคร��องมื�อวิ�ด

• ต้�วิอย(างเช(น เคร��องมื�อวิ�ดอ��นท,�วิ�ดต้�วิแปรเด,ยวิก�น แต้(ผ(าน การทดสอบมืาแล�วิวิ(ามื,ควิามืเท,�ยงต้รง

Concurrent Validity

• ควิามืเท,�ยงต้รงต้ามืเกณฑ์+ท,�ใช�เกณฑ์+หร�อมืาต้รฐานท,�จะเก�ด ข้.#นในอนาคต้ น0ามืาประเมื�นควิามืเท,�ยงต้รงข้องเคร��องมื�อวิ�ด

• ต้�วิอย(างเช(น เกรดเฉล,�ยระด�บมื�ธยมืต้�น ก�บ คะแนนสอบเอ�น ทรานซ+ หร�อ การค�ดเล�อกพน�กงานท,�ใช�การด�นรล�กษณ+ แล�วิใช�

คะแนนผลการปฏ�บ�ต้�งานหล�งจากท0างานไปแล�วิ 3 เด�อน

Predictive Validity

• ควิามืเท,�ยงต้รงต้ามืทฤษฎี, เป5นการประเมื�นควิามืเท,�ยงต้รง ข้องเคร��องมื�อวิ�ดวิ(า สามืารถวิ�ดต้�วิแปรได�ต้รงต้ามืท,�ทฤษฎี,

ระบ�ไวิ�หร�อไมื(• เช(น อาจน0าเคร��องมื�อวิ�ดไปหาควิามืส�มืพ�นธ+ก�บต้�วิแปรอ��นท,�ทฤษฎี,ได�ระบ�ไวิ�วิ(ามื,ควิามืส�มืพ�นธ+ก�บต้�วิแปรท,�เคร��องมื�อวิ�ดต้�องการจะวิ�ด

Construct Validity

Construct Validity

• ใช�ด�ลย+พ�น�จo Face Validityo Content Validity

• ใช�เกณฑ์+หร�อมืาต้รฐานo Concurrent Validityo Predictive Validity

• ใช�ทฤษฎี,o Construct Validity

สร�ปประเภทข้อง Validity

การต้รวิจสอบค�ณภาพเคร��องมื�อวิ�ด ด�วิยโปรแกรมื SPSS

• ค�ณภาพข้องข้�อค0าถามื• ค�ณภาพข้องเคร��องมื�อวิ�ดหร�อแบบทดสอบ

การต้รวิจสอบค�ณภาพ

• ควิามืเป5นปรน�ย (Objectivity)• ควิามืยาก (Difficulty)• อ0านาจจ0าแนก (Discrimination)

การต้รวิจสอบค�ณภาพข้องข้�อค0าถามื

• ให�ผ��เช,�ยวิชาญต้รวิจสอบ• น0าไป Pretest

การต้รวิจสอบควิามืเป5นปรน�ย

• ด�จากร�อยละ (Percent) ข้องคนท,�ต้อบข้�อน�#นถ�ก

การต้รวิจสอบควิามืยาก

• Item-Total Correlation• Corrected Item-Total Correlation• t-test กล�(มืส�ง-กล�(มืต้0�า

การต้รวิจสอบอ0านาจจ0าแนก

• Reliability• Validity

การต้รวิจสอบค�ณภาพข้องเคร��องมื�อ

• ใช� Correlation oTest-Retest oParallel FormsoSplit Half

• ใช� Cronbach's Alpha

การต้รวิจสอบ Reliability

• ใช�ด�ลยพ�น�จข้องผ��เช,�ยวิชาญ• Known-Group Technique ด�วิย t-test• ใช� Correlation• ใช� Factor Analysis (EFA vs CFA)• ใช� Multitrait-Multimethod Matrix (MTMM)

การต้รวิจสอบ Validity

F1

F2

F3

X1

X2

X3

X4

X5

X6

X7

X8

X9

e1

e2

e6

e5

e3

e4

e8

e7

e9

EFA

F1

F2

F3

X1

X2

X3

X4

X5

X6

X7

X8

X9

e1

e2

e6

e5

e3

e4

e8

e7

e9

CFA

Multitrait-Multimethod Matrix