ICH 2:

Research Methodology 3September 2017

Pisittawoot Ayood, MD, MPH, FETPDepartment of Community Medicine, Faculty of Medical, CMU

18 กนยายน 2560

Contents of RM3 (Sep 2017)

• B 1.9.2.5 Sample size calculation

• B 1.9.2.5 Sampling methods

– Probability sampling methods

– Non probability sampling methods

• B 1.9.2.6 Sample allocation, Concealment

• B 1.9.2.17-18 Compliant, co-intervention, contamination

2

References

Others in slide remark

4

5

Methods: Data and sample

• Nationally representative sample of high school seniors in approximately 122 public and private schools in the U.S

• Using self-administered paper-and-pencil questionnaires in classrooms

• In stage 1, geographic areas (or primary sampling units) were selected

• In stage 2, schools within primary sampling units were selected (with probability proportionate to school size)

• In stage 3, students within schools were selected.

• The sample for this study included 4,385 individuals

Ref: http://www.sciencedirect.com/science/article/pii/S009174351730097X

Example1:

Population

Finite population (countable)

Infinite population (uncountable)

All the people or animals or items of a particular type or group who live in one area or place.

6

Sample, Participant,Volunteer,Subject

What is a goal of sample size and sampling?

x

s1 s2 s3

Population

Sampling 2

Primary sample

Secondary sample Analysis Result

Appropriate sampling, sample size

Goal: x ~ Sampling 1 Sampling 3

Tertiary sample

7

“Sample size is just the smallest number but large enough to detect an effect of scientific importance”

Principle of sample size estimation

• Statistic to calculate sample size

– 1 sample group (descriptive study): prevalence, mean, median, association between variable

– 2 sample group (analytic study or experimental study): hypothesis test

• Discrete or continues data of result

• Dependent or independent

• Inferential statistic: refer to population

8

Appropriate sampling , sample size

S3 ~ S2 ~ S1 ~ Population

9

Analytical study

Descriptivestudy

Case report /

case series

Q?

ทวน study design

Applied from: https://www.anzmtg.org/stats/Guides/StudyDesign

1. Finite population ทราบขนาดประชากร

1.1 Taro Yamane formula:

10

A) Principle sample calculation for descriptive study (cross-sectional study)

11

1.2 The Krejcie & Morgan formula:

Example table of sample size: Taro Yamane

Example table of sample size: Krejcie & Morgan

2. Infinite population ไมทราบขนาดประชากร2.1 Cochran formula: ไมทราบขนาดของประชากรทแนนอน แตทราบ

วามจ านวนมากและตองการประมาณคาสดสวนของประชากร ม 2 กรณคอ

14

2.2 Cochran formula: ไมทราบขนาดของประชากรทแนนอน แตทราบ

วามจ านวนมากและตองการประมาณคาเฉลยของประชากร ม 2 กรณคอ

15

3. หลกวธการก าหนดขนาดกลมตวอยาง เพอการส ารวจแบบอนๆ

การก าหนดเกณฑ

ในกรณนผวจยตองทราบจ านวนประชากรทแนนอนกอนแลว ใชเกณฑโดยก าหนดเปนรอยละของประชากรในการพจารณา ดงน

ถาขนาดประชากรเปนหลกรอย ควรใชกลมตวอยางอยางนอย 25%

ถาขนาดประชากรเปนหลกพน ควรใชกลมตวอยางอยางนอย 10%

ถาขนาดประชากรเปนหลกหมน ควรใชกลมตวอยางอยางนอย 5%

ถาขนาดประชากรเปนหลกแสน ควรใชกลมตวอยางอยางนอย 1%

16

17

ความสมพนธระหวางขนาดความคลาดเคลอนในการสมตวอยางกบขนาดของกลมตวอยาง

Margin of error

Sample size

18

Example 2

B: 2 group sample size: (Experimental + Observe (analytic) study)

5 Steps for calculation

1. Specify a hypothesis test

2. Specify the significance level

3. Specify the intended power of the test

4. Specify the smallest effect size that is of scientific interest

5. Estimate the values of other parameters necessary to compute

KAREN GRACE-MARTIN 20

Step 2 of 2 group sample size estimation (type 1 error)

Type I error

( -error) ความนาจะเปนของการสรปผลการศกษาผดพลาดแบบผล บวกลวง (ตรวจพบคา significant ทงทไมมจรง) => false positive error

Power

True null

Accept

Reject

False null

21

Step 3 of 2 group sample size estimation (power)

2222

Power

True null

Accept

Reject

False null

Type II error ( -error) • Accept (false) null ปฏเสธความแตกตาง ทงทความแตกตางนนมจรง• ความนาจะเปนของการสรปผลการศกษาผดพลาดแบบผล

ลบลวง (ตรวจไมพบคา significant ทงทตางจรง) => false negative error

Minimum Power is 0.8 (80%, 90%)

Step 4 of 2 group sample size estimation

• Characteristics of results or outcome

• Dependent or independent of samples

• Result: discrete data or continuous data:

• Effect size ขนาดของความสมพนธ หรอความแตกตาง ท

นอยทสดทตองการตรวจใหพบ

• ความแตกตางขนาดเลก ตองใชกลมตวอยางจ านวนมาก

• ความแตกตางขนาดใหญ ใชกลมตวอยางจ านวนนอย

23

Step 5 of 2 group sample size estimation

Estimate the values of other parameters necessary to compute the power function

• Example: standard deviation, relative risk, disuses probability in exposure or non-exposure, …

• From a pilot study to compute or historical data–another study

KAREN GRACE-MARTIN

24

B: Basic formula for 2 group: independent sample

• Discrete or binary result data (cure, death, disability …)

Number per group =

• Continuous result data

Number per group =

25

• Z alpha = คาจากตาราง Z ท type 1 error = 0.05 or 0.01

• Z beta = คาจากตาราง Z ท type 2 error = 0.2 or 0.1

• Pt = proportion of outcome among intervention

• Pc = proportion of outcome among control

• r = ration of intervention and control

Q?

ii: Basic formula for dependent sample

• Discrete or binary result data

Number of pair =

• Continuous result data

Number of pair =

26

• Z alpha = คาจากตาราง Z ท type 1 error = 0.05 or 0.01

• Z beta = คาจากตาราง Z ท type 2 error = 0.2 or 0.1

• Pt = proportion outcome among intervention period

• Pc = proportion of outcome among control period

Sample size estimation program

2727

• Epi Info• N4studies• SPSS• Download or online:

• http://www2.warwick.ac.uk • http://www.sealedenvelope.com/power.php • http://www.quantitativeskills.com/sisa/calculations/samsize.htm • http://www.ezsurvey.com/samplesize.html• http://stat.uiowa.edu/~rlenth/Power

หาคาทโปรแกรมตองการจาก .... แลวแทนคา

• Sampling frame Any list of all sample units in population

• Sampling unit (primary, secondary, …) Sample drawn from sampling frame

• Sampling scheme or method Method of selecting sampling units from sampling frame

28

Sampling การคดเลอกตวอยาง

1. Accidental or convenience : consecutive sampling

2. Purposive or specified or judgment sampling

3. Quota sampling4. Snow ball or chain sampling

Sampling Methods

2. Non Probability Sampling Methods

1. Probability Sampling Methods

1. Simple random sampling2. Systematic sampling3. Stratified sampling4. Clustered or area sampling5. Multistage sampling*

อาศยความนาจะเปน ไมอาศยความนาจะเปน

1.1 Simple Random Samplingทกหนวยมโอกาส (Probability) ถกเลอกเทากนหมด คอ n/N- Lot (จบฉลาก)- Random number table- Program: epi-info, excel- …

30

Program: Excel: =RAND() * (b

- a) + a

1.2 Systematic Sampling• เรยงล าดบอยางเปนระบบ, ค านวณคา r, k

• r= สม, K= N/nNumber

• Sample = r, r+k, r+2k, r+3k, r+4k, r+5k,…

• แบงประชากรเปนพวกๆ หรอชน (strata) ตามตวแปรทก าหนด

• แตละชนจะประกอบไปดวยสมาชกทคลายกน (homogeneous)

ระหวางกลมจะแตกตางกน (heterogeneous) สมตวอยางในแตละชนออกมา

1.3 Stratified sampling

http://www.fernuni-hagen.de/statliteracy/images/Stratifiedsampling.jpg

1.4 Cluster or area sampling

• ประชากรอยกนเปนกลมกอนตามธรรมชาต • ในกลมเดยวกนมลกษณะทหลากหลาย (heterogeneous) แตระหวางกลม

คลายคลงกนมากทสด (homogeneous)• แตละ Cluster สามารถเปนตวแทนทดของประชากร • สมตวอยางแบบงายใหได Cluster มา แลวศกษาเฉพาะใน Cluster ทสมได

http://essedunet.nsd.uib.no/cms/topics/weight/2/6.html

33http://keydifferences.com/difference-between-stratified-and-cluster-sampling.html

34

Example 6

2.1 Convenience or accidental sampling

• การเลอกตวอยางโดยยดหลกความสะดวกในการเขาถง• ท างาย ชวยประหยดคาใชจาย และเวลา • มกใชในการศกษาระยะแรก (Preliminary research)• Consecutive sampling จดเปนลกษณะหนงของเทคนคน (ผปวยจะถก

เชญเขาเปนอาสาสมครของการวจยตามล าดบการมาตดตอ หรอการวนจฉยพบทคลนก ยตการรบเขาเมอครบตามขนาดตวอยาง หรอหมดก าหนดเวลา)

3535

35

2.2 Purposive Sampling• การสมตวอยางแบบเจาะจง

• โอกาสถกเลอกขนกบวจารณญาณผวจย เชนหนวยนนนาจะเปนตวแทนทด ใหขอมลในเรองทสนใจ ใชมากในการศกษาเจาะลกทกลมตวอยางนอย เชนในโรคทพบยาก

• มอคตในการเลอกกลมตวอยางไดมาก

2.3 Quota Sampling (Proportion)

• Using this method the sample audience is made up of potential purchasers

• มการก าหนดตวแปรควบคมโควตาทใชในการศกษา

• ก าหนดสดสวนของตวแปรควบคมโควตาในประชากร

2.4 Snow Ball or Chain Sampling

• การเลอกตวอยางในลกษณะแบบตอเนอง

• ตวอยางแรกจะเปนผใหค าแนะน าในการเลอกตวอยางถดไป

• มการแนะน าตอไปจนกระทงไดขนาดตวอยางตามทผวจยตองการ

38

RS1_March 2017, Community of Medicine Department, CMU, Pisittawoot Ayood.

Example 14

Sample allocation

• เมอไดกลมตวอยางมาแลว ท าการการแบง sample ออกเปนกลมๆ เพอท าการศกษาวจย

• ตวอยาง ในการทดลอง intervention ยาทากนยง จะท าการแบง sample ออกเปน 4กลม เพอทดลองยาทากนยง 3 ชนด

Sample

Intervention group1 Control group

39

40

The participants were randomized using a table of random numbers (SAS software) in the AA group (n = 13) or the Control group (n = 13).The sample size calculations were performed using R Studio software v. 0.98.976

(Boston, MA, USA), SPSS 17.0 (SPSS Inc., Chicago, IL, USA), and G ∗Power 3.1. The minimal clinically important difference for FMA-UE was estimated previously at 10% of the maximum score (6.6 points) [14] and adopted here. To achieve at least this difference between the groups and assuming the alpha level of 0.05 and power of 80%, the estimated sample size was 13 per group

Example 7

41RS1_March 2017, Community of Medicine Department, CMU, Pisittawoot Ayood.

Example 8

Table 1. Physician demographics (N = 87).

42

Example 9: sampling?

Randomization • กระบวนการทท าใหอาสาสมครแตละคนจะถกจดใหอยในกลมใด โดยการแบงกลม

เกดขนโดย

– Simple randomization or unrestricted randomization ปองกน selection bias และ confounder แตวาอาจจะท าใหกลมตาง ๆ มขนาดไมเทา

– Blocked randomization มการก าหนดขนาดบลอก ขนาดของบลอกจะเทาๆกน แตอาจเกด selection bias

– Adaptive biased-coin randomization ความนาจะเปนทจะจดเขาในกลมหนงจะลดลงถากลมนนมคนมากเกนไป และจะเพมขนถากลมนนมคนนอยเกนไป

• เปนคณลกษณะทส าคญทสดของการศกษาแบบ RCT

• ชวยก าจด confounding ออกจากการศกษา ตงแตในขนออกแบบงานวจย

43

44 4444

RS1_March 2017, Community of Medicine Department, CMU, Pisittawoot Ayood.

Example 10

Allocation concealment

• Withholding specific information about a study from the subjects and researcher, prevent selection bias.

• Decentralized or “third-party”, external involvement.

• Prevents foreknowledge of investigator regarding assignment of subjects to either of the intervention or control group.

– ใชซองเอกสารทมเลขตามล าดบทปดทบ (SNOSE)

– วธการปดบงการจดสรรควรจะรวมอยในเกณฑวธการทดลองทางคลนก

45

Blinding (masking) and un-blind technique

• การปดบงไมใหผเกยวของกบการศกษา ทราบวาอาสาสมครไดรบ intervention เพอปองกนอคตในการวดและประเมนผล

• Single-blind อาสาสมครไมทราบ

• Double-blind ทงอาสาสมคร และผท าการศกษาไมทราบ

• Triple-blind ทงอาสาสมคร ผท าการศกษา และผวเคราะหขอมลไมทราบ

• Un-blind เปดรหส ท าเมอสนสดการศกษา หรอเมอมสถานการณฉกเฉนจ าเปน

Allocation concealment ตางกบ blinding technique (all process concealment) เพราะ

เปนการปดไมใหรกลมจะจดใหคนไขกอนจะจดจรง ๆ เทานน สวน blinding technique จะปกปด

การรกษาแมในชวงการทดลอง

46

Compliance

Compliance ความรวมมอในการศกษาของกลมตวอยาง

– หากมการรวมมอทดจะท าใหผลการศกษาแสดงคาทแทจรงได

– วธการทจะท าใหม compliance สง อาจท าไดดวยการตดตอสอสาร การนดเปน

ระยะๆ หรอการสรางสมพนธภาพทดระหวางผทท าการศกษากบกลมผถกศกษา

โดยอาจขนอยกบ

• Follow–up period ระยะเวลาทศกษาและนดกลมตวอยาง โดยทวไประยะเวลาหรอความ

หางในการนดจะมผลตอความรวมมอ

• Lost to follow-up การศกษาทมการขาดนดมาก จะท าใหผลการศกษาเกดอคตและ

คลาดเคลอนได

47

Contamination

• The result in treatment cross-over i.e. receiving the intervention intended for the other group in a trial.

• ในระหวางการศกษาเกดการปนเปอน

– การทกลมตวอยางหรอกลมทดลองใชยาหรอ treatment ขามกนระหวางกลม

– เชน ผรบยา A เหนวาคนในกลม B เหนผลมากกวาจงไปใชรวมกน หรอการประชาสมพนธโดยเทป เมอชมชนควบคมเหนวาชมชนทดลองเหนผลด จงน ามาใช

• ท าใหเกด contamination bias

48

Co-intervention

• Application of additional therapeutic procedures to members of either the study group or control group in a randomized controlled trial.

• Use of other treatments

• ในระหวางการศกษามการใชการรกษา หรอกระบวนการอนรวมดวย

– การทกลมตวอยางหรอกลมทดลอง ไดใชการรกษาหรอใช intervention อนๆรวมดวย แตไมใชขามการรกษาระหวางกลม

– เชน ผรบยา A หรอ B ทดลองยาแกปวดชนดใหมไมคอยไดผล จงไปใช NSAID หรอ paracetamol รวมดวย

• ท าใหเกด Co-intervention bias

49

50

ฝกปฏบต ก าหนดขนาดตวอยาง และออกแบบวธการสมทเหมาะสมกบงานวจยของตน

51

ทดลอง ก าหนดขนาดตวอยาง และออกแบบวธการสมทเหมาะสมกบงานวจยของตน

ประกาศนยบ ตร

52

53

54