4장 확률 분포Probability distributions

Updated 2018-03-19

4.1 이산확률분포 (probability density function of a discrete random variable)

표 4.1.1중증도 (severity) 환자수 (# patients) P(X = 𝑥)

1 26 0.3421

2 18 0.2368

3 24 0.3158

4 8 0.1053

합계 76 1.0000

이산확률변수 (discrete r.v.) X 의 확률분포를𝑝(𝑥)라고 하면, 𝑝 𝑥 = 𝑃(𝑋 = 𝑥)

• 𝑥1,𝑥2, ⋯ , 𝑥𝑘가 이산확률변수 𝑋가 가질 수 있는 모든가능한 값. 이때 이산확률분포는 다음의 성질을 만족(Let 𝑥1,𝑥2, ⋯ , 𝑥𝑘 be values of a discrete random variable 𝑋. Discrete probability density function satisfies the following)

• 0 ≤ 𝑃(𝑋 = 𝑥𝑖) ≤ 1 for all 𝑖 = 1,2, … , 𝑘

• 𝑖=1𝑘 𝑃 𝑋 = 𝑥𝑖 = 1

Axioms of a probability : P()

1. 𝑃(𝐸𝑘) ≥ 0

2. 𝑃 𝐸1 + 𝑃 𝐸2 +⋯+ 𝑃 𝐸𝑛 = 𝑃 𝐸1 ∪ 𝐸2 ∪⋯𝐸𝑛 for mutually exclusive events) 𝐸

1, 𝐸

2, ⋯ , 𝐸

𝑛

3. 𝑃 𝑆 = 1

𝑝 3 = 𝑃(𝑋 = 3)= 0.3158

𝑃 𝑋 = 1 or 𝑋 = 4 = 𝑃 𝑋 = 1 ∪ 𝑋 = 4

= 𝑃 𝑋 = 1 + 𝑃 𝑋 = 4 = 0.3421 + 0.1053 = 0.4474

중증도 (severity) 환자수 (# patients) P(X = 𝑥)

1 26 0.3421

2 18 0.2368

3 24 0.3158

4 8 0.1053

합계 76 1.0000

𝑃 𝑋 ≤ 2 = 0.5789

𝑃 𝑋 < 4 = 𝑃 𝑋 ≤ 3 = 0.8947

𝑃 𝑋 ≥ 2 = 1 − 𝑃 𝑋 < 2 = 1 − 0.3421 = 0.6579

𝑃 2 ≤ 𝑋 ≤ 3 = 𝑃 𝑋 ≤ 3 − 𝑃 𝑋 < 2

= 0.8947 − 0.3421 ∗= 0.5526*

중증도 (severity) 환자수(# patients) P(X = 𝑥)

누적확률 𝑷(𝑿 ≤ 𝒙)

Cumulative Prob

1 26 0.3421 0.3421

2 18 0.2368 0.5789

3 24 0.3158 0.8947

4 8 0.1053 1.0000

합계 76 1.0000

• [이산확률분포의 평균과 분산] (mean and variance of a discrete r.v.)

• 이산확률분포가 𝑝 𝑥 인 확률변수 𝑋의 평균과 분산은 다음과 같이 정의한다. (Let 𝑝 𝑥 be a probability density function of a discrete r.v. 𝑋, then mean and variance of are defined by)

𝐸 𝑋 = 𝜇 = 𝑖=1𝑘 𝑥𝑖𝑝 𝑥𝑖 = 𝑖=1

𝑘 𝑥𝑖𝑝 𝑋 = 𝑥𝑖 ,

𝑣𝑎𝑟 𝑋 = 𝐸(𝑋 − 𝜇)2 = 𝜎2

=

𝑖=1

𝑘

𝑥𝑖 − 𝜇 2𝑝 𝑥𝑖 =

𝑖=1

𝑘

𝑥𝑖 − 𝜇 2𝑝 𝑋 = 𝑥𝑖

In general, 𝐸 𝑓 𝑋 = 𝑖=1𝑘 𝑓(𝑥𝑖) 𝑝 𝑥𝑖

* 평균과 분산의 성질 (properties of the mean & variance)

𝐸 𝑎𝑋 + 𝑏 = 𝑎𝐸 𝑋 + 𝑏,

proof) 𝐸 𝑎𝑋 + 𝑏 = 𝑖=1𝑘 (𝑎𝑥𝑖 + 𝑏)𝑝 𝑥𝑖

= 𝑎 𝑖=1𝑘 𝑥𝑖𝑝 𝑥𝑖 + 𝑏 𝑖=1

𝑘 𝑝 𝑥𝑖 = 𝑎𝐸 𝑋 + 𝑏 ,

𝑣𝑎𝑟 𝑋 + 𝑏 = 𝑣𝑎𝑟(𝑋)

𝑣𝑎𝑟 𝑎𝑋 + 𝑏 =𝑎2𝑣𝑎𝑟(𝑋)

proof) 𝑣𝑎𝑟 𝑋 + 𝑏 = 𝐸 𝑋 + 𝑏 − 𝐸 𝑋 + 𝑏2

𝑣𝑎𝑟 𝑎𝑋 + 𝑏 = 𝐸 𝑎𝑋 + 𝑏 − 𝐸 𝑎𝑋 + 𝑏2

= 𝐸( 𝑎 𝑋 − 𝜇 ]2 = 𝑎2𝑣𝑎𝑟 𝑋

∵ 𝑖=1𝑘 𝑝 𝑥𝑖 = 1

𝐸(∙)is a linear operator

location invariant

* 평균과 분산의 성질 (properties of the mean & variance)

𝑣𝑎𝑟 𝑋 = 𝐸 𝑋2 − (𝐸 𝑋 )2

proof) 𝑣𝑎𝑟 𝑋 = 𝐸[ 𝑋 − 𝜇 2]= 𝐸[𝑋2−2𝑋𝜇 + 𝜇2]

= 𝐸[𝑋2] − 2𝜇𝐸 𝑋 + 𝜇2

= 𝐸[𝑋2]-𝜇2

4.2 이항분포 (binomial distribution)

베르누이 과정(Bernoulli process)

1. 각 시행은 2개의 결과를 가질 수 있으며, 두 결과는 동시에 나올 수 없다. 그 중 하나를 성공이라 하고 다른 하나를 실패라고 한다. (Two outcomes; success (1) and failure(0))

2. 성공확률을 𝑝라고 할 때, 𝑝는 베르누이 시행을 여러 번 수행해도 변하지 않는다. 실패확률은 1 − 𝑝이며, 이를 𝑞로 표시할 것이다. (success probability= 𝑝, failure probability= 1 − 𝑝)

3. 모든 베르누이 시행은 서로 독립이다. 즉 베르누이 시행의 결과는 다른베르누이 시행의 결과에 영향을 받거나 주지 않는다. (Trials are independent. )

* 𝑋~𝐵𝑒𝑟(𝑝), 0 ≤ 𝑝 ≤ 1 then 𝐸 𝑋 = 𝑝, 𝑣𝑎𝑟 𝑋 = 𝑝(1 − 𝑝),

Proof) 𝐸 𝑋 = 1 ∙ 𝑝 + 0 ∙ 1 − 𝑝 = 𝑝

𝑣𝑎𝑟 𝑋 = 𝐸 𝑋 − 𝑝 2 = (1 − 𝑝)2∙ 𝑝 + 0 − 𝑝 2 ∙ 1 − 𝑝

= 𝑝 ∙ 1 − 𝑝 1 − 𝑝 + 𝑝 = 𝑝 ∙ 1 − 𝑝 = 𝑝𝑞

Ex. 4.2.1 성공=임신37주 이후 출생 (success=birth after 37 weeks of gestational age) P(s)=85.8%P(#s=3 out of 5 events)sol) (s,f,s,s,f) = (1,0,1,1,0), 𝑝 = 0.858𝑃 1,0,1,1,0 = 𝑝𝑞𝑝𝑝𝑞 = 𝑝3𝑞2

In general P(#s=3 out of 5 events)= # cases × 𝑝3 𝑞2

=10 (0.858)3(0.142)2

순번 결과

1 10110

2 11100

3 10011

4 11010

5 11001

6 10101

7 01110

8 00111

9 01011

10 01101

조합 (combination)

𝑛𝑥

=𝑛!

𝑥! 𝑛−𝑥 !

𝑋~𝐵(𝑛, 𝑝)

p 𝑥 = P X = 𝑥 = 𝑛𝑥

p𝑥q𝑛−𝑥 , 𝑥 = 0, 1,⋯ , 𝑛

0 , else

Axioms of probability

X= 𝑥 p(𝑥)

0𝑛0

𝑞𝑛−0𝑝0

1𝑛1

𝑞𝑛−1𝑝1

⋮ ⋮

𝑥𝑛𝑥

𝑞𝑛−𝑥𝑝𝑥

⋮ ⋮

𝑛𝑛𝑛

𝑞𝑛−𝑛𝑝𝑛

합계 1

Ex. 4.2.2

X~𝐵 10, 𝑝 = 0.14 , P X = 4 =?

𝑝 4 =104

(0.14)4(0.86)6= 0.0326

Let X~𝐵 𝑛, 𝑝 ,

dbinom(x,n,p) = 𝑃(𝑋 = 𝑥) 예) dbinom(6,10,0.86) # n=10, p=0.86인 이항분포에서 6번 성공할 확률을 계산

pbinom(x,n,p)= 𝑃(𝑋 ≤ 𝑥) 예) pbinom(6,10,0.86) # n=10, p=0.86인 이항분포에서 성공의 횟수가 6번 이하일 확률을 계산

pbinom(x,n,p,lower=F)= 𝑃(𝑋 > 𝑥) 예) pbinom(6,10,0.86,lower=F)# n=10, p=0.86인 이항분포에서 성공의 횟수가 6번 초과일 확률을 계산

rbinom(m,n,p): select m random numbers from B(n,p) 예) rbino(4,10,0.86) # n=10, p=0.86인 이항분포에서 성공의 횟수를 랜덤으로 4번 추출

Ex. 4.2.3

X~𝐵 𝑛 = 25, 𝑝 = 0.10 ,

1. 𝑃 𝑋 ≤ 5 = 0.9666 pbinom(5,25,0.1)

2. 𝑃 𝑋 ≥ 6 = 1 − 𝑃 𝑋 ≤ 5 = 1 − 0.9666 = 0.0334pbinom(5,25,0.1,lower=F)

3. 𝑃 6 ≤ 𝑋 ≤ 9 = 𝑃 𝑋 ≤ 9 − 𝑃 𝑋 ≤ 5 = 0.9999 −0.9666 = 0.0333pbinom(9,25,0.1) - pbinom(5,25,0.1)

4. 𝑃 2 ≤ 𝑋 ≤ 4 = 𝑃 𝑋 ≤ 4 − 𝑃 𝑋 ≤ 1 = 0.9020 −0.2712 = 0.6308pbinom(4,25,0.1) - pbinom(1,25,0.1)

Ex. 4.2.4

X~𝐵 𝑛 = 12, 𝑝 = 0.55 ,

1. 𝑃 𝑋 = 7 𝑛 = 12, 𝑝 = 0.55 = 𝑃 𝑋 ≤ 7 − 𝑃 𝑋 ≤ 6 =0. 6955 − 0.4730 = 0.2225dbinom(7,12,0.55)

2. 𝑃 𝑋 ≤ 5 𝑛 = 12, 𝑝 = 0.55 = 0.2607pbinom(5,12,0.55)

3. 𝑃 𝑋 ≥ 8 𝑛 = 12, 𝑝 = 0.55 = 0.3044pbinom(7,12,0.55,lower=F)

이항분포의 평균과 분산Mean and Variance of Binomial distribution

Let 𝑋~𝐵 𝑛, 𝑝 , then 𝐸 𝑋 = 𝑛𝑝, 𝑣𝑎𝑟 𝑋 = 𝑛𝑝(1 − 𝑝),

* proof) 𝐸 𝑋 = 𝑥=0𝑛 𝑥p 𝑥 = 𝑥=0

𝑛 𝑥𝑛𝑥

𝑝𝑥(1 − 𝑝)𝑛−𝑥

= 𝑥=1𝑛 𝑛!

(𝑥−1)! 𝑛−𝑥 !𝑝𝑥(1 − 𝑝)𝑛−𝑥, let 𝑦 = 𝑥 − 1

= 𝑦=0𝑛−1 𝑛(𝑛−1)!

𝑦! 𝑛−(𝑦+1) !𝑝𝑝𝑦(1 − 𝑝)𝑛−(𝑦+1)

= 𝑛𝑝 𝑃(𝑌 = 𝑦) = 𝑛𝑝 ∵ 𝑃(𝑌 = 𝑦) =1pdf of B(n-1,p)

How about 𝑣𝑎𝑟 𝑋 = 𝑛𝑝 1 − 𝑝 ?

이항분포의 평균과 분산Mean and Variance of Binomial distribution

Let 𝑋~𝐵 𝑛, 𝑝 , then 𝐸 𝑋 = 𝑛𝑝, 𝑣𝑎𝑟 𝑋 = 𝑛𝑝(1 −𝑝),

* proof) another one 𝑋 = 𝑥=1

𝑛 𝑌𝑖 , where 𝑌𝑖~𝐵𝑒𝑟 𝑝 , i.e. B(n,p) is a sum of n independent Ber(p)

𝐸 𝑋 = 𝐸 𝑥=1𝑛 𝑌𝑖 = 𝑥=1

𝑛 𝐸(𝑌𝑖) =𝑛𝑝,𝑣𝑎𝑟 𝑋 = 𝑣𝑎𝑟 𝑥=1

𝑛 𝑌𝑖 = 𝑥=1𝑛 𝑣𝑎𝑟(𝑌𝑖) =𝑛𝑝𝑞

∵ Independent

4.3 포아송 분포 (Poisson distribution)

Let X~𝑃𝑜𝑖 𝜆 , then 𝑝 𝑥 = 𝑃 𝑋 = 𝑥 =𝑒−𝜆𝜆𝑥

𝑥!, 𝑥 = 0, 1, 2,⋯

포아송 과정 (Poisson process)

1. 발생하는 사건들은 서로 독립이다. 즉, 어떤 공간이나 시간에서 발생한 사건은 동일한 혹은 다른 구간에서 발생한 다음 번 사건에 영향을 미치지 않는다. (Events occur independently.)

2. 이론적으로 임의의 시간이나 공간에서 사건은 무한히 발생할 수 있다. (Events can occur infinite times.)

3. 어떤 시간이나 공간에서 사건이 한 번 발생할 확률은 그 구간의 길이에 비례한다. (Prob of event is proportional to the length of the interval.)

4. 매우 작은 시간이나 공간에서 사건이 두 번 이상 발생할 확률은 거의 0과비슷하다. (Prob of events occurring more than twice is approximately zero)

포아송 프로세스에서 발생하는 총 사건의 수는 구간의 길이가 매우 짧아지면서포아송 분포를 가지게 된다. -> 실무에서 주어진 공간에서 단위 시간에 발생하는 사건의 수는 포아송 분포를 가정하는 경우가 많다. 예) 서울시에서 하루에발생하는 교통사고 건수 등

Ex 4.3.1

Let X~𝑃𝑜𝑖 𝜆 = 12 , 𝑝 3 =?

𝑝 3 = 𝑃 𝑋 = 3 =𝑒−12123

3!= 0.00177

Ex 4.3.2

𝑃 𝑋 ≥ 3 = 1 − 𝑃 𝑋 ≤ 2

= 1 − 𝑃 𝑋 = 0 + 𝑃 𝑋 = 1 + 𝑃 𝑋 = 2= 1 − [0.000000614 + 0.00007373 + 0.00044238]

= 0.99947775

dpois(x,l) = 𝑃(𝑋 = 𝑥) 예) dpois(4,3) # 𝜆 =3 인 포아송 분포에서 사건이 4번 일어날 확률을 계산

ppois(x,l) = 𝑃(𝑋 ≤ 𝑥) 예) dpois(4,3) # 𝜆 =3 인 포아송 분포에서 사건이 4번 이하 일어날 확률을 계산

ppois(x,l,lower=F)= 𝑃(𝑋 > 𝑥) 예) ppois(4,3,lower=F)# 𝜆 =3 인 포아송 분포에서 사건이 4번 초과로 일어날 확률을 계산

rpois(m,l): select m random numbers from Pois(l) 예) rpois(4,3) # 𝜆 =3 인 포아송 분포에서 사건의 횟수를 랜덤으로 4번 추출

Ex. 4.3.3 𝑃 𝑋 ≤ 1 = 0.406, ppois(1,2)

Ex. 4.3.4𝑃 𝑋 = 3 = 𝑃 𝑋 ≤ 3 − 𝑃 𝑋 ≤ 2 = 0.857 − 0.677= 0.180

ppois(3,2) - ppois(2,2) or dpois(3,3)

Ex. 4.3.5𝑃 𝑋 > 5 = 1 − 𝑃 𝑋 ≤ 5 = 1 − 0.983 = 0.017

ppois(5,2,lower=F)

포아송 분포의 평균과 분산mean and variance of Poisson dist’nLet X~𝑃𝑜𝑖 𝜆 , then 𝐸 𝑋 = 𝑣𝑎𝑟 𝑋 = 𝜆Mean and variance of Poisson dist’n are the same.

* proof) 𝐸 𝑋 = 𝑥=0∞ 𝑥p 𝑥 = 𝑥=0

∞ 𝑥𝑒−𝜆𝜆𝑥

𝑥!

= 𝑥=1∞ 𝑒−𝜆𝜆𝜆𝑥−1

(𝑥−1)!, let 𝑦 = 𝑥 − 1

= 𝑦=0∞ 𝜆

𝑒−𝜆𝜆𝑦

𝑦!

= 𝜆 𝑃(𝑌 = 𝑦) = 𝜆 ∵ 𝑃(𝑌 = 𝑦) =1pdf of Pois(𝜆 )

포아송 분포의 평균과 분산mean and variance of Poisson dist’n

𝐸 𝑋(𝑋 − 1) = 𝑥=0∞ 𝑥(𝑥 − 1)p 𝑥 = 𝑥=2

∞ 𝑥(𝑥 − 1)𝑒−𝜆𝜆𝑥

𝑥!

= 𝑥=2∞ 𝑒−𝜆𝜆2𝜆𝑥−2

(𝑥−2)!, let 𝑦 = 𝑥 − 2

= 𝑦=0∞ 𝜆2

𝑒−𝜆𝜆𝑦

𝑦!= 𝜆2 𝑃(𝑌 = 𝑦) = 𝜆2

𝑣𝑎𝑟 𝑋 = 𝐸 𝑋2 − 𝐸 𝑋2= 𝐸 𝑋 𝑋 − 1 + 𝐸 𝑋 − 𝐸 𝑋

2

=𝜆2+ 𝜆- 𝜆2 = 𝜆

4.4 연속확률분포 (probability density of a continuous random variable)

음의 값을 갖지 않는 함수 𝑓 𝑥 와 𝑥-축으로 둘러싸인 면적의값이 1이고 𝑥-축의 임의의 두 점인 𝑎와 𝑏에서의 수직선과𝑓 𝑥 , 𝑥-축으로 둘러싸인 영역의 면적이 𝑃 𝑎 ≤ 𝑋 ≤ 𝑏 와 같으면 𝑓 𝑥 를 연속확률변수 𝑋의 확률분포함수 또는 확률밀도함수라고 한다.

𝑋 is a continuous r.v with probability density function 𝑓(∙)if

1. 𝑓 𝑥 ≥ 0 for ∀𝑥 ∈ ℛ1

2. −∞∞𝑓 𝑥 𝑑𝑥 = 1

3. 𝑎𝑏𝑓 𝑥 𝑑𝑥 = 𝑃 𝑎 ≤ 𝑋 ≤ 𝑏

4.4 정규분포 (normal distribution)

4.4 정규분포 (normal distribution)

확률변수의 확률분포 함수가 다음과 같다면 X가 정규분포를 따른다고 한다.

𝑋 ∽ 𝑁(𝜇, 𝜎2) if its pdf(probability density function) is given by

𝑓 𝑥 =1

𝜎 2𝜋𝑒− 𝑥−𝜇 2/(2𝜎2), −∞ < 𝑥 < ∞

dnorm(4,3,2) # 𝑋~𝑁(3, 22)일 때, 𝑋 = 4일 때 확률밀도함수의 함수값pnorm(4,3,2) # 𝑋~𝑁(3, 22)일 때, 𝑃(𝑋 ≤ 4)을 계산pnorm(4,3,2,lower=F) # 𝑋~𝑁(3, 22)일 때, 𝑃(𝑋 > 4)을 계산rnorm(10, 3,2) # 𝑁(3, 22)로부터 10개의 값을 랜덤으로 추출

정규분포의 표준화

𝑋 ∽ 𝑁(𝜇, 𝜎2) then 𝑍 =𝑋−𝜇

𝜎∽ 𝑁(0,1) : 표준정규 분포

(standard normal distribution)

Ex 4.5.2

𝑃 −2.55 < 𝑍 < 2.55 = 0.9946 − 0.0054 = 0.9892

pnorm(2.55,0,1) − pnorm(−2.55,0,1)

Ex 4.5.4 𝑃 𝑍 ≥ 2.71 = 1 − 𝑃 𝑍 ≤ 2.71 = 1 − 0.9966 = 0.0034

pnorm(2.71, 0, 1)

Ex 4.5.5

𝑃 0.84 ≤ 𝑍 ≤ 2.45= 𝑃 𝑍 ≤ 2.45 − 𝑃 𝑍 ≤ 0.84= 0.9929 − 0.7995 = 0.1934

pnorm(2.45) – pnorm(0.84)

Ex. 4.6.1

X~𝑁 𝜇 = 5.4, 𝜎2 = 1.32 ,

𝑃 𝑋 ≤ 3 =? pnorm(3,5.4, 1.3)

𝑧 = (𝑥 − 𝜇)𝜎 = (3 − 5.4)

1.3 = −1.85

𝑃 𝑋 ≤ 3 = 𝑃 𝑍 ≤ −1.85 pnorm(-1.85,0,1)

4.6 정규분포의 응용 (application of normal dist’n)

𝑍~𝑁 0, 𝜎2 = 12 ,

* 정규분포의 분위수 (quantiles of normal dist’n)

𝑍𝑝

𝑝

𝑝 𝑍𝑝 2𝑝

0.005 2.576 0.01

0.025 1.96 0.05

0.05 1.645 0.10

𝑍~𝑁 0, 𝜎2 = 12 ,> pnorm(0,0,1)[1] 0.5> qnorm(0.5,0,1)[1] 0> pnorm(1.645,0,1)[1] 0.9500151> qnorm(0.95,0,1)[1] 1.644854

* R에서의 정규분포 분위수 (quantiles of normal dist’nin R)

qnorm(p,0,1)

𝑝

𝑍1−𝑝

Ex. 4.6.2

X~𝑁 𝜇 = 491, 𝜎2 = 1192 ,

𝑃 292 ≤ 𝑋 ≤ 649 = 𝑃 1.33 − 𝑃 −1.67 = 0.8607

𝑧 = (292 − 491)119 = −1.67

𝑧 = (649 − 491)119 = 1.33

> pnorm(649,mean=491,sd=119)-pnorm(292,mean=491,sd=119)[1] 0.8606309>pnorm((649-491)/119)- pnorm((292-491)/119)