markov-chain monte carlo for phase-type modelsmarkov-chain monte carlo for phase-type models louis...

47
Markov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17 th May 2012

Upload: others

Post on 23-May-2020

4 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Markov-chain Monte Carlo for Phase-typeModels

Louis JM Aslett and Simon P Wilson

Trinity College Dublin

17th May 2012

Page 2: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Motivation in Reliability Theory

โ€ข Simplest situation: single component modelled withlifetime distribution.

โ€ข Redundant collection of components: e.g. components inparallel.

Often assume no repair. Once component goes down, itstays down.

โ€ข Repairable redundant collection of components =โ‡’ needto consider a general stochastic process.

Page 3: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Toy Example : Redundant Repairable Components

C1

C2

State Meaning

1 both C1 and C2 work2 C1 failed, C2 working3 C1 working, C2 failed4 system failed

โˆด a general stochastic process, e.g.

1234

System Failed

Y (t)

t

Page 4: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Continuous-time Markov Chain Model

State Meaning

1 both C1 and C2 work2 C1 failed, C2 working3 C1 working, C2 failed4 system failed

C1 downC2 up

C1 upC2 down

C1 downC2 down

C1 upC2 up

!f !f

!f !f

!r !r

!u

=โ‡’ ฯ€ =

100

,T =

โˆ’2ฮปf ฮปf ฮปf 0ฮปr โˆ’ฮปr โˆ’ ฮปf 0 ฮปfฮปr 0 โˆ’ฮปr โˆ’ ฮปf ฮปf0 0 0 0

Page 5: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Inferential Setting

Cano & Rios (2006) provide conjugate posterior calculations inthe context of analysing repairable systems when the stochasticprocess leading to absorption is observed.

DataFor each system failure time, one has:

โ€ข Starting state

โ€ข Length of time in each state

โ€ข Number of transitions between each state

โ€ข Ultimate system failure time

Reduced information scenario =โ‡’ Bladt et al. (2003) providea Bayesian MCMC algorithm, or Asmussen et al. (1996) providea frequentist EM algorithm.

Page 6: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Inferential Setting

Cano & Rios (2006) provide conjugate posterior calculations inthe context of analysing repairable systems when the stochasticprocess leading to absorption is observed.

DataFor each system failure time, one has:

โ€ข Starting state

โ€ข Length of time in each state

โ€ข Number of transitions between each state

โ€ข Ultimate system failure time

Reduced information scenario =โ‡’ Bladt et al. (2003) providea Bayesian MCMC algorithm, or Asmussen et al. (1996) providea frequentist EM algorithm.

Page 7: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Definition of Phase-type Distributions

An absorbing continuous time Markov chain is one in whichthere is a state that, once entered, is never left. That is, then+ 1 state intensity matrix can be written:

T =

(S s0 0

)

where S is nร— n, s is nร— 1 and 0 is 1ร— n, with

s = โˆ’Se

Then, a Phase-type distribution (PHT) is defined to be thedistribution of the time to entering the absorbing state.

Y โˆผ PHT(ฯ€,S) =โ‡’

FY (y) = 1โˆ’ ฯ€T exp{yS}e

fY (y) = ฯ€T exp{yS}s

Page 8: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Relating to the Toy Example

State Meaning

1 both C1 and C2 work2 C1 failed, C2 working3 C1 working, C2 failed4 system failed

C1 downC2 up

C1 upC2 down

C1 downC2 down

C1 upC2 up

!f !f

!f !f

!r !r

!u

=! T =

!""#

"2!f !f !f 0!r "!r " !f 0 !f

!r 0 "!r " !f !f

0 0 0 0

$%%&

!2!f !f !f 0!r !!r ! !f 0 !f

!r 0 !!r ! !f !f

0 0 0 0

S s

fY (y) = ฯ€T exp{yS}s FY (y) = 1โˆ’ ฯ€T exp{yS}e

Page 9: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Bladt et al: Gibbs Sampling from Posterior

Strategy is a Gibbs MCMC algorithm which achieves the goalof simulating from

p(ฯ€,S |y)

by sampling fromp(ฯ€,S,paths ยท |y)

through the iterative process

p(!,S |paths ยท,y)

p(paths ยท |!,S,y)

Page 10: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Bladt et al: Metropolis-Hastings Simulation of Process

In summary:โ€ข Can simulate chain from

p(path ยท |Yi โ‰ฅ yi)

trivially by rejectionsampling.

โ€ข A Metropolis-Hastingsacceptance ratio (ratio ofexit rates) exists sttruncating chain to time yi(at which point it absorbs)will be a draw from

p(path ยท |Yi = yi)

Metropolis-Hastings

Rejection Sampling

CTMC Samplingp(path ยท |!,S)

p(path ยท |!,S, Y ! y)

p(path ยท |!,S, Y = y)

Page 11: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Motivation for Modifications

1 Certain state transitions make no physical sense. (eg 2โ†’ 3in earlier example)

2 When part of a larger system, it is highly likely there willbe censored observations.

3 Where there is no reason to believe distributionaldifferences between parameters, they should (in idealisedmodelling sense) be constrained to be equal. This is asmuch to assist with reducing parameter dimensionality.

4 Computation time!

Page 12: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Toy Example Results

100 uncensoredobservations simulatedfrom PHT with

S =

โˆ’3.6 1.8 1.89.5 โˆ’11.3 09.5 0 โˆ’11.3

=โ‡’ ฮปf = 1.8, ฮปr = 9.5

Parameter Value

Den

sity

0.0

0.5

1.0

1.5

2.0

2.5

3.0

3.5

0.5 1.0 1.5 2.0

Param

S12

S13

s2

s3

F

S12

S13

s2

s3

!f

Reliability less sensitive to ฮปr(Daneshkhah & Bedford 2008)

Page 13: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Toy Example Results

100 uncensoredobservations simulatedfrom PHT with

S =

โˆ’3.6 1.8 1.89.5 โˆ’11.3 09.5 0 โˆ’11.3

=โ‡’ ฮปf = 1.8, ฮปr = 9.5

Parameter Value

Den

sity

0.0

0.1

0.2

0.3

0.4

8 9 10 11 12 13 14 15

Param

S21

S31

R!r

S21

S31

Reliability less sensitive to ฮปr(Daneshkhah & Bedford 2008)

Page 14: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Toy Example Results

100 uncensoredobservations simulatedfrom PHT with

S =

โˆ’3.6 1.8 1.89.5 โˆ’11.3 09.5 0 โˆ’11.3

=โ‡’ ฮปf = 1.8, ฮปr = 9.5

Parameter Value

Den

sity

0

2

4

6

8

10

12

0.0 0.1 0.2 0.3 0.4 0.5

Param

s1

S23

S32

S23

S32

s1

Reliability less sensitive to ฮปr(Daneshkhah & Bedford 2008)

Page 15: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

The Big Issue

Intractable computation time for many applications!

1 longer chains and MCMC jumps to states for whichobservations are far in the tails can stall rejectionsampling step of MH algorithm.

2 states from which absorption impossible โ€“ wastefulto resample whole chain because state at time yiunsuitable for truncation.

3 time for MH algorithm to reach stationarity cangrow rapidly.

Page 16: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

The Big Issue

Intractable computation time for many applications!

1 longer chains and MCMC jumps to states for whichobservations are far in the tails can stall rejectionsampling step of MH algorithm.

p(!,S |paths ยท,y)

p(paths ยท |!,S,y)

P(Yi ! yi |!,S) = 10!6

2 states from which absorption impossible โ€“ wastefulto resample whole chain because state at time yiunsuitable for truncation.

3 time for MH algorithm to reach stationarity cangrow rapidly.

Page 17: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

The Big Issue

Intractable computation time for many applications!

1 longer chains and MCMC jumps to states for whichobservations are far in the tails can stall rejectionsampling step of MH algorithm.

E(RS iter.) = 106

95% CI = [25317, 3688877]

p(!,S |paths ยท,y)

p(paths ยท |!,S,y)

P(Yi ! yi |!,S) = 10!6

2 states from which absorption impossible โ€“ wastefulto resample whole chain because state at time yiunsuitable for truncation.

3 time for MH algorithm to reach stationarity cangrow rapidly.

Page 18: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

The Big Issue

Intractable computation time for many applications!

1 longer chains and MCMC jumps to states for whichobservations are far in the tails can stall rejectionsampling step of MH algorithm.

2 states from which absorption impossible โ€“ wastefulto resample whole chain because state at time yiunsuitable for truncation.

1234

yi simulationinvalidtruncation

3 time for MH algorithm to reach stationarity cangrow rapidly.

Page 19: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

The Big Issue

Intractable computation time for many applications!

1 longer chains and MCMC jumps to states for whichobservations are far in the tails can stall rejectionsampling step of MH algorithm.

2 states from which absorption impossible โ€“ wastefulto resample whole chain because state at time yiunsuitable for truncation.

State Meaning P(state)

1 both PS working 0.99862 1 failed, 2 working 0.00073 1 working, 2 failed 0.0007

=โ‡’ E(MH iter) = 1429

95% CI = [36, 5267]

3 time for MH algorithm to reach stationarity cangrow rapidly.

Page 20: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

The Big Issue

Intractable computation time for many applications!

1 longer chains and MCMC jumps to states for whichobservations are far in the tails can stall rejectionsampling step of MH algorithm.

2 states from which absorption impossible โ€“ wastefulto resample whole chain because state at time yiunsuitable for truncation.

3 time for MH algorithm to reach stationarity cangrow rapidly.

0 100 200 300 400 500

0.0

0.2

0.4

Iterations

Tota

l Var

iatio

n D

ista

nce

Page 21: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Solution: โ€œExact Conditional Samplingโ€

Metropolis-Hastings

Rejection Sampling

CTMC Samplingp(path ยท |!,S)

p(path ยท |!,S, Y ! y)

p(path ยท |!,S, Y = y)

Page 22: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Solution: โ€œExact Conditional Samplingโ€

Metropolis-Hastings

Rejection Sampling

CTMC Samplingp(path ยท |!,S)

p(path ยท |!,S, Y ! y)

p(path ยท |!,S, Y = y)i) Starting state ~ discrete

ii) Advance time ~ Exponential

iii) Select next state ~ discrete

iv) If not absorbed, , loop to ii

! ! Exp("SY {t},Y {t})

t = t + !

Y {0} ! !

Y {t + !} ! {"SY {t},!Y {t}/SY {t},Y {t}}

Page 23: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Solution: โ€œExact Conditional Samplingโ€

Metropolis-Hastings

Rejection Sampling

CTMC Samplingp(path ยท |!,S)

p(path ยท |!,S, Y ! y)

p(path ยท |!,S, Y = y)

CTMC Samplingp(path ยท |!,S, Y = y)

e.g. Starting state mass function changes with conditioning:

P(Y {0} = i |!,S, Y = y) =eT

i exp{Sy}s !i

!T exp{Sy}s

P(Y {0} = i |!,S) = !i

Page 24: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Tail Depth Performance Improvement

Upper tail probability (10^-x)

log[

Tim

e (s

ecs)

]

10-3

10-2

10-1

100

101

102

2 3 4 5 6

MethodECS

MH

Page 25: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Overall Performance Improvement

This shows the new method keeping pace in โ€˜niceโ€™ problems andsignificantly outperforming otherwise.

T =

(โˆ’3 1 1 11 โˆ’3 1 11 1 โˆ’3 10 0 0 0

)T =

( โˆ’2 0.01 1.99 01 โˆ’300 0 299

299 0 โˆ’300 10 0 0 0

)

No problems i-iii All problems i-iii

MH ECStฬ„ 1.6 ยตs 7.2 ยตsst 104 ยตs 19 ยตs

MH ECS10.2 hours 0.016 secs9.4 hours 0.015 secs

2,300,000 ร— faster on average in hard problem

Page 26: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

NEW! Networks/Systems of Components

Research focus is now on inference for networks/systemscomprising Phase-type nodes/components.

Page 27: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

NEW! Networks/Systems of Components

Research focus is now on inference for networks/systemscomprising Phase-type nodes/components.

2

1

Page 28: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

NEW! Networks/Systems of Components

Research focus is now on inference for networks/systemscomprising Phase-type nodes/components.

1

2

1

2

Page 29: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

NEW! Networks/Systems of Components

Research focus is now on inference for networks/systemscomprising Phase-type nodes/components.

2

1

1

2

Page 30: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

NEW! Networks/Systems of Components

Research focus is now on inference for networks/systemscomprising Phase-type nodes/components.

2

1

1

2

Page 31: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

NEW! Networks/Systems of Components

Research focus is now on inference for networks/systemscomprising Phase-type nodes/components.

2

2

1

1

Page 32: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

NEW! Networks/Systems of Components

Research focus is now on inference for networks/systemscomprising Phase-type nodes/components.

1

2

2

1

Page 33: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

NEW! Networks/Systems of Components

Research focus is now on inference for networks/systemscomprising Phase-type nodes/components.

1

2

2

1

Page 34: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

NEW! Networks/Systems of Components

Research focus is now on inference for networks/systemscomprising Phase-type nodes/components.

1

1

2

1

Page 35: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

NEW! Networks/Systems of Components

Research focus is now on inference for networks/systemscomprising Phase-type nodes/components.

1

1

3

2

Page 36: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

NEW! Networks/Systems of Components

Research focus is now on inference for networks/systemscomprising Phase-type nodes/components.

2

1

3

1

Page 37: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

NEW! Networks/Systems of Components

Research focus is now on inference for networks/systemscomprising Phase-type nodes/components.

?

?

?

?

T = t

Again, reduced information setting: overall network failuretime. โ€˜Masked system lifetime dataโ€™.

Page 38: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Direct Masked System Lifetime Inference

Even โ€˜simpleโ€™ setting quite hard to tackle directly.

X1 X2

X3

Xiiidโˆผ Weibull(scale = ฮฑ, shape = ฮฒ)

System lifetimes t = {t1, . . . , tn}

Fฬ„T (t) = 1โˆ’(1โˆ’ Fฬ„X1(t)Fฬ„X2(t))(1โˆ’ Fฬ„X3(t))

=โ‡’ L(ฮฑ, ฮฒ; t) =

mโˆ

i=1

tโˆ’1i ฮฒ(ti/ฮฑ)ฮฒ exp

{โˆ’3(ti/ฮฑ)ฮฒ

}[2 exp

{(ti/ฮฑ)ฮฒ

}

+ exp{

2(ti/ฮฑ)ฮฒ}โˆ’ 3]

โˆด p(ฮฑ, ฮฒ | t) โˆ L(ฮฑ, ฮฒ; t)p(ฮฑ, ฮฒ) awkward.

Page 39: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

MCMC Solution (Independent Case)

Proposed solution in the tradition of Tanner & Wong (1987),since inference easy in the presence of (augmented) componentlifetimes.Thus, for Xi

iidโˆผ FX( ยท ;ฯˆ) sample from the natural completion ofthe posterior distribution:

p(ฯˆ,x1 ยท , . . . ,xn ยท | t)

by blocked Gibbs sampling using the conditional distributions:

p(x1 ยท , . . . ,xn ยท |ฯˆ, t)p(ฯˆ |x1 ยท , . . . ,xn ยท , t)

where xi ยท = {xi1, . . . , xim} are the m component failure timesfor the ith system (xij = tj some j)

Page 40: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

p(ฯˆ |x1 ยท , . . . ,xn ยท , ๏ฟฝt) is now simple Bayesian inference forsystem lifetime distribution โ€” well understood.

Problem shifted to sampling p(x1 ยท , . . . ,xn ยท |ฯˆ, t)

Propose using system signature sj = P(T = Xj:n)

e.g. p(xi1, . . . , xim |ฯˆ, t) =mโˆ‘

j=1

{p(xi1, . . . , xim |ฯˆ,Xj:n = ti)

ร—P(T = Xj:n |ฯˆ, ti)}

where

P(T = Xj:n |ฯˆ, ti) โˆ sj(mโˆ’ 1

j โˆ’ 1

)FX(ti)

jโˆ’1Fฬ„X(ti)mโˆ’jโˆ’1

Page 41: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

p(ฯˆ |x1 ยท , . . . ,xn ยท , ๏ฟฝt) is now simple Bayesian inference forsystem lifetime distribution โ€” well understood.

Problem shifted to sampling p(x1 ยท , . . . ,xn ยท |ฯˆ, t)

Propose using system signature sj = P(T = Xj:n)

e.g. p(xi1, . . . , xim |ฯˆ, t) =

mโˆ‘

j=1

{p(xi1, . . . , xim |ฯˆ,Xj:n = ti)

ร—P(T = Xj:n |ฯˆ, ti)}

where

P(T = Xj:n |ฯˆ, ti) โˆ sj(mโˆ’ 1

j โˆ’ 1

)FX(ti)

jโˆ’1Fฬ„X(ti)mโˆ’jโˆ’1

Page 42: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Algorithm to sample p(x1 ยท , . . . ,xn ยท |ฯˆ, t)

For each system i = 1, . . . , n:

1 Sample j โˆˆ {1, . . . ,m} from the discrete probabilitydistribution defined by the conditioned system signature,P(T = Xj:n |ฯˆ, ti). This samples the order statisticindicating that the jth failure caused system failure.

2 Sample:โ€ข j โˆ’ 1 values, xi1, . . . , xi(jโˆ’1), from FX |X<ti( ยท ;ฯˆ), the

distribution of the component lifetime conditional on failurebefore ti

โ€ข mโˆ’ j values, xi(j+1), . . . , xin, from FX |X>ti( ยท ;ฯˆ), thedistribution of the component lifetime conditional on failureafter ti

and set xij = ti.

Each iteration provides xi ยท ๏ฟฝ

Page 43: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

All Systems of 4 Components, Exponential (ฮป = 0.4)

Network

Rat

e

0.25

0.30

0.35

0.40

0.45

0.50

0.55

0.60

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ— โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ— โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

1 2 3 4 5 6 7 8 9 1011121314151617181920

Page 44: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Exchangeable Failure Rate Parameters

It is actually straight-forward to allow the more general settingof exchangeable failure rate parameters between networks:

Xij๏ฟฝi๏ฟฝ Ti

j = 1, . . . , n

i = 1, . . . ,m

However, exchangeability within network would break thesignature-based sampling of node failure times so this isprobably as general as this MCMC algorithm can go.

Page 45: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

All Systems of 4 Components, ฮจ โˆผ Gam(ฮฑ = 9, ฮฒ = 12)

Network

Pop

ulat

ion

Mea

n of

Rat

e D

istr

ibut

ion

4.0

4.5

5.0

5.5

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ— โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Page 46: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

All Systems of 4 Components, ฮจ โˆผ Gam(ฮฑ = 9, ฮฒ = 12)

Network

Pop

ulat

ion

Varia

nce

of R

ate

Dis

trib

utio

n

1

2

3

4

5

6

7

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ— โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—โ—โ—โ—

โ—

โ—

โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—

โ—โ—โ—

โ—โ—โ—โ—โ—โ—โ—โ—

โ—

โ—โ—โ—

โ—

โ—โ—โ—โ—โ—โ—

โ—

โ—โ—

โ—โ—โ—โ—โ—

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Page 47: Markov-chain Monte Carlo for Phase-type ModelsMarkov-chain Monte Carlo for Phase-type Models Louis JM Aslett and Simon P Wilson Trinity College Dublin 17th May 2012 Intro Phase-type

Intro Phase-type Distributions Bayesian Inference for PHT Computational Issues Network Inference

Asmussen, S., Nerman, O. & Olsson, M. (1996), โ€˜Fittingphase-type distributions via the EM algorithmโ€™, Scand. J.Statist. 23(4), 419โ€“441.

Bladt, M., Gonzalez, A. & Lauritzen, S. L. (2003), โ€˜Theestimation of phase-type related functionals using Markovchain Monte Carlo methodsโ€™, Scand. Actuar. J.2003(4), 280โ€“300.

Cano, J. & Rios, D. (2006), โ€˜Reliability forecasting in complexhardware/software systemsโ€™, Proceedings of the FirstInternational Conference on Availability, Reliability andSecurity (ARESโ€™06) .

Daneshkhah, A. & Bedford, T. (2008), Sensitivity analysis of areliability system using gaussian processes, in T. Bedford,ed., โ€˜Advances in Mathematical Modeling for Reliabilityโ€™,IOS Press, pp. 46โ€“62.

Tanner, M. A. & Wong, W. H. (1987), โ€˜The calculation ofposterior distributions by data augmentationโ€™, Journal ofthe American Statistical Association 82(398), 528โ€“540.