Download - Uvod v Bayesovsko statistiko in MCMC metode
![Page 1: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/1.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 1/62
Uvod v Bayesovo statistiko inMCMC metode
Gregor [email protected]
Tina [email protected]
UL, Biotehniška fakulteta, Oddelek za zootehniko
![Page 2: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/2.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 2/62
Pregledn Pristopi k statisticnem sklepanju
n Bayesov izrek
n Prikaz na primeruu frekvencisticen pristopu Bayesov pristopu MCMC algoritmiu apriorna porazdelitev
n Programska oprema
![Page 3: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/3.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 3/62
Madrid
![Page 4: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/4.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 4/62
Opozorilon zgolj uvod s prikazom
n kaj je boljše?
n problem s terminologijo
![Page 5: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/5.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 5/62
Pristopi k statisticnem sklepanjun “pojav” p(θ, y): parametri θ, podatki yn klasicna oz. frekvencisticna statistika
u podatki: nakljucniu parametri: sistematskiu sklep: ce bomo poskus ponovili velikokrat, bodo ocene
parametrov porazdeljene okoli prave vrednostin verjetje (ang. likelihood)
u zbrani podatki so najverjetneje posledica nakljucnegaprocesa s parametri, ki jih ocenimo po tej metodi
n Bayesova statistika
u podatki: sistematskiu parametri: nakljucniu sklep: verjetnost (porazdelitev) parametrov glede na
zbrane podatke
![Page 6: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/6.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 5/62
Pristopi k statisticnem sklepanjun “pojav” p(θ, y): parametri θ, podatki yn klasicna oz. frekvencisticna statistika
u podatki: nakljucniu parametri: sistematskiu sklep: ce bomo poskus ponovili velikokrat, bodo ocene
parametrov porazdeljene okoli prave vrednosti
n verjetje (ang. likelihood)u zbrani podatki so najverjetneje posledica nakljucnega
procesa s parametri, ki jih ocenimo po tej metodi
n Bayesova statistika
u podatki: sistematskiu parametri: nakljucniu sklep: verjetnost (porazdelitev) parametrov glede na
zbrane podatke
![Page 7: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/7.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 5/62
Pristopi k statisticnem sklepanjun “pojav” p(θ, y): parametri θ, podatki yn klasicna oz. frekvencisticna statistika
u podatki: nakljucniu parametri: sistematskiu sklep: ce bomo poskus ponovili velikokrat, bodo ocene
parametrov porazdeljene okoli prave vrednosti
n verjetje (ang. likelihood)u zbrani podatki so najverjetneje posledica nakljucnega
procesa s parametri, ki jih ocenimo po tej metodi
n Bayesova statistikau podatki: sistematskiu parametri: nakljucniu sklep: verjetnost (porazdelitev) parametrov glede na
zbrane podatke
![Page 8: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/8.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 5/62
Pristopi k statisticnem sklepanjun “pojav” p(θ, y): parametri θ, podatki yn klasicna oz. frekvencisticna statistika
u podatki: nakljucniu parametri: sistematskiu sklep: ce bomo poskus ponovili velikokrat, bodo ocene
parametrov porazdeljene okoli prave vrednostin verjetje (ang. likelihood)
u zbrani podatki so najverjetneje posledica nakljucnegaprocesa s parametri, ki jih ocenimo po tej metodi
n Bayesova statistikau podatki: sistematskiu parametri: nakljucniu sklep: verjetnost (porazdelitev) parametrov glede na
zbrane podatke
![Page 9: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/9.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 6/62
Bayesova statistikan pred ∼25 leti prakticno “neuporabna”n reinkarnacija z MCMC metodamin vse vecji pomen
u prilagodljiva in uporabna na vec podrocjihu omogoca uporabo “kompleksnih” modelovu veliko število parametrov
![Page 10: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/10.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 6/62
Bayesova statistikan pred ∼25 leti prakticno “neuporabna”n reinkarnacija z MCMC metodamin vse vecji pomen
u prilagodljiva in uporabna na vec podrocjihu omogoca uporabo “kompleksnih” modelovu veliko število parametrov
Uporabno za biološke vede!
![Page 11: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/11.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 7/62
“Bayes” v zadnjih ∼25 letih v PubMed
1980 1985 1990 1995 2000 2005
5020
050
020
0010
000
Leto
Stev
ilo za
detko
v v P
ubMe
d (log
)
BayesVerjetjeANOVA
![Page 12: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/12.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 8/62
Thomas Bayes
![Page 13: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/13.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 9/62
Bayesov izrekn Thomas Bayes definiral pogojno verjetnost kot
P (A|B) =P (A ∩B)
P (B)
n skupna verjetnost
P (A ∩B) = P (A|B)P (B)
= P (B|A)P (A)
n Bayesov izrek
P (A|B) =P (B|A)P (A)
P (B)
n velja tudi za vec izidov (k) za dogodek
P (Aj |Bi) =P (Bi|Aj)P (Aj)
∑kj=1 P (Bi|Aj)P (Aj)
![Page 14: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/14.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 10/62
PrimerPogostost bolezni v populaciji znaša 0.008. Obstaja test z:n lažnim pozitivnim rezultatom v 10 % inn lažnim negativnim rezultatom v 5 %.
Kolikšna je verjetnost, da ima nakljucni posameznik tobolezen, ce je test pozitiven?
Dogodki:T - rezultat testa (-, +)B - prisotnost bolezni (ne, da)
“Veljavnost” testa:
P (T = +|B = ne) = 0.10, P (T = −|B = ne) = 0.90
P (T = −|B = da) = 0.05, P (T = +|B = da) = 0.95
![Page 15: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/15.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 11/62
Primer II.Predhodno, brez testa:
P (B = da) = 0.008
Bayesov izrek združi predhodno znanje in rezultate testa -Bayesovo ucenje:
P (B = da|T = +) =
=P (T = +|B = da)P (B = da)
P (T = +|B = da)P (B = da) + P (T = +|B = ne)P (B = ne)
=(0.95)(0.008)
(0.95)(0.008) + (0.1)(0.992)= 0.0712
Še en test:
P (B = da|T2 = +) = 0.4212 P (B = da|T2 = −) = 0.0084
![Page 16: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/16.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 12/62
Bayesov izrek in statistikan “parametri” θj, podatki yi
P (Aj |Bi) =P (Bi|Aj)P (Aj)
∑kj=1 P (Bi|Aj)P (Aj)
p(θj |yi) =p(yi|θj)p(θj)
∫
p(yi|θk)p(θk)dθkk ≥ j
=p(yi|θj)p(θj)
p(yi),
n p(yi) ni odvisen od θj - konstanta za normalizacijo
p(θj |yi) ∝ p(yi|θj)p(θj)∝ L(θj |yi)p(θj)
posteriorna verjetnost ∝ verjetje× apriorna verjetnost
![Page 17: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/17.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 12/62
Bayesov izrek in statistikan “parametri” θj, podatki yi
P (Aj |Bi) =P (Bi|Aj)P (Aj)
∑kj=1 P (Bi|Aj)P (Aj)
p(θj |yi) =p(yi|θj)p(θj)
∫
p(yi|θk)p(θk)dθkk ≥ j
=p(yi|θj)p(θj)
p(yi),
n p(yi) ni odvisen od θj - konstanta za normalizacijo
p(θj |yi) ∝ p(yi|θj)p(θj)∝ L(θj |yi)p(θj)
posteriorna verjetnost ∝ verjetje× apriorna verjetnost
![Page 18: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/18.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 13/62
Prikaz na primeru
![Page 19: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/19.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 14/62
Frekvencisticen pristopn vzorec podatkov
yi ∼ N(
µ, σ2)
µ = 10, σ2 = 9, i = 1, 2, . . . , 10
n povprecje in varianca
µ =
∑ni=1 yin
= 10.22
µ ∼ Stn−1
(
µ, σ2)
8.18 ≤ µ ≤ 12.27
σ2 =
∑ni=1
(
yi − µ)2
n− 1= 8.19
σ2 ∼n∑
i=1
(yi − µ)2/χ2n−1
3.87 ≤ σ2 ≤ 27.29
![Page 20: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/20.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 15/62
"Konceptualne" ponovitve
6 8 10 12 14
010
2030
4050
Parameter µ
Pono
vitev
[ [[[[[[[
[ [[ [[ [[ [[ [ [[[[ [[
[ [[[ [[[[
[ [[[ [[[[[ [[[ [[
[ [[[
] ] ]]]]]] ]] ]]
] ]]]] ] ]] ]] ] ]] ]]] ] ]]] ] ]]]
]] ] ]]]] ]]
]] ]] ]
0 20 40 60
010
2030
4050
Parameter σ2
Pono
vitev
[[[[[[[[
[[ [[[[[[
[[[[[
[[[[[
[[[[
[[[[[[[[
[[[[[
[[[[[[ [
] ] ] ]]] ]] ]] ]]]] ] ]] ] ]]] ] ] ]]]] ]] ] ]] ] ] ] ]]] ]]
]]] ]] ]] ]] ]
![Page 21: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/21.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 16/62
Bayesov pristopn vzorec podatkov
yi ∼ N(
µ, σ2)
µ = 10, σ2 = 9, i = 1, 2, . . . , 10
n Bayesov izrekp(θj |yi) ∝ p(yi|θj)p(θj)θ1 = µ, θ2 = σ2
n enakomerna porazdelitev za p(θj) - “neinformativno”apriorno znanje
p(θj) = konst.
p(θj |yi) ∝ p(yi|θj)∝ L(θj |yi)∝ L(µ, σ2|yi)
![Page 22: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/22.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 17/62
Algebran verjetje
L(µ, σ2|yi) =n∏
i=1
1√2πσ2
exp
{
−(yi − µ)2
2σ2
}
n odstranimo konstanto 1/√2π, preuredimo in dobimo
skupno (ang. joint) posteriorno porazdelitev
L(µ, σ2|yi) ∝ (σ2)−n
2 exp
{
−∑n
i=1(yi − µ)2
2σ2
}
![Page 23: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/23.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 18/62
Skupna porazdelitev
mu
sigma^2
Porazdelitev (%)
![Page 24: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/24.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 19/62
Skupna porazdelitev II.
7 8 9 10 11 12 13
510
1520
2530
Parameter µ
Param
eter σ
2
![Page 25: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/25.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 20/62
Robna porazdelitevn zanima nas robna (ang. marginal) porazdelitev parametrovn integriramo cez ostale parametre
p(µ|yi) =∫
σ2
p(µ, σ2|yi)dσ2
µ|yi ∼ Stn−3
(
y,
∑ni=1(yi − y)2
n(n− 5)
)
p(σ2|yi) =∫
µp(µ, σ2|yi)dµ
σ2|yi ∼n∑
i=1
(yi − y)2/χ2n−3
![Page 26: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/26.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 20/62
Robna porazdelitevn zanima nas robna (ang. marginal) porazdelitev parametrovn integriramo cez ostale parametre
p(µ|yi) =∫
σ2
p(µ, σ2|yi)dσ2
µ|yi ∼ Stn−3
(
y,
∑ni=1(yi − y)2
n(n− 5)
)
p(σ2|yi) =∫
µp(µ, σ2|yi)dµ
σ2|yi ∼n∑
i=1
(yi − y)2/χ2n−3
![Page 27: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/27.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 21/62
Robna porazdelitev II.
7 8 9 10 11 12 13
0.00.1
0.20.3
0.4
Parameter µ
Poraz
delite
v (%)
0 5 10 15 20 25 30
0.00
0.04
0.08
Parameter σ2
Poraz
delite
v (%)
![Page 28: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/28.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 22/62
Realnost1. ne moremo izvrednotiti skupne porazdelitve v vsaki tocki2. vec parametrov ⇒ vecdimenzionalni integrali za robne
porazdelitve :(
3. apriorna porazdelitev lahko še poveca kompleksnost
n takšnih problemov ne moremo reševati analiticnon pomagamo si lahko z MCMC metodami - stohasticen nacin
![Page 29: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/29.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 23/62
Monte Carlon z vzorcenjem iz gostote porazdelitvene funkcije p(y) lahko
izvemo “vse” o nakljucni spremenljivki yn napaka je odvisna od števila vzorcevn razvoj racunalniške opremen Monte Carlo + markovske verige = MCMC
n MCMC algoritmiu Metropolis: Metropolis in sod. (1953)u Metropolis-Hastings: Hastings (1970)u Gibbs: Geman in Geman (1984)u . . .
n MCMC 6= Bayesova statistika
![Page 30: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/30.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 23/62
Monte Carlon z vzorcenjem iz gostote porazdelitvene funkcije p(y) lahko
izvemo “vse” o nakljucni spremenljivki yn napaka je odvisna od števila vzorcevn razvoj racunalniške opremen Monte Carlo + markovske verige = MCMC
n MCMC algoritmiu Metropolis: Metropolis in sod. (1953)u Metropolis-Hastings: Hastings (1970)u Gibbs: Geman in Geman (1984)u . . .
n MCMC 6= Bayesova statistika
![Page 31: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/31.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 24/62
Metropolisov algoritemVzorcenje iz dolocene funkcije/porazdelitve:n 0. zacetno stanjen 1. izvrednoti vrednost f0
n 2. premakni se drugam na osnovi nakljucne vrednosti izporazdelitve predlogova
n 3. izvrednoti vrednost f1
n 4. f1/fo vecje ali enako U(0, 1)?
u DA: sprejmi f1, f0 = f1 in nadaljuj z 2.
u NE: sprejmi f0, f0 = f0 in nadaljuj z 2.
auniformna, normalna, ... porazdelitev
![Page 32: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/32.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 25/62
“Metropolis na delu”
−4 −2 0 2 4
0.00.1
0.20.3
0.4
Vrednost Z
Poraz
delite
v (%)
![Page 33: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/33.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 25/62
“Metropolis na delu”
−4 −2 0 2 4
0.00.1
0.20.3
0.4
Vrednost Z
Poraz
delite
v (%)
f0
f0 = 0.352
![Page 34: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/34.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 25/62
“Metropolis na delu”
−4 −2 0 2 4
0.00.1
0.20.3
0.4
Vrednost Z
Poraz
delite
v (%)
f0
f0 = 0.352
f1
f1 = 0.055
![Page 35: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/35.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 25/62
“Metropolis na delu”
−4 −2 0 2 4
0.00.1
0.20.3
0.4
Vrednost Z
Poraz
delite
v (%)
f0
f0 = 0.352
f1
f1 = 0.055
f1 ÷ f0 = 0.156
![Page 36: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/36.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 25/62
“Metropolis na delu”
−4 −2 0 2 4
0.00.1
0.20.3
0.4
Vrednost Z
Poraz
delite
v (%)
f0
f0 = 0.352
f1
f1 = 0.055
f1 ÷ f0 = 0.156
U = 0.438
![Page 37: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/37.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 25/62
“Metropolis na delu”
−4 −2 0 2 4
0.00.1
0.20.3
0.4
Vrednost Z
Poraz
delite
v (%)
f0
f0 = 0.352
f1
f1 = 0.055
f1 ÷ f0 = 0.156
U = 0.438
f1 ÷ f0 < U
Ne sprejmemo!
![Page 38: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/38.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 26/62
“Metropolis na delu”
−0.5 0.5 1.0 1.5
0.00.2
0.40.6
0.8N = 10
Vrednost Z
Poraz
delite
v (%)
−3 −1 1 2 3
0.00
0.10
0.20
0.30
N = 100
Vrednost Z
Poraz
delite
v (%)
−3 −1 1 2 3
0.00.1
0.20.3
N = 1000
Vrednost Z
Poraz
delite
v (%)
−4 −2 0 2
0.00.2
0.4
N = 10000
Vrednost Z
Poraz
delite
v (%)
![Page 39: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/39.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 27/62
Metropolis za primer1. ne moremo izvrednotiti skupne porazdelitve v vsaki tocki
p(µ, σ2|yi)n poizkusimo z “Metropolisom”
u funkcija je p(µ, σ2|yi)u uniformna porazdelitev predlogov za µ in σ2
![Page 40: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/40.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 27/62
Metropolis za primer1. ne moremo izvrednotiti skupne porazdelitve v vsaki tocki
p(µ, σ2|yi)n poizkusimo z “Metropolisom”
u funkcija je p(µ, σ2|yi)u uniformna porazdelitev predlogov za µ in σ2
µ1, σ21 = (8.80, 24.04)
![Page 41: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/41.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 27/62
Metropolis za primer1. ne moremo izvrednotiti skupne porazdelitve v vsaki tocki
p(µ, σ2|yi)n poizkusimo z “Metropolisom”
u funkcija je p(µ, σ2|yi)u uniformna porazdelitev predlogov za µ in σ2
µ1, σ21 = (8.80, 24.04)
µ2, σ22 = (8.87, 24.04)
![Page 42: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/42.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 27/62
Metropolis za primer1. ne moremo izvrednotiti skupne porazdelitve v vsaki tocki
p(µ, σ2|yi)n poizkusimo z “Metropolisom”
u funkcija je p(µ, σ2|yi)u uniformna porazdelitev predlogov za µ in σ2
µ1, σ21 = (8.80, 24.04)
µ2, σ22 = (8.87, 24.04)
µ3, σ23 = (8.67, 24.37)
µ4, σ24 = (8.73, 24.37)
µ5, σ25 = (8.80, 24.37)
. . .
![Page 43: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/43.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 28/62
Metropolis za primer - potek
7 8 9 10 11 12 13
05
1015
2025
30
Parameter µ
Param
eter σ
2
![Page 44: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/44.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 28/62
Metropolis za primer - potek
7 8 9 11 13
05
1525
Parameter µ
Param
eter σ
2
7 8 9 11 13
05
1525
Parameter µ
Param
eter σ
2
7 8 9 11 13
05
1525
Parameter µ
Param
eter σ
2
![Page 45: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/45.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 29/62
Metropolis za primer N = 106
mu
sigma^2
Porazdelitev (%)
![Page 46: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/46.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 30/62
Robna porazdelitev
7 8 9 11 13
0.00.1
0.20.3
0.4
Parameter µ
Poraz
delite
v (%)
FunkcijaMetropolis
0 5 15 25
0.00
0.04
0.08
Parameter σ2
Poraz
delite
v (%)
FunkcijaMetropolis
7 8 9 11 13
−0.03
0.00
0.02
Parameter µ
Poraz
delite
v (%)
Razlika
0 5 15 25
−0.00
20.0
02
Parameter σ2
Poraz
delite
v (%)
Razlika
![Page 47: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/47.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 31/62
Pogojna porazdelitev1. ne moremo izvrednotiti skupne porazdelitve v vsaki tocki
p(µ, σ2|yi)
n vzorcenje iz vecrazsežnih p. možno, a neucinkovito :(
N = 106!
n uporabimo pogojno (ang. conditional) p. parametra gledena ostale parametre in podatke
p(µ|σ2, yi)
p(σ2|µ, yi)
n vzorcenje iz enorazsežne p. je bolj enostavno in ucinkovito
![Page 48: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/48.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 31/62
Pogojna porazdelitev1. ne moremo izvrednotiti skupne porazdelitve v vsaki tocki
p(µ, σ2|yi)
n vzorcenje iz vecrazsežnih p. možno, a neucinkovito :(
N = 106!
n uporabimo pogojno (ang. conditional) p. parametra gledena ostale parametre in podatke
p(µ|σ2, yi)
p(σ2|µ, yi)
n vzorcenje iz enorazsežne p. je bolj enostavno in ucinkovito
![Page 49: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/49.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 31/62
Pogojna porazdelitev1. ne moremo izvrednotiti skupne porazdelitve v vsaki tocki
p(µ, σ2|yi)
n vzorcenje iz vecrazsežnih p. možno, a neucinkovito :(
N = 106!
n uporabimo pogojno (ang. conditional) p. parametra gledena ostale parametre in podatke
p(µ|σ2, yi)
p(σ2|µ, yi)
n vzorcenje iz enorazsežne p. je bolj enostavno in ucinkovito
2. vec parametrov ⇒ vecdimenzionalni integrali za robneporazdelitve :(
![Page 50: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/50.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 32/62
Pogojna porazdelitev II.Algebra . . .n pogojna p. za µ
µ|σ2, yi ∼ N(
y, σ2/n)
n pogojna p. za σ2
σ2|µ, yi ∼n∑
i=1
(yi − y)2/χ2(n−2)/2
![Page 51: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/51.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 33/62
p(µ|σ2, yi)
7 8 9 10 12
510
2030
Parameter µ
Param
eter σ
2
7 8 9 10 12
0.00.1
0.20.3
0.40.5
Parameter µ
Poraz
delite
v (%)
σ2 = 7.5
7 8 9 10 12
0.00.1
0.20.3
0.40.5
Parameter µ
Poraz
delite
v (%)
σ2 = 14.0
7 8 9 10 12
0.00.1
0.20.3
0.40.5
Parameter µ
Poraz
delite
v (%)
σ2 = 30.0
![Page 52: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/52.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 34/62
Pogojna porazdelitev III.n pogojno p. za µ lahko dobimo, ce poznamo robno p. za σ2
p(µ|σ2, y)⇐⇒ p(σ2)
n robno p. za σ2 lahko dobimo iz pogojne p. za σ2, cepoznamo robno p. za µ
p(σ2|y) =∫
µp(µ, σ2|y)dµ =
∫
µp(σ2|µ, y)p(µ)dµ
n robno p. za µ lahko dobimo iz pogojne p. za µ, ce poznamorobno p. za σ2
p(µ|y) =∫
σ2
p(µ, σ2|y)dσ2 =
∫
σ2
p(µ|σ2, y)p(σ2)dσ2
![Page 53: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/53.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 34/62
Pogojna porazdelitev III.n pogojno p. za µ lahko dobimo, ce poznamo robno p. za σ2
p(µ|σ2, y)⇐⇒ p(σ2)
n robno p. za σ2 lahko dobimo iz pogojne p. za σ2, cepoznamo robno p. za µ
p(σ2|y) =∫
µp(µ, σ2|y)dµ =
∫
µp(σ2|µ, y)p(µ)dµ
n robno p. za µ lahko dobimo iz pogojne p. za µ, ce poznamorobno p. za σ2
p(µ|y) =∫
σ2
p(µ, σ2|y)dσ2 =
∫
σ2
p(µ|σ2, y)p(σ2)dσ2
![Page 54: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/54.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 34/62
Pogojna porazdelitev III.n pogojno p. za µ lahko dobimo, ce poznamo robno p. za σ2
p(µ|σ2, y)⇐⇒ p(σ2)
n robno p. za σ2 lahko dobimo iz pogojne p. za σ2, cepoznamo robno p. za µ
p(σ2|y) =∫
µp(µ, σ2|y)dµ =
∫
µp(σ2|µ, y)p(µ)dµ
n robno p. za µ lahko dobimo iz pogojne p. za µ, ce poznamorobno p. za σ2
p(µ|y) =∫
σ2
p(µ, σ2|y)dσ2 =
∫
σ2
p(µ|σ2, y)p(σ2)dσ2
![Page 55: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/55.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 34/62
Pogojna porazdelitev III.n pogojno p. za µ lahko dobimo, ce poznamo robno p. za σ2
p(µ|σ2, y)⇐⇒ p(σ2)
n robno p. za σ2 lahko dobimo iz pogojne p. za σ2, cepoznamo robno p. za µ
p(σ2|y) =∫
µp(µ, σ2|y)dµ =
∫
µp(σ2|µ, y)p(µ)dµ
n robno p. za µ lahko dobimo iz pogojne p. za µ, ce poznamorobno p. za σ2
p(µ|y) =∫
σ2
p(µ, σ2|y)dσ2 =
∫
σ2
p(µ|σ2, y)p(σ2)dσ2
Problem “kokoš - jajce”
![Page 56: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/56.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 35/62
Pogojna porazdelitev IV.n problem kokoš - jajce oz. pogojna - robna porazdelitev
“obidemo” z MCMCn ko vzorcimo iz pogojne p. za µ, predvidevamo, da
poznamo robno p. za σ2 (na podlagi vzorcenja)u p(µ1|σ2
0, yi)
u p(σ21|µ1, yi)
u p(µ2|σ21, yi)
u p(σ22|µ2, yi)
u p(µ3|σ22, yi)
u . . .n neznane porazdelitve –> Metropolisov algoritemn standardne porazdelitve –> Gibbsov algoritem
![Page 57: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/57.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 35/62
Pogojna porazdelitev IV.n problem kokoš - jajce oz. pogojna - robna porazdelitev
“obidemo” z MCMCn ko vzorcimo iz pogojne p. za µ, predvidevamo, da
poznamo robno p. za σ2 (na podlagi vzorcenja)u p(µ1|σ2
0, yi)u p(σ2
1|µ1, yi)
u p(µ2|σ21, yi)
u p(σ22|µ2, yi)
u p(µ3|σ22, yi)
u . . .n neznane porazdelitve –> Metropolisov algoritemn standardne porazdelitve –> Gibbsov algoritem
![Page 58: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/58.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 35/62
Pogojna porazdelitev IV.n problem kokoš - jajce oz. pogojna - robna porazdelitev
“obidemo” z MCMCn ko vzorcimo iz pogojne p. za µ, predvidevamo, da
poznamo robno p. za σ2 (na podlagi vzorcenja)u p(µ1|σ2
0, yi)u p(σ2
1|µ1, yi)u p(µ2|σ2
1, yi)
u p(σ22|µ2, yi)
u p(µ3|σ22, yi)
u . . .n neznane porazdelitve –> Metropolisov algoritemn standardne porazdelitve –> Gibbsov algoritem
![Page 59: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/59.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 35/62
Pogojna porazdelitev IV.n problem kokoš - jajce oz. pogojna - robna porazdelitev
“obidemo” z MCMCn ko vzorcimo iz pogojne p. za µ, predvidevamo, da
poznamo robno p. za σ2 (na podlagi vzorcenja)u p(µ1|σ2
0, yi)u p(σ2
1|µ1, yi)u p(µ2|σ2
1, yi)u p(σ2
2|µ2, yi)
u p(µ3|σ22, yi)
u . . .n neznane porazdelitve –> Metropolisov algoritemn standardne porazdelitve –> Gibbsov algoritem
![Page 60: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/60.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 35/62
Pogojna porazdelitev IV.n problem kokoš - jajce oz. pogojna - robna porazdelitev
“obidemo” z MCMCn ko vzorcimo iz pogojne p. za µ, predvidevamo, da
poznamo robno p. za σ2 (na podlagi vzorcenja)u p(µ1|σ2
0, yi)u p(σ2
1|µ1, yi)u p(µ2|σ2
1, yi)u p(σ2
2|µ2, yi)u p(µ3|σ2
2, yi)u . . .
n neznane porazdelitve –> Metropolisov algoritemn standardne porazdelitve –> Gibbsov algoritem
![Page 61: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/61.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 35/62
Pogojna porazdelitev IV.n problem kokoš - jajce oz. pogojna - robna porazdelitev
“obidemo” z MCMCn ko vzorcimo iz pogojne p. za µ, predvidevamo, da
poznamo robno p. za σ2 (na podlagi vzorcenja)u p(µ1|σ2
0, yi)u p(σ2
1|µ1, yi)u p(µ2|σ2
1, yi)u p(σ2
2|µ2, yi)u p(µ3|σ2
2, yi)u . . .
n neznane porazdelitve –> Metropolisov algoritem
n standardne porazdelitve –> Gibbsov algoritem
![Page 62: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/62.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 35/62
Pogojna porazdelitev IV.n problem kokoš - jajce oz. pogojna - robna porazdelitev
“obidemo” z MCMCn ko vzorcimo iz pogojne p. za µ, predvidevamo, da
poznamo robno p. za σ2 (na podlagi vzorcenja)u p(µ1|σ2
0, yi)u p(σ2
1|µ1, yi)u p(µ2|σ2
1, yi)u p(σ2
2|µ2, yi)u p(µ3|σ2
2, yi)u . . .
n neznane porazdelitve –> Metropolisov algoritemn standardne porazdelitve –> Gibbsov algoritem
![Page 63: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/63.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 36/62
MCMC algoritmin veliko algoritmov
u Metropolis-Hastings, Gibbs, Reversible Jump MCMC,Rejection sampling, Adaptive Rejection sampling,Inversion sampling, Slice sampling, SimulatedAnnealing, . . .
n veliko “variacij na isto temo”u Metropolis-Hastings znotraj Gibbsovega algoritmau sistematski ali nakljucni red posodabljanja parametrovu vec parametrov hkrati (ang. blocking)u . . .
![Page 64: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/64.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 37/62
Gibbsov algoritemn vzorcenje vecrazsežnih porazdelitev iz pogojnih
enorazsežnih porazdelitev
µ|σ2, yi ∼ N(
y, σ2/n)
µ0 = 5.00
µ1|σ20 = 0.50, yi = 10.22
µ2|σ21 = 18.85, yi = 9.50
µ3|σ22 = 24.21, yi = 13.50
µ4|σ23 = 14.73, yi = 11.66
µ5|σ24 = 11.46, yi = 9.63
µ6|σ25 = 11.13, yi = 10.19
. . .
σ2|µ, yi ∼∑n
i=1(yi − y)2/χ2n−2
σ20 = 0.50
σ21|µ1 = 10.22, yi = 18.85
σ22|µ2 = 9.50, yi = 24.21
σ23|µ3 = 13.50, yi = 14.73
σ24|µ4 = 11.66, yi = 11.46
σ25|µ5 = 9.63, yi = 11.13
σ26|µ6 = 10.19, yi = 7.28
. . .
![Page 65: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/65.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 37/62
Gibbsov algoritemn vzorcenje vecrazsežnih porazdelitev iz pogojnih
enorazsežnih porazdelitev
µ|σ2, yi ∼ N(
y, σ2/n)
µ0 = 5.00
µ1|σ20 = 0.50, yi = 10.22
µ2|σ21 = 18.85, yi = 9.50
µ3|σ22 = 24.21, yi = 13.50
µ4|σ23 = 14.73, yi = 11.66
µ5|σ24 = 11.46, yi = 9.63
µ6|σ25 = 11.13, yi = 10.19
. . .
σ2|µ, yi ∼∑n
i=1(yi − y)2/χ2n−2
σ20 = 0.50
σ21|µ1 = 10.22, yi = 18.85
σ22|µ2 = 9.50, yi = 24.21
σ23|µ3 = 13.50, yi = 14.73
σ24|µ4 = 11.66, yi = 11.46
σ25|µ5 = 9.63, yi = 11.13
σ26|µ6 = 10.19, yi = 7.28
. . .
![Page 66: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/66.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 37/62
Gibbsov algoritemn vzorcenje vecrazsežnih porazdelitev iz pogojnih
enorazsežnih porazdelitev
µ|σ2, yi ∼ N(
y, σ2/n)
µ0 = 5.00
µ1|σ20 = 0.50, yi = 10.22
µ2|σ21 = 18.85, yi = 9.50
µ3|σ22 = 24.21, yi = 13.50
µ4|σ23 = 14.73, yi = 11.66
µ5|σ24 = 11.46, yi = 9.63
µ6|σ25 = 11.13, yi = 10.19
. . .
σ2|µ, yi ∼∑n
i=1(yi − y)2/χ2n−2
σ20 = 0.50
σ21|µ1 = 10.22, yi = 18.85
σ22|µ2 = 9.50, yi = 24.21
σ23|µ3 = 13.50, yi = 14.73
σ24|µ4 = 11.66, yi = 11.46
σ25|µ5 = 9.63, yi = 11.13
σ26|µ6 = 10.19, yi = 7.28
. . .
![Page 67: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/67.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 37/62
Gibbsov algoritemn vzorcenje vecrazsežnih porazdelitev iz pogojnih
enorazsežnih porazdelitev
µ|σ2, yi ∼ N(
y, σ2/n)
µ0 = 5.00
µ1|σ20 = 0.50, yi = 10.22
µ2|σ21 = 18.85, yi = 9.50
µ3|σ22 = 24.21, yi = 13.50
µ4|σ23 = 14.73, yi = 11.66
µ5|σ24 = 11.46, yi = 9.63
µ6|σ25 = 11.13, yi = 10.19
. . .
σ2|µ, yi ∼∑n
i=1(yi − y)2/χ2n−2
σ20 = 0.50
σ21|µ1 = 10.22, yi = 18.85
σ22|µ2 = 9.50, yi = 24.21
σ23|µ3 = 13.50, yi = 14.73
σ24|µ4 = 11.66, yi = 11.46
σ25|µ5 = 9.63, yi = 11.13
σ26|µ6 = 10.19, yi = 7.28
. . .
![Page 68: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/68.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 37/62
Gibbsov algoritemn vzorcenje vecrazsežnih porazdelitev iz pogojnih
enorazsežnih porazdelitev
µ|σ2, yi ∼ N(
y, σ2/n)
µ0 = 5.00
µ1|σ20 = 0.50, yi = 10.22
µ2|σ21 = 18.85, yi = 9.50
µ3|σ22 = 24.21, yi = 13.50
µ4|σ23 = 14.73, yi = 11.66
µ5|σ24 = 11.46, yi = 9.63
µ6|σ25 = 11.13, yi = 10.19
. . .
σ2|µ, yi ∼∑n
i=1(yi − y)2/χ2n−2
σ20 = 0.50
σ21|µ1 = 10.22, yi = 18.85
σ22|µ2 = 9.50, yi = 24.21
σ23|µ3 = 13.50, yi = 14.73
σ24|µ4 = 11.66, yi = 11.46
σ25|µ5 = 9.63, yi = 11.13
σ26|µ6 = 10.19, yi = 7.28
. . .
![Page 69: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/69.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 37/62
Gibbsov algoritemn vzorcenje vecrazsežnih porazdelitev iz pogojnih
enorazsežnih porazdelitev
µ|σ2, yi ∼ N(
y, σ2/n)
µ0 = 5.00
µ1|σ20 = 0.50, yi = 10.22
µ2|σ21 = 18.85, yi = 9.50
µ3|σ22 = 24.21, yi = 13.50
µ4|σ23 = 14.73, yi = 11.66
µ5|σ24 = 11.46, yi = 9.63
µ6|σ25 = 11.13, yi = 10.19
. . .
σ2|µ, yi ∼∑n
i=1(yi − y)2/χ2n−2
σ20 = 0.50
σ21|µ1 = 10.22, yi = 18.85
σ22|µ2 = 9.50, yi = 24.21
σ23|µ3 = 13.50, yi = 14.73
σ24|µ4 = 11.66, yi = 11.46
σ25|µ5 = 9.63, yi = 11.13
σ26|µ6 = 10.19, yi = 7.28
. . .
![Page 70: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/70.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 37/62
Gibbsov algoritemn vzorcenje vecrazsežnih porazdelitev iz pogojnih
enorazsežnih porazdelitev
µ|σ2, yi ∼ N(
y, σ2/n)
µ0 = 5.00
µ1|σ20 = 0.50, yi = 10.22
µ2|σ21 = 18.85, yi = 9.50
µ3|σ22 = 24.21, yi = 13.50
µ4|σ23 = 14.73, yi = 11.66
µ5|σ24 = 11.46, yi = 9.63
µ6|σ25 = 11.13, yi = 10.19
. . .
σ2|µ, yi ∼∑n
i=1(yi − y)2/χ2n−2
σ20 = 0.50
σ21|µ1 = 10.22, yi = 18.85
σ22|µ2 = 9.50, yi = 24.21
σ23|µ3 = 13.50, yi = 14.73
σ24|µ4 = 11.66, yi = 11.46
σ25|µ5 = 9.63, yi = 11.13
σ26|µ6 = 10.19, yi = 7.28
. . .
![Page 71: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/71.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 37/62
Gibbsov algoritemn vzorcenje vecrazsežnih porazdelitev iz pogojnih
enorazsežnih porazdelitev
µ|σ2, yi ∼ N(
y, σ2/n)
µ0 = 5.00
µ1|σ20 = 0.50, yi = 10.22
µ2|σ21 = 18.85, yi = 9.50
µ3|σ22 = 24.21, yi = 13.50
µ4|σ23 = 14.73, yi = 11.66
µ5|σ24 = 11.46, yi = 9.63
µ6|σ25 = 11.13, yi = 10.19
. . .
σ2|µ, yi ∼∑n
i=1(yi − y)2/χ2n−2
σ20 = 0.50
σ21|µ1 = 10.22, yi = 18.85
σ22|µ2 = 9.50, yi = 24.21
σ23|µ3 = 13.50, yi = 14.73
σ24|µ4 = 11.66, yi = 11.46
σ25|µ5 = 9.63, yi = 11.13
σ26|µ6 = 10.19, yi = 7.28
. . .µ - robna posteriorna porazdelitev - σ2
![Page 72: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/72.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 37/62
Gibbsov algoritemn vzorcenje vecrazsežnih porazdelitev iz pogojnih
enorazsežnih porazdelitev
µ|σ2, yi ∼ N(
y, σ2/n)
µ0 = 5.00
µ1|σ20 = 0.50, yi = 10.22
µ2|σ21 = 18.85, yi = 9.50
µ3|σ22 = 24.21, yi = 13.50
µ4|σ23 = 14.73, yi = 11.66
µ5|σ24 = 11.46, yi = 9.63
µ6|σ25 = 11.13, yi = 10.19
. . .
σ2|µ, yi ∼∑n
i=1(yi − y)2/χ2n−2
σ20 = 0.50
σ21|µ1 = 10.22, yi = 18.85
σ22|µ2 = 9.50, yi = 24.21
σ23|µ3 = 13.50, yi = 14.73
σ24|µ4 = 11.66, yi = 11.46
σ25|µ5 = 9.63, yi = 11.13
σ26|µ6 = 10.19, yi = 7.28
. . .µ - robna posteriorna porazdelitev - σ2
� �
skupna posteriorna porazdelitev
![Page 73: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/73.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 38/62
Gibbsov algoritem II.
6 8 10 12 14
020
4060
8010
0
Parameter µ
Param
eter σ
2
N = 10
![Page 74: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/74.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 38/62
Gibbsov algoritem II.
6 8 10 12 14
020
4060
8010
0
Parameter µ
Param
eter σ
2
N = 10
6 8 10 12 14
020
4060
8010
0
Parameter µ
Param
eter σ
2
N = 50
6 8 10 12 14
020
4060
8010
0
Parameter µ
Param
eter σ
2
N = 500
7 8 9 10 11 12 13
510
1520
2530
Parameter µ
Param
eter σ
2
![Page 75: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/75.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 39/62
Markovska veriga za σ2
Iteracija
Param
eter σ
2
0 2000 4000 6000 8000 10000
050
100
150
200
![Page 76: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/76.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 40/62
Markovska veriga za σ2 - povprecje
Iteracija
Param
eter σ
2
0 2000 4000 6000 8000 10000
05
1015
![Page 77: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/77.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 40/62
Markovska veriga za σ2 - povprecje
Iteracija
Param
eter σ
2
0 2000 4000 6000 8000 10000
13.0
13.5
14.0
14.5
15.0
Konvergenca?
![Page 78: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/78.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 41/62
Konvergencan ogrevalna faza (ang. burn-in)
u ko pridemo v podrocje stacionarne (ang. stationary ) p.u vpliv zacetnih vrednostiu vpliv mešanja - avtokorelacijeu vec metod za ugotavljanje
n konvergenca porazdelitve
u ko dovolj dobro opišemo (povzorcimo) stacionarno p.u asimptoticnost ⇒ ∞ število iteraciju vpliv mešanja - avtokorelacijeu v resnici nikoli ne vemo
![Page 79: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/79.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 41/62
Konvergencan ogrevalna faza (ang. burn-in)
u ko pridemo v podrocje stacionarne (ang. stationary ) p.u vpliv zacetnih vrednostiu vpliv mešanja - avtokorelacijeu vec metod za ugotavljanje
n konvergenca porazdelitve
u ko dovolj dobro opišemo (povzorcimo) stacionarno p.u asimptoticnost ⇒ ∞ število iteraciju vpliv mešanja - avtokorelacijeu v resnici nikoli ne vemo
![Page 80: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/80.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 41/62
Konvergencan ogrevalna faza (ang. burn-in)
u ko pridemo v podrocje stacionarne (ang. stationary ) p.u vpliv zacetnih vrednostiu vpliv mešanja - avtokorelacijeu vec metod za ugotavljanje
n konvergenca porazdelitveu ko dovolj dobro opišemo (povzorcimo) stacionarno p.u asimptoticnost ⇒ ∞ število iteraciju vpliv mešanja - avtokorelacijeu v resnici nikoli ne vemo
![Page 81: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/81.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 42/62
Ogrevalna fazaMetoda sklapljanja (ang. coupling) - le ena od metod!n sklapljanje verig z uporabo istih vrednosti za nakljucno
seme med verigamin pocenin razmeroma enostavnan enako nakljucno seme med verigami!
![Page 82: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/82.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 43/62
Ogrevalna faza II.
Iteracija
Param
eter σ
2
0 1000 2000 3000 4000 5000
13.5
14.5
15.5
16.5
Veriga 1Veriga 2
Iteracija
Param
eter σ
2
0 1000 2000 3000 4000 5000
13.5
14.5
15.5
16.5
Veriga 1Veriga 2
Sklapljanje
![Page 83: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/83.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 44/62
Ogrevalna faza III.
Iteracija
Param
eter σ
2
0 1000 2000 3000 4000 5000
13.5
14.5
15.5
16.5
Veriga 1Veriga 2
Sklapljanje
Iteracija
log( P
arame
ter σ 22 −σ
12 )
0 5 10 15 201e−0
91e
−03 Razlika
![Page 84: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/84.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 45/62
Gibbs za primer N = 104
7 8 9 11 13
0.00.1
0.20.3
0.4
Parameter µ
Poraz
delite
v (%)
FunkcijaGibbs
0 5 15 25
0.00
0.04
0.08
Parameter σ2
Poraz
delite
v (%)
FunkcijaGibbs
7 8 9 11 13
−0.06
−0.02
0.02
Parameter µ
Poraz
delite
v (%)
Razlika
0 5 15 25
−0.01
00.0
000.0
10
Parameter σ2
Poraz
delite
v (%)
Razlika
![Page 85: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/85.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 46/62
Gibbs za primer N = 105
7 8 9 11 13
0.00.1
0.20.3
0.4
Parameter µ
Poraz
delite
v (%)
FunkcijaGibbs
0 5 15 25
0.00
0.04
0.08
Parameter σ2
Poraz
delite
v (%)
FunkcijaGibbs
7 8 9 11 13
−0.03
−0.01
0.01
Parameter µ
Poraz
delite
v (%)
Razlika
0 5 15 25−0.00
40.0
000.0
04
Parameter σ2
Poraz
delite
v (%)
Razlika
![Page 86: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/86.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 47/62
Rezultat Bayesove analizen narišemo porazdelitev
u potrebno veliko vzorcev za “gladke” krivuljeu ocenjevanje gostote porazdelitve “smoothing”
n opišemo porazdelitevu povprecje, mediana in modusu variancau Bayesov interval zaupanja (ang. credible intervals)u interval najvecje posteriorne gostote (ang. HPD, HDI)u verjetnost, da je vrednost parametra vecja/manjša od
dolocene vrednostin ocena Monte Carlo variancen neposredna povezava s teorijo odlocanja
![Page 87: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/87.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 48/62
Primerjava rezultatovn sklepi na podalgi rezultatov razlicnih pristopov so na
takšnem enostavnem primeru “enaki”
n število podatkov, asimptoticnost
n vpliv apriorne porazdelitve
n MCMC metode pridejo do pravega izraza pri:u “kompleksnih” modelihu velikem številu parametrovu funkcijah parametrov npr. h2, obeti, . . .
![Page 88: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/88.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 49/62
Apriorna porazdelitev3. apriorna porazdelitev lahko še poveca kompleksnost
“Tisti, ki uporablja Bayesovo statistiko, na podlaginejasnega/meglenega pricakovanja konja in bežnegapogleda na osla, trdno sklepa, da je videl mulo.” Senn
(1997).
Neinformativna apriorna p. ne obstaja. Celo enakomernaapriorna porazdelitev pravi, da so vse vrednosti enako
verjetne.
![Page 89: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/89.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 50/62
Apriorna porazdelitev - splošnon “subjektivnost”, predhodno znanje, predpostavke, . . .n Bayesov izrek
p(θj |yi) ∝ p(yi|θj)p(θj)posteriorna porazdelitev ∝ verjetje× apriorna porazdelitev
n konjugirana ⇒ numericno “enostavna” analizan ocene verjetja ⇒ empiricna Bayesova analizan “neinformativna” (ang. flat, vague) ⇒ objektivna Bayesova
analizap(θj) = konst.
p(θj |yi) ∝ L(θj |yi)
u enakomernau Jeffrey-evau referencna
![Page 90: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/90.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 50/62
Apriorna porazdelitev - splošnon “subjektivnost”, predhodno znanje, predpostavke, . . .n Bayesov izrek
p(θj |yi) ∝ p(yi|θj)p(θj)posteriorna porazdelitev ∝ verjetje× apriorna porazdelitev
n konjugirana ⇒ numericno “enostavna” analiza
n ocene verjetja ⇒ empiricna Bayesova analizan “neinformativna” (ang. flat, vague) ⇒ objektivna Bayesova
analizap(θj) = konst.
p(θj |yi) ∝ L(θj |yi)
u enakomernau Jeffrey-evau referencna
![Page 91: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/91.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 50/62
Apriorna porazdelitev - splošnon “subjektivnost”, predhodno znanje, predpostavke, . . .n Bayesov izrek
p(θj |yi) ∝ p(yi|θj)p(θj)posteriorna porazdelitev ∝ verjetje× apriorna porazdelitev
n konjugirana ⇒ numericno “enostavna” analizan ocene verjetja ⇒ empiricna Bayesova analiza
n “neinformativna” (ang. flat, vague) ⇒ objektivna Bayesovaanaliza
p(θj) = konst.
p(θj |yi) ∝ L(θj |yi)
u enakomernau Jeffrey-evau referencna
![Page 92: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/92.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 50/62
Apriorna porazdelitev - splošnon “subjektivnost”, predhodno znanje, predpostavke, . . .n Bayesov izrek
p(θj |yi) ∝ p(yi|θj)p(θj)posteriorna porazdelitev ∝ verjetje× apriorna porazdelitev
n konjugirana ⇒ numericno “enostavna” analizan ocene verjetja ⇒ empiricna Bayesova analizan “neinformativna” (ang. flat, vague) ⇒ objektivna Bayesova
analizap(θj) = konst.
p(θj |yi) ∝ L(θj |yi)
u enakomernau Jeffrey-evau referencna
![Page 93: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/93.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 51/62
Apriorna porazdelitev - podrobnon izbor apriorne porazdelitve ⇒ analiza obcutljivostin vec “podatkov” ⇒ manjši vpliv apriorne porazdelitve
n porazdelitev mora biti primerna (ang. proper ) - aksiomiKolmogorovau 3. aksiom: integral mora biti koncen
∫
p(x)dx = 1
n “neinformativne” p. so obicajno neprimernen neprimerna apriorna p. (enakomerna) lahko privede do:
u primerne inu neprimerne posteriorne p.!
![Page 94: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/94.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 51/62
Apriorna porazdelitev - podrobnon izbor apriorne porazdelitve ⇒ analiza obcutljivostin vec “podatkov” ⇒ manjši vpliv apriorne porazdelitven porazdelitev mora biti primerna (ang. proper ) - aksiomi
Kolmogorovau 3. aksiom: integral mora biti koncen
∫
p(x)dx = 1
n “neinformativne” p. so obicajno neprimernen neprimerna apriorna p. (enakomerna) lahko privede do:
u primerne inu neprimerne posteriorne p.!
![Page 95: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/95.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 51/62
Apriorna porazdelitev - podrobnon izbor apriorne porazdelitve ⇒ analiza obcutljivostin vec “podatkov” ⇒ manjši vpliv apriorne porazdelitven porazdelitev mora biti primerna (ang. proper ) - aksiomi
Kolmogorovau 3. aksiom: integral mora biti koncen
∫
p(x)dx = 1
n “neinformativne” p. so obicajno neprimernen neprimerna apriorna p. (enakomerna) lahko privede do:
u primerne inu neprimerne posteriorne p.!
![Page 96: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/96.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 52/62
Apriorna porazdelitev - primerin Bayesov izrek
p(θj |yi) ∝ p(yi|θj)p(θj)θ1 = µ, θ2 = σ2
n A: enakomerna p.
µ ∼ U(−1000, 1000)σ2 ∼ U(0, 1000)
n C: konjugirana p.
µ ∼ N(0, 1000)
σ2 ∼ 1/Ga(0.001, 0.001)
n B: A + omejimo µ in σ2
µ ∼ U(8, 11.4)
σ2 ∼ U(0, 20)
n D: C + predhodno znanje
µ ∼ N(9, 0.25)
σ2 ∼ 1/Ga(2, 5)
![Page 97: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/97.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 53/62
Apriorna porazdelitev - primeri za µ
7 8 9 10 11 12 13
0.00.4
0.8
Parameter µ
Poraz
delite
v (%)
y|µ,σ2 ~ N(µ, σ2)µ ~ U(−1000, 1000)
A
7 8 9 10 11 12 13
0.00.4
0.8
Parameter µ
Poraz
delite
v (%)
y|µ,σ2 ~ N(µ, σ2)µ ~ U(8, 11.5)
B
![Page 98: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/98.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 54/62
Apriorna porazdelitev - primeri za µ
7 8 9 10 11 12 13
0.00.4
0.8
Parameter µ
Poraz
delite
v (%)
y|µ,σ2 ~ N(µ, σ2)µ ~ N(0, 1000)
C
7 8 9 10 11 12 13
0.00.4
0.8
Parameter µ
Poraz
delite
v (%)
y|µ,σ2 ~ N(µ, σ2)µ ~ N(9, 0.25)
D
![Page 99: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/99.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 55/62
Apriorna porazdelitev - primeri za σ2
0 5 10 15 20 25 30
0.00
0.05
0.10
0.15
Parameter σ2
Poraz
delite
v (%)
y|µ,σ2 ~ N(µ, σ2)σ2 ~ U(0, 1000)
A
0 5 10 15 20 25 30
0.00
0.05
0.10
0.15
Parameter σ2
Poraz
delite
v (%)
y|µ,σ2 ~ N(µ, σ2)σ2 ~ U(0, 20)
B
![Page 100: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/100.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 56/62
Apriorna porazdelitev - primeri za σ2
0 5 10 15 20 25 30
0.00
0.05
0.10
0.15
Parameter σ2
Poraz
delite
v (%)
y|µ,σ2 ~ N(µ, σ2)σ2 ~ 1 Ga(0.001, 0.001)
C
0 5 10 15 20 25 30
0.00
0.05
0.10
0.15
Parameter σ2
Poraz
delite
v (%)
y|µ,σ2 ~ N(µ, σ2)σ2 ~ 1 Ga(2, 5)
D
![Page 101: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/101.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 57/62
Programska opreman BUGS
u BUGS 1990-1996u WinBUGS 1996-2003http://www.mrc-bsu.cam.ac.uk/bugs/welcome.shtmln DoodleBUGSn GeoBUGSn PKBUGS
u OpenBUGS 2003-. . .http://mathstat.helsinki.fi/openbugs/
![Page 102: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/102.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 58/62
Programska oprema - BUGS primern en primer kode za BUGS – podobno prog. jeziku S# Podatki
list(y = c(529.6, 531.2, 531.1, ...), N = 10)
# Model
model
{
for (i in 1:N) {
y[i] ~ dnorm(mu, tau)
}
mu ~ dnorm(0, 0.001)
tau ~ dgamma(0.001, 0.001)
sigma <- sqrt(1 / tau)
}
# Zacetne vrednosti
list(mu = 539, tau = 1)
verjetje
apriorne porazdelitve
![Page 103: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/103.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 58/62
Programska oprema - BUGS primern en primer kode za BUGS – podobno prog. jeziku S# Podatki
list(y = c(529.6, 531.2, 531.1, ...), N = 10)
# Model
model
{
for (i in 1:N) {
y[i] ~ dnorm(mu, tau)
}
mu ~ dnorm(0, 0.001)
tau ~ dgamma(0.001, 0.001)
sigma <- sqrt(1 / tau)
}
# Zacetne vrednosti
list(mu = 539, tau = 1)
verjetje
apriorne porazdelitve
![Page 104: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/104.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 58/62
Programska oprema - BUGS primern en primer kode za BUGS – podobno prog. jeziku S# Podatki
list(y = c(529.6, 531.2, 531.1, ...), N = 10)
# Model
model
{
for (i in 1:N) {
y[i] ~ dnorm(mu, tau)
}
mu ~ dnorm(0, 0.001)
tau ~ dgamma(0.001, 0.001)
sigma <- sqrt(1 / tau)
}
# Zacetne vrednosti
list(mu = 539, tau = 1)
verjetje
apriorne porazdelitve
![Page 105: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/105.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 59/62
Programska oprema - splošno II.n R paketihttp://www.r-project.org/u bayesm, bayesmix , bayesSurv , bim, BMA, boa, BRugs,
bqtl , coda, EbayesThresh, eco, mcgibbsit , mcmc,MCMCpack , MNP, R2WinBUGS, rbugs, rv , UMACS,. . .
n JAGS
http://www-fis.iarc.fr/~martyn/software/jags/
n Hydra
http://research.warnes.net/projects/mcmc/hydra/
n FBM
http://www.cs.utoronto.ca/~radford/fbm.software.html
![Page 106: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/106.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 60/62
Sklep - priporocilo
n Preglej / predelaj:u porazdelitveu Bayesov izrek
p(θj |yi) ∝ p(yi|θj)p(θj)u vzorcenje
n Preizkusi BUGS
![Page 107: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/107.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 61/62
Seznam uporabljenih prevodovn posterior distribution - posteriorna porazdelitevn prior d. - apriorna p.n likelihood - verjetjen joint d. - skupna p.n marginal d. - robna p.n conditional d. - pogojna p.n burn-in - ogrevalna faza/doban coupling - sklapljanjen stationary d. - stacionarna p.n credible intervals - Bayesov interval zaupanjan highest posterior density - najvecja posteriorna gostotan (im)proper d. - (ne)primerna p.
![Page 108: Uvod v Bayesovsko statistiko in MCMC metode](https://reader033.vdocument.in/reader033/viewer/2022042607/5529760b4a7959ae158b477d/html5/thumbnails/108.jpg)
Uvod v Bayesovo statistiko in MCMC metode, Rodica junij 2005 - p. 62/62
Priporocena literaturan Bayesova statistika - splošno
Gelman A., Carlin J.B., Stern H.S., Rubin D.B. 2004.Bayesian data analysis. Texts in statistical science.Chapman & Hall / CRC, 2nd edition
n uporaba MCMCGilks W.R., Richardson S., Spiegelhalter D.J. (ur.) 1998.Markov Chain Monte Carlo in practice. Chapman & Hall /CRC
n nazoren primer uporabe apriorne porazdelitveGelman A. 2002. Prior distribution. V: Encyclopedia ofEnvironmetrics, John Wiley & Sons, Vol. 3, 1634–1637