ベイジアンモデリングと確率的画像処理 bayesian …kazu/tutorial...bayes...
Post on 10-Mar-2020
7 Views
Preview:
TRANSCRIPT
14 January, 201014 January, 2010 Hokkaido University GCOE Tutorial (SapporoHokkaido University GCOE Tutorial (Sapporo)) 11
ベイジアンモデリングと確率的画像処理ベイジアンモデリングと確率的画像処理Bayesian Modeling andBayesian Modeling and
Probabilistic Image ProcessingProbabilistic Image Processing
東北大学東北大学 大学院情報科学研究科大学院情報科学研究科
田中田中 和之和之
http://www.smapip.is.tohoku.ac.jp/~kazu/http://www.smapip.is.tohoku.ac.jp/~kazu/
14 January, 201014 January, 2010 Hokkaido University GCOE Tutorial (SapporoHokkaido University GCOE Tutorial (Sapporo)) 22
ContentsContents
1.1. 序論序論2.2. ベイズ統計の基礎ベイズ統計の基礎3.3. 確率的画像処理確率的画像処理4.4. ガウシアングラフィカルモデルガウシアングラフィカルモデル5.5. 確率伝搬法確率伝搬法6.6. 統計的性能評価統計的性能評価7.7. さまざまのベイジアンモデリングさまざまのベイジアンモデリング8.8. まとめと展開まとめと展開
14 January, 201014 January, 2010 Hokkaido University GCOE Tutorial (SapporoHokkaido University GCOE Tutorial (Sapporo)) 33
確率的情報処理確率的情報処理
理詰めの情報処理法則・命題群からの予測
現実世界の現実世界の情報処理情報処理現象の起こる要因の多様性現象の起こる要因の多様性必要なデータが完全に得られるわけではない.必要なデータが完全に得られるわけではない.大量のデータは得られるが必要な情報の抽出が難しい.大量のデータは得られるが必要な情報の抽出が難しい.
「すぐ分かること」と「本当に知りたいこと」のギャップからくる「すぐ分かること」と「本当に知りたいこと」のギャップからくる不確実性→何とかして克服したい不確実性→何とかして克服したい!!!!
不確実性の数学的表現→確率・統計不確実性の数学的表現→確率・統計
14 January, 201014 January, 2010 Hokkaido University GCOE Tutorial (SapporoHokkaido University GCOE Tutorial (Sapporo)) 44
確率的情報処理確率的情報処理
確率的画像処理ネットワーク構造をもつ
数理モデル
単純な機能を持つたくさんの要素が関連し合い,互いに協力して複雑・高度な機能を生み出す.
不確実性を伴うデータに耐えうる推論システム
モデル化
ノードは事象,矢印は条件付き確率に対応
不確実性の数学的表現→確率・統計
重要な概念のひとつ
14 January, 201014 January, 2010 Hokkaido University GCOE Tutorial (SapporoHokkaido University GCOE Tutorial (Sapporo)) 55
ContentsContents
1.1. 序論序論
2.2. ベイズ統計の基礎ベイズ統計の基礎
3.3. 確率的画像処理確率的画像処理
4.4. ガウシアングラフィカルモデルガウシアングラフィカルモデル
5.5. 確率伝搬法確率伝搬法
6.6. 統計的性能評価統計的性能評価
7.7. さまざまのベイジアンモデリングさまざまのベイジアンモデリング
8.8. まとめと展開まとめと展開
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 6
結合確率と条件付き確率
{ } { }{ }
{ } { } { }AABBAABAAB
PrPr,PrPr
,PrPr
=⇒
≡A
B
条件付き確率と結合確率条件付き確率と結合確率
事象Aの起こる確率 }Pr{A
事象 A と事象 B の結合確率 { } { }BABA IPr,Pr =
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 7
結合確率と事象の独立性
{ } { }BAB PrPr =A
B
事象 A と事象 B が互いに独立であるときの
条件付き確率条件付き確率
事象 A と事象 B が互いに独立である
{ } { } { }BABA PrPr,Pr =
A
B
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 8
周辺確率
{ } { }∑=
=M
jj BAB
1
,PrPr
標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM によって Ω=A1∪A2∪…∪AM と表されるとき
結合確率 Pr{Ai,B} における事象 B の周辺確率 (Marginal Probability) 周辺化周辺化
AAii B
{ } { }∑=A
BAB ,PrPrAA B
簡略表記
事象 A の取り得るすべての互いに排反な事象についての和
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 9
結合確率と周辺確率
{ } { }∑∑∑=A C D
DCBAB ,,,PrPr
事象 B の周辺確率
AA BB
CC DD周辺化周辺化MarginalizeMarginalize
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 10
連続確率変数の周辺確率密度関数
確率変数 Y の周辺確率密度関数 (Marginal Probability Density Function)
( ) ( )dxyxyY ∫+∞
∞−= ,ρρ
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 11
ガウス分布(正規分布) N(μ,σ2)
( ) ( ) ⎟⎠⎞
⎜⎝⎛ −−= 2
22 21exp
21 μ
σπσρ xx
[ ] μ=XE [ ] 2V σ=X
∫∞+
∞−=⎟
⎠⎞
⎜⎝⎛− πξξ 2
21exp 2 d
平均と分散はガウス積分の公式 (Gaussian Integral Formula) から導かれる
平均μ,分散σ2 のガウス分布 (Gaussian Distribution) の確率密度関数
( )+∞<<∞− xp(x)
μ x0
)0( >σ
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 12
多次元ガウス分布
( )( )
( ) ⎟⎟⎠
⎞⎜⎜⎝
⎛⎟⎟⎠
⎞⎜⎜⎝
⎛−−
−−−= −
Y
XYX y
xyxyx
μμ
μμπ
ρ 1
2,
21exp
det2
1, CC
( )∫ ∫ ∫∞+
∞−
∞+
∞−
∞+
∞−− =⎟
⎠⎞
⎜⎝⎛− CC det2
21exp 1T ddxx πξ
rrrL
d 次元ガウス積分の公式から導かれる
行列 C を正定値の実対称行列として,2次元ガウス分布(Two-Dimensional Gaussian Distribution) の確率密度関数
( )+∞<<∞−+∞<<∞− yx ,
C=⎟⎟⎠
⎞⎜⎜⎝
⎛]V[],Cov[
],Cov[]V[YXY
YXX
一般の次元への拡張も同様
において行列 C が共分散行列になる.
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 14
ベイズの公式の導出
{ } { } { }AABBA PrPr,Pr =
{ } { } { }BBABA PrPr,Pr =
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 15
ベイズの公式の導出
{ } { } { }AABBA PrPr,Pr =
{ } { }{ }B
BABAPr
,PrPr =
{ } { } { }BBABA PrPr,Pr =
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 16
ベイズの公式の導出
{ } { } { }AABBA PrPr,Pr =
{ } { }{ }
{ } { }{ }B
AABB
BABAPr
PrPrPr
,PrPr ==
{ } { } { }BBABA PrPr,Pr =
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 17
ベイズの公式の導出
{ } { } { }AABBA PrPr,Pr =
{ } { }{ }
{ } { }{ }
{ } { }{ }∑
=
==
ABAAAB
BAAB
BBABA
,PrPrPr
PrPrPr
Pr,PrPr
{ } { } { }BBABA PrPr,Pr =
{ } { }∑=A
BAB ,PrPr
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 18
ベイズの公式の導出
{ } { } { }AABBA PrPr,Pr =
{ } { }{ }
{ } { }{ }
{ } { }{ }
{ } { }{ } { }∑∑
==
==
AAAAB
AABBAAAB
BAAB
BBABA
PrPrPrPr
,PrPrPr
PrPrPr
Pr,PrPr
{ } { } { }BBABA PrPr,Pr =
{ } { }∑=A
BAB ,PrPr
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 19
ベイズの公式の導出
{ } { } { }AABBA PrPr,Pr =
{ } { }{ }
{ } { }{ }
{ } { }{ }
{ } { }{ } { }∑∑
==
==
AAAAB
AABBAAAB
BAAB
BBABA
PrPrPrPr
,PrPrPr
PrPrPr
Pr,PrPr
A
B
{ } { } { }BBABA PrPr,Pr =
{ } { }∑=A
BAB ,PrPr
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 20
ベイズの公式 (Bayes Formula)
事後確率 (A Posteriori Probability)
事前確率(A PrioriProbability)
{ } { } { }{ } { }∑
=
AAAB
AABBA
PrPrPrPr
Pr
A
BBayes 規則 (Bayes Rule) とも言う.
ベイジアンネットワーク
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 21
ベイズの公式による確率的推論の例
A 教授はたいへん謹厳でこわい人で,機嫌の悪いときが 3/4 を占め,機嫌のよい期間はわずかの 1/4 にすぎない.
教授には美人の秘書がいるが,よく観察してみると,教授の機嫌のよいときは,8 回のうち 7 回までは彼女も機嫌がよく,悪いのは 8 回中 1 回にすぎない.教授の機嫌の悪いときで,彼女の機嫌のよいときは 4 回に 1 回である.
秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論することができる.
甘利俊一:情報理論 (ダイヤモンド社,1970) より
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 22
ベイズの公式による確率的推論の例(2)
教授は機嫌の悪いときが 3/4 を占め,機嫌のよい期間はわずかの1/4 にすぎない.
教授の機嫌のよいときは,8 回のうち 7 回までは彼女も機嫌がよく,悪いのは 8 回中 1 回にすぎない.
教授の機嫌の悪いときで,彼女の機嫌のよいときは 4 回に 1 回である.
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 23
ベイズの公式による確率的推論の例(2)
教授は機嫌の悪いときが 3/4 を占め,機嫌のよい期間はわずかの1/4 にすぎない.
{ }41Pr =教授機嫌良い { }
43Pr =教授機嫌悪い
教授の機嫌のよいときは,8 回のうち 7 回までは彼女も機嫌がよく,悪いのは 8 回中 1 回にすぎない.
教授の機嫌の悪いときで,彼女の機嫌のよいときは 4 回に 1 回である.
{ }87Pr =教授機嫌良い秘書機嫌良い
{ }41Pr =教授機嫌悪い秘書機嫌良い
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 24
ベイズの公式による確率的推論の例(3)
{ }{ } { }{ } { }教授機嫌悪い教授機嫌悪い秘書機嫌良し
教授機嫌良し教授機嫌良し秘書機嫌良し
秘書機嫌良し
PrPr
PrPrPr
+
=
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 25
ベイズの公式による確率的推論の例(3)
{ }{ } { }{ } { }教授機嫌悪い教授機嫌悪い秘書機嫌良し
教授機嫌良し教授機嫌良し秘書機嫌良し
秘書機嫌良し
PrPr
PrPrPr
+
=
{ }41Pr =教授機嫌良い { }
43Pr =教授機嫌悪い
{ }87Pr =教授機嫌良い秘書機嫌良い{ }
41Pr =教授機嫌悪い秘書機嫌良い
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 26
ベイズの公式による確率的推論の例(3)
{ }41Pr =教授機嫌良い { }
43Pr =教授機嫌悪い
{ }87Pr =教授機嫌良い秘書機嫌良い{ }
41Pr =教授機嫌悪い秘書機嫌良い
{ }{ } { }{ } { }
3213
43
41
41
87
PrPr
PrPrPr
=×+×=
+
=
教授機嫌悪い教授機嫌悪い秘書機嫌良し
教授機嫌良し教授機嫌良し秘書機嫌良し
秘書機嫌良し
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 27
ベイズの公式による確率的推論の例(4)
{ }41Pr =教授機嫌良い
{ }3213Pr =秘書機嫌良い
{ }87Pr =教授機嫌良い秘書機嫌良い
{ }
{ } { }{ } 13
7
3213
41
87
PrPrPr
Pr
=×
==秘書機嫌良し
教授機嫌良し教授機嫌良し秘書機嫌良し
秘書機嫌良し教授機嫌良し
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 28
最尤推定(Maximum Likelihood Estimation)
( ) ( )∏−
=⎟⎟⎠
⎞⎜⎜⎝
⎛−−≡
1
0
222 2
1exp2
1,N
iiggP μ
σπσσμr
( )( )
( )σμσμσμ
,maxargˆ,ˆ,
gP r=
データ
( )
( )0
,
0,
ˆ,ˆ
ˆ,ˆ
=⎥⎦
⎤⎢⎣
⎡∂
∂
=⎥⎦
⎤⎢⎣
⎡∂
∂
==
==
σσμμ
σσμμ
σσμ
μσμ
gP
gP
∑−
==
1
0
1ˆN
iig
Nμ ( )∑
−
=−=
1
0
22 ˆ1ˆN
iig
Nμσ
極値条件
平均μと標準偏差σが与えられたときの確率密度関数をデータ が与えられたときの平均μと分散σ
2に対
する尤もらしさを表す関数(尤度関数)とみなす.
gr
標本平均 標本分散
⎟⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜⎜
⎝
⎛
=
−1
1
0
Ng
gg
gM
rσμ,
パラメータ
14 January, 201014 January, 2010 Hokkaido University GCOE Tutorial (SapporoHokkaido University GCOE Tutorial (Sapporo)) 2929
ContentsContents
1.1. 序論序論
2.2. ベイズ統計の基礎ベイズ統計の基礎
3.3. 確率的画像処理確率的画像処理
4.4. ガウシアングラフィカルモデルガウシアングラフィカルモデル
5.5. 確率伝搬法確率伝搬法
6.6. 統計的性能評価統計的性能評価
7.7. さまざまのベイジアンモデリングさまざまのベイジアンモデリング
8.8. まとめと展開まとめと展開
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 30
画像修復の確率モデル
原画像 劣化画像
通信路
雑音
{ } { } { }{ }
43421
48476444 8444 76444 8444 76
周辺尤度
事前確率尤度事後確率
劣化画像
原画像原画像劣化画像劣化画像原画像
PrPr|Pr|Pr =
白色ガウス雑音原画像劣化画像 +=
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 31
Prior Probability in Probabilistic Image Processing
{ } ( ) ⎟⎟
⎠
⎞
⎜⎜
⎝
⎛−−∝= ∑
∈Ejiji xxxX
},{
221expPr αrr
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 32
2値画像の事前確率(Prior Probability)
赤い線が少ないほど確率が高くなるように確率モデルを設計
問題設定画素の周辺の状態が固定されているとき着目画素の状態は?
?
>
== >
周りが白ければ着目画素も白くあるべき
2/α−∝ e 2/α−∝ e1∝1∝
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 33
2値画像の事前確率(Prior Probability)2値画像の事前確率(Prior Probability)
赤い線が少ないほど確率が高くなるように確率モデルを設計
画素がいくつか集まると周りの画素の状態をよく見ながら自分の状態を決めないといけなくなる もっとたくさん集まったらどうなるか?
問題設定画素の周辺の状態が固定されているとき着目画素の状態は?
?-?== >
> >=
2/α−∝ e 2/α−∝ e1∝1∝
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 34
ゆらぎが大きいときに何が実際に起こっているのか? p
0.0
0.2
0.4
0.6
0.8
1.0
0.0 0.2 0.4 0.6 0.8 1.0
無秩序状態 秩序状態ゆらぎが大きく点の近くのパターン
α が小さい α が大きい
最近接画素間の共分散
マルコフ連鎖モンテカルロ法によるサンプリング
Markov Networkα
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 35
ゆらぎが大きいときのパターンを画像処理に使えるか?
0.0
0.2
0.4
0.6
0.8
1.0
0.0 0.2 0.4 0.6 0.8 1.0α
最近接画素間の共分散
p
似ている
Markov Network大小
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 36
事前確率(Prior Probability)
{ } ⎟⎟
⎠
⎞
⎜⎜
⎝
⎛−−∝= ∑
∈Ejiji xxxX
},{
2)(21expPr αrr
0005.0=α 0030.0=α0001.0=α
マルコフ連鎖モンテカルロ法
{ }VV ,,2,1 L=
links theall ofSet :E
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 37
加法的白色ガウスノイズ(Additive White Gaussian Noise)
{ } ( )∏∈
⎟⎠⎞
⎜⎝⎛ −−∝==
Viii yxxXyY 2
221expPrσ
rrrr
劣化過程
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 38
ベイズ統計と画像処理
{ } { } { }{ }
( ) ( ) ⎟⎟
⎠
⎞
⎜⎜
⎝
⎛−−−−∝
=
======
∑∑∈∈ Eji
jiVi
ii xxyx
yY
xXxXyYyYxX
},{
222 2
12
1exp
Pr
PrPrPr
ασ
rr
rrrrrrrrrr
xr g
{ }xX =Pr { }xXyY rrrr==Pr yr
原画像 劣化画像事前確率
事後確率
加法的白色ガウス雑音または2元対称通信路
画像処理は平均,分散,共分散の計算に帰着
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 39
Statistical Estimation of Hyperparameters
∑ =====z
zXzXyYyYr
rrrrrrrr}|Pr{},|Pr{},|Pr{ ασσα
( )},|Pr{max arg)ˆ,ˆ(
,σασα
σαyY rr
==
xr g
Marginalized with respect to X
}|Pr{ αxX rr= },|Pr{ σxXyY rrrr
== yrOriginal Image
Marginal Likelihood
Degraded ImageΩy
x
},|Pr{ σαyY rr=
Hyperparameters α, σ are determined so as to maximize the marginal likelihood Pr{Y=y|α,σ} with respect to α, σ.
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 40
Maximization of Marginal Likelihood by EM Algorithm
∑ =====z
xXzXyYyYr
rrrrrrr}|Pr{},|Pr{},|Pr{ ασσαMarginal
Likelihood
( ) },|,Pr{ln}',',|Pr{
,',',
∑ =====z
yYzXyYzX
yQ
r
rrrrrrrr
r
σασα
σασα
( ) ( )( )
( ) ( )( )( )
( ) ( )( ).,,maxarg1,1 :Step-M
},|,Pr{ln)}(),(,|Pr{
,, :Step-E
,ttQtt
yYzXttyYzX
ttQ
zσασασα
σασα
σασα
βα←++
====← ∑r
rrrrrrrr
E-step and M-Step are iterated until convergence:EM (Expectation Maximization) Algorithm
Q-Function
14 January, 201014 January, 2010 Hokkaido University GCOE Tutorial (SapporoHokkaido University GCOE Tutorial (Sapporo)) 4141
ContentsContents
1.1. 序論序論
2.2. ベイズ統計の基礎ベイズ統計の基礎
3.3. 確率的画像処理確率的画像処理
4.4. ガウシアングラフィカルモデルガウシアングラフィカルモデル
5.5. 確率伝搬法確率伝搬法
6.6. 統計的性能評価統計的性能評価
7.7. さまざまのベイジアンモデリングさまざまのベイジアンモデリング
8.8. まとめと展開まとめと展開
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 42
Gaussian Graphical Model(Gauss Markov Random Fields)
( )
( ) ( )
⎟⎠⎞
⎜⎝⎛ −−−=
⎟⎟
⎠
⎞
⎜⎜
⎝
⎛−−−−∝ ∑∑
∈∈
xxyx
xxyx
yxP
Ejiji
Viii
rrrr
rr
CT22
},{
222
21
21exp
21
21exp
,,|
ασ
ασ
σα
( ) ( )( ) ( ) ⎟
⎠⎞
⎜⎝⎛
+−
+= yyyP
Vrrr
CIC
CI
C2
T2 2
1expdet2
det,ασ
αασπ
ασα
( ) yxdyxPxx rrrrrr 12)|(ˆ −+== ∫ CI ασ
Multidimensional Gauss Integral Formulas
( )( )
( )σασασα
,max argˆ,ˆ,
gP r=
Maximum Likelihood Estimation EM Algorithm
),( +∞−∞∈ix
⎪⎩
⎪⎨
⎧∈−∈=
=otherwise,0
},{,1,4
EjiVji
ji C
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 43
Degraded Image
Statistical Estimation of Hyperparameters
∫ ===== zdzXxXyYyY rrrrrrrrr},|Pr{},|Pr{},|Pr{ γασσα
( )},|Pr{max arg)ˆ,ˆ(
,σασα
σαyY rr
==
xr g
Marginalized with respect to X
}|Pr{ αxX rr= },|Pr{ σxXyY rrrr
== yrOriginal Image
Marginal Likelihood
},|Pr{ σαyY rr=
Hyperparameters α, σ are determined so as to maximize the marginal likelihood Pr{Y=y|α,σ} with respect to α, σ.
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 44
1次元信号に対する例
EM Algorithm
i
i
i
0 127 255
0 127 255
0 127 255
100
0
200
100
0
200
100
0
200
ix
iy
ix̂
Original Signal
Degraded Signal
Estimated Signal
40=σ
( ) ( )( )
( )( ) ( )( ).,,maxarg
1,1
,ttQ
ttσασα
σα
σα←
++
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 45
Bayesian Image Analysis by Gaussian Graphical Model
0
0.0002
0.0004
0.0006
0.0008
0.001
0 20 40 60 80 100( )tσ
( )tαyr f̂
r
ytttx rr 12 ))()(()(ˆ −+= CI σα
Iteration Procedure of EM algorithm in Gaussian Graphical Model
EM
f̂r
yr( )
),|(max arg)ˆ,ˆ(,
σασασα
gP=
40=σ
( ) ( )( )( )
( ) ( )( ).,,,maxarg1,1,
yttQtt rσασασασα
←++
0007130ˆ624.37ˆ
.==
ασ
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 46
Image Restoration by Gaussian Graphical Model and Conventional Filters
( )2ˆ||
1MSE ∑∈
−=Vi
ii ffV
315Gaussian Graphical Model
445(5x5)
486(3x3)Median Filter
413(5x5)
388(3x3)Lowpass Filter
MSE
(3x3) (3x3) LowpassLowpass (5x5) Median(5x5) MedianGaussian Gaussian Graphical Graphical
ModelModel
Original ImageOriginal ImageDegraded Degraded Image (Image (σσ=40)=40)
V:Set of all the pixels
14 January, 201014 January, 2010 Hokkaido University GCOE Tutorial (SapporoHokkaido University GCOE Tutorial (Sapporo)) 4747
ContentsContents
1.1. 序論序論
2.2. ベイズ統計の基礎ベイズ統計の基礎
3.3. 確率的画像処理確率的画像処理
4.4. ガウシアングラフィカルモデルガウシアングラフィカルモデル
5.5. 確率伝搬法確率伝搬法
6.6. 統計的性能評価統計的性能評価
7.7. さまざまのベイジアンモデリングさまざまのベイジアンモデリング
8.8. まとめと展開まとめと展開
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 48
計算困難のポイントは何か
2N 通りの和が計算できるか?
( )∑ ∑ ∑= = =1,0 1,0 1,0
211 2
,,,x x x
NN
xxxf LL
( )
}}
} ;,,,
){1,0for(
){1,0for( 0,1){for(
;0
21
2
1
M
L
M
N
Nxxxfaa
x
xx
a
+←
=
=
=←
N 重ループ
このプログラムではL=10個のノードで1秒かかるとしたらL=20個で約17分,L=30個で約12日,L=40個で約34年かかる.
厳密に計算するのは一部の特殊な例を除いて難しい.
マルコフ連鎖モンテカルロ法確率伝搬法 今回
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 49
周辺確率(Marginal Probability)
を厳密に計算するのは一部の特殊な例を除いて難しい.
一部の特殊な例とは何か?一部の特殊な例に適用できるアルゴリズムを一般の場合に近似アルゴリズムとして適用できるか.
→ アルゴリズム化できるか?動くか?
精度はどの程度か?
( ) ( )∑∑∑ ∑=2 3 4
,,,,, 432111x x x x
NN
xxxxxPxP LL
( ) ( )∑∑∑ ∑=1 3 4
,,,,, 432122x x x x
NN
xxxxxPxP LL
( ) ( )∑∑ ∑=3 4
,,,,,, 43212112x x x
NN
xxxxxPxxP LL
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 51
扱いやすい確率モデルのグラフ表現
A B C D E∑∑∑∑∑A B C D E
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 52
扱いやすい確率モデルのグラフ表現
A B C D E∑∑∑∑∑A B C D E
A B∑∑∑∑∑=A B C D E
B C D EX
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 53
扱いやすい確率モデルのグラフ表現
A B C D E∑∑∑∑∑A B C D E
A B∑∑∑∑∑=A B C D E
B C D EX
A B∑∑∑∑ ∑ ⎟⎟⎠
⎞⎜⎜⎝
⎛=
B C D E A B C D E
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 54
扱いやすい確率モデルのグラフ表現
A B C D E∑∑∑∑∑A B C D E
A B∑∑∑∑∑=A B C D E
B C D EX
A B∑∑∑∑ ∑ ⎟⎟⎠
⎞⎜⎜⎝
⎛=
B C D E A B C D E
A B
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 55
扱いやすい確率モデルのグラフ表現
A B C D E∑∑∑∑∑A B C D E
A B∑∑∑∑∑=A B C D E
B C D EX
A B∑∑∑∑ ∑ ⎟⎟⎠
⎞⎜⎜⎝
⎛=
B C D E A B C D E
A B
A B C D E∑∑∑∑=B C D E
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 56
扱いやすい確率モデルのグラフ表現
A B C D E∑∑∑∑B C D E
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 57
扱いやすい確率モデルのグラフ表現
∑∑∑∑=B C D E
C D EX
A B C D E∑∑∑∑B C D E
A B C
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 58
扱いやすい確率モデルのグラフ表現
∑∑∑∑=B C D E
C D EX
∑∑∑ ∑ ⎟⎟⎠
⎞⎜⎜⎝
⎛=
C D E B C D E
A B C D E∑∑∑∑B C D E
A B C
A B C X
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 59
扱いやすい確率モデルのグラフ表現
∑∑∑∑=B C D E
C D EX
∑∑∑ ∑ ⎟⎟⎠
⎞⎜⎜⎝
⎛=
C D E B C D E
B C
A B C D E∑∑∑∑B C D E
A B C
A B C X
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 60
扱いやすい確率モデルのグラフ表現
∑∑∑∑=B C D E
C D EX
∑∑∑ ∑ ⎟⎟⎠
⎞⎜⎜⎝
⎛=
C D E B C D E
B C
A B C D E∑∑∑∑B C D E
A B C
A B C
B C D E∑∑∑=C D E
X
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 61
扱いやすい確率モデルのグラフ表現
A B C D E∑∑∑∑∑A B C D E
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 62
扱いやすい確率モデルのグラフ表現
A B C D E∑∑∑∑=B C D E
A B C D E∑∑∑∑∑A B C D E
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 63
扱いやすい確率モデルのグラフ表現
A B C D E∑∑∑∑=B C D E
B C D E∑∑∑=C D E
A B C D E∑∑∑∑∑A B C D E
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 64
扱いやすい確率モデルのグラフ表現
A B C D E∑∑∑∑=B C D E
B C D E∑∑∑=C D E
A B C D E∑∑∑∑∑A B C D E
C D E∑∑=D E
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 65
扱いやすい確率モデルのグラフ表現
A B C D E∑∑∑∑=B C D E
B C D E∑∑∑=C D E
A B C D E∑∑∑∑∑A B C D E
C D E∑∑=D E
D E∑=E
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 66
扱いやすい確率モデルのグラフ表現
A
B
EC∑∑∑∑∑∑A B C D E F
D
F
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 67
扱いやすい確率モデルのグラフ表現
A
B
EC∑∑∑∑∑∑A B C D E F
D
F
A
B
EC
D
F
∑∑∑∑∑=B C D E F
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 68
扱いやすい確率モデルのグラフ表現
A
B
EC∑∑∑∑∑∑A B C D E F
D
F
A
B
EC
∑∑∑∑=C D E F
D
FA
B
EC
∑∑∑∑∑=B C D E F
D
F
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 69
扱いやすい確率モデルのグラフ表現
A
B
EC∑∑∑∑∑∑A B C D E F
D
F
A
B
EC
∑∑∑∑=C D E F
D
FA
B
EC
∑∑∑∑∑=B C D E F
D
F
EC∑∑∑=D E F
D
F
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 70
扱いやすい確率モデルのグラフ表現
A
B
EC∑∑∑∑∑∑A B C D E F
D
F
A
B
EC
∑∑∑∑=C D E F
D
FA
B
EC
∑∑∑∑∑=B C D E F
D
F
EC∑∑∑=D E F
D
F
EC∑∑=E F
D
F
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 71
扱いやすい確率モデルのグラフ表現
A
B
EC∑∑∑∑∑∑A B C D E F
D
F
A
B
EC
∑∑∑∑=C D E F
D
FA
B
EC
∑∑∑∑∑=B C D E F
D
F
EC∑∑∑=D E F
D
F
EC∑∑=E F
D
F
E∑=F F
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 73
確率的画像処理における確率伝搬法(Belief Propagation)
着目画素とその近傍画素だけを残すと木構造になる.
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 74
確率的画像処理における確率伝搬法(Belief Propagation)
着目画素とその近傍画素だけを残すと木構造になる.
確率伝搬法(Belief Propagation)の統計的近似アルゴ
リズムとしての転用
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 75
周辺確率(Marginal Probability)
∑∑∑ ∑=1 3 4x x x xN
L 2 2
( ) ( )∑∑∑ ∑=1 3 4
,,,,, 432122x x x x
NN
xxxxxPxP LL
≅
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 76
周辺確率(Marginal Probability)
∑∑ ∑=3 4x x xN
L
( ) ( )∑∑ ∑=3 4
,,,,,, 43212112x x x
NN
xxxxxPxxP LL
1 2 1 2≅
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 77
確率的画像処理における確率伝搬法(Belief Propagation)
211 7
6
88
( ) ( )∑=1
211222 ,x
xxPxP
Message Update Rule
144
5
33
2
6
88
77
3
2 1
5
4∑=1x
12
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 78
閉路のあるグラフ上の確率モデルの確率伝搬法(Belief Propagation)
( )MMrrr
Ψ= メッセージに対する固定点方程式
閉路のあるグラフ上でも局所的な構造だけに着目してアルゴリムを構成することは可能.ただし,得られる結果は厳密ではなく近似アルゴリズム
21
3
4
5
平均,分散,共分散はこのメッセージを使ってあらわされる
3
2 1
5
413→M
14→M
15→M∑=
1x1
21→M2
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 79
Fixed Point Equation and Iterative Method
Fixed Point Equation ( )** MMrrr
Φ=Iterative Method
( )( )( )
M
rr
rr
rr
23
12
01
MM
MM
MM
Φ←
Φ←
Φ←
0M1M
1M
0
xy =
)(xy Φ=
y
x*M
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 80
確率的画像処理における確率伝搬アルゴリズムの基本構造
ひとつの画素ごとに4種類の更新パターン
4近傍の場合は3入力1出力の更新式
画素上での動作の様子の一例
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 81
確率伝搬法(Belief Propagation)とEMアルゴリズム
Input
Output
BP EM
Update Rule of BP
21
3
4
5
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 82
Maximization of Marginal Likelihood by EM Algorithm
( ) ( )( )( )
( ) ( )( ).,,,maxarg1,1,
gttQtt rσασασασα
←++
yr
( )ymx rrr ,ˆ,ˆˆ σα=
0
0.0002
0.0004
0.0006
0.0008
0.001
0 20 40 60 80 100
Loopy Belief Propagation
Exact
0006000ˆ335.36ˆ
.==
LBP
LBP
ασ
0007130ˆ624.37ˆ
.==
Exact
Exact
ασ
α
σ
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 83
Image Restoration by Gaussian Graphical Model
Original ImageOriginal Image Degraded ImageDegraded Image
MSE: 1529MSE: 1529
MSE: 1512MSE: 1512
EM Algorithm with Belief Propagation
( )2ˆ|V|
1MSE ∑∈
−=Vi
ii xx
14 January, 2010 84Hokkaido University GCOE Tutorial
(Sapporo)
Image Restoration by Image Restoration by Gaussian Graphical ModelGaussian Graphical Model
Original ImageOriginal Image
MSE:315MSE:315
MSE: 545MSE: 545 MSE: 447MSE: 447MSE: 411MSE: 411
MSE: 1512MSE: 1512
Degraded ImageDegraded Image
LowpassLowpass FilterFilter Median FilterMedian Filter
Exact
Wiener Filter
( )2ˆ|V|
1MSE ∑∈
−=Vi
ii xx
Belief PropagationBelief Propagation
MSE:325MSE:325
14 January, 2010 85Hokkaido University GCOE Tutorial
(Sapporo)
Original ImageOriginal Image
MSE236MSE236MSE: 260MSE: 260
MSE: 372MSE: 372 MSE: 244MSE: 244MSE: 224MSE: 224
MSE: 1529MSE: 1529
Degraded ImageDegraded Image Belief PropagationBelief Propagation
LowpassLowpass FilterFilter Median FilterMedian Filter
Exact
Wiener Filter
Image Restoration by Gaussian Image Restoration by Gaussian Graphical ModelGraphical Model
14 January, 2010 86Hokkaido University GCOE Tutorial
(Sapporo)
Spatially Flatness and Smoothness in Spatially Flatness and Smoothness in MultiMulti--Valued Image ProcessingValued Image Processing
Observed Data
Q-state Potts Model (Flatness)
Original Signal
Q-Ising Model (Smoothness)
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 87
Digital Images Inpaintingbased on MRF
Inpu
t
Out
put
MarkovRandom
FieldM. Yasuda, J. Ohkubo and K. Tanaka: Proceedings ofCIMCA&IAWTIC2005.
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 88
確率モデルと確率伝搬法
確率的情報処理 確率モデル
ベイズの公式
確率伝搬法(Belief Propagation)
J. Pearl: Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference (Morgan Kaufmann, 1988).C. Berrou and A. Glavieux: Near optimum error correcting coding and decoding: Turbo-codes, IEEE Trans. Comm., 44(1996).
ベイジアンネットワーク
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 89
確率伝搬法の定式化
確率伝搬法と平均場理論の類似性の指摘Y. Kabashima and D. Saad, Belief propagation vs. TAP for decoding corrupted messages, Europhys. Lett. 44 (1998). M. Opper and D. Saad (eds), Advanced Mean Field Methods ---Theory and Practice (MIT Press, 2001).
一般化された確率伝搬法の提案S. Yedidia, W. T. Freeman and Y. Weiss: Constructing free-energyapproximations and generalized belief propagation algorithms, IEEE Transactions on Information Theory, 51 (2005).
確率伝搬法の情報幾何的解釈S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning, free energy, and information geometry, Neural Computation, 16 (2004).
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 90
統計物理学による確率伝搬法の一般化
一般化された確率伝搬法一般化された確率伝搬法J. S. Yedidia, W. T. Freeman and Y. Weiss: Constructing free-energy approximations and generalized belief propagation algorithms, IEEE Transactions on Information Theory, 51 (2005).
クラスター変分法という統計物理学の手法クラスター変分法という統計物理学の手法がその一般化の鍵がその一般化の鍵R. Kikuchi: A theory of cooperative phenomena, Phys. Rev., 81(1951).T. Morita: Cluster variation method of cooperative phenomena andits generalization I, J. Phys. Soc. Jpn, 12 (1957).
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 91
確率伝搬法の統計物理学的位置付け
確率伝搬法は統計力学のベーテ近似と等価(Kabashima and Saad).
閉路を持つグラフィカルモデル上のベイジアンネットでの確率伝搬法はベーテ近似またはその拡張版であるクラスター変分法に等価である(Yedidia, Weiss and Freeman, NIPS2000).
ベーテ近似=確率伝搬法
木構造のグラフィカルモデルの確率伝搬法=転送行列法
クラスター変分法(菊池近似)
一般化された確率伝搬法
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 92
イジング模型の確率変数の期待値
(a) 平均場近似(ワイス近似)(b) ベーテ近似=確率伝搬法
(c) クラスター変分法(菊池近似)=一般化された確率伝搬法
(a) 厳密解(L. Onsager)
α/1
∑∞→ x
iNxPx
r
r)(lim
⎟⎟
⎠
⎞
⎜⎜
⎝
⎛−∝
=
∑∈ Eji
ji
N
xx
xxxPxP
},{
2
21
)(21exp
),,,()(
α
Lr
1±=ix
14 January, 201014 January, 2010 Hokkaido University GCOE Tutorial (SapporoHokkaido University GCOE Tutorial (Sapporo)) 9393
ContentsContents
1.1. 序論序論
2.2. ベイズ統計の基礎ベイズ統計の基礎
3.3. 確率的画像処理確率的画像処理
4.4. ガウシアングラフィカルモデルガウシアングラフィカルモデル
5.5. 確率伝搬法確率伝搬法
6.6. 統計的性能評価統計的性能評価
7.7. さまざまのベイジアンモデリングさまざまのベイジアンモデリング
8.8. まとめと展開まとめと展開
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 95
標本平均による統計的性能
1yr
xr2yr
3yr
4yr
5yr
ObservedData
SignalA
dditi
ve W
hite
G
auss
ian
Noi
se
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 96
標本平均による統計的性能
1yr
xr2yr
3yr
4yr
5yr
1x̂r
2x̂r
3x̂r
4x̂r
5x̂rPost
erio
r Pr
obab
ility
Estimated ResultsObserved
Data
SignalA
dditi
ve W
hite
G
auss
ian
Noi
se
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 97
標本平均による統計的性能
1yr
xr2yr
3yr
4yr
5yr
1x̂r
2x̂r
3x̂r
4x̂r
5x̂rPost
erio
r Pr
obab
ility
Estimated ResultsObserved
Data
Mean Square Error の標本平均
SignalA
dditi
ve W
hite
G
auss
ian
Noi
se
∑=
−≅5
1
2||ˆ||51][MSE
nnxx rr
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 98
脳の物理モデルの記憶容量,パーセプトロンの容量の評価に類似の議論
標本平均による統計的性能
1yr
xr2yr
3yr
4yr
5yr
1x̂r
2x̂r
3x̂r
4x̂r
5x̂rPost
erio
r Pr
obab
ility
Estimated ResultsObserved
Data
Mean Square Error の標本平均
Signal
スピングラス理論による解析的評価が可能
Add
itive
Whi
te
Gau
ssia
n N
oise
∑=
−≅5
1
2||ˆ||51][MSE
nnxx rr
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 99
強磁性体と確率モデル強磁性体と確率モデル
>
=
=
>
=
=
x
y
画像は各画素ごとの強さの異なる光であらわされる.
0 255
共通点:まわりと同じ状態をとろうとする
Ising モデル
Markov Random Field (MRF) モデル
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 100
0
0.1
0.2
0.3
0.4
0 0.2 0.4 0.6 0.8 1
Statistical Performance Estimation for Bayesian Networks
∑ −=Data
2 }Signal|DataPr{SignalData),Estimate(1)Signal|(MSE ααV
0
200
400
600
0 0.001 0.002 0.003α
σ=40
)Signal|(MSE α
σ=1
α
)Signal|(MSE α
Spin Glass Theory in Statistical Mechanics
Mean Sqauare Error
14 January, 201014 January, 2010 Hokkaido University GCOE Tutorial (SapporoHokkaido University GCOE Tutorial (Sapporo)) 101101
ContentsContents
1.1. 序論序論
2.2. ベイズ統計の基礎ベイズ統計の基礎
3.3. 確率的画像処理確率的画像処理
4.4. ガウシアングラフィカルモデルガウシアングラフィカルモデル
5.5. 確率伝搬法確率伝搬法
6.6. 統計的性能評価統計的性能評価
7.7. さまざまのベイジアンモデリングさまざまのベイジアンモデリング
8.8. まとめと展開まとめと展開
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 102
Belief Propagation for Bayesian Networks
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 103
Hidden Markov Models
隠れマルコフモデルはベイジアンネットワークのひとつ.隠れマルコフモデルはベイジアンネットワークのひとつ.前向き・後向きアルゴリズムは確率伝搬法に対応.前向き・後向きアルゴリズムは確率伝搬法に対応.
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 104
誤り訂正符号での確率伝搬法
)2 (mod )2 (mod )2 (mod
6439
5328
3217
XXXXXXXXXXXX
++=
++=
++=
⎟⎟⎟⎟⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜⎜⎜⎜⎜
⎝
⎛
=
⎟⎟⎟⎟⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜⎜⎜⎜⎜
⎝
⎛
110011
6
5
4
3
2
1
xxxxxx
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 105
誤り訂正符号での確率伝搬法
)2 (mod )2 (mod )2 (mod
6439
5328
3217
XXXXXXXXXXXX
++=
++=
++=
⎟⎟⎟⎟⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜⎜⎜⎜⎜
⎝
⎛
=
⎟⎟⎟⎟⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜⎜⎜⎜⎜
⎝
⎛
110011
6
5
4
3
2
1
xxxxxx
1)2 (mod 1000)2 (mod 1010)2 (mod 011
9
8
7
=++=
=++=
=++=
XXX
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 106
誤り訂正符号での確率伝搬法
)2 (mod )2 (mod )2 (mod
6439
5328
3217
XXXXXXXXXXXX
++=
++=
++=
⎟⎟⎟⎟⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜⎜⎜⎜⎜
⎝
⎛
=
⎟⎟⎟⎟⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜⎜⎜⎜⎜
⎝
⎛
110011
6
5
4
3
2
1
xxxxxx
⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜
⎝
⎛
=
⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜
⎝
⎛
100110011
9
8
7
6
5
4
3
2
1
xxxxxxxxx
1)2 (mod 1000)2 (mod 1010)2 (mod 011
9
8
7
=++=
=++=
=++=
XXX
符号語
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 107
誤り訂正符号での確率伝搬法
)2 (mod )2 (mod )2 (mod
6439
5328
3217
XXXXXXXXXXXX
++=
++=
++=
⎟⎟⎟⎟⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜⎜⎜⎜⎜
⎝
⎛
=
⎟⎟⎟⎟⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜⎜⎜⎜⎜
⎝
⎛
110011
6
5
4
3
2
1
xxxxxx
⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜
⎝
⎛
=
⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜
⎝
⎛
100110011
9
8
7
6
5
4
3
2
1
xxxxxxxxx
⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜
⎝
⎛
=
⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜
⎝
⎛
101110111
9
8
7
6
5
4
3
2
1
yyyyyyyyy
1)2 (mod 1000)2 (mod 1010)2 (mod 011
9
8
7
=++=
=++=
=++=
XXX
1 1
0
p−1
1
0
0p−1
p
p
受信語
符号語
2元対称通信路
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 108
誤り訂正符号での確率伝搬法
)2 (mod )2 (mod )2 (mod
6439
5328
3217
XXXXXXXXXXXX
++=
++=
++=
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 109
誤り訂正符号での確率伝搬法
)2 (mod )2 (mod )2 (mod
6439
5328
3217
XXXXXXXXXXXX
++=
++=
++=
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 110
誤り訂正符号での確率伝搬法
)2 (mod )2 (mod )2 (mod
6439
5328
3217
XXXXXXXXXXXX
++=
++=
++=
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 111
誤り訂正符号での確率伝搬法
)2 (mod )2 (mod )2 (mod
6439
5328
3217
XXXXXXXXXXXX
++=
++=
++=
TurboTurbo符号,符号,LDPCLDPC符号の基礎となる概念符号の基礎となる概念
14 January, 201014 January, 2010 Hokkaido University GCOE Tutorial (SapporoHokkaido University GCOE Tutorial (Sapporo)) 112112
ContentsContents
1.1. 序論序論
2.2. ベイズ統計の基礎ベイズ統計の基礎
3.3. 確率的画像処理確率的画像処理
4.4. ガウシアングラフィカルモデルガウシアングラフィカルモデル
5.5. 確率伝搬法確率伝搬法
6.6. 統計的性能評価統計的性能評価
7.7. さまざまのベイジアンモデリングさまざまのベイジアンモデリング
8.8. まとめと展開まとめと展開
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 113
確率モデルによる画像処理技術入門確率モデルによる画像処理技術入門
ベイズ統計をつかった画像処理ベイズ統計をつかった画像処理画像処理の事前分布画像処理の事前分布確率伝搬法(確率伝搬法(Belief PropagationBelief Propagation))磁性体の統計理論による統計的性能評価磁性体の統計理論による統計的性能評価
14 January, 2010Hokkaido University GCOE Tutorial
(Sapporo) 114
確率的情報処理の深化と展開
通信理論・像情報処理・確率推論
More is different
統計科学
統計的学習理論
情報統計力学計算理論
日常生活の情報処理
データマイニング
複雑ネットワーク科学
例えばSAT
量子情報
生命情報科学
例えば量子誤り訂正符号,量子アニーリング
例えばSVMを用
いた遺伝子解析
例えば機械学習への応用
平均場法 スピングラス理論
ベイズ法 最尤法
14 January, 201014 January, 2010 Hokkaido University GCOE Tutorial (SapporoHokkaido University GCOE Tutorial (Sapporo)) 115115
ReferencesReferences1.1. H. Nishimori: Statistical Physics of Spin Glasses and InformatioH. Nishimori: Statistical Physics of Spin Glasses and Information n
Processing, Processing, ------An Introduction, Oxford University Press, 2001.An Introduction, Oxford University Press, 2001.2.2. M. Opper and D. M. Opper and D. SaadSaad D (D (edseds): Advanced Mean Field Methods ): Advanced Mean Field Methods ------
Theory and Practice, MIT Press, 2001.Theory and Practice, MIT Press, 2001.3.3. A. K. Hartmann and H. A. K. Hartmann and H. RiegerRieger: Optimization Algorithms in Physics, : Optimization Algorithms in Physics,
WileyWiley--VCHVCH,, 2001.2001.4.4. A. K. Hartmann and M. A. K. Hartmann and M. WeigtWeigt: Phase Transitions in Combinatorial : Phase Transitions in Combinatorial
Optimization Problems, WileyOptimization Problems, Wiley--VCH,VCH, 20052005..5.5. C. M. Bishop: Pattern Recognition and Machine Learning, SpringerC. M. Bishop: Pattern Recognition and Machine Learning, Springer, ,
2006.2006.6.6. M. J. Wainwright and M. I. Jordan: Graphical Models, ExponentialM. J. Wainwright and M. I. Jordan: Graphical Models, Exponential
Families, and Families, and VariationalVariational Inference, now Publishing Inc, 2008.Inference, now Publishing Inc, 2008.7.7. M. M. MezardMezard, A. , A. MontanariMontanari: Information, Physics, and Computation, : Information, Physics, and Computation,
Oxford University Press, 2009.Oxford University Press, 2009.
14 January, 201014 January, 2010 Hokkaido University GCOE Tutorial (SapporoHokkaido University GCOE Tutorial (Sapporo)) 116116
ReferencesReferences
1.1. 田中和之編著田中和之編著: : 臨時別冊・数理科学臨時別冊・数理科学SGCSGCライブライブラリ「確率的情報処理と統計力学ラリ「確率的情報処理と統計力学 ------様々なア様々なアプローチとそのチュートリアル」プローチとそのチュートリアル」, , サイエンス社サイエンス社, , 20062006年年99月月..
2.2. 田中和之著田中和之著: : 確率モデルによる画像処理技術確率モデルによる画像処理技術入門入門, , 森北出版森北出版, 2006, 2006年年99月月..
3.3. 田中和之著田中和之著: : ベイジアンネットワークの統計的ベイジアンネットワークの統計的推論の数理推論の数理,,コロナ社コロナ社, 2009, 2009年年1010月.月.
14 January, 201014 January, 2010 Hokkaido University GCOE Tutorial (SapporoHokkaido University GCOE Tutorial (Sapporo)) 117117
文部科学省 科学研究費補助金 特定領域研究
「情報統計力学の深化と展開」
文部科学省文部科学省 科学研究費補助金科学研究費補助金 特定領域研究特定領域研究
「「情報統計力学の深化と展開情報統計力学の深化と展開」」
2006年4月-2010年3月領域代表:樺島祥介(東工大総合理工)20020066年4月-20年4月-201010年3月年3月領域代表:樺島祥介(東工大総合理工)領域代表:樺島祥介(東工大総合理工)
http://dex-smi.sp.dis.titech.ac.jp/DEX-SMI/http://dexhttp://dex--smi.sp.dis.titech.ac.jp/DEXsmi.sp.dis.titech.ac.jp/DEX--SMISMI//
情報統計力学 検索
DEX-SMI 検索
北大におけるメンバー:井上純一
14 January, 201014 January, 2010 Hokkaido University GCOE Tutorial (SapporoHokkaido University GCOE Tutorial (Sapporo)) 118118
DEXDEX--SMISMI EventsEventsInternational Workshop International Workshop on Statisticalon Statistical--Mechanical Informatics (IWMechanical Informatics (IW--SMI)SMI)
IWIW--SMI2007 (13SMI2007 (13--16 September, 2007, Kyoto)16 September, 2007, Kyoto)Information and Communication Technology and SMI Information and Communication Technology and SMI
IWIW--SMI2008 (14SMI2008 (14--17 September, 2008, Sendai)17 September, 2008, Sendai)Quantum Information Processing and SMI Quantum Information Processing and SMI
IWIW--SMI2009 (13SMI2009 (13--16 September, 2009, Kyoto)16 September, 2009, Kyoto)BioBio--Informatics and SMIInformatics and SMI
IWIW--SMI2010 (7SMI2010 (7--10 March, 2010, Kyoto)10 March, 2010, Kyoto)StatisticalStatistical--Mechanical Informatics (SMI)Mechanical Informatics (SMI)
Proceedings Proceedings Journal of Physics: Conference Series (IOP)Journal of Physics: Conference Series (IOP)
情報統計力学 検索
DEX-SMI 検索
top related