webpage: kazu ...kazu/physical...通信理論・像情報処理・確率推論 ict...

14 July, 2006 物理フラクチュオマティクス論(東北大) 1

物理フラクチュオマティクス論応用確率過程論(2006年7月14日)

東北大学大学院情報科学研究科

田中和之

[email protected]://www.smapip.is.tohoku.ac.jp/~kazu/

本講義の田中和之助教授担当分のWebpage:http://www.smapip.is.tohoku.ac.jp/~kazu/PhysicalFluctuomatics/2006/


本講義の参考文献

田中和之編著: 数理科学臨時別冊 SCG ライブラリ「確率的情報処理と統計力学 ---様々なアプローチとそのチュートリアル---」，サイエンス社，2006年9月刊行．大久保潤, 田中和之: 統計力学の基礎 ---複雑ネットワークとの関連にもとづいて---, 特集/ネットワーク科学の数理, 数理科学, Vol.44, No.8 (通巻 518 号), pp.24-29, August 2006.Jun Ohkubo, Muneki Yasuda and Kazuyuki Tanaka: Preferential Urn Model and Nongrowing Complex Networks, Physical Review E, Vol.72, No.6, Article No.065104(R), December 2005.


前回（６月１３日）までの田中助教授担当分のまとめ

確率的情報処理とベイジアンネットワーク（5月2日）確率的計算技法の基礎(5月2日)

マルコフ連鎖モンテカルロ法確率伝搬法

ベイジアンネットワークと確率的情報処理の応用事例（5月9日）確率的画像処理確率推論

統計的学習理論（6月13日）モデル選択とEMアルゴリズム

今回の話題（７月１４日）

複雑ネットワークの科学マルコフ過程とネットワーク生成モデルスケールフリーネットワーク


確率的情報処理 (Probabilistic Information Processing) の更なる拡大

通信理論・像情報処理・確率推論

ICT 技術の要請に耐えうる統計科学

コトの物理学としての定着

ポイントはやはり「たくさんが関連」

確率的情報処理のこれからの数理的基盤

統計科学

統計的学習理論

情報統計力学

日常生活の情報処理

データマイニング

複雑ネットワーク科学

今回のテーマ

14 July, 200614 July, 2006物理フラクチュオマティクス論物理フラクチュオマティクス論((東北東北

大大)) 55

ContentsContentsContents

1. 序論：確率的情報処理とベイジアンネットワーク（５月２日）2. 確率的計算技法の基礎

---マルコフ連鎖モンテカルロ法と確率伝搬法---（５月２日）3. 確率的画像処理とベイジアンネットワーク ---マルコフ確率場と確率伝搬法--- （５月９日）

4. 確率推論とベイジアンネットワーク---グラフィカルモデルと確率伝搬法--- （５月９日）

5. 統計的学習理論とモデル選択（６月１３日）6. 確率的情報処理のこれまでとこれから（６月１３日）7. 複雑ネットワークの科学（７月１４日）


ネットワークと情報処理

たくさんが関連して構成されるシステム

基本構成要素ノード (Node)

基本構成要素間の関連リンク(Link)

ネットワーク (Network)すぐ思いつく現実的なネットワークの例インターネットWorld Wide Web都市間の交通網（高速道路，航空路線）

ネットワークの構造に共通する性質

1. すべてのノード間がつながれている訳ではない（非完全グラフ）．2. ノード間のリンクの存在にはランダム性がある（ランダム性）．3. 少数ではあるがたくさんのノードとリンクでつながれているノードが存在する（ハブノードの存在）．


ネットワーク生成メカニズムと情報処理

1. すべてのノード間がつながれている訳ではない（非完全グラフ）．2. ノード間のリンクの存在にはランダム性がある（ランダム性）．3. 少数ではあるがたくさんのノードとリンクでつながれているノードが存在する（ハブノードの存在）．

世の中で自然発生的に構成されたネットワーク上のシステムは何故，うまく機能するのか?

どのような数理モデルに基づいてネットワークが生成されていると解釈することが妥当なのか?生成したネットワーク上で与えられた計算モデルにおいてどのような計算ルール（アルゴリズム）が効率的に機能するのか?

解明のための戦略


ネットワークにおけるハブの役割

例：仙台からベネチアまで飛行機で移動したいとしたら

仙台東京成田ミラノベネチア

札幌

新潟ジェノバ

フィレンツェ

もしすぐ近くの空港としか航空便がなければ何回乗り継ぎをしなければならなくなるだろう．

もしすべての空港間で航空便が運行していたら何台飛行機が必要だろう．

ハブの役割を果たす空港は多い必要はないが，ある程度の数は必要．

ハブの役割にも種類がある（日本のハブ空港，アジアのハブ空港，世界のハブ空港）．

空港のネットワークに階層構造が生まれる．

さまざまのネットワークにおける共通の数理の存在

ハブ空港のおかげで世界的距離が短くなる（スモールワールド）．

空港間・航空会社間の競争の原理から生み出され，最適化されている．


複雑ネットワーク生成におけるランダムネス

たくさんが関連して構成されるシステム

全体の構造はとても複雑だが個別のノード間のリンクはある一定の単純な規則に従って構成される．

必ず規則に従うのか?すべてのノードのリンクが規則に従って張られているならネットワークには規則性があるはず．

実際のネットワークは完全に規則性をもって構成されているとは言い難い．むしろランダムネスを伴うと考える方が自然．

複雑ネットワークはその生成過程でどのような規則性とどのようなランダムネスを伴うとき現実の効率的ネットワークと同様の統計的性質をもつのか?

複雑ネットワーク（ランダムネットワーク，スモールワールドネットワーク等）


複雑ネットワークにおける統計的性質

スモールワールド性スモールワールド性

平均最短経路長 l: ノード間を結ぶ最短経路の長さ（最短経路長）のすべてのノード対についての平均

平均次数

( ) ∑=

=N

ikkiN

kP1

,1 δ

次数 ki：ノード iにつながっているリンクの本数

N：ノードの総数

( )∑−

=

≡1

0

N

k

kkPk

k

lスケールフリー性スケールフリー性

10-5

10-4

10-3

10-2

10-1

100 101 102 103

P(k

)

k ( )kln

( )( )kPln

スモールワールド性はもつがスケールフリー性をもたない複雑ネットワーク

スモールワールド性とスケールフリー性を併せ持つ複雑ネットワーク

平均次数とともに平均最短経路長が急速に減少する．両対数プロットで直線にのる．

共通の数理関数系は生成モデルによる

ハブのあるなしの違い


複雑ネットワークと確率モデル

スモールワールド性はもつがスケールフリー性をもたない複雑ネットワーク

スモールワールド性とスケールフリー性を併せ持つ複雑ネットワーク

ハブのあるなしの違い

スモールワールド性とスケールフリー性はどのようなネットワーク生成モデルで出現するか?

確率モデルからの複雑ネットワークの理論的解明

ハブの生まれる原因は何か?

どのような競争の原理がポイントか?

数値実験ではだめ!!解析計算がはずせない!!


スモールワールドネットワークの生成の簡単な例

最短で９本９本のリンクを通って到達

最短で４本４本のリンクを通って到達

ランダムにリンクを選んで一端を別のノードにつなぎ変える操作を繰り返す．

初期状態すべてのノードの次数は4

ノードにつながっているリンクの本数をそのノードの次数次数という．


スモールワールドネットワークの生成と次数分布

k本のリンクを持つノードの個数についてのヒストグラムk4 k4 k4 k4


この操作を繰り返すと kはどのような分布に従うのだろうか?

すべてのノードが次数4

次数が3と5のノードが1個ずつ出現

次数が3と5のノードが2個ずつとなる．

次数が6のノードが出現．

初期状態

ノード毎につながっているリンクの本数をそのノードの次数という．


0.0

0.2

0.4

0.6

0.8

1.0

10-4 10-3 10-2 10-1 100

p

l (p) / l (0)

C(p) / C(0)

10-4 10-3 10-2 10-1 1

l(p)/l(0)平均最短経路長

p

1

0

0.2

0.4

0.6

0.8 C(p)/C(0)

スモールワールドネットワークの生成

k本のリンクを持つノードの個数についてのヒストグラム


p = 0.0

つなぎ変えられたリンクの割合

1

0.0

0.2

0.4

0.6

0.8

1.0

0 5 10 15 20

P(k

)

k

p = 0.80

k0 5 10 15 20

0

1p=0.8

P(k)

0.0

0.2

0.4

0.6

0.8

1.0

0 5 10 15 20

P(k

)

k

p = 0.00

0 5 10 15 200

p=0

P(k)

p = 0.8p=0.8

p=0

Poisson分布へ近づく

1

初期状態

80%のリンクがつなぎ変えられた時


ランダムネットワークの生成

1. N個のノードを用意する．2. 2個のノードを確率 p でランダムに選択し，リンクで結ぶ．

( ) 4

1

200

1

0=≡

−=

=

∑−

=

N

kkkPk

Nk

p

N

N=6

0.0

0.1

0.2

0.3

0.4

0.5

0 5 10 15 20P

(k)

k0 5 10 15 200

0.5

P(k) Poisson分布へ近づく

k


ランダムネットワークの次数分布の解析

( )∑−

=

≡

−=

1

0

1N

kkkPk

Nk

p

( ) ( )1

1

11

11

11 −−

−−

⎟⎟⎠

⎞⎜⎜⎝

⎛−

−⎟⎟⎠

⎞⎜⎜⎝

⎛−⎟⎟

⎠

⎞⎜⎜⎝

⎛ −=−⎟⎟

⎠

⎞⎜⎜⎝

⎛ −=

kNkkNk

Nk

Nk

kN

ppk

NkP

( ) ( )

( )1

1

0

1

1

0

11

1

11

11

−

−

=

−−

−

=

⎭⎬⎫

⎩⎨⎧

−−

+=

⎟⎟⎠

⎞⎜⎜⎝

⎛−

−⎟⎟⎠

⎞⎜⎜⎝

⎛−⎟⎟

⎠

⎞⎜⎜⎝

⎛ −=

=

∑

∑

N

N

k

kkNk

N

k

k

xN

k

xN

kN

kk

N

xkPxG ( ) ( )( )

∑∞+

=

−

+∞→

⎟⎟

⎠

⎞⎜⎜

⎝

⎛=

−=

0 !

1explim

k

kk

k

N

xkk

e

xkxG

( ) ( ) kk

Nk ekk

xGx

kP −

+∞→=⎥⎦

⎤⎢⎣⎡∂∂

=!

lim

4200=

=

kN

0.0

0.1

0.2

0.3

0.4

0.5

0 5 10 15 20

P(k)

k0 5 10 15 200

0.5P(k) Poisson

分布へ近づく

k

2項分布

母関数



ランダムネットワークの平均経路長の解析


( ) fixed:

11

0∑−

=

≡

−=

N

kkkPk

Nk

p ( ) ( )( )( ) ( )L

L

L

kkk

k

kkkkkn

1~1111

1

111 1

−−−−−

+=

−++−++= −L

( ) ⎟⎟⎠

⎞⎜⎜⎝

⎛ +∞→

− fixed

:1lnln~

kN

kNl

あるノードからみて距離 Lにある頂点の総数 n ~ N

平均最短経路長 l ~ L

( )+∞→N

( )fixed :/,, NLLN +∞→+∞→

k

( )1ln1−k

1

l


成長と優先的選択を伴うネットワーク生成モデル（Barabasi and Albert Model）

21

21

1)2(1 =X 1)2(1 =X

2)3(1 =X 1)3(2 =X

1)3(3 =X41

41

42

3)4(1 =X 1)4(2 =X

1)4(3 =X61

61

63

1)4(4 =X

61

1)4(3 =X61

62

62

612)4(1 =X

2)4(2 =X

1)4(4 =X

初期状態はノード２個，リンク１本から出発

ノード１個，リンク１本を時刻 nのネットワークのノードを1つランダムに選んで追加．

( )( ) ( ) ( )nXnXnX

nX

n

i

L++ 21

時刻 nのネットワークの i 番目のノードに追加する確率



2)3(1 =X 1)3(2 =X

1)3(3 =X41

41

42

3)4(1 =X 1)4(2 =X

1)4(3 =X61

61

63

1)4(4 =X

61

1)4(3 =X61

62

62

612)4(1 =X

2)4(2 =X

1)4(4 =X

2=n

21

21

1)2(1 =X 1)2(1 =X

3=n 4=n

5=n

200=n



200=n

( ) γ−= akkP( ) akkP logloglog +−= γ

k本のリンクにつながっているノードの個数に対するヒストグラム

スケールフリーネットワーク10-5

10-4

10-3

10-2

10-1

100

100 101 102 103

P(k

)k

0.0

0.2

0.4

0.6

0.8

1.0

0 10 20 30 40 50

P(k

)

k

( )( ) ( ) ( )nXnXnX

nX

n

i

L++ 21



成長するが優先的選択を伴わないネットワーク生成モデル

200=n

( ) ではない γ−= akkP

( ) ckaekP −=

k本のリンクにつながっているノードの個数に対するヒストグラム

スケールフリーネットワークではない

時刻 nのネットワークの i 番目のノードに追加する確率 1/n

0.0

0.2

0.4

0.6

0.8

1.0

0 10 20 30 40 50

P(k

)k

10-5

10-4

10-3

10-2

10-1

100

100 101 102 103

P(k

)

k

対数プロットしても直線にのらない


確率過程(離散時間)

確率変数の集合 nは時間{ }L,2,1,0=nX n

離散的な場合に限定

（離散）マルコフ過程 { }L,2,1,0=nX n

{ } { }nnnn XXXXXX 1101 Pr,,,Pr ++ =L

{ } { } { }

{ } { }

{ } { }01

1

01

10

11011010

PrPr

Pr,,Pr

,,,Pr,,,Pr,,,Pr

XXX

XXXX

XXXXXXXXXX

n

mmm

n

mmm

nnnn

⎟⎟⎠

⎞⎜⎜⎝

⎛=

⎟⎟⎠

⎞⎜⎜⎝

⎛=

=

∏

∏

=−

=−

−−

L

LLL


マルコフ過程

{ }L,2,1,0=nX n

{ } { } { }01

110 PrPr,,,Pr XXXXXXn

mmmn ⎟⎟

⎠

⎞⎜⎜⎝

⎛= ∏

=−L

{ }nn NX ,,2,1 L∈

{ } { }

{ } { }

{ } { } { }

{ } { }∑

∑ ∑ ∑ ∑ ∏

∑ ∑ ∑ ∏

∑ ∑ ∑

−

−

−

−

−

−

−

−

−

−

=−−

= = = =

−

=−−

= = = =−

= = =

=

⎟⎟⎠

⎞⎜⎜⎝

⎛⎟⎟⎠

⎞⎜⎜⎝

⎛=

⎟⎟⎠

⎞⎜⎜⎝

⎛=

=

1

1

1

1

0

0

1

1

2

2

0

0

1

1

1

1

0

0

1

1

1

1

111

1 1 1 10

1

111

1 1 10

11

1 1 110

PrPr

PrPrPr

PrPr

,,,PrPr

n

n

n

n

n

n

n

n

n

n

N

Xnnn

N

X

N

X

N

X

N

X

n

mmmnn

N

X

N

X

N

X

n

mmm

N

X

N

X

N

Xnn

XXX

XXXXX

XXX

XXXX

L

L

LL


マルコフ過程の推移確率

マルコフ過程 { }L,2,1,0=nX n { }nn NX ,,2,1 L∈

{ } { } { }∑−

− =−−=

1

1 111 PrPrPr

n

n

N

Xnnnn XXXX

{ }{ }

{ }

{ } { } { }{ } { } { }

{ } { } { }

{ }{ }

{ }⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

=

==

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

======

============

=

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

=

==

−−

−

−

−−−−

−−−−

−−−−

11

1

1

1111

1111

1111

Pr

2Pr1Pr

Pr2Pr1Pr

2Pr22Pr12Pr1Pr21Pr11Pr

Pr

2Pr1Pr

nn

n

n

nnnnnnnnnn

nnnnnnn

nnnnnnn

nn

n

n

NX

XX

NXNXXNXXNX

NXXXXXXNXXXXXX

NX

XX

M

L

MOMM

L

L

M

推移確率

推移確率行列

( )( )

( )

{ }{ }

{ }⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

=

==

=

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

+∞→

NX

XX

NP

PP

t

t

t

t

Pr

2Pr1Pr

lim21

MM定常分布



21

21

1)2(1 =X 1)2(1 =X

2)3(1 =X 1)3(2 =X

1)3(3 =X41

41

42

3)4(1 =X 1)4(2 =X

1)4(3 =X61

61

63

1)4(4 =X

61

1)4(3 =X61

62

62

612)4(1 =X

2)4(2 =X

1)4(4 =X

初期状態はノード２個，リンク１本から出発

ノード１個，リンク１本を時刻 nのネットワークのノードを1つランダムに選んで追加．

( )( ) ( ) ( )nXnXnX

nX

n

i

L++ 21



マルコフ過程によるBarabasi and Albert Model の解析

2=n3=n

等価

Barabasi and Albert Model

Yule Process



( ) ( ) ( ) ( ) ( ){ }

( ) ( ) ⎟⎠

⎞⎜⎝

⎛−−⎟⎟

⎠

⎞⎜⎜⎝

⎛−−

+=

===+=+=+

∑∑∑===

+

1112

,,11,1,,1Pr

111

11111

n

ii

n

ii

n

iii

i

nnnnn

klklnk

knXknXnXlnXlnX

δδ

LL

( ) ( ){ } 112,12Pr 21 === XX

初期状態

1 2

( ) ( ){ }

( ) ( ) ( ) ( ) ( ){ }

( ) ( ) ( ){ }1,,,Pr

1,,,1,,1Pr

1,,1Pr

1111

1

1

1

1

2

1

2

1111111

11

1 2 3 1

===×

===++=

++

−−

−

=

−

=

−

= =−−+

+

∑∑∑ ∑−

nXknXknX

nXknXknXnXnX

nXnX

nnn

n

k

n

k

n

k knnnn

n

n

L

LLL

L


マルコフ過程によるBarabasi and Albert Modelの解析

( ) ( ) ( ){ }( ) ( ) ( ) ( ) ( ){ } ( ) ( ){ }12,12Pr12,123,3,3Pr

3,3,3Pr

2121321

321

===== XXXXXXXXXX

( ) ( ){ } 112,12Pr 21 === XX

初期状態

( ) ( ) ( ){ }2113,23,13Pr 321 ==== XXX

( ) ( ) ( ){ }2113,13,23Pr 321 ==== XXX

1 2



( ) ( ) ( ){ }2113,23,13Pr 321 ==== XXX( ) ( ) ( ){ }

2113,13,23Pr 321 ==== XXX

( ) ( ) ( ) ( ){ }

( ) ( ) ( ) ( ) ( ) ( ) ( ){ } ( ) ( ) ( ){ }13,3,3Pr13,3,34,4,4,4Pr

4,4,4,4Pr

32211

2

1

2

1322114321

4321

1 2

======= ∑∑= =

XkXkXXkXkXXXXX

XXXX

k k

( ) ( ) ( ) ( ) ( ) ( ) ( ){ }1

13,3,314,14,4,14Pr21

132211432211 ++

=======+=kkkXkXkXXXkXkX

( ) ( ) ( ) ( ) ( ) ( ) ( ){ }1

13,3,314,14,14,4Pr21

232211432211 ++

======+==kkkXkXkXXXkXkX

( ) ( ) ( ) ( ) ( ) ( ) ( ){ }1

113,3,314,24,4,4Pr21

32211432211 ++========

kkXkXkXXXkXkX

( )( )( ) 13

2313

3

22

11

=====

XkXkX( )

( )( ) 13

1323

3

22

11

=====

XkXkX



初期状態

( ) ( ) ( ) ( ){ }

41

21

42

13,13,13,33Pr 3321

=×=

==== XXXX

( ) ( ) ( ) ( ){ }

41

21

412

14,14,24,24Pr 4321

=××=

==== XXXX

( ) ( ) ( ) ( ){ }

81

21

41

14,24,24,14Pr 4321

=×=

==== XXXX

( ) ( ) ( ) ( ){ }

81

21

41

14,24,14,24Pr 4321

=×=

==== XXXX

( ) ( ) ( ) ( ){ }

41

21

42

14,14,34,14Pr 4321

=×=

==== XXXX

1 2



( ) ( ) ( ){ }

( ) ( ) ( ) ( ) ( ) ( ){ }

( ) ( ) ( ){ }1,,,Pr

1,,,1,1,,1Pr

1,1,,1Pr

1111

1

1

1

1

2

1

2

1111111

11

1 2 3 1

===×

===+++=

+++

−−

−

=

−

=

−

= =−−+

+

∑∑∑ ∑−

nXknXknX

nXknXknXnXnXnX

nXnXnX

nnn

n

k

n

k

n

k knnnnn

nn

n

L

LLL

L

( ){ }

( ) ( ) ( ) ( ) ( ){ }1,,,,,Pr

Pr

11322211

1

1

1

1

2

1

2

1,

1 2 3 1

=====×

≡=

−−

−

=

−

=

−

= =∑∑∑ ∑

−

nXknXknXknXknX

knX

nnn

n

k

n

k

n

k kkki

n

i

L

L δ

( ){ } ( ){ } ( ){ }

( ) ( ){ } ( ) ( ){ }

( )2,1

Pr12

11Pr12

1

Pr11Pr11Pr11

>≤≤

=⎟⎟⎠

⎞⎜⎜⎝

⎛+

−+−=+−

=

=⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−+−=

−==+

∑∑ ==

kni

knXnkknX

nk

knXk

kknXk

kknX

ii

in

i iin

i ii



( ){ } ( ) ( ){ } ( ) ( ){ }∑∑=

+

=⎟⎟⎠

⎞⎜⎜⎝

⎛=⎟⎟

⎠

⎞⎜⎜⎝

⎛+

−+−=+−

==+n

iii

n

ii knX

nkknX

nkknX

1

1

1Pr

1211Pr

1211Pr

( ) ( ) ( ) ( ) ( )2,12

,112

11,1 ≥⎟⎟⎠

⎞⎜⎜⎝

⎛⎟⎠⎞

⎜⎝⎛

+−+−⎟

⎠⎞

⎜⎝⎛

+−

=++ knkPn

nknnkPn

nknkPn

( ) ( )( )( )( ) ( )

( )( ) ( ) ( )が十分大きい時 nknPkkk

nPkkkknkP

3~,112

!3

,1412121,

−

++=

++−−

=L

L

kについてのべき分布

定性的に再現

スケールフリーネットワーク

10-5

10-4

10-3

10-2

10-1

100

100 101 102 103

P(k

)

k


まとめ

複雑ネットワークの生成におけるメカニズム

ランダム性優先的選択性

が重要

Barabasi and Albert Modelはネットワークの成長を伴うがスケールフリー性にネットワークの成長は必要か?

成長を伴わないネットワークでもスケールフリー性は出現する:J. Ohkubo, M. Yasuda and K. Tanaka: Preferential Urn Model

and Nongrowing Complex Networks, Phys. Rev. E, Vol.72, No.6, Article No.065104(R), December 2005.


本講演の参考文献

田中和之・樺島祥介編, “ミニ特集/ベイズ統計・統計力学と情報処理”, 計測自動制御学会誌「計測と制御」2003年8月号．田中和之，村田昇，赤穂昭太郎他著，小特集/確率を手なづける秘伝の計算技法～古くて新しい確率・統計モデルのパラダイム～，電子情報通信学会誌2005年9月号．大久保潤, 田中和之: 統計力学の基礎 ---複雑ネットワークとの関連にもとづいて---, 特集/ネットワーク科学の数理, 数理科学, Vol.44, No.8 (通巻 518 号), pp.24-29, August 2006.田中和之編著: 数理科学臨時別冊 SCG ライブラリ「確率的情報処理と統計力学 ---様々なアプローチとそのチュートリアル---」，サイエンス社，2006年9月刊行．田中和之著:確率モデルによる画像処理技術入門，森北出版，2006年末刊行予定．

webpage: kazu ...kazu/physical...通信理論・像情報処理・確率推論 ict...

Documents