저 시-비 리- 경 지 2.0 한민

는 아래 조건 르는 경 에 한하여 게

l 저 물 복제, 포, 전송, 전시, 공연 송할 수 습니다.

다 과 같 조건 라야 합니다:

l 하는, 저 물 나 포 경 , 저 물에 적 된 허락조건 명확하게 나타내어야 합니다.

l 저 터 허가를 면 러한 조건들 적 되지 않습니다.

저 에 른 리는 내 에 하여 향 지 않습니다.

것 허락규약(Legal Code) 해하 쉽게 약한 것 니다.

Disclaimer

저 시. 하는 원저 를 시하여야 합니다.

비 리. 하는 저 물 리 목적 할 수 없습니다.

경 지. 하는 저 물 개 , 형 또는 가공할 수 없습니다.

이학석사 학위논문

인도부페 프로세스의 소개 및 고차원 자료에의 적용

The introduction of Indian Buffet Process

and its applications

to high-dimensional problem

2016년 2월

서울대학교 대학원

통계학과

이 은 하

인도부페 프로세스의 고차원 자료 적용

지도교수 이 재 용

이 논문을 이학석사 학위논문으로 제출함

2015년 10월

서울대학교 대학원

통계학과

이 은 하

이은하의 이학석사 학위논문을 인준함

2015년 12월

위 원 장 오 희 석 (인)

부위원장 이 재 용 (인)

위 원 원 중 호 (인)

국문초록

자율학습의 목적은 관측치로부터 잠재 변수를 찾는 것이다. 하지만 실

제 자료가 가지고 있는 잠재변수의 갯수를 아는 것은 쉬운 과정이 아니다.

이에 인도부페 프로세스는 각 관측치에 존재하는 특성들에 대한 비모수 사

전분포를 제공하여 잠재변수의 갯수를 추론 가능하도록 한다. 본 논문에서는

인도부페 프로세스를 다양한 방법으로 소개한다. 또한, 인도부페 프로세스를

이용한 추론방법인 깁스표집 알고리즘, 가속깁스표집 알고리즘 등을 살펴보

고가속깁스표집알고리즘을이용하여이미지자료를분석하는데적용해본다.

주요어 : 인도부페 프로세스, 잠재 변수 모형, 선형 가우시안 모형, 가속 깁스

알고리즘, 깁스 알고리즘, 고차원 자료

학 번 : 2014-20299

2

Contents

1 서론 1

2 인도부페 프로세스 이론 4

2.1. 부페 구조 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.2. 무한 극한 구조 . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.3. 막대 자르기 구조 . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.4. 베타-베르누이 구조 . . . . . . . . . . . . . . . . . . . . . . . . 11

3 추론 13

3.1. 깁스표집 알고리즘 . . . . . . . . . . . . . . . . . . . . . . . . 13

3.2. 가속깁스표집 알고리즘 . . . . . . . . . . . . . . . . . . . . . . 16

3.3. 그 외의 표집 알고리즘 . . . . . . . . . . . . . . . . . . . . . . 19

4 분석 20

4.1. 시뮬레이션 자료 분석 . . . . . . . . . . . . . . . . . . . . . . . 20

4.2. MNIST 숫자 손글씨 자료 분석 . . . . . . . . . . . . . . . . . . 21

4.3. 초분광영상 분석 . . . . . . . . . . . . . . . . . . . . . . . . . . 25

5 결론 27

i

List of Tables

3.1 N ×K차원의 이진행렬 Z와 D차원의 자료에 대한 표집방법별

소요시간 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

ii

List of Figures

2.1 인도부페 프로세스의 과정을 부페 구조로 구현한 방식 . . . . . 6

2.2 Figure 2.1의 이진행렬 Z를 왼쪽정렬한 행렬 [Z] . . . . . . . . 7

2.3 디리클레프로세스와인도부페프로세스의막대자르기구조방법 10

3.1 두 개의 부분으로 나뉜 관측치 행렬과 특성 행렬 . . . . . . . . 16

4.1 인도부페 프로세스를 적용한 시뮬레이션 자료 결과 . . . . . . . 21

4.2 가속깁스표집 알고리즘을 이용한 특성 시계열 그림 . . . . . . . 22

4.3 MINST에서 제공하는 숫자 손글씨 자료 . . . . . . . . . . . . . 22

4.4 1열: 원본 숫자, 2열: 인도부페 프로세스를 이용하여 복원한 숫

자, 나머지 열: 복원에 사용된 특성들 . . . . . . . . . . . . . . . 24

4.5 인도부페 프로세스 모형을 적용한 초분광영상 . . . . . . . . . . 25

iii

Chapter 1

서론

기계학습(Machine learning)의 일종인 자율학습(Unsupervised learning)은

목표 패턴에 근거하여 학습을 진행하는 지도학습(Supervised learning)과는

달리 입력 패턴에 근거하여 학습을 진행하는 방법이다. 기계학습 연구자들은

자율학습 방법을 이용하여 주어진 자료의 잠재구조를 파악하고, 이를 통해 자

료를 재구성하고자 하였다. 따라서 자율학습을 수행하는 데 있어서 가장 큰

쟁점은 겉으로 쉽게 확인할 수 없는, 숨겨진 잠재변수를 찾는 것이다. 예를

들어, 한 악단이 악보를 구할 수 없는 교향곡을 처음 듣고 이를 자신들의 연

주회에서 연주하고자 한다. 이를 위해서 가장 먼저 악단이 해야할 것은 그

교향곡을 연주하는데 사용된 악기들이 무엇인지 그리고 어느 부분에서 사용

되었는지를 찾는 것이다. 여기서 악단이 재구성하려는 교향곡은 자료가 되고,

연주에 사용되는 악기들은 하나하나의 잠재변수가 된다고 할 수 있다. 기존의

기계학습 방법은 자료를 재구성하기 위해 연구자 임의로 잠재 변수의 갯수를

설정한 뒤 학습을 진행하였다. 예에서 제시한 악단의 경우 악단장 임의로 교

향곡을 연주하는데 6개의 악기가 사용되었다고 지정하는 것이다. 하지만 많은

실제 사례에서 확인할 수 있듯이 잠재변수 갯수의 참값은 알 수 없다. 따라서

1

기계학습 연구자들은 이를 해결하기 위하여 사후분포를 추론하는 과정에서

잠재 변수의 갯수를 무작위(random)로 정하는 비모수 베이지안 방법에 주목

하였다.

비모수 베이지안 방법의 대표적인 모형은 Griffiths와 Gharahmani가 제안

한 인도부페 프로세스(Indian buffet process; Griffiths와 Gharahmani, 2005)

이다. 인도부페 프로세스는 무한한 이진 행렬에 대한 비모수 사전분포로써,

잠재특성을 모형화하기 위한 방법이다. 인도부페 프로세스를 통해 자료에 존

재하는 잠재특성치들의 갯수를 추정하는 것이 가능하고, 각 관측치가 가지고

있는 잠재 특성치가 어떠한 것인지 확인할 수 있다. 디리클레 프로세스 혼합

모형(Dirichlet process mixture model)과 달리 인도부페 프로세스를 이용한

모형은한개의관측치가무한개의특성치를가지고있는것이가능하다.예를

들어 전체 관측치를 베토벤의 교향곡 제2악장으로 가정하고 첫번째 관측치를

도입부 5분이라고 가정하여 인도부페 프로세스를 이용한 모형을 추정한다면,

전체특성치의갯수는 5개로추정되고첫번째관측치의특성치는비올라와첼

로로추정될것이다.따라서인도부페프로세스는 n번째관측치가임의의특성

치 k를 포함하고 있는지를 나타내는 이진 행렬, 즉 특성치 할당 행렬(feature-

assignment matrix)의 분포와 관련된 확률과정이다.

인도부페 프로세스는 자료에 존재하는 잠재변수들의 갯수를 알 수 없을

때 이를 결정해주는데, 이 때 사용하는 가장 대표적인 방법은 붕괴깁스표집

(collapsed gibbs sampling)과 비붕괴깁스표집(uncollapsed gibbs sampling)이

다. 붕괴깁스표집은 구하고자 하는 사후분포로 빨리 수렴하는 장점이 존재하

는반면비붕괴깁스표집은붕괴깁스표집에비해계산속도가빠르다는장점이

있다. 하지만 표본의 크기가 커질수록 두 방법 모두 계산 속도가 느려진다는

한계가 있다. 이에 Finale Doshi-Velez는 선형 가우시안 모형(Linear-Gaussian

model)에 대하여 정확성은 붕괴깁스표집 방법처럼 높으면서도 계산 속도는

2

비붕괴깁스표집 방법처럼 빠른 가속깁스표집(Accelerated gibbs sampling)을

제안하였다(Finale Doshi- Velez와 Zoubin Ghahramani, 2009).

본 논문은 가속깁스표집에 기반하여 인도부페 프로세스에 대해 전반적으

로 소개하고자 한다. 2절에서는 인도부페 프로세스의 이론, 3절에서는 추론을

위한 표집 알고리즘들을 소개한다. 이어 4절에서는 가속깁스표집 알고리즘을

이용하여 실제 자료에 적용한 예들을 살펴보고, 마지막으로 5절에서 인도부페

프로세스에 대해 정리하고 다른 적용가능한 분야들에 대하여 소개한다.

3

Chapter 2

인도부페 프로세스 이론

자료가 가지고 있는 잠재특성을 찾기 위해서는 첫째, 자료에 어떠한 특성

들이 존재하는지를 알아내고 둘째, 각각의 관측치들이 이렇게 찾아낸 특성들

중 어떠한 특성들을 가지고 있는지를 알아내는 순서이어야 할 것이다. 예를

들어 임의의 자료가 N개의 관측치를 가진다고 한다. 그렇다면 이 자료가 가

지고 있는 잠재특성을 파악하기 위해서는 자료 전체가 가지는 잠재특성들과

그 특성들 중 자료의 각 관측치가 가지는 특성들 사이의 관계를 표현할 수 있

는 매개가 필요하다. 인도부페 프로세스는 이 매개로 이진행렬인 특성치 할당

행렬(binary feature-assignment matrix) Z를 도입한다. 자료가 가지는 전체

잠재특성들의 갯수를 K라 할 때, 행렬 Z는 N × K차원의 행렬이다. 여기서

n번째 관측치가 k번째 특성치를 가지고 있다면 이진행렬 Z의 n행 k열은 1,

그렇지않다면 0을나타냄으로써행렬Z를통하여자료가가지고있는전체잠

재특성들과 각 관측치들이 가지고 있는 잠재특성들을 모두 한 번에 표현하는

것이 가능하다.

이를 기반으로 잠재특성모형에 대해 정리하면 다음과 같다. 관측치 X가

N × K차원의 행렬로 나타낼 수 있고, k번째 잠재특성을 벡터 형태의 fk로

4

나타낼 수 있을 때, 전체 K개의 잠재특성은 연속형 값을 가지는 행렬 F =

[fT1 fT2 · · · fTK ]로 표현할 수 있다. 이 때, i번째 관측치 xi = (xi1, xi2, · · · , xiD)T

는 K개의 전체 잠재특성들 중 일부의 영향을 받는다. 따라서 모든 관측치는

각 관측치들이 어떠한 잠재특성들과 관련이 되어있는지 보여주는 p(X|F )의

형태로 모형화하는 것이 가능하다.

여기서 행렬 F는 두 개의 요소로 나뉠 수 있는데, 바로 앞서 소개한 이진

특성치 할당 행렬 Z와 각 잠재특성의 가중치를 나타내는 행렬 A이다. 행렬 Z

의 (i, k)원소 zik는 i번째관측치가 k번째잠재특성을가지고있으면 1의값을,

k번째 잠재특성을 가지고 있지 않으면 0의 값을 가짐을 의미하며 따라서 행렬

F,Z,A는 F = Z⊗

A 즉 Z와 A 두 행렬의 원소 곱으로 나타낼 수 있다. 이

번 장에서는 인도부페 프로세스 이론을 이루는 구조들을 몇 가지 소개하고자

한다.

2.1. 부페 구조

인도부페 프로세스는 요리가 무한히 많이 진열되어있는 부페에서 N명의

손님들이 차례로 각자 먹을 요리를 선택하는 과정으로 설명할 수 있다. 여기

서 손님들은 관측치가 되고, 각 요리들은 잠재특성이 된다. 각각의 요리들이

왼쪽부터 오른쪽으로 차례로 무한히 진열되어 있다고 할 때, 첫번째 손님은

이 무한개의 요리들 중 Poisson(α)개의 요리를 왼쪽부터 차례대로 담아간다.

mk가 k번째 요리를 이전에 선택했던 손님의 수라고 할 때, 다음 손님인 두번

째 손님은 첫번째 손님이 선택한 요리들을 mk/2의 확률로 선택하고, 아무도

선택하지않았던요리들중 Poisson(α)개의갯수만큼선택하여왼쪽부터차례

대로담아간다.마찬가지로 i번째손님은 i−1명의손님들이선택한요리들을

mk/i의 확률로 선택하고, 아무도 선택하지 않았던 요리들 중 Poisson(α)개를

5

Figure 2.1: 인도부페 프로세스의 과정을 부페 구조로 구현한 방식

선택하여 왼쪽부터 차례대로 담아간다. 이러한 과정들을 계속해 나가다보면,

무한한요리가진열되어있음에도불구하고손님들의수는 N명으로유한하기

때문에 잠재특성치의 수도 유한할 것이라고 예측할 수 있다. 그러므로 관측치

인손님의수가많을수록잠재특성인선택되는요리의수도많아질것이다.이

과정을 간단히 살펴보면 Figure 2.1과 같다.

일반적으로인도부페프로세스를통해생성된이진행렬 Z는왼쪽정렬형태

(left-ordered form)가 아니다. 또한 손님들은 이전 손님들의 선택을 고려하여

자신이어떤요리를담을지선택하기때문에이진행렬 Z의행들은서로교환가

능(exchangeable)하지 않다. 그러나 요리를 기준으로 생각해본다면 이진행렬

Z의 열들은 서로 교환가능하다. Griffiths와 Ghahramani는 이러한 사실에 주

목하여 이진행렬 Z를 왼쪽정렬한 행렬을 [Z] = lof(Z)라 표기하였다. Figure

2.2는 Figure 2.1의 이진행렬 Z를 왼쪽정렬한 결과이다. Figure 2.2를 살펴보

면 먼저 첫번째 손님이 선택한 요리들에 해당하는 열들이 왼쪽부터 차례로

정렬되었다. 다음으로 정렬된 요리들은 첫번째 손님이 선택한 요리를 제외하

6

Figure 2.2: Figure 2.1의 이진행렬 Z를 왼쪽정렬한 행렬 [Z]

고 두번째 손님이 처음으로 선택한 요리들이다. 이와 같은 방법으로 마지막

손님인 다섯번째 손님까지 정렬된 것을 확인할 수 있다.

이렇게 왼쪽정렬된 행렬 [Z]에 대한 분포는

P ([Z]) =αK∏2N−1

h=1 Kh!exp−α

N∑j=1

1

j

K∏k=1

(N −mk)!(mk − 1)!

N !(2.1)

와같다.여기서 K는행렬 Z의열들중하나라도 0이아닌원소을가지고있는

열의 갯수를 의미하며, mk는 행렬 Z의 k열에서 1인 원소들의 갯수를 의미한

다. 또한 Kh는 h = 0 (또는 h = 1)의 값으로 표현되는 이진행렬 Z를 동일하게

갖는 열의 갯수이고 α는 각 관측치가 가질 것이라 예측되는 잠재특성치의 갯

수를 조절하는 하이퍼파라미터(hyperparameter)이다.

7

2.2. 무한 극한 구조

무한개의 특성을 가지고 있는 무한특성모형을 나타내려면 유한특성모형으

로부터유도해야한다.유한특성모형은고정된K개의특성을가진이진행렬에

대한 모형이다. 따라서 앞서 살펴본 부페 구조와 마찬가지로 N개의 관측치와

K개의 잠재특성치가 있고, 이진 특성치 할당 행렬 Z가 존재한다고 가정한다.

또한 각 관측치가 특성치 k를 가지고 있을 확률이 πk이고 잠재특성치는 독

립적으로 생성된다고 가정한다. 이때 유한특성모형은 다음과 같이 나타낼 수

있다.

πk|α ∼ Beta( αK, 1) (k = 1, · · · , K)

zik|πk ∼ Bernoulli(πk)

이로부터 계산된 이진행렬 Z의 주변확률은 다음과 같다.

P (Z) =K∏k=1

∫(N∏i=1

P (Zik|πk))p(πk)dπk

=K∏k=1

B(mk + αK, N −mk + 1)

B( αK, 1)

=K∏k=1

αK

Γ(mk + αK

)Γ(N −mk + 1)

Γ(N + 1 + αK

(2.2)

이제 K →∞일 때 식 (2.2)의 극한분포를 알아보기 위해서는 위의 방정식

으로 정의된 분포 Z를 이진행렬의 동등클래스(equivalence class)를 이용하여

왼쪽정렬행렬 [Z]로나타낼필요가있다.여기서동등클래스란앞서부페구조

에서 살펴본 lof(·)함수를 이용하여 정의한다. 동등클래스를 이용하여 정의된

[Z]의 분포는 다음과 같다.

8

P ([Z]) =∑Z∈[Z]

P (Z)

=K!∏2N−1

h=0 Kh!

K∏k=1

αK

Γ(mk + αK

)Γ(N −mk + 1)

Γ(N + 1 + αK

)

=K!∏2N−1

h=0 Kh!(

N !∏Nj=1(j + α

K))K(

α

K)K+

(N −mk)!∏mk−1

j=1 (j + αK

)

N !

이때 K를 극한으로 보내면 다음과 같이 나타낼 수 있다.

P ([Z]) =αK+∏2N−1h=0 Kh

exp−αN∑j=1

1

jK+∏k=1

(N −mk)!(mk − 1)!

N !(2.3)

여기서 K+는 전체 관측치가 갖는 총 특성의 갯수를 뜻한다. 식 (2.3)은 부페

구조에서 살펴본 식 (2.1)과 일치한다.

2.3. 막대 자르기 구조

인도부페프로세스를유도하기위해사용된무한극한구조는중국식당프로

세스(Chinese restaurant process)을유도하기위해디리클레다항모형의극한

구조를 사용한 방법에서 아이디어를 얻은 것이다. 그러나 중국식당 프로세스

를 유도하기 위해 꼭 디리클레 다항 모형의 극한 구조만을 사용해야하는 것은

아니다. Sethuraman(1994)은 디리클레 프로세스의 막대 자르기 구조 방법을

이용하여 중국식당 프로세스를 유도하고자 하였다. 이 방법은 마치 긴 막대를

조각내어 각 조각에 확률을 할당하는 것처럼 디리클레 프로세스를 이산적인

원소들의 집합으로 나누어 각 원소들에 확률을 할당하는 방법이다.

Teh et al.(2007)은중국식당프로세스에서의 Sethuraman의방법과마찬가

지로인도부페프로세스를정의하는데있어서도막대자르기구조를사용할수

9

Figure 2.3: 디리클레 프로세스와 인도부페 프로세스의 막대자르기 구조 방법

있다고보았다.막대자르기구조역시무한극한구조와마찬가지로각열에확

률 πk를 할당하고 πk의 확률로 각각이 독립적인 베르누이 확률 변수를 따르는

znk를 뽑는다. 여기서 각 πk는 Beta( αK, 1)을 따를때, π1:K = π1, π2, · · · , πK

에서 π1 > π2 > · · · > πK의 순서로 πk가 존재한다고 가정한다. 이는 디리

클레 프로세스에서 πk를 할당하는 방식과 정반대이다. Figure 2.3에서 가장

위에 있는 막대의 길이가 1이라고 하자. 오른쪽을 기준으로 이 실선 막대를

첫번째 수직 점선 위치에서 한번 잘라 두번째 직선과 같이 만든다. 디리클레

프로세스에서는 두 부분으로 쪼개진 막대 중 점선 막대를 π1으로 할당한다.

반대로 인도부페 프로세스에서는 두 부분으로 쪼개진 막대 중 실선 막대를 π1

으로 할당한다. 따라서 π1 > π2 > · · · > πK의 내림차순으로 할당된다.

K → ∞일 때, πk가 다음을 따른다면 이를 막대 자르기 구조방법을 통한

인도부페 프로세스라고 한다.

νki.i.d.∼ Beta(α, 1),

πk = νkπk−1

=k∏i=1

νi

10

Figure 2.3을 통해서도 확인할 수 있듯이 πk > πk+1이므로 막대 자르기 구

조방법을 이용하여 정의한 πk의 기댓값은 ( α1+α

)k가 된다. k가 커질수록 특성

k를 포함하는 관측치들의 확률은 빠르게 감소한다. 또한 α값이 클수록 πk의

기댓값은 느리게 줄어든다. 따라서 자료에서 많은 특성치들이 존재하려면 α

의 값이 커야만 한다.

2.4. 베타-베르누이 구조

교환가능한 확률변수열 (Z1, · · · , Zn)이 Q라는 분포를 따른다고 가정하면,

디 피네트의 정리(de Finetti theorem)에 따라

Z1, · · · , Zn|Pi.i.d.∼ P

를 만족하는 측도 P가 항상 유일하게 존재한다. 즉, 디 피네트의 정리란 교환

가능한확률변수열을조건부독립으로만드는측도가존재한다는정리이다. B

가 교환가능한 확률변수열 Zi의 랜덤원소의 측도를 나타날 때, 이는 다음과

같이 쓸 수 있다.

P (Z1, · · · , Zn) =

∫[n∏i=1

P (Zi|B)]dP (B) (2.4)

중국식당 프로세스의 경우 식 (2.4)를 만족하는 디 피네트 측도가 디리클

레 프로세스임이 알려져 있다. 인도부페 프로세스를 따르는 왼쪽정렬 이진행

렬[Z] 역시 교환가능하기 때문에 식 (2.4)를 만족하는 디 피네트 측도의 존

재성이 보장된다. 이에 Thibaux와 Jordan(2007)은 인도부페 프로세스에서의

디 피네트 측도가 베타-베르누이 프로세스(beta-bernoulli process)라는 것을

다음과 같이 보였다.

11

δω가 ω에서의 단일(unit) 포인트 메스(point mass)일 때, 확률변수 B =∑i piδωi

가 B ∼ BP (c, B0)를 따른다. 또한 Xi|B ∼ BeP (B)가 서로 독립

이면서 B를 기저측도(base measure)로 가지는 베르누이프로세스를 따른다고

하자. 이때, B에 대한 사후분포는

B|X1,··· ,n ∼ BP (c+ n,c

c+ nB0 +

1

c+ n

n∑i=1

Xi)

로 베타프로세스를 따름을 알 수 있다. 한편 X1은 연속형인 B0를 위험측도

(hazard measure)로 가지는 베르누이프로세스를 따른다. 이를 이용하여 n명

의 손님들(X1,··· ,n) 중 요리 ωj를 선택한 손님이 mn,j명일 때, n+ 1번째 손님이

요리 ωj를 선택할 확률을 구해보면 다음과 같다.

Xn+1|X1,··· ,n ∼ Bep(c

c+ nB0 +

1

c+ n

n∑i=1

Xi)

= Bep(c

c+ nB0 +

∑j

mn,j

c+ nδωj

) (2.5)

여기서 c는 상수이고 B0를 B0(Ω) = γ를 만족한다. X1 ∼ Bep(B0)이고 B0는

연속이므로, X1은 강도(intensity) B0를 가지는 포아송프로세스이다. 따라서

X1이 가지는 총 특성의 갯수는 Poi(γ)를 따르며 이는 인도부페 프로세스에서

첫번째 손님이 선택할 요리의 갯수와 일치한다.

식 (2.6)은 베르누이프로세스와 포아송프로세스의 합으로 이루어져있다.

Xn+1 = U+V로표현한다면 U는 Bep(∑

jmn,j

c+nδωj

)를따르고 V는 Bep( cc+n

B0)

를 따른다. 여기서 U는 확률mn,j

c+n을 가지고 ωj에서 원자(atom)를 가지는 베

르누이프로세스이고, V는 강도(intensity) cc+n

B0를 가지는 포아송프로세스

이다. 따라서 Xn+1은 X1, · · · , Xn이 가지는 특성들을mn,j

c+n의 확률로 가지고

X1, · · · , Xn이 가지지 않은 특성들을 Poi( cγc+n

)의 확률로 가진다. 이는 인도부

페프로세스에서 n+1번째손님이요리를선택하여담아가는과정과일치한다.

12

Chapter 3

추론

앞서 살펴본 인도부페 프로세스는 가상으로 관측치들을 만드는데 사용할

수 있다. 이진 특성치 할당행렬 Z를 인도부페 프로세스를 이용하여 생성한

뒤 가능도 모형인 p(X|Z)에 적용하는 것이 그 방법이 된다. 따라서 관측치 X

가 주어졌을때, 가능도 모형 p(X|Z)을 정확히 추론할 수 있어야 한다. 이러한

추론을 위한 알고리즘은 모형의 종류에 따라 여러가지가 존재하는데, 본 논문

에서는 선형 가우시안 모형(linear Gaussian model)에 초점을 맞추어 다양한

알고리즘들을 소개한다.

3.1. 깁스표집 알고리즘

깁스표집(Gibbs sampling)알고리즘은마코프체인몬테카를로(Markov-Chain

Monte Carlo) 방법을 이용한 방법이다. 앞서 특성행렬 A는 특성치 할당 행렬

Z을기반으로관측치 X를재생성하기위해필요한모수들을표현한다는것을

살펴보았다. 인도부페 프로세스에서 추론하고자 하는 목표는 관측치 X와 가

능도 함수 P (X|Z,A)를 기반으로 하여 결합분포인 p(Z,A|X)로부터 표본을

13

추출하는 것이다.

p(Z,A|X)로부터 A와 Z를표집하는방법은두가지로,하나는비붕괴깁스

표집(uncollapsed Gibbs sampler)방법이고,또다른하나는붕괴깁스표집방법

(collapsed Gibbs sampler)이다.두방법모두기존에나타난특성에대해이진

행렬의각원소를표집한뒤,새롭게나타나는특성을추가하고이를바탕으로

A를 표집하는 순서로 진행된다.

비붕괴깁스표집 방법은 Z와 A를 각각의 조건부 사후분포인 p(A|Z,X)와

p(Z|A,X)에서표집하는방법이다.먼저 p(A|Z,X)로부터이진행렬 Z를표집

하기 위해서는 각 관측치가 기존에 나타난 특성을 포함할 지 여부를 결정해야

한다. m−ik가 이진행렬 Z의 k번째 열에서 i번째 원소를 제외한 나머지 원소들

중 1의 값을 가지는 원소의 갯수를 뜻할 때, i번째 관측치가 기존에 존재하는

특성을 포함할지에 대한 여부는 다음과 같다.

p(zik = 1|z−ik, A,X) ∝ m−ikN − 1

p(X|A,Z)

p(zik = 0|z−ik, A,X) ∝ (1− m−ikN − 1

)p(X|A,Z)

관측치가 기존에 존재하는 특성 이외에 새로운 특성을 가지는지, 가진다면

얼마나 가지는지에 대한 여부는 다음에 근거하여 정해진다.

p(knew|X) ∝ Poisson(knew; αN

)p(X|Anew, Znew)

여기서 Znew는기존의이진행렬 Z에새롭게추가되는특성이 knew개만큼덧붙

여져 새롭게 생성된 이진행렬을 뜻한다. 마찬가지로 Anew는 기존의 특성행렬

A에 새롭게 추가되는 특성이 knew개만큼 덧붙여져 새롭게 생성된 특성행렬을

뜻한다.예를들어기존의이진행렬 Z는 N×K차원이고기존의특성행렬 A는

D×K차원일때,관측치 n에서위식에의해새롭게추가되는특성이 knew = 2

개라고 한다. 그렇다면 Znew는 n번째 관측치가 기존에 존재하는 특성 이외에

새롭게 특성 2개를 가지게 되므로 (n,K + 1) = (n,K + 2) = 1의 값을 가지는

14

N × (K + 2)차원 행렬이 된다. 마찬가지로 기존의 특성행렬 A도 D× (K + 2)

차원 행렬 Anew가 된다.

이를바탕으로 A를표집하기위해서는평균이 µA,분산이 σA인정규분포를

이용한다.

µA = (ZTZ +σ2X

σ2A

I)−1ZTX,

σA = σ2X(ZTZ +

σ2X

σ2A

I)−1 (3.1)

반면 붕괴깁스표집 방법의 경우 먼저 Z를 p(Z|X)을 통해 표집한 뒤 A

를 p(A|Z,X)로부터 표집한다. 따라서 비붕괴깁스표집방법에서 자료와 A가

주어진 상황에서 Z를 표집하는 것이 붕괴깁스표집방법에서는 자료만 주어진

상황에서 Z를 표집하고 그 후 A를 표집하는 상황으로만 달라진 것이다. 그러

므로 σX , σA, α가 고정된 모수일 때, p(X|Z)가

p(X|Z) =

∫A

p(X|Z,A)p(A)dA

=exp− 1

2σ2Xtr(XT (I − Z(ZTZ +

σ2X

σ2A

)−1ZT )X)

(2π)ND2 σ

(N−K)DX σKDA |ZTZ +

σ2X

σ2AI|D2

(3.2)

의 형태로 표시된다. i번째 관측치가 기존에 존재하는 특성을 포함하는지에

대한 여부는

p(zik = 1|z−ik, A,X) ∝ m−ikN − 1

p(X|Z)

p(zik = 0|z−ik, A,X) ∝ (1− m−ikN − 1

)p(X|Z)

으로 나타낼 수 있다. 새로운 특성을 표집하는 방법은

p(knew|X) ∝ Poisson(knew; αN

)p(X|Znew)

15

Figure 3.1: 두 개의 부분으로 나뉜 관측치 행렬과 특성 행렬

의확률에근거하여표집하는것이다.여기서 Znew는비붕괴깁스표집방법에서

와마찬가지로특성 n에대해이진행렬 Z에 1의값으로새롭게추가되는특성

knew개가덧붙여져생성된이진행렬을뜻한다. A를표집하는방법은비붕괴깁

스표집에서의 방법과 동일하게 평균이 µA, 분산이 σA인 정규분포를 이용하는

방법으로 식 (3.1)과 같다.

3.2. 가속깁스표집 알고리즘

앞서 살펴본 붕괴깁스표집은 식 (3.2)와 같이 나타나는 Znk에 대한 가능

도 함수가 전체 자료를 기반으로 계산한 값을 가진다. 따라서 매번 표집을

할 때마다 전체 자료에서 계산을 해야하므로 일부 자료를 기반으로 계산하

는 비붕괴깁스표집의 속도보다 느릴 수 밖에 없다. 그러나 비붕괴깁스표집은

붕괴깁스표집에 비해 수렴의 속도가 느리다. 이에 Finale Doshi-Velez(2009)

는 수렴 속도는 붕괴깁스표집처럼 빠르면서도 계산 속도는 비붕괴깁스표집과

비슷한 가속깁스표집(Accelerated sampler)를 제안한다.

가속깁스표집의 아이디어는 관측치를 두 부분으로 나누는 것이다. Figure

16

3.1을 통해 확인할 수 있듯이, W개의 관측치를 포함하는 하나의 창 XW와

XW에 포함된 관측치외의 나머지 모든 관측치들을 포함하는 창 X−W의 두

부분으로 관측치를 나눈다. 이제 XW와 X−W를 통하여 이진행렬 Z를 생성해

야하는데 X = Z ×A이므로 Z를 생성하기 위해서는 특성행렬 A가 필요하다.

만약특성행렬 A를모르는상태라면이진행렬 Z는 XW와 X−W에만기반하여

생성하여야 한다. 반대로 특성행렬 A를 아는 상태라면 이진행렬 ZW는 XW

만으로 생성할 수 있다. 가속깁스표집은 이러한 사실에 초점을 맞추어 표집을

진행하고 사후분포 p(A|X−W , Z−W )에 기반한다.

가속깁스표집 알고리즘을 간단히 살펴보면 다음과 같다. 먼저 임의로 이

진행렬 Z를 초기화한 다음 주어진 모든 자료들을 포함하여 p(A|Z,X)를 식에

의해 계산한다. 이제 무작위로 W개의 관측치를 선택하여 XW와 X−W , 두 부

분으로 나눈다. 다음 p(A|Z−W , X−W ) = N(µA−W ,ΣA−W )를 p(A|Z,A)를 통해

계산하는데 여기서 µA−W ,ΣA−W는 ΣX = σ2

xI, b = (I − ΣAZTW (ZWΣAZT

W +

ΣX)−1ZWΣA)−1일 때,

µA−W = b(µA − ΣAZTW (ZWΣAZT

W + ΣX)−1XW )

ΣA−W = (I − ΣAZT

W (ZWΣAZTW − ΣX)−1ZW )ΣA

이다. ZW안의 Znk 각각은

P (Znk|Z−nk, X) ∝ mk

nN(XW ; ZWµ

A−W , ZWΣA

−WZTW + ΣX)

에 의해 구한다. 지금까지 각 관측치들이 기존의 특성을 포함할지 여부를 결

정하였다. 이제 관측치가 기존에 존재하는 특성 이외에 새로운 특성을 얼마나

가지는지는 다음에 근거하여 정해지는데 이는 붕괴깁스표집에서의 방법과 같

음을 알 수 있다.

p(knew) ∝ Poisson(knew,αN

)p(X|Znew)

17

Table 3.1: N ×K차원의 이진행렬 Z와 D차원의 자료에 대한 표집방법별 소

요시간

알고리즘 소요시간

붕괴깁스표집 O(N3(K2 +KD))

비붕괴깁스표집 O(NDK2)

가속깁스표집 O(N(KDW 2 +K2))

W=1일때,

가속깁스표집O(N(K2 +KD))

여기서 p(X|Znew)는 p(XW |Znew)와 같다. ZW안의 관측이 Znk에 대하여 위의

작업들을 수행했다면 p(A|Z−W , X−W )를 이용하여 p(A|Z,A) = N(µA,ΣA)를

업데이트하는데 여기서 µA,ΣA는 각각

µA = µA−W + ΣA−WZ

TW (ZWΣA

−WZTW + ΣX)−1(XW − ZWµA−W )

ΣA = (I − ΣA−WZ

TW (ZWΣA

−WZTW + ΣX)−1ZW )ΣA

−W

와같다. i번반복시,기존에선택했던Wi개의관측치를제외한나머지 N−Wi

개의 관측치들중 W개를 선택하여 최종적으로 W −Wi = 0이 될 때까지 위의

작업들을 반복하여 이진행렬 Z와 특성행렬 A를 최종적으로 생성한다.

Finale Doshi-Velez는 선형 가우시안 모형하에서 N × K차원의 이진 특

성행렬 Z를 생성하기 위해 소요되는 시간을 붕괴깁스표집, 비붕괴깁스표집

그리고 가속깁스표집에 따라 계산하여 비교하였고 특히 가속깁스표집의 경우

W = 1일 때와도 비교하였는데 그 결과는 Table 3.1과 같다.

결과를 살펴보면, 가속깁스표집을 통한 소요시간이 붕괴깁스표집이나 비

붕괴깁스표집을 통한 소요시간보다 K와 D가 클 때 적음을 확인할 수 있다.

특히 W = 1일 때의 가속깁스표집은 W > 1일 때보다 고차원 자료에서 소요

18

시간이 훨씬 줄어들 것으로 보인다.

3.3. 그 외의 표집 알고리즘

인도부페 프로세스를 이용한 모형의 추론을 위해 앞에서 제시한 방법들은

모두 마코프체인 몬테카를로(Markov chain Monte Carlo; MCMC) 방법을 이

용한 알고리즘들이다. 앞에서 제시한 방법들 이외에 마코프체인 몬테카를로

방법을 이용한 알고리즘은 슬라이스 샘플러(Teh et al. 2007), 메트로폴리스

나누기-합치기 방법(Metropolis split-merge proposals; Meeds et al., 2007),

입자 필터링(particle filtering; Wood와 Griffiths, 2007)등이 있다. 이러한 확

률적 근사에 기반한 마코프체인 몬테카를로 알고리즘들은 방대한 양의 자료

에 적용하기 어려울 때가 종종 있는데, 이를 해결하기 위한 방법으로 Finale

Doshi-Velez가 제안한 변분 방법(variational method)이 존재한다.

19

Chapter 4

분석

4.1. 시뮬레이션 자료 분석

인도부페프로세스를이용한모형을적용할수있는떠올리기가장쉬운예

는각이미지에포함되어있는특징을찾는문제이다.다음의간단한그림찾기

문제를 통하여 인도부페 프로세스 모형을 이용한 분석을 앞서 소개한 가속깁

스표집 알고리즘을 통하여 살펴보자. Figure 4.1의 첫번째 행에서 표현된 4

개의서로다른특징들이있다.이특징들이선형결합되고,노이즈를추가하여

6×6차원의자료 100개를임의로생성하였다고하자.이자료들이주어졌을때,

인도부페프로세스를이용하여 4개의특징들을얼마나잘찾아내는지,또한이

특성들의 조합으로 실제 자료를 얼마나 잘 복원하는지를 확인해보고자 한다.

Figure 4.1의 두번째 행은 가속깁스표집 알고리즘을 이용하여 찾아낸 특성

들이다. 첫번째 행과 비교해보면 정확히 원본 특성과 똑같은 4개의 이미지를

특성으로 찾아냈다. Figure 4.1의 세번째 행은 실제 자료 X이고 마지막 행은

가속깁스표집 알고리즘을 이용하여 복원한 자료이다. 인도부페 프로세스를

이용한결과실제자료보다훨씬깨끗하고정확한복원이미지를보여준다.특

20

Figure 4.1: 인도부페 프로세스를 적용한 시뮬레이션 자료 결과

정 반복수에서의 이미지 특성의 정보를 시계열 그림의 형태로 나타낸 결과는

Figure 4.2과 같다. 시계열 그림을 통해, 표집이 반복되면서 실제 특성을 찾아

가는 것을 확인할 수 있다. 특히 가속깁스표집 알고리즘이 사후분포에 비교적

빨리 수렴한다는 사실을 시계열 그림을 통하여 확인할 수 있다.

4.2. MNIST 숫자 손글씨 자료 분석

MNIST에서 제공하는 숫자 손글씨 자료(Figure 4.3) 역시 인도부페 프로세

스 모형을 이용하여 분석할 수 있다. 숫자 손글씨 자료는 0부터 9까지의 숫자

들을 여러명의 사람들이 자신의 손글씨로 적은 자료이다. 이 자료에 인도부페

21

Figure 4.2: 가속깁스표집 알고리즘을 이용한 특성 시계열 그림

Figure 4.3: MINST에서 제공하는 숫자 손글씨 자료

22

프로세스를 이용하여 각 숫자들을 구분하는 특징들을 얼마나 잘 찾아내는지,

또한 이 특성들의 조합으로 실제 자료를 얼마나 잘 복원하는지를 확인해보고

자한다.숫자손글씨자료이미지는 28×28픽셀으로이루어져있으며 100개의

자료를 이용하였다. 따라서 전체 자료는 100 × 784의 행렬 형태로 나타낼 수

있고, 이는 자료의 차원이 관측치의 갯수보다 큰 고차원 자료이다. 이러한 고

차원 자료 역시 인도부페 프로세스를 적용하여 분석이 가능하나 표집시간이

오래 걸린다는 단점이 존재한다. 이에 본 논문은 고차원의 자료를 주성분분

석(Principal Components Analysis; PCA)을 이용하여 50개의 차원을 가진

자료로 축소한 뒤 인도부페 프로세스 모형을 적용하였다. 이 자료 역시 가속

깁스표집 알고리즘을 통하여 추론하였고 Figure 4.4은 그 결과의 일부이다.

Figure 4.4의첫번째열은원본숫자이고두번째열은인도부페프로세스를

이용하여복원한숫자이다.주성분분석을이용하여차원을축소했음을감안할

때, 6개의 자료 모두 원본 숫자 이미지를 복원할 수 있음을 보여준다. 첫번째

열과 두번째 열을 제외한 나머지 열들은 복원에 사용된 이미지특성들이다.

원본 숫자가 3인 이미지들의 특성을 살펴보면 세 자료 모두 숫자를 복원하는

데 3,4,5열에 제시된 특성을 공통으로 사용했다는 것을 확인할 수 있다. 이는

Figure 4.4에 제시된 자료 이외에 원본 숫자가 3인 이미지들의 특성에도 동일

하게 나타난다. 따라서 3,4,5열에 제시된 특성을 모두 가지는 숫자는 3이라고

추론할 수 있다. 마찬가지로 원본 숫자가 0인 이미지들의 특성을 살펴보면 세

자료 모두 숫자를 복원하는데 3,4,5열에 제시된 특성을 공통으로 사용했다는

것을 확인할 수 있다. 이 역시 Figure 4.4에 제시된 자료 이외에 원본 숫자가 0

인 이미지들의 특성에도 동일하게 나타나므로 이 세가지 특성을 모두 가지는

숫자는 0이라고 추론할 수 있다.

23

Figure 4.4: 1열: 원본 숫자, 2열: 인도부페 프로세스를 이용하여 복원한 숫자,

나머지 열: 복원에 사용된 특성들

24

Figure 4.5: 인도부페 프로세스 모형을 적용한 초분광영상

4.3. 초분광영상 분석

초분광영상은 풍경 또는 물질에 대하여 그들의 공간적 정보뿐만 아니라 스

펙트럼(spectral) 정보도 제공한다. 초분광영상은 이 스펙트럼을 단순히 빛의

삼원색인 적·녹·청의 세 가지로 나누지 않고 이보다 더 많은 가지 수로 나누어

이미지를 복원한다. 따라서 초분광영상의 목표는 주어진 이미지 상에서 서로

다른물체를구분하기위해각픽셀에대한분광색(spectral color)즉,특징들을

찾는 것이다.

분석에 사용한 초분광영상은 David H Foster가 제공하는 이미지 중 하나

(Figure 4.5 (a))로 820×820픽셀의형태이다.이초분광영상자료에인도부페

프로세스를 이용하여 다양한 물체들을 구분하는 특징들을 얼마나 잘 찾아내

는지확인해보았다.이자료역시MNIST자료와마찬가지로고차원자료이므

로 표집시간의 단축을 위해 자료의 차원을 축소하여 200× 200픽셀의 형태인

25

Figure 4.5의 (b)과 (c)를 분석에 사용하였다.

Figure 4.5의 (d)와 (e)는 (a)와 (b)를 각각 인도부페 프로세스 모형에 적용

한결과이다.두결과모두이미지상에서겹쳐있는물체들을명확하게구분한

것을 알 수 있다. 특히 이미지 상의 명암 구분도 하여 훨씬 명확하게 이미지를

복원한것을확인할수있다.이는단순히적색,녹색,청색의세가지특징만으

로 이미지를 복원하지 않고 세 가지 색의 다양한 조합들을 이용하여 이미지를

복원하였기 때문이다. 따라서 초분광분석에서 인도부페 프로세스 모형을 적

용하면 여러개의 물체가 겹쳐 있거나 물체들이 얼핏 보기에는 비슷한 색을

가지더라도 각 물체들을 정확히 구분할 수 있다.

26

Chapter 5

결론

본논문은인도부페프로세스를소개하고가속깁스표집알고리즘을통하여

그 응용을 살펴보았다. 인도부페 프로세스는 비모수 베이지안 모형 중 하나로

잠재 특성의 갯수를 정확하게 알지 못하더라도 그 갯수를 추론하여 모형을

추정해준다는 장점을 가진다. 따라서 인도부페 프로세스를 이용하면 단순한

자료뿐만 아니라 고차원 자료와 같이 복잡한 자료도 모형화할 수 있다. 본 논

문에서 소개한 자료들 이외에도 인도부페 프로세스를 적용할 수 있는 분야는

매우 다양하다. 그 예로 의학분야에서 흔히 관측할 수 있는 쌍(dyadic) 자료분

석, 사회학 또는 경영학에서 접할 수 있는 개인의 행동 선택(choice behavior)

자료분석 그리고 신호자료에 대해 적용할 수 있는 독립성분분석(Independent

Component Analysis; ICA)을 들 수 있다. 이처럼 인도부페 프로세스의 활용

범위는 무궁무진하므로 앞으로 인도부페 프로세스에 대한 연구가 활발해져

적용 분야가 넓어지길 기대한다.

27

Bibliography

[1] Finale Doshi, Kurt Miller, Jurgen V Gael, and Yee W Teh. Variational

inference for the indian buffet process. In International Conference on

Artificial Intelligence and Statistics, pages 137–144, 2009.

[2] Finale Doshi-Velez et al. The indian buffet process: Scalable inference

and extensions. Master’s thesis, The University of Cambridge, 2009.

[3] Finale Doshi-Velez and Zoubin Ghahramani. Accelerated sampling for

the indian buffet process. In Proceedings of the 26th Annual International

Conference on Machine Learning, pages 273–280. ACM, 2009.

[4] David H Foster, Kinjiro Amano, Sergio Nascimento, and Michael J Foster.

Frequency of metamerism in natural scenes. JOSA A, 23(10):2359–2372,

2006.

[5] Thomas L Griffiths and Zoubin Ghahramani. The indian buffet process:

An introduction and review. The Journal of Machine Learning Research,

12:1185–1224, 2011.

[6] Yee W Teh, Dilan Gorur, and Zoubin Ghahramani. Stick-breaking con-

28

struction for the indian buffet process. In International Conference on

Artificial Intelligence and Statistics, pages 556–563, 2007.

[7] Romain Thibaux and Michael I Jordan. Hierarchical beta processes and

the indian buffet process. In International conference on artificial intel-

ligence and statistics, pages 564–571, 2007.

[8] Lee Youngseon, Lee Kyoungjae, Lee Kwangmin, Lee Jaeyong, and Seo

Jinwook. Introduction to the indian buffet process: Theory and applica-

tions. The Korean Journal of Applied Statistics, 28(2):251–267, 2015.

29

Abstract

Eunha Lee

The Department of Statistics

The Graduate School

Seoul National University

The goal of unsupervised learning is to identify hidden features from obser-

vations. However, it is difficult to specifying the number of hidden features

in many real-world datasets. Hereupon, the Indian Buffet Process(IBP) pro-

vides a nonparametric prior on the features present in each observation. In

this paper, we introduce the Indian Buffet Process using various inference

techniques. We then present inference techniques for the Indian Buffet Pro-

cess such as gibbs sampling and accelerated sampling. Also, using accelerated

sampling, we analyze some image datasets.

Keyword :Indian buffet process, Latent feature model, Linear-Gaussian model,

Accelerated sampling, Gibbs sampling, High-dimensional problem

Student Number : 2014-20299