a bayesian reassessment of nearest-neighbor classification...

Introdução KNN Probabilístico Inferência Bayesiana Simulação Considerações Finais

A Bayesian Reassessment ofNearest-Neighbor Classification (2009)

Cucala, Marin, Robert e Titterington

André Yoshizumi Gomes (IME/USP)

Seminário ministrado no Insper

5 de fevereiro de 2016

A Bayesian Reassessment of Nearest-Neighbor Classification (2009) IME-USP / INSPER


O método knn original (determinístico)

k-Nearest Neighbor (Ripley, 1994, 1996): Método declassificação supervisionada, para explorar a conexão funcionalentre um grupo de variáveis preditoras (X ) e uma variávelcategórica que representa classes pré-estabelecidas (Y ).

Exemplo: classificação de peixes.

I Preditoras (X ): peso do peixe, comprimento do peixe.I Classes (Y ): salmão / robalo.




Suponha uma amostra treinamento de n observações, cadauma delas alocada em uma de G classes.

I Dados de treinamento: (yi , xi)ni=1.

I yi ∈ {1, 2, . . . ,G}: classe da i-ésima observação.I xi ∈ Rd : vetor de d preditoras da i-ésima observação.

Uma classe yn+1 não observada, associada a um conjunto depreditoras xn+1, é estimada pela classe mais frequente dentreos k vizinhos mais próximos de xn+1 na amostra treinamento.




A vizinhança é definida no espaço das covariáveis xi :

Nk(xn+1) ={1 ≤ i ≤ n; d (xi , xn+1) ≤ d (., xn+1)(k)

}.

I d (., xn+1): Vetor de distâncias (euclidianas) até xn+1.I d (., xn+1)(k): k-ésima estatística de ordem do vetor.

O valor de k é usualmente obtido ao avaliar o erro declassificação de validação cruzada (leave one out).Toma-se o valor de k que minimiza este erro.




Ilustração: Banco de dados de Ripley (1994).(http://www.stats.ox.ac.uk/pub/PRNN)

I Classificação em duas categorias; populações de mesmotamanho.

I Amostra treinamento: n = 250.I O modelo é testado em um novo grupo de m = 1000

observações.

Os autores também avaliam o erro de classificação devalidação cruzada como uma função de k .




Amostras treinamento e teste (Ripley, 1994).




Taxa de classificação errônea de validação cruzada (leave one out)como função de k .



Objetivo do artigo

Como incorporar a incerteza nas previsões das classes de novasobservações?

Holmes e Adams (2002, 2003) abordam o problema sob umponto de vista estatístico.

I Em vez de simplesmente atribuir uma das classes àsnovas observações, associam uma probabilidade à cadapossível classe.

I Utilizam um enfoque Bayesiano: introduzem novosparâmetros, estabelecem distribuições a priori e calculamdistribuições preditivas para novas observações.



Objetivo do artigo

Problema: a distribuição condicional conjunta de y emHolmes e Adams (2002) não está devidamente normalizada.

Os autores corrigem este problema e recalculam asdistribuições de interesse.

Ainda comparam diferentes métodos computacionais parafazer inferência sobre β e k .



O modelo knn probabilístico

Para definir a probabilidade conjunta de yi condicional àspreditoras xi , assumimos que a condicional completa de yi

dados yi = (y1, . . . , yi−1, yi+1, . . . , yn) e xi ’s depende somentedos k vizinhos mais próximos de xi .

A estrutura desta probabilidade condicional tem a forma deuma distribuição de Boltzmann (Moller e Waagepetersen,2003).

Supondo apenas duas classes (0 e 1), a expressão dacondicional completa para i = 1, 2, . . . , n é dada por:




fYi |Y−i ,X ,B,K (yi |y−i , x, β, k) =

exp

(βk

) ∑j∈Nk(xi )

I{yi}(yj)

∑t=0,1

exp

(βk

) ∑j∈Nk(xi )

I{t}(yj)

,(1)

onde I{yi}(yj) = 1 se yi = yj e 0 caso contrário, e β > 0 é umparâmetro que regula a “influência” que os vizinhos maispróximos exercem sobre a probabilidade de yi = t, t ∈ {0, 1}.




I β = 0 corresponde a uma distribuição uniforme sobretodas as classes. As probabilidades independem dosvizinhos.

I β →∞, por outro lado, corresponde a atribuirprobabilidade 1 à classe de maior frequência dos vizinhosmais próximos, e 0 às demais. Indica dependênciaextrema dos vizinhos.




Problema: dificilmente existirá uma distribuição conjuntacujas condicionais possuam a forma apresentada em (1).

O sistema knn geralmente é assimétrico. Enquanto xi é umdos k vizinhos mais próximos de xj , xj não necessariamenteserá um dos k vizinhos mais próximos de xi .

Dessa forma, a distribuição condicional de xi não dependeriade xj , mas a de xj dependeria de xi , o que é impossível de umponto de vista probabilístico (Besag, 1974; Cressie, 1993).




Holmes e Adams (2002) procuraram definir uma probabilidadecondicional conjunta com esta questão em mente. A constantede normalização, porém, não foi devidamente calculada.

A condicional conjunta proposta pelos autores tem a seguinteforma:

fY |X ,B,K (y|x, β, k) = exp

(βk

) n∑i=1

∑j∈Nk(xi )

I{yi}(yj)

/Z (β, k).

(2)




Dessa forma, as condicionais completas de cada Yi relativas a(2) têm a seguinte forma simetrizada:

fYi |Y−i ,X ,B,K (yi |y−i , x, β, k) ∝

exp

βk ∑

j∈Nk(xi )

I{yi}(yj) +∑

i∈Nk(xj )

I{yj}(yi)

(3)

(i , j = 1, 2, . . . , n; i 6= j)



Distribuição preditiva de Yn+1

Baseado em (3), a distribuição preditiva de uma novaobservação yn+1 dado suas preditoras xi e a amostratreinamento (y, x) é, para t = 0,1:

PYn+1|Y ,Xn+1,X ,B,K (yn+1 = t|xn+1, y,X , β, k) ∝

exp

βk ∑

j∈Nk(xn+1)

I{yn+1}(yj) +∑

(n+1)∈Nk(xj )

I{yj}(yn+1)

(4)

(j = 1, 2, . . . , n).



Inferência Bayesiana para o modelo knn

Como obter a distribuição preditiva de yn+1 incondicional a βe k?

PYn+1|Y ,Xn+1,X (yn+1 = t|xn+1, y,X ) =∑k

∫P (yn+1 = t|xn+1, y,X , β, k) π(β, k |y,X ),

(5)

onde π(β, k |y, x) ∝ f (y|x, β, k)π(β, k) é a distribuição aposteriori de (β, k) dada a amostra de treinamento (y, x).



Inferência Bayesiana para o modelo knn

Priori para (β, k): distribuição Uniforme no suporte compacto[0, βmax ]× {1, . . . ,K}.

I A limitação em β, β ≤ βmax é costume em modelos deBoltzmann, devido ao fenômeno de “transição de fase”(Moller, 2003).

I Além disso, K é, no máximo, igual ao tamanho amostralda classe menos prevalente: K ≤ min(n0, n1).

A forma de (3) torna a posteriori π(β, k |y, x) difícil de serobtida. Mas ainda é possível gerar observações (β, k) destadistribuição via Metropolis-Hastings.



Metropolis-Hastings para (β, k)

Considere a seguinte reparametrização para β:

β = βmaxexp(θ)

1+ exp(θ).

A distribuição proposta para θ foi um passeio aleatórioNormal: θ′ ∼ N

(θ(t), τ 2

).

Para k , foi proposta uma Uniforme nos 2r vizinhos de k (t):{k (t) − r , . . . , k (t) − 1, k (t) + 1, . . . , k (t) + r

}⋂{1, 2, . . . ,K},

com densidade Qr (k , .) tal que k ′ ∼ Qr (k (t−1), .).



Metropolis-Hastings para (β, k)

A taxa de aceitação do algoritmo MH é

ρ =f (y|x, β′, k ′) π(β′, k ′)/Qr (k (t−1), k ′)

f (y|x, β(t−1), k (t−1)) π(β(t−1), k (t−1))/Qr (k ′, k (t−1))

× exp(θ′)/(1+ exp(θ′))2

exp(θ(t−1))/(1+ exp(θ(t−1)))2.

(6)

Com isso, podemos gerar uma cadeia{(β, k)(1), . . . , (β, k)(M)

}da distribuição a posteriori de (β, k).



O problema da constante de normalização

Como o cálculo explícito de (5) é impossível, poderíamosutilizar a seguinte aproximação para a distribuição, a partir dacadeia gerada pelo MH:

1M

M∑i=1

P(yn+1 = t|xn+1, y,X , (β, k)(i)

). (7)

Porém, todas as funções de probabilidade obtidas até aquienvolvem, ainda, a intratável constante de normalização em(2), Z (β, k). Como lidar?



O problema da constante de normalização

Foram consideradas três abordagens:

I Pseudo-likelihood : substitui a verdadeira distribuiçãoconjunta pela pseudo-verossimilhança, definida como oproduto das condicionais associadas a (2), eliminandoassim a intratável constante de normalização.

I Path sampling : estima a constante normalizadora atravésde técnicas de Monte Carlo.

I Perfect Sampling : calcula uma distribuição conjuntaartificial, obtida por meio de uma variável auxiliar z, quedesconsidera as constantes normalizadoras (a distribuiçãode z é arbitrária).



Path Sampling

A vantagem do path sampling é nos permitir trabalhar com a“verdadeira” distribuição de probabilidade.

Ao estimar a constante normalizadora, podemos usar aaproximação MCMC dada por (7) sem maiores problemas.

A partir da expressão em (2), se temos que

S(y) =∑

i

∑j∈Nk(xi )

I{yi}(yj)/k ,

entãoZ (β, k) =

∑y

exp[βS(y)]. (8)



Path Sampling

Além disso,

∂Z (β, k)/∂β =∑y

S(y) exp[βS(y)]

= Z (β, k)∑y

S(y) exp[βS(y)]/Z (β, k)

= Z (β, k)Eβ[S(y)].

(9)

Assim, a razão Z (β, k)/Z (β′, k) pode ser obtida pela seguinteintegral:

log{Z (β, k)/Z (β′, k)

}=

∫ β

β′Eu,k [S(y)]du. (10)



Path Sampling

Como obter a aproximação para Z (β, k)?

Para o caso de amostras balanceadas (ambas as classes têm omesmo número de observações), sabemos que para β = 0,E0,k [S(y)] = n/2. Assim,

log Z (β, k) = n log 2+∫ β

0Eu,k [S(y)]du, (11)

que pode ser calculado via integração numérica.



Estudo: Dados Simulados (Ripley, 1994)

Vamos utilizar o mesmo conjunto de dados já apresentadopara comparar os métodos.

Objetivo: inferência sobre β e k .

Foram realizadas 50 mil iterações dos algoritmos, após 40 militerações de burn-in.

Os gráficos de cima dizem respeito a β, e os de baixo a k .




Pseudo-likelihood




Path sampling




Perfect sampling




Sobreposição dos três métodos (claro: perfect sampling; médio:pseudo-likelihood; escuro: path sampling).




Aproximação da posteriori de β para k = 1, 10, 70 e 125 (claro:perfect sampling; médio: pseudo-likelihood; escuro: path sampling).



Considerações Finais

O artigo tratou de corrigir um problema observado no paper deHolmes e Adams (2002, 2003), em que a constante normalizadorada distribuição não estava propriamente calculada.

Os autores comparam diferentes metodologias que lidam com aconstante e viabilizam a inferência sobre os parâmetros do modelo.

A metodologia de pseudo-likelihood forneceu inferências bastantesuspeitas para os dados simulados, enquanto path sampling eperfect sampling pareceram ser mais robustos. Aqui, path samplingleva vantagem por ser computacionalmente muito mais rápido.



Referências

Besag, J. (1974), “Spatial Interaction and the Statistical Analysis ofLattice Systems” (with discussion), Journal of the Royal StatisticalSociety, Ser. B, 36, 192–236.

Cressie, N. A. C. (1993), Statistics for Spatial Data, Wiley Series inProbability and Mathematical Statistics: Applied Probability andStatistics, New York: John Wiley & Sons.

Holmes, C. C., and Adams, N. M. (2002), “A Probabilistic NearestNeighbour Method for Statistical Pattern Recognition,” Journal ofthe Royal Statistical Society, Ser. B, 64, 295–306.

Holmes, C. C., and Adams, N. M. (2003), “Likelihood Inference inNearest-Neighbour Classification Models,” Biometrika, 90, 99–112.



Referências

Moller, J., and Waagepetersen, R. (2003), Statistical Inference andSimulation for Spatial Point Processes, Boca Raton, FL: Chapmanand Hall/CRC.

Ripley, B. D. (1994), “Neural Networks and Related Methods forClassification” (with discussion),” Journal of the Royal StatisticalSociety, Ser. B, 56, 409–456.

Ripley, B. D. (1996), Pattern Recognition and Neural Networks,Cambridge: Cambridge University Press.


a bayesian reassessment of nearest-neighbor classification...

Documents