1 introduction 2 information mapping and word space nent analysis - re- - 1998
TRANSCRIPT
-
8/12/2019 1 Introduction 2 Information Mapping and Word Space Nent Analysis - Re- - 1998
1/8
I n f o r m a t i o n M a p p i n g
{ C o n c e p t - b a s e d I n f o r m a t i o n R e t r i e v a l b a s e d o n W o r d A s s o c i a t i o n s
Y a s u h i r o T a k a y a m a
, R a y m o n d S . F l o u r n o y
y
, S t e f a n K a u f m a n n
z
C e n t e r f o r t h e S t u d y o f L a n g u a g e a n d I n f o r m a t i o n
S t a n f o r d U n i v e r s i t y
A u g u s t 2 7 , 1 9 9 8
1 I n t r o d u c t i o n
T h i n k i n g a n d c o m m u n i c a t i n g a r e s i t u a t e d a c -
t i v i t i e s t h a t a l w a y s o c c u r w i t h i n s o m e p a r t i c -
u l a r c o n t e x t 3 ] . I n t h e C o m p u t a t i o n a l S e -
m a n t i c s L a b o r a t o r y a t C e n t e r f o r t h e S t u d y
o f L a n g u a g e a n d I n f o r m a t i o n ( C S L I ) , d i r e c t e d
b y S t a n l e y P e t e r s , w e a r e d e v e l o p i n g m o d e l s
o f l a n g u a g e , c o m p u t a t i o n a n d i n f e r e n c e w h i c h
t a k e i n t o a c c o u n t t h e c o n t e x t i n w h i c h t h e s e
a c t i v i t i e s o c c u r . W e t h e n a p p l y t h e s e t e c h -
n i q u e s t o p r o b l e m s i n i n f o r m a t i o n r e t r i e v a l ,
n a t u r a l l a n g u a g e p r o c e s s i n g ( N L P ) , a n d c o m -
m u n i c a t i o n a m o n g s o f t w a r e a g e n t s .
O u r v a r i o u s p r o j e c t s s e e k a n s w e r s t o a n u m -
b e r o f p r a c t i c a l q u e s t i o n s : H o w c a n I r e t r i e v e
t h e d o c u m e n t s I w a n t f r o m t h e I n t e r n e t ? H o w
c a n I g e t a r o b o t t o u n d e r s t a n d m y r e q u e s t
b a s e d o n t h e c u r r e n t c o n t e x t ? H o w c a n s o f t -
w a r e a g e n t s b e s t c o m m u n i c a t e i n o r d e r t o
s o l v e c o m p l e x p r o b l e m s c o o p e r a t i v e l y ?
T h i s d o c u m e n t d e s c r i b e s o n e o f o u r s u b p r o -
j e c t s : \ I n f o r m a t i o n m a p p i n g " ( I n f o M a p , f o r
s h o r t ) .
C S L I v i s i t i n g s c h o l a r , M i t s u b i s h i E l e c t r i c C o r p .
y
C o m p u t e r S c i e n c e D e p a r t m e n t a n d C S L I
z
L i n g u i s t i c s D e p a r t m e n t a n d C S L I
2 I n f o r m a t i o n M a p p i n g
a n d W o r d S p a c e
2 . 1 A s s o c i a t i v e I n f o r m a t i o n R e -
t r i e v a l
T h e g o a l o f t h e I n f o M a p p r o j e c t i s i n t e l l i g e n t ,
c o n c e p t - b a s e d i n f o r m a t i o n r e t r i e v a l . C u r -
r e n t l y , d o c u m e n t r e t r i e v a l f r o m l a r g e t e x t
d a t a b a s e s | s u c h a s l i b r a r y c a r d c a t a l o g s o r
n e w s p a p e r a r c h i v e s | i s b a s e d o n k e y w o r d
s e a r c h . A q u e r y i s p o s e d a s a l i s t o f w o r d s ,
a n d a n y e n t r i e s i n t h e d a t a b a s e w h i c h c o n t a i n
a n y o r a l l o f t h o s e s p e c i c w o r d s a r e r e t u r n e d .
H o w e v e r , i f w e t r e a t t h o s e q u e r y w o r d s n o t
a s l i t e r a l s t r i n g s o f l e t t e r s , b u t a s r e p r e s e n t i n g
c o n c e p t s , t h e n w e c a n r e t r i e v e r e l e v a n t d o c u -
m e n t s e v e n i f t h e y d o n o t c o n t a i n t h e s p e c i c
w o r d s u s e d i n t h e q u e r y .
O u r b a s i c a p p r o a c h , d e v e l o p e d b y H i n r i c h
S c h u t z e 1 3 ] , b e g i n s b y r e c o r d i n g t h e f r e -
q u e n c y o f c o - o c c u r r e n c e b e t w e e n w o r d s i n t h e
t e x t t h a t i s , t h e n u m b e r o f t i m e s t w o w o r d s
a p p e a r \ n e a r " e a c h o t h e r , e . g . , i n t h e s a m e
d o c u m e n t . T h e d i s t r i b u t i o n o f c o - o c c u r r e n c e s
b e t w e e n a w o r d a n d s o m e s e t o f c o n t e n t -
b e a r i n g w o r d s t h e n s e r v e s a s a p r o l e o f t h e
w o r d ' s u s a g e , a n d t h u s o f i t s m e a n i n g a s w e l l .
B y c o m p a r i n g t h e p r o l e s o f d i e r e n t w o r d s ,
1
-
8/12/2019 1 Introduction 2 Information Mapping and Word Space Nent Analysis - Re- - 1998
2/8
T a b l e 1 : A n e x a m p l e o f c o - o c c u r r e n c e m a t r i x
c o n t e n t - b e a r i n g w o r d s
w o r d s m a r k e t l a s t
s u n d a y 9 7 2 1 5
w e e k e n d 2 0 1 4 0 8
w e c a n c o n s t r u c t a m e a s u r e o f h o w r e l a t e d
t h o s e w o r d s a r e . G e n e r a l i z i n g t h i s w o r d s i m -
i l a r i t y d e r i v e d f r o m l e x i c a l c o - o c c u r r e n c e , b y
c o m p a r i n g t h e q u e r y w o r d s ' p r o l e s t o p r o l e s
g e n e r a t e d f o r e a c h d o c u m e n t , w e c a n r e t u r n
d o c u m e n t s w h i c h w e j u d g e t o b e c o n c e p t u a l l y
r e l a t e d t o t h e q u e r y w o r d s , e v e n i f t h e w o r d s
t h e m s e l v e s d o n o t a p p e a r i n t h e t e x t | t h i s i s
w h a t w e c a l l a s s o c i a t i v e i n f o r m a t i o n r e t r i e v a l .
2 . 2 W o r d S p a c e a n d S V D
T h e l e x i c a l c o - o c c u r r e n c e s b e t w e e n a w o r d
a n d c o n t e n t - b e a r i n g w o r d s a r e r e c o r d e d i n t h e
c o - o c c u r r e n c e m a t r i x w h i c h c r e a t e s a h i g h -
d i m e n s i o n a l s p a c e . T h i s a b s t r a c t s p a c e f o r m s
a c o n c e p t s p a c e i n w h i c h s i m i l a r w o r d s ( o r
m o r e s p e c i c a l l y , w o r d s w i t h s i m i l a r d i s t r i b u -
t i o n a l b e h a v i o r ) h a v e s i m i l a r v e c t o r s ( S e e T a -
b l e 1 ) .
T h e c o - o c c u r r e n c e m a t r i x s u e r s f r o m t w o
p r o b l e m s : t o o m a n y w o r d f e a t u r e s a n d d a t a
s p a r s e n e s s . T o s o l v e t h e s e p r o b l e m s , w e a p p l y
S V D ( S i n g u l a r V a l u e D e c o m p o s i t i o n ) 6 ] t o
t h e c o - o c c u r r e n c e m a t r i x a s a t o o l f o r d i m e n -
s i o n a l i t y r e d u c t i o n a n d g e n e r a l i z a t i o n . S V D
f a c t o r s e v e r y m b y n m a t r i x A i n t o
A
m n
=
U
m m
m n
V
T
n n
( 1 )
w h e r e t h e l e f t m a t r i x U a n d t h e r i g h t m a t r i x V
a r e o r t h o g o n a l m a t r i c e s a n d t h e s i n g u l a r m a -
t r i x i s d i a g o n a l .
E q u a t i o n ( 1 ) s h o w s t h e f u l l S V D i n l i n e a r a l -
g e b r a . W e u s e t h e l e f t o r t h o g o n a l m a t r i x U a s
t h e r e d u c e d m a t r i x , t h e o u t p u t f r o m t h e p a r -
t i a l S V D ( F i g u r e 1 ) . T h e r o w s o f t h e r e d u c e d
m a t r i x { w o r d v e c t o r s { a p p r o x i m a t e a s s o c i -
a t i o n s a m o n g t h e w o r d s e n s e s . T h i s r e d u c e d
s p a c e f r o m t h e p r e v i o u s c o n c e p t s p a c e i s c a l l e d
W o r d S p a c e . I t p o t e n t i a l l y r e e c t s a s s o c i a t i v e
b e h a v i o r o f w o r d s c a p t u r e d t h r o u g h s e c o n d -
o r d e r c o - o c c u r r e n c e i n f o r m a t i o n .
p: # of content-bearing wordsn: # of words concerned
p n
Cn p
lexical co-occurrence ma trix
normalized
row vectors of U
Word Space
C U V (k rank(C) p ) n p n k k k k p
(par t ia l) SVD
F i g u r e 1 : P a r t i a l S V D f o r W o r d S p a c e
A n o t h e r u s e o f S V D i n i n f o r m a t i o n r e t r i e v a l
i s w o r d b y d o c u m e n t m a t r i x r e d u c t i o n f o r L S I
( L a t e n t S e m a n t i c I n d e x i n g ) 2 ] . T h e d i e r e n c e
b e t w e e n W o r d S p a c e a n d L S I i s d i s c u s s e d i n
1 4 ] .
B y c l u s t e r i n g t h e w o r d v e c t o r s b a s e d o n
t h e i r p r o x i m i t y , t h e W o r d S p a c e c a n b e u s e d
f o r t h e w o r d s e n s e d i s a m b i g u a t i o n a n d t h e -
s a u r u s c o n s t r u c t i o n 1 3 ] 1 5 ] .
2 . 3 S V D a n d P r i n c i p a l C o m p o -
n e n t A n a l y s i s
S V D i s n o t a d i r e c t s t a t i s t i c a l t e c h n i q u e b u t
r a t h e r a m a t r i x f a c t o r i z a t i o n i n l i n e a r a l g e b r a
2
-
8/12/2019 1 Introduction 2 Information Mapping and Word Space Nent Analysis - Re- - 1998
3/8
1 6 ] . W h e n a m a t r i x t o b e p r o c e s s e d c o n s i s t s
o f s o m e s t a t i s t i c a l o b s e r v a t i o n s , S V D b e c o m e s
a p o w e r f u l t o o l f o r s t a t i s t i c a l a n a l y s i s .
S V D h a s a c l o s e r e l a t i o n s h i p w i t h p r i n c i -
p a l c o m p o n e n t a n a l y s i s ( P C A ) , a f e a t u r e r e -
d u c t i o n t e c h n i q u e u s e d i n m u l t i v a r i a t e a n a l -
y s i s . 9 ] 1 3 ] . M u l t i v a r i a t e a n a l y s i s c o n c e r n s
a s s o c i a t i o n s a m o n g m u l t i p l e v a r i a b l e s ( f e a -
t u r e s ) w i t h t h e g o a l o f d i s c o v e r i n g r e l a t i o n -
s h i p s a m o n g t h e m u l t i v a r i a t e p r o l e s o f t h e
d a t a .
S u p p o s e t h a t m a t r i x X i s a p n m a t r i x
o f o b s e r v a t i o n s ( o r a d a t a m a t r i x ) . I f m a t r i x
B i s a m a t r i x i n m e a n - d e v i a t i o n f o r m o f t h e
d a t a m a t r i x X , a n d i f A = ( 1 =
p
n ; 1 ) B
T
,
t h e n A
T
A b e c o m e s t h e u n b i a s e d c o v a r i a n c e
m a t r i x S . ( T h e s u p e r s c r i p t T d e n o t e s t r a n s p o -
s i t i o n ) . W e c a n c a l c u l a t e t h e e i g e n v a l u e s a n d
t h e e i g e n v e c t o r s b y t h e e i g e n v a l u e d e c o m p o s i -
t i o n f r o m t h e p p c o v a r i a n c e m a t r i x S .
E i g e n v a l u e d e c o m p o s i t i o n c a n b e a p p l i e d t o
t h e s q u a r e m a t r i c e s o n l y , b u t S V D c a n b e a p -
p l i e d t o a n y r e c t a n g u l a r m a t r i c e s . T h u s t h e
c a l c u l a t i o n o f S V D i s m o r e c o n v e n i e n t t h a n
e i g e n v a l u e d e c o m p o s i t i o n .
S V D c a n b e u s e d a s a t o o l f o r p e r f o r m i n g
P C A . W h e n w e a p p l y S V D t o t h e m a t r i x A ,
t h e s q u a r e o f t h e s i n g u l a r v a l u e s o f A a r e t h e
p e i g e n v a l u e s o f t h e c o v a r i a n c e m a t r i x S , a n d
t h e r i g h t s i n g u l a r v e c t o r s v
1
v
p
] o f A a r e
t h e c o e c i e n t s o f t h e p r i n c i p a l c o m p o n e n t s o f
t h e d a t a i n t h e m a t r i x X . T h e n v
T
i
X i s t h e
i - t h p r i n c i p a l c o m p o n e n t ( S e e F i g u r e 2 ) .
I n W o r d S p a c e , w e d i r e c t l y a p p l y S V D
t o t h e o r i g i n a l d a t a m a t r i x ( i . e . l e x i c a l c o -
o c c u r r e n c e m a t r i x C i n o u r c a s e ) i n s t e a d o f
t h e m a t r i x A , t h e m e a n - d e v i a t i o n f o r m w i t h a
c o e c i e n t 1 =
p
n ; 1 ( S e e F i g u r e 1 ) .
3 S y s t e m O r g a n i z a t i o n
T h e r e t r i e v a l m o d e l o f t h e I n f o M a p s e a r c h e n -
g i n e i s b a s e d o n a v e c t o r s p a c e m o d e l 1 2 ] ,
S = Q QT
A = U VT
: matrix of
statistical observations
p n B = [(X1 - ) (Xn - )]X X : mean-deviation
form
= Xn
X1
j = 1
n
j
1 .
.
.
p
=1 .
.
.
p
=
VT= [v1 vp] Q= [q1 qp]
X = [ X1 Xn]p n
: sample mean
A= BT
S = BBT
pp
1
n - 1
2
i ( = i) : eigenvalue
vi ( = qi) : eigenvector , i.e., coefficient of i-th
principal component
: unbiased
covariance matri
Eigenvalue DecompositionSVD
p: # of features (variables)
n: # of observations
n p
1
n - 1
F i g u r e 2 : R e l a t i o n b e t w e e n S V D a n d P C A
t h a t i s , t h e d o c u m e n t s a n d t h e q u e r i e s a r e
r e p r e s e n t e d a s v e c t o r s i n t h e h i g h - d i m e n s i o n a l
s p a c e , j u s t a s t h e w o r d s a r e .
T h e s e a r c h e n g i n e o f I n f o M a p c o n s i s t s o f t h e
d o c u m e n t r e g i s t r a t i o n p h a s e t h a t c r e a t e s t h e
W o r d S p a c e ( c o n c e p t b a s e ) a n d t h e d o c u m e n t
r e t r i e v a l p h a s e , s i m i l a r t o o t h e r i n f o r m a t i o n
r e t r i e v a l s y s t e m s . T h i s s e c t i o n i l l u s t r a t e s t h e
f u n c t i o n s o f t h e s e p h a s e s .
3 . 1 W o r d S p a c e b a s e d o n l e x i c a l
c o - o c c u r r e n c e
T h e d o c u m e n t r e g i s t r a t i o n p h a s e o f I n f o M a p
i s t h e W o r d S p a c e ( c o n c e p t b a s e ) c o n s t r u c t i o n
3
-
8/12/2019 1 Introduction 2 Information Mapping and Word Space Nent Analysis - Re- - 1998
4/8
f u n c t i o n s b a s e d o n l e x i c a l c o - o c c u r r e n c e i n t h e
t e x t c o r p u s ( F i g u r e 3 ) .
ordered w ord-count
dictionary
tokenized text corpus
list of
content-bearing
words
tokenization
dictionary creation
co-occurrence freq uency calcura tion
raw t ext corpus
co-occurrence mat rix
(column file) (index file)
SVD(Singular Value Decomposition)
list of stop words
document vector calcuration
word vectors
reduced m atr ix
docum ent vectors
WordSpace
stemming
F i g u r e 3 : W o r d S p a c e C o n s t r u c t i o n
1 . T o k e n i z a t i o n o f t e x t c o r p u s
T h e r s t s t a g e o f p r o c e s s i n g p r o d u c e s a
t o k e n i z e d c o r p u s . T h e c o r p u s ( c o l l e c t i o n
o f d o c u m e n t s ) c a n b e t o k e n i z e d b y p a s s -
i n g i t t h r o u g h a t o k e n i z e r o r a m o r p h o -
l o g i c a l a n a l y z e r . T h e s t e m m i n g 1 0 ] , 5 ]
i n t h e t o k e n i z e r i s o p t i o n a l .
2 . C a l c u l a t i o n o f w o r d f r e q u e n c i e s
T h e s e c o n d s t a g e o f p r o c e s s i n g p r o d u c e s
a w o r d c o u n t d i c t i o n a r y . T h e c o u n t d i c -
t i o n a r y i s a w o r d l i s t o f t o k e n s a n d t h e i r
f r e q u e n c i e s i n t h e c o r p u s , o r d e r e d b y f r e -
q u e n c y o f a p p e a r a n c e o f t h e t o k e n s .
3 . C a l c u l a t i o n o f c o - o c c u r r e n c e f r e q u e n c i e s
F o r e a c h o f t h e 2 0 , 0 0 0
1
m o s t f r e q u e n t l y
o c c u r r i n g w o r d s i n t h e c o r p u s , a v e c -
t o r o f 1 , 0 0 0 c o - o c c u r r e n c e c o u n t s i s c r e -
a t e d , a n d t h e s e v e c t o r s s e r v e a s p r o l e s
o f e a c h w o r d ' s d i s t r i b u t i o n . T h e 1 , 0 0 0 e n -
t r i e s i n t h e v e c t o r r e p r e s e n t a s e t o f 1 , 0 0 0
w o r d s w h i c h h a v e b e e n d e t e r m i n e d t o b e
c o n t e n t - b e a r i n g i n t h e f o l l o w i n g s e n s e .
T h e c o n t e n t - b e a r i n g w o r d s a r e c h o s e n b y
c o n s i d e r i n g e i t h e r t h e w o r d ' s t o t a l f r e -
q u e n c y o f a p p e a r a n c e i n t h e c o r p u s , t h e
w o r d ' s p a r t - o f - s p e e c h i n f o r m a t i o n , o r a
c a l c u l a t i o n o f t h e r e l a t i v e c o n c e n t r a t i o n
o f t h e w o r d w i t h i n t h e d o c u m e n t s i n t h e
c o r p u s . T h i s c a l c u l a t i o n { c a l l e d t h e \ d i s -
p e r s i o n " o f a w o r d { e x p l o i t s t h e i d e a t h a t
w o r d s w h i c h a r e n o t d i s t r i b u t e d e v e n l y
t h r o u g h o u t t h e d o c u m e n t s i n a c o r p u s a r e
m o r e l i k e l y t o b e c o n t e n t - b e a r i n g .
W e c h o o s e t h e 5 1 t o 1 , 0 5 0 m o s t f r e q u e n t l y
o c c u r r i n g w o r d s i n t h e c o r p u s a s a b a s i c
s e t o f t h e c o n t e n t - b e a r i n g w o r d s .
E a c h t i m e o n e o f t h e 2 0 , 0 0 0 c o u n t w o r d s
a p p e a r s w i t h i n a w i n d o w { a s p e c i c r a n g e
a r o u n d o n e o f t h e c o n t e n t - b e a r i n g w o r d s
{ t h e a p p r o p r i a t e c o u n t i n i t s v e c t o r i s
i n c r e m e n t e d . A w o r d f a l l s w i t h i n r a n g e
i f i t i s w i t h i n a c e r t a i n d i s t a n c e f r o m t h e
c o n t e n t - b e a r i n g w o r d , o r i f i t i s w i t h i n t h e
s a m e s e n t e n c e , p a r a g r a p h , o r d o c u m e n t
a s t h e c o n t e n t - b e a r i n g w o r d .
A f t e r a l l d o c u m e n t s i n t h e c o r p u s h a v e
b e e n p r o c e s s e d , t h e s q u a r e r o o t o f e a c h
c o u n t i s t a k e n t o s m o o t h o u t t h e e e c t s
o f e x t r e m e n u m b e r s , a n d t h e v e c t o r s a r e
w r i t t e n o u t t o d i s k . S o t h e a c t u a l ( i j ) -
t h e l e m e n t o f t h e c o - o c c u r r e n c e m a t r i x i s
1
T h e n u m b e r s o f t h e d i m e n s i o n s i n t h i s d o c u m e n t
a r e e x a m p l e o n e s w e u s e d i n o u r e x p e r i m e n t . T h e y c a n
b e c h a n g e d b y s e t t i n g t h e p a r a m e t e r s i n t h e s y s t e m
c o n g u r a t i o n .
4
-
8/12/2019 1 Introduction 2 Information Mapping and Word Space Nent Analysis - Re- - 1998
5/8
r e p r e s e n t e d b y a r e a l v a l u e :
c
i j
= ( c o o c
i j
) ( 2 )
w h e r e c o o c
i j
i s t h e c o - o c c u r r e n c e c o u n t o f
w o r d i w i t h i n a w i n d o w f r o m a c o n t e n t -
b e a r i n g w o r d j t h r o u g h o u t t h e c o r p u s ,
a n d i s t h e t r a n s f o r m a t i o n o f t h e c o u n t
d a t a . W e u s e t h e s q u a r e r o o t a s t h e b a s i c
t r a n s f o r m a t i o n b u t o t h e r t r a n s f o r m a t i o n s
m i g h t b e u s e f u l . T h e s t a n d a r d s e t t i n g o f
t h e w i n d o w s i z e i s 5 1 ( 2 5 w o r d s t o t h e l e f t
a n d t o t h e r i g h t o f t h e c u r r e n t w o r d ) .
4 . A n a l y s i s o f t h e s e c o n d - o r d e r
c o - o c c u r r e n c e
T h e 2 0 , 0 0 0 v e c t o r s ( t h e r o w s o f t h e c o -
o c c u r r e n c e m a t r i x ) r e p r e s e n t p o i n t s i n a
1 , 0 0 0 - d i m e n s i o n a l s p a c e . T o m a k e c o m -
p u t a t i o n s u s i n g t h e c o n c e p t s p a c e m o r e
t r a c t a b l e , i t i s n e c e s s a r y t o l o w e r t h e d i -
m e n s i o n a l i t y o f t h e s p a c e . T h e t o o l w e
u s e f o r r e d u c i n g t h e d i m e n s i o n a l i t y o f t h e
c o - o c c u r r e n c e c o u n t m a t r i x i s S V D 6 ] .
T h i s c a l c u l a t i o n i s d o n e b y f e e d i n g t h e
m a t r i x t h r o u g h t h e S V D P a c k s o f t w a r e
p a c k a g e
2
1 ] , a p r o c e s s w h i c h i t e r a -
t i v e l y e x t r a c t s t h e m o s t i m p o r t a n t d i m e n -
s i o n a l f e a t u r e s t o a p p r o x i m a t e t h e h i g h -
d i m e n s i o n a l s p a c e w i t h o n e o f a m u c h
l o w e r d i m e n s i o n a l i t y .
T h e l e f t o r t h o g o n a l m a t r i x U , t h e o u t -
p u t o f t h e p a r t i a l S V D i n F i g u r e ( 1 ) i s
n o w r e d u c e d t o 1 0 0 d i m e n s i o n s . T o c a l -
c u l a t e t h e n o r m a l i z e d v e c t o r s , t h e r o w s
o f t h e r e d u c e d l e f t m a t r i x a r e d i v i d e d
b y t h e i r l e n g t h s , c o n v e r t i n g t h e m t o u n i t
v e c t o r s . T h e s e n o r m a l i z e d l e f t s i n g u -
l a r v e c t o r s s e r v e a s t h e w o r d v e c t o r s u
i
( i = 1 : : : 2 0 0 0 0 ) i n W o r d S p a c e d e r i v e d
f r o m t h e l e x i c a l c o - o c c u r r e n c e .
2
C o p y r i g h t 1 9 9 3 , U n i v e r s i t y o f T e n n e s s e e , d i s -
t r i b u t e d t h r o u g h h t t p : / / w w w . n e t l i b . o r g .
5 . C r e a t i o n o f d o c u m e n t v e c t o r s o n W o r d
S p a c e
( a ) E a c h d o c u m e n t i s p r o c e s s e d i n t o a
d o c u m e n t v e c t o r o f l e n g t h 1 0 0 . T h i s
i s d o n e b y r e a d i n g i n t h e i n d i v i d -
u a l w o r d v e c t o r s p r e v i o u s l y c a l c u -
l a t e d f o r t h e 2 0 , 0 0 0 m o s t f r e q u e n t l y
o c c u r r i n g w o r d s i n t h e c o r p u s , a n d
s u m m i n g t h e n o r m a l i z e d v e c t o r s c o r -
r e s p o n d i n g t o e a c h o f t h e w o r d s i n
t h e d o c u m e n t :
d
j
=
X
i
w
i j
u
i
( 3 )
w h e r e d
j
i s t h e d o c u m e n t v e c t o r f o r
d o c u m e n t j , w
i j
i s t h e w e i g h t f o r
w o r d i i n d o c u m e n t j , a n d u
i
i s t h e
w o r d v e c t o r f o r w o r d i o c c u r r e d i n
d o c u m e n t j . T h e d e f a u l t w e i g h t w
i j
i s 1 . T h e t f i d f ( t e r m f r e q u e n c y
i n v e r s e d o c u m e n t f r e q u e n c y ) w e i g h t
i s u s e d i n 1 4 ] .
O p t i o n a l l y , o n e m a y c h o o s e t o d i s r e -
g a r d t h e v e c t o r s o f s t o p w o r d s , c e r -
t a i n w o r d s t h a t a r e e x p e c t e d t o b e s o
g e n e r a l o r s o c o m m o n t h a t t h e y w i l l
n o t c o n t r i b u t e i n f o r m a t i v e l y t o t h e
v e c t o r . W e u s e t h e 1 t o 5 0 m o s t f r e -
q u e n t l y o c c u r r i n g w o r d s i n t h e c o r -
p u s a s a b a s i c s e t o f t h e s t o p w o r d s .
A f t e r d o c u m e n t v e c t o r s a r e c a l c u -
l a t e d f o r e a c h o f t h e d o c u m e n t s i n
t h e c o r p u s , t h e y a r e w r i t t e n t o d i s k
w i t h t h e b y t e l o c a t i o n o f t h e d o c u -
m e n t .
( b ) T h e 1 0 0 - d i m e n s i o n a l s p a c e w h i c h
t h e s e v e c t o r s o c c u p y e m b o d i e s t h e
d o c u m e n t c o n c e p t b a s e d e r i v e d f r o m
t h e c o r p u s , a n d e a c h o f t h e s e v e c -
t o r s r e p r e s e n t s a s p e c i c l o c a t i o n
w i t h i n t h i s s p a c e c o r r e s p o n d i n g t o
t h e m e a n i n g o r s u b j e c t m a t t e r o f
5
-
8/12/2019 1 Introduction 2 Information Mapping and Word Space Nent Analysis - Re- - 1998
6/8
t h e d o c u m e n t . F u r t h e r m o r e , t h e f o r -
m a l i s m p r e d i c t s t h a t v e c t o r s w h i c h
l i e c l o s e t o e a c h o t h e r i n t h e c o n -
c e p t s p a c e c o r r e s p o n d t o d o c u m e n t s
w h i c h a r e s o m e h o w r e l a t e d i n s u b -
j e c t m a t t e r .
F o r s i m p l i c i t y , o u r e x p l a n a t i o n h a s i n c l u d e d
i n d i v i d u a l w o r d s a s t h e d i m e n s i o n s o f t h e c o -
o c c u r r e n c e m a t r i x . O p t i o n a l l y , w e a l s o c h o o s e
t h e s t a t i s t i c a l l y s i g n i c a n t p h r a s e s b a s e d o n a
2
- t e s t 1 1 ] t h a t i s a p p l i e d t o a c o n t i n g e n c y
t a b l e o f t h e n e i g h b o r i n g w o r d c o u n t s 1 5 ] .
T o n d t h e p a i r s t h a t m o s t f r e q u e n t l y
\ s t i c k " t o g e t h e r , w e c o u n t a l l n e i g h b o r w o r d s ,
a n d s o r t t h e m b y f r e q u e n c y , t h e n c a l c u l a t e
t h e i r
2
- v a l u e . A c e r t a i n n u m b e r ( e . g . 5 , 0 0 0 )
o f t h e t o p
2
- v a l u e d w o r d s a r e c o n s i d e r e d
s t i c k y p a i r s . W e a l s o a l l o w t h e s e s t i c k y p a i r s
t o b e e l e m e n t s o f t h e r o w d i m e n s i o n o f t h e c o -
o c c u r r e n c e m a t r i x .
3 . 2 D o c u m e n t r e t r i e v a l o n W o r d
S p a c e
T h e m a i n s t a g e s o f t h e d o c u m e n t r e t r i e v a l
p h a s e o f I n f o M a p a r e t h e q u e r y v e c t o r c a l c u l a -
t i o n , t h e c l o s e n e s s c a l c u l a t i o n a n d t h e a c t u a l
r e t r i e v a l ( F i g u r e 4 ) .
ordered word-
count dictionary
linked list of
document records
(score, location)
raw text corpus
user query
list of stop wordsquery vector
calculation
word vectors
retrieved
documents
document vectors
(doc. location)
query vector
retrieval
routine
closeness
calculation
WordSpace
stemming
F i g u r e 4 : D o c u m e n t r e t r i e v a l o n W o r d S p a c e
1 . Q u e r y v e c t o r c a l c u l a t i o n
T o r e t r i e v e t h e d o c u m e n t s f r o m t h e c o r -
p u s u s i n g t h e a s s o c i a t i o n s i n W o r d S p a c e
, a q u e r y i n t h e f o r m o f a l i s t o f w o r d s ( e i -
t h e r e n t e r e d i n t e r a c t i v e l y o r s t o r e d i n a
l e ) i s t r a n s l a t e d i n t o t h e c o r r e s p o n d i n g
s e t o f t h e n o r m a l i z e d w o r d v e c t o r s , a n d
t h e s e a r e s u m m e d t o f o r m a q u e r y v e c t o r :
q =
X
i
w
i
u
i
( 4 )
6
-
8/12/2019 1 Introduction 2 Information Mapping and Word Space Nent Analysis - Re- - 1998
7/8
w h e r e q i s t h e q u e r y v e c t o r , w
i
i s t h e
w e i g h t f o r w o r d i i n t h e q u e r y ( d e f a u l t
w e i g h t i s 1 ) , a n d u
i
i s t h e w o r d v e c t o r f o r
w o r d i o c c u r r e d i n t h e q u e r y .
2 . C l o s e n e s s c a l c u l a t i o n
T h e q u e r y v e c t o r i s t h e n c o m p a r e d w i t h
e a c h o f t h e d o c u m e n t v e c t o r s a n d t h e d o c -
u m e n t s w h o s e v e c t o r s l i e c l o s e s t t o t h e
q u e r y v e c t o r a r e r e t u r n e d .
T h e c l o s e n e s s o f t w o v e c t o r s ( t h e q u e r y
v e c t o r q a n d a n d o c u m e n t v e c t o r d
j
) i s
d e t e r m i n e d b y c a l c u l a t i n g t h e c o s i n e o f
t h e a n g l e b e t w e e n t h e v e c t o r s
3
c l o s e n e s s ( q d
j
) =
q
d
j
kq
k kd
k
k
( 5 )
T h i s r o u t i n e r e q u i r e s t h e d o c u m e n t v e c -
t o r s ( d
j
' s ) a s i t s i n p u t a n d r e t u r n s a
l i n k e d - l i s t o f d o c u m e n t r e c o r d s , o r d e r e d
b y c l o s e n e s s w i t h t h e q u e r y v e c t o r ( q ) .
E a c h d o c u m e n t r e c o r d c o n t a i n s t h e c o s i n e
s c o r e f o r t h e d o c u m e n t a n d t h e b y t e l o c a -
t i o n o f t h e d o c u m e n t i n t h e c o r p u s .
3 . R e t r i e v a l a n d d i s p l a y o f d o c u m e n t s
T h e r e t r i e v a l r o u t i n e s i m p l y g o e s t o t h e
a p p r o p r i a t e l o c a t i o n i n t h e d o c u m e n t
r e c o r d s a n d d i s p l a y s t h e d o c u m e n t s a s r e -
q u e s t e d b y t h e u s e r .
Q u e r y v e c t o r s a n d d o c u m e n t v e c t o r s a r e
r e p r e s e n t e d a s n o r m a l i z e d w o r d v e c t o r s u m s
( c e n t r o i d s ) . T h e s e v e c t o r s a r e c a l l e d c o n t e x t
v e c t o r s i n g e n e r a l .
3
I n o r d e r t o n d s i m i l a r w o r d s , t h e c l o s e n e s s ( p r o x -
i m i t y ) o f w o r d v e c t o r s a r e a l s o c a l c u l a t e d b y t h e c o s i n e
m e a s u r e .
4 C u r r e n t a n d F u t u r e
W o r k
A s s o c i a t i o n s i n W o r d S p a c e a r e c o m p u t e d
f r o m u n a n n o t a t e d t e x t c o r p o r a i n a n u n s u p e r -
v i s e d w a y a s d e s c r i b e d i n t h e p r e v i o u s s e c t i o n s .
W e w o u l d l i k e t o d e m o n s t r a t e t h a t t h e s e w o r d
a s s o c i a t i o n s a r e u s e f u l f o r a s s o c i a t i v e i n f o r m a -
t i o n r e t r i e v a l .
O u r e x p e r i m e n t s w i t h I n f o M a p t h u s f a r
m a i n l y h a v e u s e d c o l l e c t i o n s o f n e w s w i r e a r -
t i c l e s a s a s o u r c e o f g e n e r a l a s s o c i a t i o n s . W e
a r e c u r r e n t l y i n v e s t i g a t i n g h o w d i e r e n t t r a i n -
i n g c o r p o r a a e c t t h e r e s u l t i n g s e a r c h e n g i n e s ,
i n p a r t i c u l a r w h e t h e r t h e u s e o f p e r s o n a l e m a i l
t o t r a i n a s e a r c h e n g i n e p r o d u c e s o n e w h i c h
i s t u n e d t o r e e c t t h a t u s e r ' s i n t e r e s t s { p e r -
s o n a l a s s o c i a t i o n s . A p r e l i m i n a r y s t u d y w i t h
a p p r o x i m a t e l y a d o z e n h u m a n s u b j e c t s i s d i s -
c u s s e d i n 4 ] . T h e d o m a i n - s p e c i c a s s o c i a t i o n s
f r o m t o p i c a l c o r p o r a s u c h a s m e d i c a l t e x t s 7 ]
i s a n o t h e r i n t e r e s t i n g e x p e r i m e n t .
I n a d d i t i o n , w e h a v e a p p l i e d t h e i n f o r m a -
t i o n m a p p i n g t e c h n i q u e t o t e r m - l i s t t r a n s l a -
t i o n b e t w e e n E n g l i s h a n d J a p a n e s e 8 ] . A s a
f u t u r e r e s e a r c h t o p i c , w e a r e h o p i n g t o i n v e s -
t i g a t e h o w t h e c o n c e p t s p a c e c r e a t e d b y o u r
t e c h n i q u e c a n b e u s e d t o d o c r o s s - l i n g u a l i n -
f o r m a t i o n r e t r i e v a l .
R e f e r e n c e s
1 ] M i c h a e l W . B e r r y : L a r g e S c a l e S i n g u l a r
V a l u e C o m p u t a t i o n s , I n t e r n a t i o n a l J o u r -
n a l o f S u p e r c o m p u t e r A p p l i c a t i o n s , 6 : 1 ,
p p . 1 3 - 4 9 , 1 9 9 2 .
2 ] S c o t t D e e r w e s t e r , S u s a n T . D u m a i s ,
G e o r g e W . F u r n a s , T h o m a s K . L a n d a u e r ,
a n d R i c h a r d H a r s h m a n : I n d e x i n g b y l a -
t e n t s e m a n t i c a n a l y s i s . J o u r n a l o f t h e
A m e r i c a n S o c i e t y f o r I n f o r m a t i o n S c i e n c e ,
4 1 ( 6 ) : 3 9 1 - 4 0 7 , 1 9 9 0 .
7
-
8/12/2019 1 Introduction 2 Information Mapping and Word Space Nent Analysis - Re- - 1998
8/8
3 ] K e i t h D e v l i n : L o g i c a n d I n f o r m a t i o n .
C a m b r i d g e U n i v e r s i t y P r e s s , 1 9 9 1 .
4 ] R a y m o n d S . F l o u r n o y , R y a n G i n s t r o m ,
K e n i c h i I m a i , S t e f a n K a u f m a n n , G e n i c h i r o
K i k u i , S t a n l e y P e t e r s , H i n r i c h S c h u t z e ,
Y a s u h i r o T a k a y a m a : P e r s o n a l i z a t i o n
a n d U s e r s ' S e m a n t i c E x p e c t a t i o n s . A C M
S I G I R ' 9 8 P o s t - C o n f e r e n c e W o r k s h o p o n
Q u e r y I n p u t a n d U s e r E x p e c t a t i o n s , M e l -
b o u r n e , A u s t r a l i a , A u g u s t 2 8 , 1 9 9 8 .
5 ] W i l l i a m B . F r a k e s : S t e m m i n g a l g o r i t h m s .
I n W . B . F r a k e s a n d R . B a e z a - Y a t e s
( E d s . ) , I n f o r m a t i o n R e t r i e v a l , D a t a S t r u c -
t u r e s a n d A l g o r i t h m s , p p . 1 3 1 - 1 6 0 , E n g l e -
w o o d C l i s , N J , P r i n t i c e H a l l , 1 9 9 2 .
6 ] G e n e H . G o l u b , C h a r l e s F . V a n L o a n : M a -
t r i x C o m p u t a t i o n . 3 r d e d . , T h e J o h n s H o p -
k i n s U n i v e r s i t y P r e s s , 1 9 9 6 .
7 ] W . R . H e r s h , C . B u c k l e y , T . J . L e o n e , D .
H . H i c k a m : O H S U M E D : A n i n t e r a c t i v e
r e t r i e v a l e v a l u a t i o n a n d n e w l a r g e t e s t c o l -
l e c t i o n f o r r e s e a r c h . P r o c e e d i n g s o f t h e
1 7 t h A n n u a l A C M S I G I R C o n f e r e n c e ' 9 4 ,
p p . 1 9 2 - 2 0 1 , 1 9 9 4 .
8 ] G e n i c h i r o K i k u i : T e r m - l i s t T r a n s l a t i o n
u s i n g M o n o - l i n g u a l W o r d C o - o c c u r r e n c e
V e c t o r s . P r o j e c t N o t e , C O L I N G - A C L ' 9 8 ,
A u g u s t 1 0 - 1 4 , 1 9 9 8 .
9 ] D a v i d C . L a y : L i n e a r A l g e b r a a n d i t s a p -
p l i c a t i o n s . r e v i s e d e d . , 1 9 9 7 .
1 0 ] M . F . P o r t e r : A n a l g o r i t h m f o r s u x
s t r i p p i n g . P r o g r a m , 1 4 , p p . 1 3 0 - 1 3 7 , 1 9 8 0 .
1 1 ] F r e d L . R a m s e y , D a n i e l W . S c h a f e r : T h e
S t a t i s t i c a l S l e u t h { A C o u r s e i n M e t h o d s
o f D a t a A n a l y s i s . D u x b u r y P r e s s , 1 9 9 7 .
1 2 ] G e r a r d S a l t o n , A . W a n g , C . S . Y a n g : A
v e c t o r s p a c e m o d e l f o r a u t o m a t i c i n d e x i n g .
C o m m u n i c a t i o n s o f t h e A C M , 1 8 , p p . 6 1 3 -
6 2 0 , 1 9 7 5 .
1 3 ] H i n r i c h S c h u t z e : A m b i g u i t y i n L a n -
g u a g e L e a r n i n g : C o m p u t a t i o n a l a n d C o g -
n i t i v e M o d e l s . P h D t h e s i s , S t a n f o r d U n i -
v e r s i t y , D e p a r t m e n t o f L i n g u i s t i c s , J u l y
1 9 9 5 . ( R e v i s e d t h e s i s , A m b i g u i t y R e s o l u -
t i o n i n L a n g u a g e L e a r n i n g : C o m p u t a t i o n a l
a n d C o g n i t i v e M o d e l s , C S L I L e c t u r e N o t e s
7 1 , C S L I P u b l i c a t i o n s , 1 9 9 7 ) .
1 4 ] H i n r i c h S c h u t z e , J a n O . P e d e r s e n : A
c o o c u r r e n c e - b a s e d t h e s a u r u s a n d t w o a p -
p l i c a t i o n s t o i n f o r m a t i o n r e t r i e v a l . I n f o r -
m a t i o n P r o c e s s i n g & m a n a g e m e n t , V o l . 3 3 ,
N o . 3 , p p . 3 0 7 - 3 1 8 , 1 9 9 7 .
1 5 ] H i n r i c h S c h u t z e : A u t o m a t i c W o r d S e n s e
D i s c r i m i n a t i o n . C o m p u t a t i o n a l L i n g u i s -
t i c s , V o l u m e 2 4 , I s s u e 1 , p p . 9 7 - 1 2 3 , M a r c h
1 9 9 8 .
1 6 ] G i l b e r t S t r a n g : I n t r o d u c t i o n t o L i n e a r
A l g e b r a . W e l l e s l e y - C a m b r i d g e P r e s s , 1 9 9 3 .
8