Download - vldb94apriori
![Page 1: vldb94apriori](https://reader030.vdocument.in/reader030/viewer/2022021218/577d35e21a28ab3a6b91ae2f/html5/thumbnails/1.jpg)
8/8/2019 vldb94apriori
http://slidepdf.com/reader/full/vldb94apriori 1/13
F a s t A l g o r i t h m s f o r M i n i n g A s s o c i a t i o n R u l e s
R a k e s h A g r a w a l R a m a k r i s h n a n S r i k a n t
I B M A l m a d e n R e s e a r c h C e n t e r
6 5 0 H a r r y R o a d , S a n J o s e , C A 9 5 1 2 0
A b s t r a c t
W e c o n s i d e r t h e p r o b l e m o f d i s c o v e r i n g a s s o c i a t i o n r u l e s
b e t w e e n i t e m s i n a l a r g e d a t a b a s e o f s a l e s t r a n s a c t i o n s .
W e p r e s e n t t w o n e w a l g o r i t h m s f o r s o l v i n g t h i s p r o b l e m
t h a t a r e f u n d a m e n t a l l y d i e r e n t f r o m t h e k n o w n a l g o -
r i t h m s . E m p i r i c a l e v a l u a t i o n s h o w s t h a t t h e s e a l g o r i t h m s
o u t p e r f o r m t h e k n o w n a l g o r i t h m s b y f a c t o r s r a n g i n g f r o m
t h r e e f o r s m a l l p r o b l e m s t o m o r e t h a n a n o r d e r o f m a g -
n i t u d e f o r l a r g e p r o b l e m s . W e a l s o s h o w h o w t h e b e s t
f e a t u r e s o f t h e t w o p r o p o s e d a l g o r i t h m s c a n b e c o m b i n e d
i n t o a h y b r i d a l g o r i t h m , c a l l e d A p r i o r i H y b r i d . S c a l e - u p
e x p e r i m e n t s s h o w t h a t A p r i o r i H y b r i d s c a l e s l i n e a r l y w i t h
t h e n u m b e r o f t r a n s a c t i o n s . A p r i o r i H y b r i d a l s o h a s e x -
c e l l e n t s c a l e - u p p r o p e r t i e s w i t h r e s p e c t t o t h e t r a n s a c t i o n
s i z e a n d t h e n u m b e r o f i t e m s i n t h e d a t a b a s e .
1 I n t r o d u c t i o n
P r o g r e s s i n b a r - c o d e t e c h n o l o g y h a s m a d e i t p o s s i -
b l e f o r r e t a i l o r g a n i z a t i o n s t o c o l l e c t a n d s t o r e m a s -
s i v e a m o u n t s o f s a l e s d a t a , r e f e r r e d t o a s t h e b a s k e t
d a t a . A r e c o r d i n s u c h d a t a t y p i c a l l y c o n s i s t s o f t h e
t r a n s a c t i o n d a t e a n d t h e i t e m s b o u g h t i n t h e t r a n s -
a c t i o n . S u c c e s s f u l o r g a n i z a t i o n s v i e w s u c h d a t a b a s e s
a s i m p o r t a n t p i e c e s o f t h e m a r k e t i n g i n f r a s t r u c t u r e .
T h e y a r e i n t e r e s t e d i n i n s t i t u t i n g i n f o r m a t i o n - d r i v e n
m a r k e t i n g p r o c e s s e s , m a n a g e d b y d a t a b a s e t e c h n o l -
o g y , t h a t e n a b l e m a r k e t e r s t o d e v e l o p a n d i m p l e m e n t
c u s t o m i z e d m a r k e t i n g p r o g r a m s a n d s t r a t e g i e s 6 .
T h e p r o b l e m o f m i n i n g a s s o c i a t i o n r u l e s o v e r b a s k e t
d a t a w a s i n t r o d u c e d i n 4 . A n e x a m p l e o f s u c h a
r u l e m i g h t b e t h a t 9 8 o f c u s t o m e r s t h a t p u r c h a s e
V i s i t i n g f r o m t h e D e p a r t m e n t o f C o m p u t e r S c i e n c e , U n i -
v e r s i t y o f W i s c o n s i n , M a d i s o n .
P e r m i s s i o n t o c o p y w i t h o u t f e e a l l o r p a r t o f t h i s m a t e r i a l
i s g r a n t e d p r o v i d e d t h a t t h e c o p i e s a r e n o t m a d e o r d i s t r i b u t e d
f o r d i r e c t c o m m e r c i a l a d v a n t a g e , t h e V L D B c o p y r i g h t n o t i c e
a n d t h e t i t l e o f t h e p u b l i c a t i o n a n d i t s d a t e a p p e a r , a n d n o t i c e
i s g i v e n t h a t c o p y i n g i s b y p e r m i s s i o n o f t h e V e r y L a r g e D a t a
B a s e E n d o w m e n t . T o c o p y o t h e r w i s e , o r t o r e p u b l i s h , r e q u i r e s
a f e e a n d o r s p e c i a l p e r m i s s i o n f r o m t h e E n d o w m e n t .
P r o c e e d i n g s o f t h e 2 0 t h V L D B C o n f e r e n c e
S a n t i a g o , C h i l e , 1 9 9 4
t i r e s a n d a u t o a c c e s s o r i e s a l s o g e t a u t o m o t i v e s e r v i c e s
d o n e . F i n d i n g a l l s u c h r u l e s i s v a l u a b l e f o r c r o s s -
m a r k e t i n g a n d a t t a c h e d m a i l i n g a p p l i c a t i o n s . O t h e r
a p p l i c a t i o n s i n c l u d e c a t a l o g d e s i g n , a d d - o n s a l e s ,
s t o r e l a y o u t , a n d c u s t o m e r s e g m e n t a t i o n b a s e d o n
b u y i n g p a t t e r n s . T h e d a t a b a s e s i n v o l v e d i n t h e s e
a p p l i c a t i o n s a r e v e r y l a r g e . I t i s i m p e r a t i v e , t h e r e f o r e ,
t o h a v e f a s t a l g o r i t h m s f o r t h i s t a s k .
T h e f o l l o w i n g i s a f o r m a l s t a t e m e n t o f t h e p r o b l e m
4 : L e t I = f i
1
i
2
i
m
g b e a s e t o f l i t e r a l s ,
c a l l e d i t e m s . L e t D b e a s e t o f t r a n s a c t i o n s , w h e r e
e a c h t r a n s a c t i o n T i s a s e t o f i t e m s s u c h t h a t T
I . A s s o c i a t e d w i t h e a c h t r a n s a c t i o n i s a u n i q u e
i d e n t i e r , c a l l e d i t s T I D . W e s a y t h a t a t r a n s a c t i o n
T c o n t a i n s X , a s e t o f s o m e i t e m s i n I i f X T
A n a s s o c i a t i o n r u l e i s a n i m p l i c a t i o n o f t h e f o r m
X = Y , w h e r e X I Y I , a n d X Y = ;
T h e r u l e X = Y h o l d s i n t h e t r a n s a c t i o n s e t D w i t h
c o n d e n c e c i f c o f t r a n s a c t i o n s i n D t h a t c o n t a i n
X a l s o c o n t a i n Y . T h e r u l e X = Y h a s s u p p o r t s
i n t h e t r a n s a c t i o n s e t D i f s o f t r a n s a c t i o n s i n D
c o n t a i n X Y . O u r r u l e s a r e s o m e w h a t m o r e g e n e r a l
t h a n i n 4 i n t h a t w e a l l o w a c o n s e q u e n t t o h a v e m o r e
t h a n o n e i t e m .
G i v e n a s e t o f t r a n s a c t i o n s D , t h e p r o b l e m o f m i n -
i n g a s s o c i a t i o n r u l e s i s t o g e n e r a t e a l l a s s o c i a t i o n r u l e s
t h a t h a v e s u p p o r t a n d c o n d e n c e g r e a t e r t h a n t h e
u s e r - s p e c i e d m i n i m u m s u p p o r t c a l l e d m i n s u p a n d
m i n i m u m c o n d e n c e c a l l e d m i n c o n f r e s p e c t i v e l y .
O u r d i s c u s s i o n i s n e u t r a l w i t h r e s p e c t t o t h e r e p r e -
s e n t a t i o n o f D . F o r e x a m p l e , D c o u l d b e a d a t a l e ,
a r e l a t i o n a l t a b l e , o r t h e r e s u l t o f a r e l a t i o n a l e x p r e s -
s i o n .
A n a l g o r i t h m f o r n d i n g a l l a s s o c i a t i o n r u l e s ,
h e n c e f o r t h r e f e r r e d t o a s t h e A I S a l g o r i t h m , w a s p r e -
s e n t e d i n 4 . A n o t h e r a l g o r i t h m f o r t h i s t a s k , c a l l e d
t h e S E T M a l g o r i t h m , h a s b e e n p r o p o s e d i n 1 3 . I n
t h i s p a p e r , w e p r e s e n t t w o n e w a l g o r i t h m s , A p r i o r i
a n d A p r i o r i T i d , t h a t d i e r f u n d a m e n t a l l y f r o m t h e s e
a l g o r i t h m s . W e p r e s e n t e x p e r i m e n t a l r e s u l t s s h o w i n g
![Page 2: vldb94apriori](https://reader030.vdocument.in/reader030/viewer/2022021218/577d35e21a28ab3a6b91ae2f/html5/thumbnails/2.jpg)
8/8/2019 vldb94apriori
http://slidepdf.com/reader/full/vldb94apriori 2/13
t h a t t h e p r o p o s e d a l g o r i t h m s a l w a y s o u t p e r f o r m t h e
e a r l i e r a l g o r i t h m s . T h e p e r f o r m a n c e g a p i s s h o w n t o
i n c r e a s e w i t h p r o b l e m s i z e , a n d r a n g e s f r o m a f a c -
t o r o f t h r e e f o r s m a l l p r o b l e m s t o m o r e t h a n a n o r -
d e r o f m a g n i t u d e f o r l a r g e p r o b l e m s . W e t h e n d i s -
c u s s h o w t h e b e s t f e a t u r e s o f A p r i o r i a n d A p r i o r i -
T i d c a n b e c o m b i n e d i n t o a h y b r i d a l g o r i t h m , c a l l e d
A p r i o r i H y b r i d . E x p e r i m e n t s s h o w t h a t t h e A p r i o r i -
H y b r i d h a s e x c e l l e n t s c a l e - u p p r o p e r t i e s , o p e n i n g u p
t h e f e a s i b i l i t y o f m i n i n g a s s o c i a t i o n r u l e s o v e r v e r y
l a r g e d a t a b a s e s .
T h e p r o b l e m o f n d i n g a s s o c i a t i o n r u l e s f a l l s w i t h i n
t h e p u r v i e w o f d a t a b a s e m i n i n g 3 1 2 , a l s o c a l l e d
k n o w l e d g e d i s c o v e r y i n d a t a b a s e s 2 1 . R e l a t e d , b u t
n o t d i r e c t l y a p p l i c a b l e , w o r k i n c l u d e s t h e i n d u c t i o n
o f c l a s s i c a t i o n r u l e s 8 1 1 2 2 , d i s c o v e r y o f c a u s a l
r u l e s 1 9 , l e a r n i n g o f l o g i c a l d e n i t i o n s 1 8 , t t i n g
o f f u n c t i o n s t o d a t a 1 5 , a n d c l u s t e r i n g 9 1 0 . T h e
c l o s e s t w o r k i n t h e m a c h i n e l e a r n i n g l i t e r a t u r e i s t h e
K I D 3 a l g o r i t h m p r e s e n t e d i n 2 0 . I f u s e d f o r n d i n g
a l l a s s o c i a t i o n r u l e s , t h i s a l g o r i t h m w i l l m a k e a s m a n y
p a s s e s o v e r t h e d a t a a s t h e n u m b e r o f c o m b i n a t i o n s
o f i t e m s i n t h e a n t e c e d e n t , w h i c h i s e x p o n e n t i a l l y
l a r g e . R e l a t e d w o r k i n t h e d a t a b a s e l i t e r a t u r e i s
t h e w o r k o n i n f e r r i n g f u n c t i o n a l d e p e n d e n c i e s f r o m
d a t a 1 6 . F u n c t i o n a l d e p e n d e n c i e s a r e r u l e s r e q u i r i n g
s t r i c t s a t i s f a c t i o n . C o n s e q u e n t l y , h a v i n g d e t e r m i n e d
a d e p e n d e n c y X ! A , t h e a l g o r i t h m s i n 1 6 c o n s i d e r
a n y o t h e r d e p e n d e n c y o f t h e f o r m X + Y ! A
r e d u n d a n t a n d d o n o t g e n e r a t e i t . T h e a s s o c i a t i o n
r u l e s w e c o n s i d e r a r e p r o b a b i l i s t i c i n n a t u r e . T h e
p r e s e n c e o f a r u l e X ! A d o e s n o t n e c e s s a r i l y m e a n
t h a t X + Y ! A a l s o h o l d s b e c a u s e t h e l a t t e r m a y
n o t h a v e m i n i m u m s u p p o r t . S i m i l a r l y , t h e p r e s e n c e o f
r u l e s X ! Y a n d Y ! Z d o e s n o t n e c e s s a r i l y m e a n
t h a t X ! Z h o l d s b e c a u s e t h e l a t t e r m a y n o t h a v e
m i n i m u m c o n d e n c e .
T h e r e h a s b e e n w o r k o n q u a n t i f y i n g t h e u s e f u l -
n e s s " o r i n t e r e s t i n g n e s s " o f a r u l e 2 0 . W h a t i s u s e -
f u l o r i n t e r e s t i n g i s o f t e n a p p l i c a t i o n - d e p e n d e n t . T h e
n e e d f o r a h u m a n i n t h e l o o p a n d p r o v i d i n g t o o l s t o
a l l o w h u m a n g u i d a n c e o f t h e r u l e d i s c o v e r y p r o c e s s
h a s b e e n a r t i c u l a t e d , f o r e x a m p l e , i n 7 1 4 . W e d o
n o t d i s c u s s t h e s e i s s u e s i n t h i s p a p e r , e x c e p t t o p o i n t
o u t t h a t t h e s e a r e n e c e s s a r y f e a t u r e s o f a r u l e d i s c o v -
e r y s y s t e m t h a t m a y u s e o u r a l g o r i t h m s a s t h e e n g i n e
o f t h e d i s c o v e r y p r o c e s s .
1 . 1 P r o b l e m D e c o m p o s i t i o n a n d P a p e r
O r g a n i z a t i o n
T h e p r o b l e m o f d i s c o v e r i n g a l l a s s o c i a t i o n r u l e s c a n
b e d e c o m p o s e d i n t o t w o s u b p r o b l e m s 4 :
1 . F i n d a l l s e t s o f i t e m s i t e m s e t s t h a t h a v e t r a n s a c -
t i o n s u p p o r t a b o v e m i n i m u m s u p p o r t . T h e s u p p o r t
f o r a n i t e m s e t i s t h e n u m b e r o f t r a n s a c t i o n s t h a t
c o n t a i n t h e i t e m s e t . I t e m s e t s w i t h m i n i m u m s u p -
p o r t a r e c a l l e d l a r g e i t e m s e t s , a n d a l l o t h e r s s m a l l
i t e m s e t s . I n S e c t i o n 2 , w e g i v e n e w a l g o r i t h m s ,
A p r i o r i a n d A p r i o r i T i d , f o r s o l v i n g t h i s p r o b l e m .
2 . U s e t h e l a r g e i t e m s e t s t o g e n e r a t e t h e d e s i r e d r u l e s .
H e r e i s a s t r a i g h t f o r w a r d a l g o r i t h m f o r t h i s t a s k .
F o r e v e r y l a r g e i t e m s e t l , n d a l l n o n - e m p t y s u b s e t s
o f l . F o r e v e r y s u c h s u b s e t a , o u t p u t a r u l e o f
t h e f o r m a = l , a i f t h e r a t i o o f s u p p o r t l
t o s u p p o r t a i s a t l e a s t m i n c o n f . W e n e e d t o
c o n s i d e r a l l s u b s e t s o f l t o g e n e r a t e r u l e s w i t h
m u l t i p l e c o n s e q u e n t s . D u e t o l a c k o f s p a c e , w e d o
n o t d i s c u s s t h i s s u b p r o b l e m f u r t h e r , b u t r e f e r t h e
r e a d e r t o 5 f o r a f a s t a l g o r i t h m .
I n S e c t i o n 3 , w e s h o w t h e r e l a t i v e p e r f o r m a n c e
o f t h e p r o p o s e d A p r i o r i a n d A p r i o r i T i d a l g o r i t h m s
a g a i n s t t h e A I S 4 a n d S E T M 1 3 a l g o r i t h m s .
T o m a k e t h e p a p e r s e l f - c o n t a i n e d , w e i n c l u d e a n
o v e r v i e w o f t h e A I S a n d S E T M a l g o r i t h m s i n t h i s
s e c t i o n . W e a l s o d e s c r i b e h o w t h e A p r i o r i a n d
A p r i o r i T i d a l g o r i t h m s c a n b e c o m b i n e d i n t o a h y b r i d
a l g o r i t h m , A p r i o r i H y b r i d , a n d d e m o n s t r a t e t h e s c a l e -
u p p r o p e r t i e s o f t h i s a l g o r i t h m . W e c o n c l u d e b y
p o i n t i n g o u t s o m e r e l a t e d o p e n p r o b l e m s i n S e c t i o n 4 .
2 D i s c o v e r i n g L a r g e I t e m s e t s
A l g o r i t h m s f o r d i s c o v e r i n g l a r g e i t e m s e t s m a k e m u l -
t i p l e p a s s e s o v e r t h e d a t a . I n t h e r s t p a s s , w e c o u n t
t h e s u p p o r t o f i n d i v i d u a l i t e m s a n d d e t e r m i n e w h i c h
o f t h e m a r e l a r g e , i . e . h a v e m i n i m u m s u p p o r t . I n e a c h
s u b s e q u e n t p a s s , w e s t a r t w i t h a s e e d s e t o f i t e m s e t s
f o u n d t o b e l a r g e i n t h e p r e v i o u s p a s s . W e u s e t h i s
s e e d s e t f o r g e n e r a t i n g n e w p o t e n t i a l l y l a r g e i t e m s e t s ,
c a l l e d c a n d i d a t e i t e m s e t s , a n d c o u n t t h e a c t u a l s u p -
p o r t f o r t h e s e c a n d i d a t e i t e m s e t s d u r i n g t h e p a s s o v e r
t h e d a t a . A t t h e e n d o f t h e p a s s , w e d e t e r m i n e w h i c h
o f t h e c a n d i d a t e i t e m s e t s a r e a c t u a l l y l a r g e , a n d t h e y
b e c o m e t h e s e e d f o r t h e n e x t p a s s . T h i s p r o c e s s c o n -
t i n u e s u n t i l n o n e w l a r g e i t e m s e t s a r e f o u n d .
T h e A p r i o r i a n d A p r i o r i T i d a l g o r i t h m s w e p r o p o s e
d i e r f u n d a m e n t a l l y f r o m t h e A I S 4 a n d S E T M 1 3
a l g o r i t h m s i n t e r m s o f w h i c h c a n d i d a t e i t e m s e t s a r e
c o u n t e d i n a p a s s a n d i n t h e w a y t h a t t h o s e c a n d i d a t e s
a r e g e n e r a t e d . I n b o t h t h e A I S a n d S E T M a l g o r i t h m s ,
c a n d i d a t e i t e m s e t s a r e g e n e r a t e d o n - t h e - y d u r i n g t h e
p a s s a s d a t a i s b e i n g r e a d . S p e c i c a l l y , a f t e r r e a d i n g
a t r a n s a c t i o n , i t i s d e t e r m i n e d w h i c h o f t h e i t e m s e t s
f o u n d l a r g e i n t h e p r e v i o u s p a s s a r e p r e s e n t i n t h e
t r a n s a c t i o n . N e w c a n d i d a t e i t e m s e t s a r e g e n e r a t e d b y
e x t e n d i n g t h e s e l a r g e i t e m s e t s w i t h o t h e r i t e m s i n t h e
t r a n s a c t i o n . H o w e v e r , a s w e w i l l s e e , t h e d i s a d v a n t a g e
![Page 3: vldb94apriori](https://reader030.vdocument.in/reader030/viewer/2022021218/577d35e21a28ab3a6b91ae2f/html5/thumbnails/3.jpg)
8/8/2019 vldb94apriori
http://slidepdf.com/reader/full/vldb94apriori 3/13
i s t h a t t h i s r e s u l t s i n u n n e c e s s a r i l y g e n e r a t i n g a n d
c o u n t i n g t o o m a n y c a n d i d a t e i t e m s e t s t h a t t u r n o u t
t o b e s m a l l .
T h e A p r i o r i a n d A p r i o r i T i d a l g o r i t h m s g e n e r a t e
t h e c a n d i d a t e i t e m s e t s t o b e c o u n t e d i n a p a s s b y
u s i n g o n l y t h e i t e m s e t s f o u n d l a r g e i n t h e p r e v i o u s
p a s s w i t h o u t c o n s i d e r i n g t h e t r a n s a c t i o n s i n t h e
d a t a b a s e . T h e b a s i c i n t u i t i o n i s t h a t a n y s u b s e t
o f a l a r g e i t e m s e t m u s t b e l a r g e . T h e r e f o r e , t h e
c a n d i d a t e i t e m s e t s h a v i n g k i t e m s c a n b e g e n e r a t e d
b y j o i n i n g l a r g e i t e m s e t s h a v i n g k , 1 i t e m s , a n d
d e l e t i n g t h o s e t h a t c o n t a i n a n y s u b s e t t h a t i s n o t
l a r g e . T h i s p r o c e d u r e r e s u l t s i n g e n e r a t i o n o f a m u c h
s m a l l e r n u m b e r o f c a n d i d a t e i t e m s e t s .
T h e A p r i o r i T i d a l g o r i t h m h a s t h e a d d i t i o n a l p r o p -
e r t y t h a t t h e d a t a b a s e i s n o t u s e d a t a l l f o r c o u n t -
i n g t h e s u p p o r t o f c a n d i d a t e i t e m s e t s a f t e r t h e r s t
p a s s . R a t h e r , a n e n c o d i n g o f t h e c a n d i d a t e i t e m s e t s
u s e d i n t h e p r e v i o u s p a s s i s e m p l o y e d f o r t h i s p u r p o s e .
I n l a t e r p a s s e s , t h e s i z e o f t h i s e n c o d i n g c a n b e c o m e
m u c h s m a l l e r t h a n t h e d a t a b a s e , t h u s s a v i n g m u c h
r e a d i n g e o r t . W e w i l l e x p l a i n t h e s e p o i n t s i n m o r e
d e t a i l w h e n w e d e s c r i b e t h e a l g o r i t h m s .
N o t a t i o n W e a s s u m e t h a t i t e m s i n e a c h t r a n s a c t i o n
a r e k e p t s o r t e d i n t h e i r l e x i c o g r a p h i c o r d e r . I t i s
s t r a i g h t f o r w a r d t o a d a p t t h e s e a l g o r i t h m s t o t h e c a s e
w h e r e t h e d a t a b a s e D i s k e p t n o r m a l i z e d a n d e a c h
d a t a b a s e r e c o r d i s a T I D , i t e m p a i r , w h e r e T I D i s
t h e i d e n t i e r o f t h e c o r r e s p o n d i n g t r a n s a c t i o n .
W e c a l l t h e n u m b e r o f i t e m s i n a n i t e m s e t i t s s i z e
a n d c a l l a n i t e m s e t o f s i z e k a k - i t e m s e t . I t e m s w i t h i n
a n i t e m s e t a r e k e p t i n l e x i c o g r a p h i c o r d e r . W e u s e
t h e n o t a t i o n c 1 c 2 c k t o r e p r e s e n t a k -
i t e m s e t c c o n s i s t i n g o f i t e m s c 1 c 2 c k , w h e r e
c 1 c 2 c k . I f c = X Y a n d Y
i s a n m - i t e m s e t , w e a l s o c a l l Y a n m - e x t e n s i o n o f
X . A s s o c i a t e d w i t h e a c h i t e m s e t i s a c o u n t e l d t o
s t o r e t h e s u p p o r t f o r t h i s i t e m s e t . T h e c o u n t e l d i s
i n i t i a l i z e d t o z e r o w h e n t h e i t e m s e t i s r s t c r e a t e d .
W e s u m m a r i z e i n T a b l e 1 t h e n o t a t i o n u s e d i n t h e
a l g o r i t h m s . T h e s e t C
k
i s u s e d b y A p r i o r i T i d a n d w i l l
b e f u r t h e r d i s c u s s e d w h e n w e d e s c r i b e t h i s a l g o r i t h m .
2 . 1 A l g o r i t h m A p r i o r i
F i g u r e 1 g i v e s t h e A p r i o r i a l g o r i t h m . T h e r s t p a s s
o f t h e a l g o r i t h m s i m p l y c o u n t s i t e m o c c u r r e n c e s t o
d e t e r m i n e t h e l a r g e 1 - i t e m s e t s . A s u b s e q u e n t p a s s ,
s a y p a s s k , c o n s i s t s o f t w o p h a s e s . F i r s t , t h e l a r g e
i t e m s e t s L
k 1
f o u n d i n t h e k , 1 t h p a s s a r e u s e d t o
g e n e r a t e t h e c a n d i d a t e i t e m s e t s C
k
, u s i n g t h e a p r i o r i -
g e n f u n c t i o n d e s c r i b e d i n S e c t i o n 2 . 1 . 1 . N e x t , t h e
d a t a b a s e i s s c a n n e d a n d t h e s u p p o r t o f c a n d i d a t e s i n
C
k
i s c o u n t e d . F o r f a s t c o u n t i n g , w e n e e d t o e c i e n t l y
d e t e r m i n e t h e c a n d i d a t e s i n C
k
t h a t a r e c o n t a i n e d i n a
T a b l e 1 : N o t a t i o n
k - i t e m s e t A n i t e m s e t h a v i n g k i t e m s .
S e t o f l a r g e k - i t e m s e t s
L
k
t h o s e w i t h m i n i m u m s u p p o r t .
E a c h m e m b e r o f t h i s s e t h a s t w o e l d s :
i i t e m s e t a n d i i s u p p o r t c o u n t .
S e t o f c a n d i d a t e k - i t e m s e t s
C
k
p o t e n t i a l l y l a r g e i t e m s e t s .
E a c h m e m b e r o f t h i s s e t h a s t w o e l d s :
i i t e m s e t a n d i i s u p p o r t c o u n t .
S e t o f c a n d i d a t e k - i t e m s e t s w h e n t h e T I D s
C
k
o f t h e g e n e r a t i n g t r a n s a c t i o n s a r e k e p t
a s s o c i a t e d w i t h t h e c a n d i d a t e s .
g i v e n t r a n s a c t i o n t . S e c t i o n 2 . 1 . 2 d e s c r i b e s t h e s u b s e t
f u n c t i o n u s e d f o r t h i s p u r p o s e . S e e 5 f o r a d i s c u s s i o n
o f b u e r m a n a g e m e n t .
1 L
1
= f l a r g e 1 - i t e m s e t s g
2 f o r k = 2 L
k 1
6= ; k + + d o b e g i n
3 C
k
= a p r i o r i - g e n L
k 1
; N e w c a n d i d a t e s
4 f o r a l l t r a n s a c t i o n s t 2 D d o b e g i n
5 C
t
= s u b s e t C
k
t ; C a n d i d a t e s c o n t a i n e d i n t
6 f o r a l l c a n d i d a t e s c 2 C
t
d o
7 c c o u n t + + ;
8 e n d
9 L
k
= f c 2 C
k
c c o u n t m i n s u p g
1 0 e n d
1 1 A n s w e r =
S
k
L
k
F i g u r e 1 : A l g o r i t h m A p r i o r i
2 . 1 . 1 A p r i o r i C a n d i d a t e G e n e r a t i o n
T h e a p r i o r i - g e n f u n c t i o n t a k e s a s a r g u m e n t L
k 1
t h e s e t o f a l l l a r g e k , 1 - i t e m s e t s . I t r e t u r n s a
s u p e r s e t o f t h e s e t o f a l l l a r g e k - i t e m s e t s . T h e
f u n c t i o n w o r k s a s f o l l o w s .
1
F i r s t , i n t h e j o i n s t e p ,
w e j o i n L
k 1
w i t h L
k 1
i n s e r t i n t o C
k
s e l e c t p . i t e m
1
p . i t e m
2
, . . . , p . i t e m
k 1
q . i t e m
k 1
f r o m L
k 1
p L
k 1
q
w h e r e p . i t e m
1
= q . i t e m
1
, . . . , p . i t e m
k 2
= q . i t e m
k 2
p . i t e m
k 1
q . i t e m
k 1
N e x t , i n t h e p r u n e s t e p , w e d e l e t e a l l i t e m s e t s c 2 C
k
s u c h t h a t s o m e k , 1 - s u b s e t o f c i s n o t i n L
k 1
1
C o n c u r r e n t t o o u r w o r k , t h e f o l l o w i n g t w o - s t e p c a n d i d a t e
g e n e r a t i o n p r o c e d u r e h a s b e e n p r o p o s e d i n 1 7 :
C
k
= f X X X X 2 L
k 1
X X = k , 2 g
C
k
= f X 2 C
k
X c o n t a i n s k m e m b e r s o f L
k 1
g
T h e s e t w o s t e p s a r e s i m i l a r t o o u r j o i n a n d p r u n e s t e p s
r e s p e c t i v e l y . H o w e v e r , i n g e n e r a l , s t e p 1 w o u l d p r o d u c e a
s u p e r s e t o f t h e c a n d i d a t e s p r o d u c e d b y o u r j o i n s t e p .
![Page 4: vldb94apriori](https://reader030.vdocument.in/reader030/viewer/2022021218/577d35e21a28ab3a6b91ae2f/html5/thumbnails/4.jpg)
8/8/2019 vldb94apriori
http://slidepdf.com/reader/full/vldb94apriori 4/13
f o r a l l i t e m s e t s c 2 C
k
d o
f o r a l l k , 1 - s u b s e t s s o f c d o
i f s 62 L
k 1
t h e n
d e l e t e c f r o m C
k
E x a m p l e L e t L
3
b e f f 1 2 3 g f 1 2 4 g f 1 3 4 g f 1
3 5 g f 2 3 4 g g . A f t e r t h e j o i n s t e p , C
4
w i l l b e f f 1 2 3
4 g f 1 3 4 5 g g . T h e p r u n e s t e p w i l l d e l e t e t h e i t e m s e t
f 1 3 4 5 g b e c a u s e t h e i t e m s e t f 1 4 5 g i s n o t i n L
3
W e w i l l t h e n b e l e f t w i t h o n l y f 1 2 3 4 g i n C
4
C o n t r a s t t h i s c a n d i d a t e g e n e r a t i o n w i t h t h e o n e
u s e d i n t h e A I S a n d S E T M a l g o r i t h m s . I n p a s s k
o f t h e s e a l g o r i t h m s , a d a t a b a s e t r a n s a c t i o n t i s r e a d
a n d i t i s d e t e r m i n e d w h i c h o f t h e l a r g e i t e m s e t s i n
L
k 1
a r e p r e s e n t i n t . E a c h o f t h e s e l a r g e i t e m s e t s
l i s t h e n e x t e n d e d w i t h a l l t h o s e l a r g e i t e m s t h a t
a r e p r e s e n t i n t a n d o c c u r l a t e r i n t h e l e x i c o g r a p h i c
o r d e r i n g t h a n a n y o f t h e i t e m s i n l . C o n t i n u i n g w i t h
t h e p r e v i o u s e x a m p l e , c o n s i d e r a t r a n s a c t i o n f 1 2
3 4 5 g . I n t h e f o u r t h p a s s , A I S a n d S E T M w i l l
g e n e r a t e t w o c a n d i d a t e s , f 1 2 3 4 g a n d f 1 2 3 5 g
b y e x t e n d i n g t h e l a r g e i t e m s e t f 1 2 3 g . S i m i l a r l y , a n
a d d i t i o n a l t h r e e c a n d i d a t e i t e m s e t s w i l l b e g e n e r a t e d
b y e x t e n d i n g t h e o t h e r l a r g e i t e m s e t s i n L
3
, l e a d i n g
t o a t o t a l o f 5 c a n d i d a t e s f o r c o n s i d e r a t i o n i n t h e
f o u r t h p a s s . A p r i o r i , o n t h e o t h e r h a n d , g e n e r a t e s
a n d c o u n t s o n l y o n e i t e m s e t , f 1 3 4 5 g , b e c a u s e i t
c o n c l u d e s a p r i o r i t h a t t h e o t h e r c o m b i n a t i o n s c a n n o t
p o s s i b l y h a v e m i n i m u m s u p p o r t .
C o r r e c t n e s s W e n e e d t o s h o w t h a t C
k
L
k
C l e a r l y , a n y s u b s e t o f a l a r g e i t e m s e t m u s t a l s o
h a v e m i n i m u m s u p p o r t . H e n c e , i f w e e x t e n d e d e a c h
i t e m s e t i n L
k 1
w i t h a l l p o s s i b l e i t e m s a n d t h e n
d e l e t e d a l l t h o s e w h o s e k , 1 - s u b s e t s w e r e n o t i n
L
k 1
, w e w o u l d b e l e f t w i t h a s u p e r s e t o f t h e i t e m s e t s
i n L
k
T h e j o i n i s e q u i v a l e n t t o e x t e n d i n g L
k 1
w i t h e a c h
i t e m i n t h e d a t a b a s e a n d t h e n d e l e t i n g t h o s e i t e m s e t s
f o r w h i c h t h e k , 1 - i t e m s e t o b t a i n e d b y d e l e t i n g t h e
k , 1 t h i t e m i s n o t i n L
k 1
. T h e c o n d i t i o n p . i t e m
k 1
q . i t e m
k 1
s i m p l y e n s u r e s t h a t n o d u p l i c a t e s a r e
g e n e r a t e d . T h u s , a f t e r t h e j o i n s t e p , C
k
L
k
B y
s i m i l a r r e a s o n i n g , t h e p r u n e s t e p , w h e r e w e d e l e t e
f r o m C
k
a l l i t e m s e t s w h o s e k , 1 - s u b s e t s a r e n o t i n
L
k 1
, a l s o d o e s n o t d e l e t e a n y i t e m s e t t h a t c o u l d b e
i n L
k
V a r i a t i o n : C o u n t i n g C a n d i d a t e s o f M u l t i p l e
S i z e s i n O n e P a s s R a t h e r t h a n c o u n t i n g o n l y
c a n d i d a t e s o f s i z e k i n t h e k t h p a s s , w e c a n a l s o
c o u n t t h e c a n d i d a t e s C
k + 1
, w h e r e C
k + 1
i s g e n e r a t e d
f r o m C
k
, e t c . N o t e t h a t C
k + 1
C
k + 1
s i n c e C
k + 1
i s
g e n e r a t e d f r o m L
k
. T h i s v a r i a t i o n c a n p a y o i n t h e
l a t e r p a s s e s w h e n t h e c o s t o f c o u n t i n g a n d k e e p i n g i n
m e m o r y a d d i t i o n a l C
k + 1
, C
k + 1
c a n d i d a t e s b e c o m e s
l e s s t h a n t h e c o s t o f s c a n n i n g t h e d a t a b a s e .
2 . 1 . 2 S u b s e t F u n c t i o n
C a n d i d a t e i t e m s e t s C
k
a r e s t o r e d i n a h a s h - t r e e A
n o d e o f t h e h a s h - t r e e e i t h e r c o n t a i n s a l i s t o f i t e m s e t s
a l e a f n o d e o r a h a s h t a b l e a n i n t e r i o r n o d e . I n a n
i n t e r i o r n o d e , e a c h b u c k e t o f t h e h a s h t a b l e p o i n t s t o
a n o t h e r n o d e . T h e r o o t o f t h e h a s h - t r e e i s d e n e d t o
b e a t d e p t h 1 . A n i n t e r i o r n o d e a t d e p t h d p o i n t s t o
n o d e s a t d e p t h d + 1 . I t e m s e t s a r e s t o r e d i n t h e l e a v e s .
W h e n w e a d d a n i t e m s e t c , w e s t a r t f r o m t h e r o o t a n d
g o d o w n t h e t r e e u n t i l w e r e a c h a l e a f . A t a n i n t e r i o r
n o d e a t d e p t h d , w e d e c i d e w h i c h b r a n c h t o f o l l o w
b y a p p l y i n g a h a s h f u n c t i o n t o t h e d t h i t e m o f t h e
i t e m s e t . A l l n o d e s a r e i n i t i a l l y c r e a t e d a s l e a f n o d e s .
W h e n t h e n u m b e r o f i t e m s e t s i n a l e a f n o d e e x c e e d s
a s p e c i e d t h r e s h o l d , t h e l e a f n o d e i s c o n v e r t e d t o a n
i n t e r i o r n o d e .
S t a r t i n g f r o m t h e r o o t n o d e , t h e s u b s e t f u n c t i o n
n d s a l l t h e c a n d i d a t e s c o n t a i n e d i n a t r a n s a c t i o n
t a s f o l l o w s . I f w e a r e a t a l e a f , w e n d w h i c h o f
t h e i t e m s e t s i n t h e l e a f a r e c o n t a i n e d i n t a n d a d d
r e f e r e n c e s t o t h e m t o t h e a n s w e r s e t . I f w e a r e a t a n
i n t e r i o r n o d e a n d w e h a v e r e a c h e d i t b y h a s h i n g t h e
i t e m i , w e h a s h o n e a c h i t e m t h a t c o m e s a f t e r i i n t
a n d r e c u r s i v e l y a p p l y t h i s p r o c e d u r e t o t h e n o d e i n
t h e c o r r e s p o n d i n g b u c k e t . F o r t h e r o o t n o d e , w e h a s h
o n e v e r y i t e m i n t
T o s e e w h y t h e s u b s e t f u n c t i o n r e t u r n s t h e d e s i r e d
s e t o f r e f e r e n c e s , c o n s i d e r w h a t h a p p e n s a t t h e r o o t
n o d e . F o r a n y i t e m s e t c c o n t a i n e d i n t r a n s a c t i o n t , t h e
r s t i t e m o f c m u s t b e i n t . A t t h e r o o t , b y h a s h i n g o n
e v e r y i t e m i n t , w e e n s u r e t h a t w e o n l y i g n o r e i t e m s e t s
t h a t s t a r t w i t h a n i t e m n o t i n t . S i m i l a r a r g u m e n t s
a p p l y a t l o w e r d e p t h s . T h e o n l y a d d i t i o n a l f a c t o r i s
t h a t , s i n c e t h e i t e m s i n a n y i t e m s e t a r e o r d e r e d , i f w e
r e a c h t h e c u r r e n t n o d e b y h a s h i n g t h e i t e m i , w e o n l y
n e e d t o c o n s i d e r t h e i t e m s i n t t h a t o c c u r a f t e r i
2 . 2 A l g o r i t h m A p r i o r i T i d
T h e A p r i o r i T i d a l g o r i t h m , s h o w n i n F i g u r e 2 , a l s o
u s e s t h e a p r i o r i - g e n f u n c t i o n g i v e n i n S e c t i o n 2 . 1 . 1
t o d e t e r m i n e t h e c a n d i d a t e i t e m s e t s b e f o r e t h e p a s s
b e g i n s . T h e i n t e r e s t i n g f e a t u r e o f t h i s a l g o r i t h m i s
t h a t t h e d a t a b a s e D i s n o t u s e d f o r c o u n t i n g s u p p o r t
a f t e r t h e r s t p a s s . R a t h e r , t h e s e t C
k
i s u s e d
f o r t h i s p u r p o s e . E a c h m e m b e r o f t h e s e t C
k
i s
o f t h e f o r m T I D ; f X
k
g , w h e r e e a c h X
k
i s a
p o t e n t i a l l y l a r g e k - i t e m s e t p r e s e n t i n t h e t r a n s a c t i o n
w i t h i d e n t i e r T I D . F o r k = 1 C
1
c o r r e s p o n d s t o
t h e d a t a b a s e D , a l t h o u g h c o n c e p t u a l l y e a c h i t e m i
i s r e p l a c e d b y t h e i t e m s e t f i g . F o r k 1 C
k
i s
g e n e r a t e d b y t h e a l g o r i t h m s t e p 1 0 . T h e m e m b e r
![Page 5: vldb94apriori](https://reader030.vdocument.in/reader030/viewer/2022021218/577d35e21a28ab3a6b91ae2f/html5/thumbnails/5.jpg)
8/8/2019 vldb94apriori
http://slidepdf.com/reader/full/vldb94apriori 5/13
o f C
k
c o r r e s p o n d i n g t o t r a n s a c t i o n t i s t : T I D
f c 2 C
k
c c o n t a i n e d i n t g . I f a t r a n s a c t i o n d o e s
n o t c o n t a i n a n y c a n d i d a t e k - i t e m s e t , t h e n C
k
w i l l
n o t h a v e a n e n t r y f o r t h i s t r a n s a c t i o n . T h u s , t h e
n u m b e r o f e n t r i e s i n C
k
m a y b e s m a l l e r t h a n t h e
n u m b e r o f t r a n s a c t i o n s i n t h e d a t a b a s e , e s p e c i a l l y f o r
l a r g e v a l u e s o f k . I n a d d i t i o n , f o r l a r g e v a l u e s o f k
e a c h e n t r y m a y b e s m a l l e r t h a n t h e c o r r e s p o n d i n g
t r a n s a c t i o n b e c a u s e v e r y f e w c a n d i d a t e s m a y b e
c o n t a i n e d i n t h e t r a n s a c t i o n . H o w e v e r , f o r s m a l l
v a l u e s f o r k , e a c h e n t r y m a y b e l a r g e r t h a n t h e
c o r r e s p o n d i n g t r a n s a c t i o n b e c a u s e a n e n t r y i n C
k
i n c l u d e s a l l c a n d i d a t e k - i t e m s e t s c o n t a i n e d i n t h e
t r a n s a c t i o n .
I n S e c t i o n 2 . 2 . 1 , w e g i v e t h e d a t a s t r u c t u r e s u s e d
t o i m p l e m e n t t h e a l g o r i t h m . S e e 5 f o r a p r o o f o f
c o r r e c t n e s s a n d a d i s c u s s i o n o f b u e r m a n a g e m e n t .
1 L
1
= f l a r g e 1 - i t e m s e t s g
2 C
1
= d a t a b a s e D
3 f o r k = 2 L
k 1
6= ; k + + d o b e g i n
4 C
k
= a p r i o r i - g e n L
k 1
; N e w c a n d i d a t e s
5 C
k
= ;
6 f o r a l l e n t r i e s t 2 C
k 1
d o b e g i n
7 d e t e r m i n e c a n d i d a t e i t e m s e t s i n C
k
c o n t a i n e d
i n t h e t r a n s a c t i o n w i t h i d e n t i e r t . T I D
C
t
= f c 2 C
k
c , c k 2 t s e t - o f - i t e m s e t s ̂
c , c k , 1 2 t . s e t - o f - i t e m s e t s g
8 f o r a l l c a n d i d a t e s c 2 C
t
d o
9 c c o u n t + + ;
1 0 i f C
t
6= ; t h e n C
k
+ = t T I D C
t
1 1 e n d
1 2 L
k
= f c 2 C
k
c c o u n t m i n s u p g
1 3 e n d
1 4 A n s w e r =
S
k
L
k
F i g u r e 2 : A l g o r i t h m A p r i o r i T i d
E x a m p l e C o n s i d e r t h e d a t a b a s e i n F i g u r e 3 a n d
a s s u m e t h a t m i n i m u m s u p p o r t i s 2 t r a n s a c t i o n s .
C a l l i n g a p r i o r i - g e n w i t h L
1
a t s t e p 4 g i v e s t h e
c a n d i d a t e i t e m s e t s C
2
. I n s t e p s 6 t h r o u g h 1 0 , w e
c o u n t t h e s u p p o r t o f c a n d i d a t e s i n C
2
b y i t e r a t i n g o v e r
t h e e n t r i e s i n C
1
a n d g e n e r a t e C
2
. T h e r s t e n t r y i n
C
1
i s f f 1 g f 3 g f 4 g g , c o r r e s p o n d i n g t o t r a n s a c t i o n
1 0 0 . T h e C
t
a t s t e p 7 c o r r e s p o n d i n g t o t h i s e n t r y t
i s f f 1 3 g g , b e c a u s e f 1 3 g i s a m e m b e r o f C
2
a n d
b o t h f 1 3 g - f 1 g a n d f 1 3 g - f 3 g a r e m e m b e r s o f
t . s e t - o f - i t e m s e t s .
C a l l i n g a p r i o r i - g e n w i t h L
2
g i v e s C
3
. M a k i n g a p a s s
o v e r t h e d a t a w i t h C
2
a n d C
3
g e n e r a t e s C
3
. N o t e t h a t
t h e r e i s n o e n t r y i n C
3
f o r t h e t r a n s a c t i o n s w i t h T I D s
1 0 0 a n d 4 0 0 , s i n c e t h e y d o n o t c o n t a i n a n y o f t h e
i t e m s e t s i n C
3
. T h e c a n d i d a t e f 2 3 5 g i n C
3
t u r n s
o u t t o b e l a r g e a n d i s t h e o n l y m e m b e r o f L
3
. W h e n
w e g e n e r a t e C
4
u s i n g L
3
, i t t u r n s o u t t o b e e m p t y ,
a n d w e t e r m i n a t e .
D a t a b a s e
T I D I t e m s
1 0 0 1 3 4
2 0 0 2 3 5
3 0 0 1 2 3 5
4 0 0 2 5
C
1
T I D S e t - o f - I t e m s e t s
1 0 0 f f 1 g f 3 g f 4 g g
2 0 0 f f 2 g f 3 g f 5 g g
3 0 0 f f 1 g f 2 g f 3 g f 5 g
4 0 0 f f 2 g f 5 g g
L
1
I t e m s e t S u p p o r t
f 1 g 2
f 2 g 3
f 3 g 3
f 5 g 3
C
2
I t e m s e t S u p p o r t
f 1 2 g 1
f 1 3 g 2
f 1 5 g 1
f 2 3 g 2
f 2 5 g 3
f 3 5 g 2
C
2
T I D S e t - o f - I t e m s e t s
1 0 0 f f 1 3 g g
2 0 0 f f 2 3 g f 2 5 g f 3 5 g g
3 0 0 f f 1 2 g f 1 3 g f 1 5 g
f 2 3 g f 2 5 g f 3 5 g g
4 0 0 f f 2 5 g g
L
2
I t e m s e t S u p p o r t
f 1 3 g 2
f 2 3 g 2
f 2 5 g 3
f 3 5 g 2
C
3
I t e m s e t S u p p o r t
f 2 3 5 g 2
C
3
T I D S e t - o f - I t e m s e t s
2 0 0 f f 2 3 5 g g
3 0 0 f f 2 3 5 g g
L
3
I t e m s e t S u p p o r t
f 2 3 5 g 2
F i g u r e 3 : E x a m p l e
2 . 2 . 1 D a t a S t r u c t u r e s
W e a s s i g n e a c h c a n d i d a t e i t e m s e t a u n i q u e n u m b e r ,
c a l l e d i t s I D . E a c h s e t o f c a n d i d a t e i t e m s e t s C
k
i s k e p t
i n a n a r r a y i n d e x e d b y t h e I D s o f t h e i t e m s e t s i n C
k
A m e m b e r o f C
k
i s n o w o f t h e f o r m T I D f I D g
E a c h C
k
i s s t o r e d i n a s e q u e n t i a l s t r u c t u r e .
T h e a p r i o r i - g e n f u n c t i o n g e n e r a t e s a c a n d i d a t e k -
i t e m s e t c
k
b y j o i n i n g t w o l a r g e k , 1 - i t e m s e t s . W e
m a i n t a i n t w o a d d i t i o n a l e l d s f o r e a c h c a n d i d a t e
i t e m s e t : i g e n e r a t o r s a n d i i e x t e n s i o n s . T h e
g e n e r a t o r s e l d o f a c a n d i d a t e i t e m s e t c
k
s t o r e s t h e
I D s o f t h e t w o l a r g e k , 1 - i t e m s e t s w h o s e j o i n
g e n e r a t e d c
k
. T h e e x t e n s i o n s e l d o f a n i t e m s e t
c
k
s t o r e s t h e I D s o f a l l t h e k + 1 - c a n d i d a t e s t h a t
a r e e x t e n s i o n s o f c
k
. T h u s , w h e n a c a n d i d a t e c
k
i s
g e n e r a t e d b y j o i n i n g l
1
k 1
a n d l
2
k 1
, w e s a v e t h e I D s
o f l
1
k 1
a n d l
2
k 1
i n t h e g e n e r a t o r s e l d f o r c
k
. A t t h e
s a m e t i m e , t h e I D o f c
k
i s a d d e d t o t h e e x t e n s i o n s
e l d o f l
1
k 1
![Page 6: vldb94apriori](https://reader030.vdocument.in/reader030/viewer/2022021218/577d35e21a28ab3a6b91ae2f/html5/thumbnails/6.jpg)
8/8/2019 vldb94apriori
http://slidepdf.com/reader/full/vldb94apriori 6/13
W e n o w d e s c r i b e h o w S t e p 7 o f F i g u r e 2 i s
i m p l e m e n t e d u s i n g t h e a b o v e d a t a s t r u c t u r e s . R e c a l l
t h a t t h e t . s e t - o f - i t e m s e t s e l d o f a n e n t r y t i n C
k 1
g i v e s t h e I D s o f a l l k , 1 - c a n d i d a t e s c o n t a i n e d i n
t r a n s a c t i o n t . T I D . F o r e a c h s u c h c a n d i d a t e c
k 1
t h e
e x t e n s i o n s e l d g i v e s T
k
, t h e s e t o f I D s o f a l l t h e
c a n d i d a t e k - i t e m s e t s t h a t a r e e x t e n s i o n s o f c
k 1
. F o r
e a c h c
k
i n T
k
, t h e g e n e r a t o r s e l d g i v e s t h e I D s o f
t h e t w o i t e m s e t s t h a t g e n e r a t e d c
k
. I f t h e s e i t e m s e t s
a r e p r e s e n t i n t h e e n t r y f o r t . s e t - o f - i t e m s e t s , w e c a n
c o n c l u d e t h a t c
k
i s p r e s e n t i n t r a n s a c t i o n t . T I D , a n d
a d d c
k
t o C
t
3 P e r f o r m a n c e
T o a s s e s s t h e r e l a t i v e p e r f o r m a n c e o f t h e a l g o r i t h m s
f o r d i s c o v e r i n g l a r g e s e t s , w e p e r f o r m e d s e v e r a l
e x p e r i m e n t s o n a n I B M R S 6 0 0 0 5 3 0 H w o r k s t a t i o n
w i t h a C P U c l o c k r a t e o f 3 3 M H z , 6 4 M B o f m a i n
m e m o r y , a n d r u n n i n g A I X 3 . 2 . T h e d a t a r e s i d e d i n
t h e A I X l e s y s t e m a n d w a s s t o r e d o n a 2 G B S C S I
3 . 5 " d r i v e , w i t h m e a s u r e d s e q u e n t i a l t h r o u g h p u t o f
a b o u t 2 M B s e c o n d .
W e r s t g i v e a n o v e r v i e w o f t h e A I S 4 a n d S E T M
1 3 a l g o r i t h m s a g a i n s t w h i c h w e c o m p a r e t h e p e r -
f o r m a n c e o f t h e A p r i o r i a n d A p r i o r i T i d a l g o r i t h m s .
W e t h e n d e s c r i b e t h e s y n t h e t i c d a t a s e t s u s e d i n t h e
p e r f o r m a n c e e v a l u a t i o n a n d s h o w t h e p e r f o r m a n c e r e -
s u l t s . F i n a l l y , w e d e s c r i b e h o w t h e b e s t p e r f o r m a n c e
f e a t u r e s o f A p r i o r i a n d A p r i o r i T i d c a n b e c o m b i n e d
i n t o a n A p r i o r i H y b r i d a l g o r i t h m a n d d e m o n s t r a t e i t s
s c a l e - u p p r o p e r t i e s .
3 . 1 T h e A I S A l g o r i t h m
C a n d i d a t e i t e m s e t s a r e g e n e r a t e d a n d c o u n t e d o n -
t h e - y a s t h e d a t a b a s e i s s c a n n e d . A f t e r r e a d i n g a
t r a n s a c t i o n , i t i s d e t e r m i n e d w h i c h o f t h e i t e m s e t s
t h a t w e r e f o u n d t o b e l a r g e i n t h e p r e v i o u s p a s s a r e
c o n t a i n e d i n t h i s t r a n s a c t i o n . N e w c a n d i d a t e i t e m s e t s
a r e g e n e r a t e d b y e x t e n d i n g t h e s e l a r g e i t e m s e t s w i t h
o t h e r i t e m s i n t h e t r a n s a c t i o n . A l a r g e i t e m s e t l i s
e x t e n d e d w i t h o n l y t h o s e i t e m s t h a t a r e l a r g e a n d
o c c u r l a t e r i n t h e l e x i c o g r a p h i c o r d e r i n g o f i t e m s t h a n
a n y o f t h e i t e m s i n l . T h e c a n d i d a t e s g e n e r a t e d
f r o m a t r a n s a c t i o n a r e a d d e d t o t h e s e t o f c a n d i d a t e
i t e m s e t s m a i n t a i n e d f o r t h e p a s s , o r t h e c o u n t s o f
t h e c o r r e s p o n d i n g e n t r i e s a r e i n c r e a s e d i f t h e y w e r e
c r e a t e d b y a n e a r l i e r t r a n s a c t i o n . S e e 4 f o r f u r t h e r
d e t a i l s o f t h e A I S a l g o r i t h m .
3 . 2 T h e S E T M A l g o r i t h m
T h e S E T M a l g o r i t h m 1 3 w a s m o t i v a t e d b y t h e d e s i r e
t o u s e S Q L t o c o m p u t e l a r g e i t e m s e t s . L i k e A I S ,
t h e S E T M a l g o r i t h m a l s o g e n e r a t e s c a n d i d a t e s o n -
t h e - y b a s e d o n t r a n s a c t i o n s r e a d f r o m t h e d a t a b a s e .
I t t h u s g e n e r a t e s a n d c o u n t s e v e r y c a n d i d a t e i t e m s e t
t h a t t h e A I S a l g o r i t h m g e n e r a t e s . H o w e v e r , t o u s e t h e
s t a n d a r d S Q L j o i n o p e r a t i o n f o r c a n d i d a t e g e n e r a t i o n ,
S E T M s e p a r a t e s c a n d i d a t e g e n e r a t i o n f r o m c o u n t i n g .
I t s a v e s a c o p y o f t h e c a n d i d a t e i t e m s e t t o g e t h e r w i t h
t h e T I D o f t h e g e n e r a t i n g t r a n s a c t i o n i n a s e q u e n t i a l
s t r u c t u r e . A t t h e e n d o f t h e p a s s , t h e s u p p o r t c o u n t
o f c a n d i d a t e i t e m s e t s i s d e t e r m i n e d b y s o r t i n g a n d
a g g r e g a t i n g t h i s s e q u e n t i a l s t r u c t u r e .
S E T M r e m e m b e r s t h e T I D s o f t h e g e n e r a t i n g
t r a n s a c t i o n s w i t h t h e c a n d i d a t e i t e m s e t s . T o a v o i d
n e e d i n g a s u b s e t o p e r a t i o n , i t u s e s t h i s i n f o r m a t i o n
t o d e t e r m i n e t h e l a r g e i t e m s e t s c o n t a i n e d i n t h e
t r a n s a c t i o n r e a d . L
k
C
k
a n d i s o b t a i n e d b y d e l e t i n g
t h o s e c a n d i d a t e s t h a t d o n o t h a v e m i n i m u m s u p p o r t .
A s s u m i n g t h a t t h e d a t a b a s e i s s o r t e d i n T I D o r d e r ,
S E T M c a n e a s i l y n d t h e l a r g e i t e m s e t s c o n t a i n e d i n a
t r a n s a c t i o n i n t h e n e x t p a s s b y s o r t i n g L
k
o n T I D . I n
f a c t , i t n e e d s t o v i s i t e v e r y m e m b e r o f L
k
o n l y o n c e i n
t h e T I D o r d e r , a n d t h e c a n d i d a t e g e n e r a t i o n c a n b e
p e r f o r m e d u s i n g t h e r e l a t i o n a l m e r g e - j o i n o p e r a t i o n
1 3 .
T h e d i s a d v a n t a g e o f t h i s a p p r o a c h i s m a i n l y d u e
t o t h e s i z e o f c a n d i d a t e s e t s C
k
. F o r e a c h c a n d i d a t e
i t e m s e t , t h e c a n d i d a t e s e t n o w h a s a s m a n y e n t r i e s
a s t h e n u m b e r o f t r a n s a c t i o n s i n w h i c h t h e c a n d i d a t e
i t e m s e t i s p r e s e n t . M o r e o v e r , w h e n w e a r e r e a d y t o
c o u n t t h e s u p p o r t f o r c a n d i d a t e i t e m s e t s a t t h e e n d
o f t h e p a s s , C
k
i s i n t h e w r o n g o r d e r a n d n e e d s t o b e
s o r t e d o n i t e m s e t s . A f t e r c o u n t i n g a n d p r u n i n g o u t
s m a l l c a n d i d a t e i t e m s e t s t h a t d o n o t h a v e m i n i m u m
s u p p o r t , t h e r e s u l t i n g s e t L
k
n e e d s a n o t h e r s o r t o n
T I D b e f o r e i t c a n b e u s e d f o r g e n e r a t i n g c a n d i d a t e s
i n t h e n e x t p a s s .
3 . 3 G e n e r a t i o n o f S y n t h e t i c D a t a
W e g e n e r a t e d s y n t h e t i c t r a n s a c t i o n s t o e v a l u a t e t h e
p e r f o r m a n c e o f t h e a l g o r i t h m s o v e r a l a r g e r a n g e o f
d a t a c h a r a c t e r i s t i c s . T h e s e t r a n s a c t i o n s m i m i c t h e
t r a n s a c t i o n s i n t h e r e t a i l i n g e n v i r o n m e n t . O u r m o d e l
o f t h e r e a l " w o r l d i s t h a t p e o p l e t e n d t o b u y s e t s
o f i t e m s t o g e t h e r . E a c h s u c h s e t i s p o t e n t i a l l y a
m a x i m a l l a r g e i t e m s e t . A n e x a m p l e o f s u c h a s e t
m i g h t b e s h e e t s , p i l l o w c a s e , c o m f o r t e r , a n d r u e s .
H o w e v e r , s o m e p e o p l e m a y b u y o n l y s o m e o f t h e
i t e m s f r o m s u c h a s e t . F o r i n s t a n c e , s o m e p e o p l e
m i g h t b u y o n l y s h e e t s a n d p i l l o w c a s e , a n d s o m e o n l y
s h e e t s . A t r a n s a c t i o n m a y c o n t a i n m o r e t h a n o n e
l a r g e i t e m s e t . F o r e x a m p l e , a c u s t o m e r m i g h t p l a c e a n
o r d e r f o r a d r e s s a n d j a c k e t w h e n o r d e r i n g s h e e t s a n d
p i l l o w c a s e s , w h e r e t h e d r e s s a n d j a c k e t t o g e t h e r f o r m
a n o t h e r l a r g e i t e m s e t . T r a n s a c t i o n s i z e s a r e t y p i c a l l y
c l u s t e r e d a r o u n d a m e a n a n d a f e w t r a n s a c t i o n s h a v e
m a n y i t e m s . T y p i c a l s i z e s o f l a r g e i t e m s e t s a r e a l s o
![Page 7: vldb94apriori](https://reader030.vdocument.in/reader030/viewer/2022021218/577d35e21a28ab3a6b91ae2f/html5/thumbnails/7.jpg)
8/8/2019 vldb94apriori
http://slidepdf.com/reader/full/vldb94apriori 7/13
![Page 8: vldb94apriori](https://reader030.vdocument.in/reader030/viewer/2022021218/577d35e21a28ab3a6b91ae2f/html5/thumbnails/8.jpg)
8/8/2019 vldb94apriori
http://slidepdf.com/reader/full/vldb94apriori 8/13
T 5 . I 2 . D 1 0 0 K T 1 0 . I 2 . D 1 0 0 K
0
10
20
30
40
50
60
70
80
0.250.330.50.7511.52
T i m e ( s e c )
Minimum Support
SETMAIS
AprioriTidApriori
0
20
40
60
80
100
120
140
160
0.250.330.50.7511.52
T i m e ( s e c )
Minimum Support
AISAprioriTid
Apriori
T 1 0 . I 4 . D 1 0 0 K T 2 0 . I 2 . D 1 0 0 K
0
50
100
150
200
250
300
350
0.250.330.50.7511.52
T i m e ( s e c )
Minimum Support
AISAprioriTid
Apriori
0
100
200
300
400
500
600
700
800
900
1000
0.250.330.50.7511.52
T i m e ( s e c )
Minimum Support
AISAprioriTid
Apriori
T 2 0 . I 4 . D 1 0 0 K T 2 0 . I 6 . D 1 0 0 K
0
200
400
600
800
1000
1200
1400
1600
1800
0.250.330.50.7511.52
T
i m e ( s e c )
Minimum Support
AISAprioriTid
Apriori
0
500
1000
1500
2000
2500
3000
3500
0.250.330.50.7511.52
T
i m e ( s e c )
Minimum Support
AISAprioriTid
Apriori
F i g u r e 4 : E x e c u t i o n t i m e s
![Page 9: vldb94apriori](https://reader030.vdocument.in/reader030/viewer/2022021218/577d35e21a28ab3a6b91ae2f/html5/thumbnails/9.jpg)
8/8/2019 vldb94apriori
http://slidepdf.com/reader/full/vldb94apriori 9/13
T a b l e 4 : E x e c u t i o n t i m e s i n s e c o n d s f o r S E T M
A l g o r i t h m M i n i m u m S u p p o r t
2 . 0 1 . 5 1 . 0 0 . 7 5 0 . 5
D a t a s e t T 1 0 . I 2 . D 1 0 0 K
S E T M 7 4 1 6 1 8 3 8 1 2 6 2 1 8 7 8
A p r i o r i 4 . 4 5 . 3 1 1 . 0 1 4 . 5 1 5 . 3
D a t a s e t T 1 0 . I 4 . D 1 0 0 K
S E T M 4 1 9 1 6 5 9 9 2 9 1 6 3 9
A p r i o r i 3 . 8 4 . 8 1 1 . 2 1 7 . 4 1 9 . 3
A p r i o r i b e a t s A I S f o r a l l p r o b l e m s i z e s , b y f a c t o r s
r a n g i n g f r o m 2 f o r h i g h m i n i m u m s u p p o r t t o m o r e
t h a n a n o r d e r o f m a g n i t u d e f o r l o w l e v e l s o f s u p p o r t .
A I S a l w a y s d i d c o n s i d e r a b l y b e t t e r t h a n S E T M . F o r
s m a l l p r o b l e m s , A p r i o r i T i d d i d a b o u t a s w e l l a s
A p r i o r i , b u t p e r f o r m a n c e d e g r a d e d t o a b o u t t w i c e a s
s l o w f o r l a r g e p r o b l e m s .
3 . 5 E x p l a n a t i o n o f t h e R e l a t i v e P e r f o r m a n c e
T o e x p l a i n t h e s e p e r f o r m a n c e t r e n d s , w e s h o w i n
F i g u r e 5 t h e s i z e s o f t h e l a r g e a n d c a n d i d a t e s e t s i n
d i e r e n t p a s s e s f o r t h e T 1 0 . I 4 . D 1 0 0 K d a t a s e t f o r t h e
m i n i m u m s u p p o r t o f 0 . 7 5 . N o t e t h a t t h e Y - a x i s i n
t h i s g r a p h h a s a l o g s c a l e .
1
10
100
1000
10000
100000
1e+06
1e+07
1 2 3 4 5 6 7
N u m b e r o f
I t e m s e t s
Pass Number
C-k-m (SETM)C-k-m (AprioriTid)C-k (AIS, SETM)
C-k (Apriori, AprioriTid)L-k
F i g u r e 5 : S i z e s o f t h e l a r g e a n d c a n d i d a t e s e t s
T 1 0 . I 4 . D 1 0 0 K , m i n s u p = 0 . 7 5
T h e f u n d a m e n t a l p r o b l e m w i t h t h e S E T M a l g o -
r i t h m i s t h e s i z e o f i t s C
k
s e t s . R e c a l l t h a t t h e s i z e o f
t h e s e t C
k
i s g i v e n b y
X
c a n d i d a t e i t e m s e t s c
s u p p o r t - c o u n t c
T h u s , t h e s e t s C
k
a r e r o u g h l y S t i m e s b i g g e r t h a n t h e
c o r r e s p o n d i n g C
k
s e t s , w h e r e S i s t h e a v e r a g e s u p p o r t
c o u n t o f t h e c a n d i d a t e i t e m s e t s . U n l e s s t h e p r o b l e m
s i z e i s v e r y s m a l l , t h e C
k
s e t s h a v e t o b e w r i t t e n
t o d i s k , a n d e x t e r n a l l y s o r t e d t w i c e , c a u s i n g t h e
S E T M a l g o r i t h m t o p e r f o r m p o o r l y .
2
T h i s e x p l a i n s
t h e j u m p i n t i m e f o r S E T M i n T a b l e 4 w h e n g o i n g
f r o m 1 . 5 s u p p o r t t o 1 . 0 s u p p o r t f o r d a t a s e t s w i t h
t r a n s a c t i o n s i z e 1 0 . T h e l a r g e s t d a t a s e t i n t h e s c a l e -
u p e x p e r i m e n t s f o r S E T M i n 1 3 w a s s t i l l s m a l l
e n o u g h t h a t C
k
c o u l d t i n m e m o r y ; h e n c e t h e y d i d
n o t e n c o u n t e r t h i s j u m p i n e x e c u t i o n t i m e . N o t e t h a t
f o r t h e s a m e m i n i m u m s u p p o r t , t h e s u p p o r t c o u n t f o r
c a n d i d a t e i t e m s e t s i n c r e a s e s l i n e a r l y w i t h t h e n u m b e r
o f t r a n s a c t i o n s . T h u s , a s w e i n c r e a s e t h e n u m b e r o f
t r a n s a c t i o n s f o r t h e s a m e v a l u e s o f T a n d I , t h o u g h
t h e s i z e o f C
k
d o e s n o t c h a n g e , t h e s i z e o f C
k
g o e s u p
l i n e a r l y . T h u s , f o r d a t a s e t s w i t h m o r e t r a n s a c t i o n s ,
t h e p e r f o r m a n c e g a p b e t w e e n S E T M a n d t h e o t h e r
a l g o r i t h m s w i l l b e c o m e e v e n l a r g e r .
T h e p r o b l e m w i t h A I S i s t h a t i t g e n e r a t e s t o o m a n y
c a n d i d a t e s t h a t l a t e r t u r n o u t t o b e s m a l l , c a u s i n g
i t t o w a s t e t o o m u c h e o r t . A p r i o r i a l s o c o u n t s t o o
m a n y s m a l l s e t s i n t h e s e c o n d p a s s r e c a l l t h a t C
2
i s
r e a l l y a c r o s s - p r o d u c t o f L
1
w i t h L
1
. H o w e v e r , t h i s
w a s t a g e d e c r e a s e s d r a m a t i c a l l y f r o m t h e t h i r d p a s s
o n w a r d . N o t e t h a t f o r t h e e x a m p l e i n F i g u r e 5 , a f t e r
p a s s 3 , a l m o s t e v e r y c a n d i d a t e i t e m s e t c o u n t e d b y
A p r i o r i t u r n s o u t t o b e a l a r g e s e t .
A p r i o r i T i d a l s o h a s t h e p r o b l e m o f S E T M t h a t C
k
t e n d s t o b e l a r g e . H o w e v e r , t h e a p r i o r i c a n d i d a t e
g e n e r a t i o n u s e d b y A p r i o r i T i d g e n e r a t e s s i g n i c a n t l y
f e w e r c a n d i d a t e s t h a n t h e t r a n s a c t i o n - b a s e d c a n d i -
d a t e g e n e r a t i o n u s e d b y S E T M . A s a r e s u l t , t h e C
k
o f
A p r i o r i T i d h a s f e w e r e n t r i e s t h a n t h a t o f S E T M . A p r i -
o r i T i d i s a l s o a b l e t o u s e a s i n g l e w o r d I D t o s t o r e
a c a n d i d a t e r a t h e r t h a n r e q u i r i n g a s m a n y w o r d s a s
t h e n u m b e r o f i t e m s i n t h e c a n d i d a t e .
3
I n a d d i t i o n ,
u n l i k e S E T M , A p r i o r i T i d d o e s n o t h a v e t o s o r t C
k
T h u s , A p r i o r i T i d d o e s n o t s u e r a s m u c h a s S E T M
f r o m m a i n t a i n i n g C
k
A p r i o r i T i d h a s t h e n i c e f e a t u r e t h a t i t r e p l a c e s a
p a s s o v e r t h e o r i g i n a l d a t a s e t b y a p a s s o v e r t h e s e t
C
k
. H e n c e , A p r i o r i T i d i s v e r y e e c t i v e i n l a t e r p a s s e s
w h e n t h e s i z e o f C
k
b e c o m e s s m a l l c o m p a r e d t o t h e
2
T h e c o s t o f e x t e r n a l s o r t i n g i n S E T M c a n b e r e d u c e d
s o m e w h a t a s f o l l o w s . B e f o r e w r i t i n g o u t e n t r i e s i n C
k
t o
d i s k , w e c a n s o r t t h e m o n i t e m s e t s u s i n g a n i n t e r n a l s o r t i n g
p r o c e d u r e , a n d w r i t e t h e m a s s o r t e d r u n s . T h e s e s o r t e d r u n s
c a n t h e n b e m e r g e d t o o b t a i n s u p p o r t c o u n t s . H o w e v e r ,
g i v e n t h e p o o r p e r f o r m a n c e o f S E T M , w e d o n o t e x p e c t t h i s
o p t i m i z a t i o n t o a e c t t h e a l g o r i t h m c h o i c e .
3
F o r S E T M t o u s e I D s , i t w o u l d h a v e t o m a i n t a i n t w o
a d d i t i o n a l i n - m e m o r y d a t a s t r u c t u r e s : a h a s h t a b l e t o n d
o u t w h e t h e r a c a n d i d a t e h a s b e e n g e n e r a t e d p r e v i o u s l y , a n d
a m a p p i n g f r o m t h e I D s t o c a n d i d a t e s . H o w e v e r , t h i s w o u l d
d e s t r o y t h e s e t - o r i e n t e d n a t u r e o f t h e a l g o r i t h m . A l s o , o n c e w e
h a v e t h e h a s h t a b l e w h i c h g i v e s u s t h e I D s o f c a n d i d a t e s , w e
m i g h t a s w e l l c o u n t t h e m a t t h e s a m e t i m e a n d a v o i d t h e t w o
e x t e r n a l s o r t s . W e e x p e r i m e n t e d w i t h t h i s v a r i a n t o f S E T M a n d
f o u n d t h a t , w h i l e i t d i d b e t t e r t h a n S E T M , i t s t i l l p e r f o r m e d
m u c h w o r s e t h a n A p r i o r i o r A p r i o r i T i d .
![Page 10: vldb94apriori](https://reader030.vdocument.in/reader030/viewer/2022021218/577d35e21a28ab3a6b91ae2f/html5/thumbnails/10.jpg)
8/8/2019 vldb94apriori
http://slidepdf.com/reader/full/vldb94apriori 10/13
s i z e o f t h e d a t a b a s e . T h u s , w e n d t h a t A p r i o r i T i d
b e a t s A p r i o r i w h e n i t s C
k
s e t s c a n t i n m e m o r y a n d
t h e d i s t r i b u t i o n o f t h e l a r g e i t e m s e t s h a s a l o n g t a i l .
W h e n C
k
d o e s n ' t t i n m e m o r y , t h e r e i s a j u m p i n
t h e e x e c u t i o n t i m e f o r A p r i o r i T i d , s u c h a s w h e n g o i n g
f r o m 0 . 7 5 t o 0 . 5 f o r d a t a s e t s w i t h t r a n s a c t i o n s i z e
1 0 i n F i g u r e 4 . I n t h i s r e g i o n , A p r i o r i s t a r t s b e a t i n g
A p r i o r i T i d .
3 . 6 A l g o r i t h m A p r i o r i H y b r i d
I t i s n o t n e c e s s a r y t o u s e t h e s a m e a l g o r i t h m i n a l l t h e
p a s s e s o v e r d a t a . F i g u r e 6 s h o w s t h e e x e c u t i o n t i m e s
f o r A p r i o r i a n d A p r i o r i T i d f o r d i e r e n t p a s s e s o v e r t h e
d a t a s e t T 1 0 . I 4 . D 1 0 0 K . I n t h e e a r l i e r p a s s e s , A p r i o r i
d o e s b e t t e r t h a n A p r i o r i T i d . H o w e v e r , A p r i o r i T i d
b e a t s A p r i o r i i n l a t e r p a s s e s . W e o b s e r v e d s i m i l a r
r e l a t i v e b e h a v i o r f o r t h e o t h e r d a t a s e t s , t h e r e a s o n
f o r w h i c h i s a s f o l l o w s . A p r i o r i a n d A p r i o r i T i d
u s e t h e s a m e c a n d i d a t e g e n e r a t i o n p r o c e d u r e a n d
t h e r e f o r e c o u n t t h e s a m e i t e m s e t s . I n t h e l a t e r
p a s s e s , t h e n u m b e r o f c a n d i d a t e i t e m s e t s r e d u c e s
s e e t h e s i z e o f C
k
f o r A p r i o r i a n d A p r i o r i T i d i n
F i g u r e 5 . H o w e v e r , A p r i o r i s t i l l e x a m i n e s e v e r y
t r a n s a c t i o n i n t h e d a t a b a s e . O n t h e o t h e r h a n d ,
r a t h e r t h a n s c a n n i n g t h e d a t a b a s e , A p r i o r i T i d s c a n s
C
k
f o r o b t a i n i n g s u p p o r t c o u n t s , a n d t h e s i z e o f C
k
h a s b e c o m e s m a l l e r t h a n t h e s i z e o f t h e d a t a b a s e .
W h e n t h e C
k
s e t s c a n t i n m e m o r y , w e d o n o t e v e n
i n c u r t h e c o s t o f w r i t i n g t h e m t o d i s k .
0
2
4
6
8
10
12
14
1 2 3 4 5 6 7
T i m e ( s e c )
Pass #
AprioriAprioriTid
F i g u r e 6 : P e r p a s s e x e c u t i o n t i m e s o f A p r i o r i a n d
A p r i o r i T i d T 1 0 . I 4 . D 1 0 0 K , m i n s u p = 0 . 7 5
B a s e d o n t h e s e o b s e r v a t i o n s , w e c a n d e s i g n a
h y b r i d a l g o r i t h m , w h i c h w e c a l l A p r i o r i H y b r i d , t h a t
u s e s A p r i o r i i n t h e i n i t i a l p a s s e s a n d s w i t c h e s t o
A p r i o r i T i d w h e n i t e x p e c t s t h a t t h e s e t C
k
a t t h e
e n d o f t h e p a s s w i l l t i n m e m o r y . W e u s e t h e
f o l l o w i n g h e u r i s t i c t o e s t i m a t e i f C
k
w o u l d t i n
m e m o r y i n t h e n e x t p a s s . A t t h e e n d o f t h e
c u r r e n t p a s s , w e h a v e t h e c o u n t s o f t h e c a n d i d a t e s
i n C
k
. F r o m t h i s , w e e s t i m a t e w h a t t h e s i z e o f C
k
w o u l d h a v e b e e n i f i t h a d b e e n g e n e r a t e d . T h i s
s i z e , i n w o r d s , i s
P
c a n d i d a t e s c 2 C
k
s u p p o r t c +
n u m b e r o f t r a n s a c t i o n s . I f C
k
i n t h i s p a s s w a s s m a l l
e n o u g h t o t i n m e m o r y , a n d t h e r e w e r e f e w e r l a r g e
c a n d i d a t e s i n t h e c u r r e n t p a s s t h a n t h e p r e v i o u s p a s s ,
w e s w i t c h t o A p r i o r i T i d . T h e l a t t e r c o n d i t i o n i s a d d e d
t o a v o i d s w i t c h i n g w h e n C
k
i n t h e c u r r e n t p a s s t s i n
m e m o r y b u t C
k
i n t h e n e x t p a s s m a y n o t .
S w i t c h i n g f r o m A p r i o r i t o A p r i o r i T i d d o e s i n v o l v e
a c o s t . A s s u m e t h a t w e d e c i d e t o s w i t c h f r o m A p r i o r i
t o A p r i o r i T i d a t t h e e n d o f t h e k t h p a s s . I n t h e
k + 1 t h p a s s , a f t e r n d i n g t h e c a n d i d a t e i t e m s e t s
c o n t a i n e d i n a t r a n s a c t i o n , w e w i l l a l s o h a v e t o a d d
t h e i r I D s t o C
k + 1
s e e t h e d e s c r i p t i o n o f A p r i o r i T i d
i n S e c t i o n 2 . 2 . T h u s t h e r e i s a n e x t r a c o s t i n c u r r e d
i n t h i s p a s s r e l a t i v e t o j u s t r u n n i n g A p r i o r i . I t i s o n l y
i n t h e k + 2 t h p a s s t h a t w e a c t u a l l y s t a r t r u n n i n g
A p r i o r i T i d . T h u s , i f t h e r e a r e n o l a r g e k + 1 - i t e m s e t s ,
o r n o k + 2 - c a n d i d a t e s , w e w i l l i n c u r t h e c o s t o f
s w i t c h i n g w i t h o u t g e t t i n g a n y o f t h e s a v i n g s o f u s i n g
A p r i o r i T i d .
F i g u r e 7 s h o w s t h e p e r f o r m a n c e o f A p r i o r i H y b r i d
r e l a t i v e t o A p r i o r i a n d A p r i o r i T i d f o r t h r e e d a t a s e t s .
A p r i o r i H y b r i d p e r f o r m s b e t t e r t h a n A p r i o r i i n a l m o s t
a l l c a s e s . F o r T 1 0 . I 2 . D 1 0 0 K w i t h 1 . 5 s u p p o r t ,
A p r i o r i H y b r i d d o e s a l i t t l e w o r s e t h a n A p r i o r i s i n c e
t h e p a s s i n w h i c h t h e s w i t c h o c c u r r e d w a s t h e
l a s t p a s s ; A p r i o r i H y b r i d t h u s i n c u r r e d t h e c o s t o f
s w i t c h i n g w i t h o u t r e a l i z i n g t h e b e n e t s . I n g e n e r a l ,
t h e a d v a n t a g e o f A p r i o r i H y b r i d o v e r A p r i o r i d e p e n d s
o n h o w t h e s i z e o f t h e C
k
s e t d e c l i n e i n t h e l a t e r
p a s s e s . I f C
k
r e m a i n s l a r g e u n t i l n e a r l y t h e e n d a n d
t h e n h a s a n a b r u p t d r o p , w e w i l l n o t g a i n m u c h b y
u s i n g A p r i o r i H y b r i d s i n c e w e c a n u s e A p r i o r i T i d o n l y
f o r a s h o r t p e r i o d o f t i m e a f t e r t h e s w i t c h . T h i s i s
w h a t h a p p e n e d w i t h t h e T 2 0 . I 6 . D 1 0 0 K d a t a s e t . O n
t h e o t h e r h a n d , i f t h e r e i s a g r a d u a l d e c l i n e i n t h e
s i z e o f C
k
, A p r i o r i T i d c a n b e u s e d f o r a w h i l e a f t e r t h e
s w i t c h , a n d a s i g n i c a n t i m p r o v e m e n t c a n b e o b t a i n e d
i n t h e e x e c u t i o n t i m e .
3 . 7 S c a l e - u p E x p e r i m e n t
F i g u r e 8 s h o w s h o w A p r i o r i H y b r i d s c a l e s u p a s t h e
n u m b e r o f t r a n s a c t i o n s i s i n c r e a s e d f r o m 1 0 0 , 0 0 0 t o
1 0 m i l l i o n t r a n s a c t i o n s . W e u s e d t h e c o m b i n a t i o n s
T 5 . I 2 , T 1 0 . I 4 , a n d T 2 0 . I 6 f o r t h e a v e r a g e s i z e s
o f t r a n s a c t i o n s a n d i t e m s e t s r e s p e c t i v e l y . A l l o t h e r
p a r a m e t e r s w e r e t h e s a m e a s f o r t h e d a t a i n T a b l e 3 .
T h e s i z e s o f t h e s e d a t a s e t s f o r 1 0 m i l l i o n t r a n s a c t i o n s
w e r e 2 3 9 M B , 4 3 9 M B a n d 8 3 8 M B r e s p e c t i v e l y . T h e
m i n i m u m s u p p o r t l e v e l w a s s e t t o 0 . 7 5 . T h e
e x e c u t i o n t i m e s a r e n o r m a l i z e d w i t h r e s p e c t t o t h e
t i m e s f o r t h e 1 0 0 , 0 0 0 t r a n s a c t i o n d a t a s e t s i n t h e r s t
![Page 11: vldb94apriori](https://reader030.vdocument.in/reader030/viewer/2022021218/577d35e21a28ab3a6b91ae2f/html5/thumbnails/11.jpg)
8/8/2019 vldb94apriori
http://slidepdf.com/reader/full/vldb94apriori 11/13
T 1 0 . I 2 . D 1 0 0 K
0
5
10
15
20
25
30
35
40
0.250.330.50.7511.52
T i m e ( s e c )
Minimum Support
AprioriTidApriori
AprioriHybrid
T 1 0 . I 4 . D 1 0 0 K
0
5
10
15
20
25
30
35
40
45
50
55
0.250.330.50.7511.52
T i m e ( s e c )
Minimum Support
AprioriTidApriori
AprioriHybrid
T 2 0 . I 6 . D 1 0 0 K
0
100
200
300
400
500
600
700
0.250.330.50.7511.52
T i m e ( s e c )
Minimum Support
AprioriTidApriori
AprioriHybrid
F i g u r e 7 : E x e c u t i o n t i m e s : A p r i o r i H y b r i d
g r a p h a n d w i t h r e s p e c t t o t h e 1 m i l l i o n t r a n s a c t i o n
d a t a s e t i n t h e s e c o n d . A s s h o w n , t h e e x e c u t i o n t i m e s
s c a l e q u i t e l i n e a r l y .
0
2
4
6
8
10
12
100 250 500 750 1000
R e l a t i v e T i m e
Number of Transactions (in ’000s)
T20.I6T10.I4
T5.I2
0
2
4
6
8
10
12
14
1 2.5 5 7.5 10
R e l a t i v e T i m e
Number of Transactions (in Millions)
T20.I6T10.I4T5.I2
F i g u r e 8 : N u m b e r o f t r a n s a c t i o n s s c a l e - u p
N e x t , w e e x a m i n e d h o w A p r i o r i H y b r i d s c a l e d u p
w i t h t h e n u m b e r o f i t e m s . W e i n c r e a s e d t h e n u m -
b e r o f i t e m s f r o m 1 0 0 0 t o 1 0 , 0 0 0 f o r t h e t h r e e p a -
r a m e t e r s e t t i n g s T 5 . I 2 . D 1 0 0 K , T 1 0 . I 4 . D 1 0 0 K a n d
T 2 0 . I 6 . D 1 0 0 K . A l l o t h e r p a r a m e t e r s w e r e t h e s a m e
a s f o r t h e d a t a i n T a b l e 3 . W e r a n e x p e r i m e n t s f o r a
m i n i m u m s u p p o r t a t 0 . 7 5 , a n d o b t a i n e d t h e r e s u l t s
s h o w n i n F i g u r e 9 . T h e e x e c u t i o n t i m e s d e c r e a s e d a
l i t t l e s i n c e t h e a v e r a g e s u p p o r t f o r a n i t e m d e c r e a s e d
a s w e i n c r e a s e d t h e n u m b e r o f i t e m s . T h i s r e s u l t e d
i n f e w e r l a r g e i t e m s e t s a n d , h e n c e , f a s t e r e x e c u t i o n
t i m e s .
F i n a l l y , w e i n v e s t i g a t e d t h e s c a l e - u p a s w e i n c r e a s e d
t h e a v e r a g e t r a n s a c t i o n s i z e . T h e a i m o f t h i s
e x p e r i m e n t w a s t o s e e h o w o u r d a t a s t r u c t u r e s s c a l e d
w i t h t h e t r a n s a c t i o n s i z e , i n d e p e n d e n t o f o t h e r f a c t o r s
l i k e t h e p h y s i c a l d a t a b a s e s i z e a n d t h e n u m b e r o f
l a r g e i t e m s e t s . W e k e p t t h e p h y s i c a l s i z e o f t h e
![Page 12: vldb94apriori](https://reader030.vdocument.in/reader030/viewer/2022021218/577d35e21a28ab3a6b91ae2f/html5/thumbnails/12.jpg)
8/8/2019 vldb94apriori
http://slidepdf.com/reader/full/vldb94apriori 12/13
0
5
10
15
20
25
30
35
40
45
1000 2500 5000 7500 10000
T i m e
( s e c )
Number of Items
T20.I6T10.I4T5.I2
F i g u r e 9 : N u m b e r o f i t e m s s c a l e - u p
d a t a b a s e r o u g h l y c o n s t a n t b y k e e p i n g t h e p r o d u c t
o f t h e a v e r a g e t r a n s a c t i o n s i z e a n d t h e n u m b e r o f
t r a n s a c t i o n s c o n s t a n t . T h e n u m b e r o f t r a n s a c t i o n s
r a n g e d f r o m 2 0 0 , 0 0 0 f o r t h e d a t a b a s e w i t h a n a v e r a g e
t r a n s a c t i o n s i z e o f 5 t o 2 0 , 0 0 0 f o r t h e d a t a b a s e w i t h
a n a v e r a g e t r a n s a c t i o n s i z e 5 0 . F i x i n g t h e m i n i m u m
s u p p o r t a s a p e r c e n t a g e w o u l d h a v e l e d t o l a r g e
i n c r e a s e s i n t h e n u m b e r o f l a r g e i t e m s e t s a s t h e
t r a n s a c t i o n s i z e i n c r e a s e d , s i n c e t h e p r o b a b i l i t y o f
a i t e m s e t b e i n g p r e s e n t i n a t r a n s a c t i o n i s r o u g h l y
p r o p o r t i o n a l t o t h e t r a n s a c t i o n s i z e . W e t h e r e f o r e
x e d t h e m i n i m u m s u p p o r t l e v e l i n t e r m s o f t h e
n u m b e r o f t r a n s a c t i o n s . T h e r e s u l t s a r e s h o w n i n
F i g u r e 1 0 . T h e n u m b e r s i n t h e k e y e . g . 5 0 0 r e f e r
t o t h i s m i n i m u m s u p p o r t . A s s h o w n , t h e e x e c u t i o n
t i m e s i n c r e a s e w i t h t h e t r a n s a c t i o n s i z e , b u t o n l y
g r a d u a l l y . T h e m a i n r e a s o n f o r t h e i n c r e a s e w a s t h a t
i n s p i t e o f s e t t i n g t h e m i n i m u m s u p p o r t i n t e r m s
o f t h e n u m b e r o f t r a n s a c t i o n s , t h e n u m b e r o f l a r g e
i t e m s e t s i n c r e a s e d w i t h i n c r e a s i n g t r a n s a c t i o n l e n g t h .
A s e c o n d a r y r e a s o n w a s t h a t n d i n g t h e c a n d i d a t e s
p r e s e n t i n a t r a n s a c t i o n t o o k a l i t t l e l o n g e r t i m e .
4 C o n c l u s i o n s a n d F u t u r e W o r k
W e p r e s e n t e d t w o n e w a l g o r i t h m s , A p r i o r i a n d A p r i -
o r i T i d , f o r d i s c o v e r i n g a l l s i g n i c a n t a s s o c i a t i o n r u l e s
b e t w e e n i t e m s i n a l a r g e d a t a b a s e o f t r a n s a c t i o n s .
W e c o m p a r e d t h e s e a l g o r i t h m s t o t h e p r e v i o u s l y
k n o w n a l g o r i t h m s , t h e A I S 4 a n d S E T M 1 3 a l g o -
r i t h m s . W e p r e s e n t e d e x p e r i m e n t a l r e s u l t s , s h o w i n g
t h a t t h e p r o p o s e d a l g o r i t h m s a l w a y s o u t p e r f o r m A I S
a n d S E T M . T h e p e r f o r m a n c e g a p i n c r e a s e d w i t h t h e
p r o b l e m s i z e , a n d r a n g e d f r o m a f a c t o r o f t h r e e f o r
s m a l l p r o b l e m s t o m o r e t h a n a n o r d e r o f m a g n i t u d e
f o r l a r g e p r o b l e m s .
W e s h o w e d h o w t h e b e s t f e a t u r e s o f t h e t w o p r o -
0
5
10
15
20
25
30
5 10 20 30 40 50
T i m e
( s e c )
Transaction Size
500750
1000
F i g u r e 1 0 : T r a n s a c t i o n s i z e s c a l e - u p
p o s e d a l g o r i t h m s c a n b e c o m b i n e d i n t o a h y b r i d a l -
g o r i t h m , c a l l e d A p r i o r i H y b r i d , w h i c h t h e n b e c o m e s
t h e a l g o r i t h m o f c h o i c e f o r t h i s p r o b l e m . S c a l e - u p e x -
p e r i m e n t s s h o w e d t h a t A p r i o r i H y b r i d s c a l e s l i n e a r l y
w i t h t h e n u m b e r o f t r a n s a c t i o n s . I n a d d i t i o n , t h e e x -
e c u t i o n t i m e d e c r e a s e s a l i t t l e a s t h e n u m b e r o f i t e m s
i n t h e d a t a b a s e i n c r e a s e s . A s t h e a v e r a g e t r a n s a c t i o n
s i z e i n c r e a s e s w h i l e k e e p i n g t h e d a t a b a s e s i z e c o n -
s t a n t , t h e e x e c u t i o n t i m e i n c r e a s e s o n l y g r a d u a l l y .
T h e s e e x p e r i m e n t s d e m o n s t r a t e t h e f e a s i b i l i t y o f u s -
i n g A p r i o r i H y b r i d i n r e a l a p p l i c a t i o n s i n v o l v i n g v e r y
l a r g e d a t a b a s e s .
T h e a l g o r i t h m s p r e s e n t e d i n t h i s p a p e r h a v e b e e n
i m p l e m e n t e d o n s e v e r a l d a t a r e p o s i t o r i e s , i n c l u d i n g
t h e A I X l e s y s t e m , D B 2 M V S , a n d D B 2 6 0 0 0 .
W e h a v e a l s o t e s t e d t h e s e a l g o r i t h m s a g a i n s t r e a l
c u s t o m e r d a t a , t h e d e t a i l s o f w h i c h c a n b e f o u n d i n
5 . I n t h e f u t u r e , w e p l a n t o e x t e n d t h i s w o r k a l o n g
t h e f o l l o w i n g d i m e n s i o n s :
M u l t i p l e t a x o n o m i e s i s - a h i e r a r c h i e s o v e r i t e m s
a r e o f t e n a v a i l a b l e . A n e x a m p l e o f s u c h a
h i e r a r c h y i s t h a t a d i s h w a s h e r i s a k i t c h e n
a p p l i a n c e i s a h e a v y e l e c t r i c a p p l i a n c e , e t c . W e
w o u l d l i k e t o b e a b l e t o n d a s s o c i a t i o n r u l e s t h a t
u s e s u c h h i e r a r c h i e s .
W e d i d n o t c o n s i d e r t h e q u a n t i t i e s o f t h e i t e m s
b o u g h t i n a t r a n s a c t i o n , w h i c h a r e u s e f u l f o r s o m e
a p p l i c a t i o n s . F i n d i n g s u c h r u l e s n e e d s f u r t h e r
w o r k .
T h e w o r k r e p o r t e d i n t h i s p a p e r h a s b e e n d o n e
i n t h e c o n t e x t o f t h e Q u e s t p r o j e c t a t t h e I B M A l -
m a d e n R e s e a r c h C e n t e r . I n Q u e s t , w e a r e e x p l o r i n g
t h e v a r i o u s a s p e c t s o f t h e d a t a b a s e m i n i n g p r o b l e m .
B e s i d e s t h e p r o b l e m o f d i s c o v e r i n g a s s o c i a t i o n r u l e s ,
s o m e o t h e r p r o b l e m s t h a t w e h a v e l o o k e d i n t o i n c l u d e
![Page 13: vldb94apriori](https://reader030.vdocument.in/reader030/viewer/2022021218/577d35e21a28ab3a6b91ae2f/html5/thumbnails/13.jpg)
8/8/2019 vldb94apriori
http://slidepdf.com/reader/full/vldb94apriori 13/13
t h e e n h a n c e m e n t o f t h e d a t a b a s e c a p a b i l i t y w i t h c l a s -
s i c a t i o n q u e r i e s 2 a n d s i m i l a r i t y q u e r i e s o v e r t i m e
s e q u e n c e s 1 . W e b e l i e v e t h a t d a t a b a s e m i n i n g i s a n
i m p o r t a n t n e w a p p l i c a t i o n a r e a f o r d a t a b a s e s , c o m -
b i n i n g c o m m e r c i a l i n t e r e s t w i t h i n t r i g u i n g r e s e a r c h
q u e s t i o n s .
A c k n o w l e d g m e n t W e w i s h t o t h a n k M i k e C a r e y
f o r h i s i n s i g h t f u l c o m m e n t s a n d s u g g e s t i o n s .
R e f e r e n c e s
1 R . A g r a w a l , C . F a l o u t s o s , a n d A . S w a m i . E f -
c i e n t s i m i l a r i t y s e a r c h i n s e q u e n c e d a t a b a s e s .
I n P r o c . o f t h e F o u r t h I n t e r n a t i o n a l C o n f e r e n c e
o n F o u n d a t i o n s o f D a t a O r g a n i z a t i o n a n d A l g o -
r i t h m s , C h i c a g o , O c t o b e r 1 9 9 3 .
2 R . A g r a w a l , S . G h o s h , T . I m i e l i n s k i , B . I y e r , a n d
A . S w a m i . A n i n t e r v a l c l a s s i e r f o r d a t a b a s e
m i n i n g a p p l i c a t i o n s . I n P r o c . o f t h e V L D B
C o n f e r e n c e , p a g e s 5 6 0 5 7 3 , V a n c o u v e r , B r i t i s h
C o l u m b i a , C a n a d a , 1 9 9 2 .
3 R . A g r a w a l , T . I m i e l i n s k i , a n d A . S w a m i .
D a t a b a s e m i n i n g : A p e r f o r m a n c e p e r s p e c t i v e .
I E E E T r a n s a c t i o n s o n K n o w l e d g e a n d D a t a E n -
g i n e e r i n g , 5 6 : 9 1 4 9 2 5 , D e c e m b e r 1 9 9 3 . S p e c i a l
I s s u e o n L e a r n i n g a n d D i s c o v e r y i n K n o w l e d g e -
B a s e d D a t a b a s e s .
4 R . A g r a w a l , T . I m i e l i n s k i , a n d A . S w a m i . M i n i n g
a s s o c i a t i o n r u l e s b e t w e e n s e t s o f i t e m s i n l a r g e
d a t a b a s e s . I n P r o c . o f t h e A C M S I G M O D C o n -
f e r e n c e o n M a n a g e m e n t o f D a t a , W a s h i n g t o n ,
D . C . , M a y 1 9 9 3 .
5 R . A g r a w a l a n d R . S r i k a n t . F a s t a l g o r i t h m s f o r
m i n i n g a s s o c i a t i o n r u l e s i n l a r g e d a t a b a s e s . R e -
s e a r c h R e p o r t R J 9 8 3 9 , I B M A l m a d e n R e s e a r c h
C e n t e r , S a n J o s e , C a l i f o r n i a , J u n e 1 9 9 4 .
6 D . S . A s s o c i a t e s . T h e n e w d i r e c t m a r k e t i n g .
B u s i n e s s O n e I r w i n , I l l i n o i s , 1 9 9 0 .
7 R . B r a c h m a n e t a l . I n t e g r a t e d s u p p o r t f o r d a t a
a r c h e o l o g y . I n A A A I - 9 3 W o r k s h o p o n K n o w l e d g e
D i s c o v e r y i n D a t a b a s e s , J u l y 1 9 9 3 .
8 L . B r e i m a n , J . H . F r i e d m a n , R . A . O l s h e n , a n d
C . J . S t o n e . C l a s s i c a t i o n a n d R e g r e s s i o n T r e e s
W a d s w o r t h , B e l m o n t , 1 9 8 4 .
9 P . C h e e s e m a n e t a l . A u t o c l a s s : A b a y e s i a n
c l a s s i c a t i o n s y s t e m . I n 5 t h I n t ' l C o n f . o n
M a c h i n e L e a r n i n g . M o r g a n K a u f m a n , J u n e 1 9 8 8 .
1 0 D . H . F i s h e r . K n o w l e d g e a c q u i s i t i o n v i a i n c r e -
m e n t a l c o n c e p t u a l c l u s t e r i n g . M a c h i n e L e a r n i n g
2 2 , 1 9 8 7 .
1 1 J . H a n , Y . C a i , a n d N . C e r c o n e . K n o w l e d g e
d i s c o v e r y i n d a t a b a s e s : A n a t t r i b u t e o r i e n t e d
a p p r o a c h . I n P r o c . o f t h e V L D B C o n f e r e n c e
p a g e s 5 4 7 5 5 9 , V a n c o u v e r , B r i t i s h C o l u m b i a ,
C a n a d a , 1 9 9 2 .
1 2 M . H o l s h e i m e r a n d A . S i e b e s . D a t a m i n i n g : T h e
s e a r c h f o r k n o w l e d g e i n d a t a b a s e s . T e c h n i c a l
R e p o r t C S - R 9 4 0 6 , C W I , N e t h e r l a n d s , 1 9 9 4 .
1 3 M . H o u t s m a a n d A . S w a m i . S e t - o r i e n t e d m i n i n g
o f a s s o c i a t i o n r u l e s . R e s e a r c h R e p o r t R J 9 5 6 7 ,
I B M A l m a d e n R e s e a r c h C e n t e r , S a n J o s e , C a l i -
f o r n i a , O c t o b e r 1 9 9 3 .
1 4 R . K r i s h n a m u r t h y a n d T . I m i e l i n s k i . P r a c t i -
t i o n e r p r o b l e m s i n n e e d o f d a t a b a s e r e s e a r c h : R e -
s e a r c h d i r e c t i o n s i n k n o w l e d g e d i s c o v e r y . S I G -
M O D R E C O R D , 2 0 3 : 7 6 7 8 , S e p t e m b e r 1 9 9 1 .
1 5 P . L a n g l e y , H . S i m o n , G . B r a d s h a w , a n d
J . Z y t k o w . S c i e n t i c D i s c o v e r y : C o m p u t a t i o n a l
E x p l o r a t i o n s o f t h e C r e a t i v e P r o c e s s . M I T P r e s s ,
1 9 8 7 .
1 6 H . M a n n i l a a n d K . - J . R a i h a . D e p e n d e n c y
i n f e r e n c e . I n P r o c . o f t h e V L D B C o n f e r e n c e
p a g e s 1 5 5 1 5 8 , B r i g h t o n , E n g l a n d , 1 9 8 7 .
1 7 H . M a n n i l a , H . T o i v o n e n , a n d A . I . V e r k a m o .
E c i e n t a l g o r i t h m s f o r d i s c o v e r i n g a s s o c i a t i o n
r u l e s . I n K D D - 9 4 : A A A I W o r k s h o p o n K n o w l -
e d g e D i s c o v e r y i n D a t a b a s e s , J u l y 1 9 9 4 .
1 8 S . M u g g l e t o n a n d C . F e n g . E c i e n t i n d u c t i o n
o f l o g i c p r o g r a m s . I n S . M u g g l e t o n , e d i t o r ,
I n d u c t i v e L o g i c P r o g r a m m i n g . A c a d e m i c P r e s s ,
1 9 9 2 .
1 9 J . P e a r l . P r o b a b i l i s t i c r e a s o n i n g i n i n t e l l i g e n t
s y s t e m s : N e t w o r k s o f p l a u s i b l e i n f e r e n c e , 1 9 9 2 .
2 0 G . P i a t e s t s k y - S h a p i r o . D i s c o v e r y , a n a l y -
s i s , a n d p r e s e n t a t i o n o f s t r o n g r u l e s . I n
G . P i a t e s t s k y - S h a p i r o , e d i t o r , K n o w l e d g e D i s -
c o v e r y i n D a t a b a s e s . A A A I M I T P r e s s , 1 9 9 1 .
2 1 G . P i a t e s t s k y - S h a p i r o , e d i t o r . K n o w l e d g e D i s -
c o v e r y i n D a t a b a s e s . A A A I M I T P r e s s , 1 9 9 1 .
2 2 J . R . Q u i n l a n . C 4 . 5 : P r o g r a m s f o r M a c h i n e
L e a r n i n g . M o r g a n K a u f m a n , 1 9 9 3 .