intermediate matching kernel

Upload: shrikant-nayak

Post on 14-Apr-2018

246 views

Category:

Documents


0 download

TRANSCRIPT

  • 7/27/2019 Intermediate matching kernel

    1/6

    o f I n t e r n a t i o n a l J o i n t C o n f e r e n c e o n N e u r a l N e t w o r k s , M o n t r e a l , C a n a d a , J u l y 3 1 - A u g u s t 4 , 2 0 0 5

    The I n t e r m e d i a t e M a t c h i n g Kernelfor Image Local F e a t u r e s

    S a b r i B o u g h o r b e lI m e d i a R e s e a r c h G r o u pI N R I A R o c q u e n c o u r t7 8 1 5 3 L e C h e s n a yE - m a i l : S a b r i . B o u g h o r b e l @ i n r i a . f rJ e a n P h i l i p p e T a r e lESE D i v i s i o nL C P C , 5 8 B d L e f e b v r e7 5 0 1 5 P a r i sE - m a i l : T a r e l @ l c p c . f r

    N o z h a B o u j e m a aI m e d i a R e s e a r c h G r o u pI N R I A R o c q u e n c o u r t7 8 1 5 3 L e C h e s n a yE - m a i l : N o z h a . B o u j e m a a @ i n r i a . f r

    A b s t r a c t - We i n t r o d u c e t h e I n t e r m e d i a t e M a t c h i n g ( I M ) k e r -n e l f o r S V M - b a s e d o b j e c t r e c o g n i t i o n . T h e IM k e r n e l o p e r a t e so n a f e a t u r e s p a c e o f v e c t o r s e t s w h e r e e a c h i m a g e i s r e p r e s e n t e db y a s e t o f l o c a l f e a t u r e s . M a t c h i n g a l g o r i t h m s h a v e p r o v e d t ob e e f f i c i e n t f o r s u c h t y p e s o f f e a t u r e s . N e v e r t h e l e s s , k e r n e l i z i n gt h e m a t c h i n g f o r S VM d o e s n o t l e a d t o p o s i t i v e d e f i n i t e k e r n e l s .T h e IM k e r n e l o v e r c o m e s t h i s d r a w b a c k , a s i t m i m i c s m a t c h i n ga l g o r i t h m s w h i l e b e i n g p o s i t i v e d e f i n i t e . T h e IM k e r n e l i n t r o d u c e sa n i n t e r m e d i a r y s e t o f s o - c a l l e d v i r t u a l l o c a l f e a t u r e s . T h e s e s e l e c tt h e p a i r s o f l o c a l f e a t u r e s t o b e m a t c h e d . C o m p a r i s o n s w i t ht h e M a t c h i n g k e r n e l s h o w s t h a t t h e IM k e r n e l s l e a d s t o s i m i l a rp e r f o r m a n c e s .I . INTRODUCTIONO b j e c t r e c o g n i t i o n i s o n e o f t h e p i l l a r d i s c i p l i n e s o f c o m -p u t e r v i s i o n . T h e m a c h i n e l e a r n i n g c o m m u n i t y h a s p r o v i d e de f f i c i e n t t o o l s w h i c h h a v e p r o v e d u s e f u l f o r s o l v i n g m a n yr e c o g n i t i o n t a s k s . O n e o f t h e i m p o r t a n t s t e p s i n d e s i g n i n go b j e c t r e c o g n i t i o n s y s t e m s i s t h e c ho i c e o f f e a t u r e r e p r e s e n -

    t a t i o n . G l o b a l f e a t u r e s a r e c o m m o n l y u s e d f o r i m a g e r e p r e -s e n t a t i o n [ 1 ] . T h i s h a s t h e a d v a n t a g e o f d e a l i n g w i t h s i m p l es t r u c t u r e s a n d t h u s e a s y a l g o r i t h m s c a n b e d e s i g n e d f o r f e a t u r ep r o c e s s i n g . T h e m a i n d r a w b a c k o f s u c h a r e p r e s e n t a t i o n i s t h a ti t d o e s n o t c a p t u r e l o c a l i z e d i n f o r m a t i o n o f o b j e c t s w i t h i ni m a g e s . L o c a l r e p r e s e n t a t i o n o v e r c o m e s t h i s d r a w b a c k b ye x t r a c t i n g l o c a l f e a t u r e s t h a t a l l o w o b j e c t r e c o g n i t i o n a g a i n s tc l u t t e r e d b a c k g r o u n d s .S a l i e n t p o i n t s a r e o n e o f t h e l o c a l r e p r e s e n t a t i o n s t h a t h a v eb e e n w i d e l y u s e d o v e r t h e l a s t d e c a d e . D e t e c t e d s a l i e n t p o i n t sc a n b e c h a r a c t e r i z e d i n d i f f e r e n t w a y s ( S I F T [ 2 ] , J e t [ 3 ] , [ 4 ] ,I m a g e p a t c h [ 5 ] , [ 6 ] ) . T h i s r e p r e s e n t a t i o n h a s t h e a d v a n t a g eo f l e a d i n g t o i n v a r i a n t f e a t u r e s w i t h r e s p e c t t o t r a n s f o r m a t i o n ss u c h a s t r a n s l a t i o n , r o t a t i o n a n d s c a l i n g . F u r t h e r m o r e s u c hf e a t u r e s a r e r o b u s t t o o c c l u s i o n a n d d i s t o r t i o n . On t h e o t h e rh a n d , k e r n e l m e t h o d s a r e p r o v i d i n g s u c c e s s f u l t o o l s t h a t s o l v e sm a n y r e c o g n i t i o n p r o b l e m s . S VM h a s p r o v e d t o b e o n e o ft h e m o s t e f f i c i e n t k e r n e l m e t h o d . T h e s u c c e s s o f S VM i sm a i n l y d u e t o i t s h i g h g e n e r a l i z a t i o n a b i l i t y . U n l i k e m a n yl e a r n i n g a l g o r i t h m s , SVM l e a d s t o g o o d p e r f o r m a n c e s w i t h o u tt h e n e e d t o i n c o r p o r a t e p r i o r i n f o r m a t i o n . M o r e o v e r , t h e u s eo f a p o s i t i v e d e f i n i t e k e r n e l i n t h e S VM c a n b e i n t e r p r e t e da s a n e m b e d d i n g o f t h e i n p u t s p a c e i n t o a h i g h d i m e n s i o n a lf e a t u r e s p a c e w h e r e t h e c l a s s i f i c a t i o n i s c a r r i e d o u t w i t h o u tu s i n g e x p l i c i t l y t h i s f e a t u r e s p a c e .

    T h e u s e o f SVM c l a s s i f i e r s f o r i m a g e r e c o g n i t i o n w i t h l o c a lf e a t u r e s r a i s e s t h e n e e d t o d e s i g n n e w k e r n e l s f o r s u c h t y p eo f r e p r e s e n t a t i o n s . O n e o f t h e m o s t i m p o r t a n t p r o b l e m s t h a ts h o u l d b e t a c k l e d i n d e s i g n i n g k e r n e l s f o r l o c a l f e a t u r e s i s t h a t ,u n l i k e c o m p o n e n t s o f R d , t h e r e i s n o s t r u c t u r e b e t w e e n t h el o c a l f e a t u r e s . A f e w k e r n e l s h a v e b e e n i n t r o d u c e d t o h a n d l es u c h l o c a l r e p r e s e n t a t i o n s . T h e y i n c l u d e t h e p r i n c i p a l a n g l e sk e r n e l [ 7 ] w h i c h c o m p a r e s t h e t w o s e t s o f l o c a l f e a t u r e s b yc o m p u t i n g p r i n c i p a l a n g l e s . T h i s c o n s i s t s i n f i n d i n g maximuma n g l e s b e t w e e n l o c a l f e a t u r e s u n d e r o r t h o g o n a l i t y c o n s t r a i n t s .I n [ 6 ] , H a u s s d o r f k e r n e l i s p r o v e n t o b e d e f i n i t e p o s i t i v e i n t h ec a s e w h e r e s a l i e n t p o i n t s a r e c h a r a c t e r i z e d w i t h i m a g e p a t c h e s .I n [ 8 ] , w h i l e M a t c h i n g k e r n e l i s n o t p o s i t i v e d e f i n i t e , i t y i e l d e dt o g o o d a c c u r a c y . I n [ 9 ] , t h e t w o s e t s o f l o c a l f e a t u r e s a r em a p p e d i n t o a h i g h d i m e n s i o n s p a c e a n d f i t t e d b y a n o r m a ld i s t r i b u t i o n . T h e n B h a t t a c h a r y y a ' s d i s t a n c e i s u s e d b e t w e e nt h e s e t w o d i s t r i b u t i o n s .I n t h i s p a p e r , we i n t r o d u c e a p o s i t i v e d e f i n i t e k e r n e l b a s e do n a new m a t c h i n g a p p r o a c h we t e r m I n t e r m e d i a t e M a t c h i n g .T h e t w o s e t s o f l o c a l f e a t u r e s a r e m a t c h e d u s i n g a n i n t e r m e -d i a r y s e t o f t h e s o - c a l l e d v i r t u a l l o c a l f e a t u r e s . E a c h v i r t u a ll o c a l f e a t u r e d e f i n e s a p a i r o f v e c t o r s t o b e m a t c h e d . We r e c a l li n t h e n e x t s e c t i o n t h e t h e o r e t i c a l f r a m e w o r k o f t h e M a t c h i n gk e r n e l . I n 2 , we p r e s e n t t h e c o n s t r u c t i o n o f t h e I n t e r m e d i a t eM a t c h i n g k e r n e l a n d i n 3 t h e c o n s t r u c t i o n o f v i r t u a l l o c a lf e a t u r e s i s g i v e n . F i n a l l y , c o m p a r i s o n s b e t w e e n t h e M a t c h i n ga n d t h e I n t e r m e d i a t e M a t c h i n g k e r n e l s a r e p r e s e n t e d i n 4 .

    I I . MAT C HIN G KER N E LT h e p r o b l e m o f d e s i g n i n g a k e r n e l f o r s e t s o f l o c a l f e a t u r e sc a n b e v i e w e d a s t h e c h o i c e o f w e i g h t i n g c o e f f i c i e n t s w i j a n dw i i n t h e f o l l o w i n g g e n e r a l k e r n e l e x p r e s s i o n

    n m m nK W W ' ( X , Y ) = wE w k k ( x i , y j ) + Z E Z w i k ( x i , y j )i = 1 j = 1 j=1 i = 1 ( 1 )w j j > t , w j >0w h e r e K , W U i s t h e k e r n e l o f t h e t w o s e t s o f v e c t o r s X ={ x , . . . , x n } a n d Y = { Y i , . . Y m } 7 x i , y i E R d a n d k i s t h el o c a l k e r n e l w h i c h o p e r a t e s o n t h e d - d i m e n s i o n a l v e c t o r s . T h et w o t e r m s i n KWW a r e r e q u e s t e d f o r a s y m m e t r i c a l m a t c h i n g .

    2 0 0 5 I E E E 8 8 9

  • 7/27/2019 Intermediate matching kernel

    2/6

    I n d e e d , t h e w e i g h t s w i j a n d w~are r e s p e c t i v e l y n o r m a l i z e db y :mE w i j =1 V i = 1 , . . . , n ( 2 )j=1nw =1 V j = 1 , . . . , m ( 3 )i=1We m a k e t h e a s s u m p t i o n t h a t t h e o p t i m a l k e r n e l K* f r o mt h e f a m i l y K W , , i s t h e o n e t h a t s e l e c t s t h e w e i g h t s w h i c hm a x i m i z e t h e s i m i l a r i t y b e t w e e n t h e t w o s e t s X a n d Y .K * ( X , y ) = max K , w W ( X , Y )m ns . t . = l = 1

    j=1 i=1We d e f i n e t h e M a t c h i n g k e r n e l a s f o l l o w s

    n mK ( X , y ) Z E max k ( x i , y j ) +Z max k ( x i , x j )' i = 1 j=1k a s s o c i a t e s e a c h v e c t o r f r o m X t o i t s n e a r e s t n e i g h b o r h o o df r o m Y . M o r e o v e r , e a c h v e c t o r f r o m Y i s m a t c h e d w i t h i t sn e a r e s t n e i g h b o r h o o d f r o m X . H e n c e K i s a s y m m e t r i c k e r n e l .k c a n b e v i e w e d a s t h e o p t i m a l c h o i c e w i t h i n t h e f a m i l y K w w 'u n d e r t h e a s s u m p t i o n o f s i m i l a r i t y m a x i m i z a t i o n p r e v i o u s l yd e s c r i b e d .P r o o f : f o r a n y w i j > 0 , s . t . ! m = L w i j = 1k ( x i , y j ) < max k ( x i , y j )j = l , . . . , mw i j k ( x i , y j ) < w i j max k ( x i , y j )j = 1 . . . , mmE w i j k ( x i , Y j )j = l

    n mE Z w i j k ( x i , y j )i = l j = l

    m< Z w i i j max k ( x i , y i )j = 1 j=1 ..I1n

    < Z j = m a x k ( X i , y j )t=1T h e s y m m e t r i c i n e q u a l i t y c a n b e o b t a i n e d s i m i l a r l y f o r w l

    m nEE wijk(i jj = l i = l

    m< Z max k ( x i , y ; )j= 1 , . . . , n

    S o w e d e d u c e KWW ( X , Y ) < k ( x , Y ) . T h e e q u a l i t y i sa c h i e v e d f o r t h e p a r t i c u l a r c h o i c e o f w e i g h t s : w i j i = 1 a n dw i j = 0 e l s e w h e r e , w h e r e j i i s d e f i n e d b y k ( x i , y j ) =m a x j = p , . . . , m k ( x i , y j ) , a n d w i , = 1 a n d w = 0 e l s e w h e r e ,w h e r e i j i s d e f i n e d b y k ( x i 3 , y j ) = m a x j = 1 , . . . , k ( x i , y j ) .T h e r e f o r e K = K * . UT h e M a t c h i n g k e r n e l K h a s b e e n p r e v i o u s l y u s e d f o r l o c a li m a g e f e a t u r e s [ 8 ] . N e v e r t h e l e s s , i t s p o s i t i v e d e f i n i t e n e s s i sn o t o b v i o u s . U n f o r t u n a t e l y , t h e s i m p l e p r o o f i n [ 8 ] o f p o s i t i v ed e f i n i t e n e s s o f t h e M a t c h i n g k e r n e l i s n o t c o r r e c t . I n d e e d ,c o e f f i c i e n t s w i j a n d w u d e p e n d o n X a n d Y a s s h o w n

    p r e v i o u s l y . T h u s k c a n n o t b e v i e w e d a s a s u m o f p o s i t i v ed e f i n i t e k e r n e l s . C o u n t e r e x a m p l e s c a n b e f o u n d t o p r o v et h a t s u c h k e r n e l s a r e a c t u a l l y n o t p o s i t i v e d e f i n i t e , s e e [ 1 0 ] .A l t ho u g h M a t c hi n g k e r n e l s h a v e b e e n s u c c e s s f u l l y a p p l i e d f o rr e c o g n i t i o n s t a s k s [ 8 ] , [ 1 0 ] , t h e i r u s e i s r i s k y s i n c e w e n ol o n g e r i n s u r e t h a t t h e S VM m a x i m i z e s t h e m a r g i n i n s o m es p a c e . M o r e o v e r , t h e r e i s a l w a y s a p o t e n t i a l r i s k t h a t S VMd o e s n o t c o n v e r g e . We a l s o l o s e t h e n i c e p r o p e r t y o f s o l u t i o nu n i q u e n e s s w h e n L 2 r e g u l a r i z a t i o n i s u s e d [ 1 1 ] . T o o v e r c o m et h e s e d r a w b a c k s , w e i n t r o d u c e t h e I n t e r m e d i a t e M a t c h i n gk e r n e l . T h e m a i n a d v a n t a g e o f t h i s k e r n e l i s t h a t i t m i m i c sM a t c h i n g k e r n e l s w h i l e b e i n g p o s i t i v e d e f i n i t e .

    I I I . THE I N T E R M E D I A T E MATCHING KERNELT h e I n t e r m e d i a t e M a t c h i n g k e r n e l i s d e s i g n e d s u c h t h a t i t i sp o s i t i v e d e f i n i t e . A s e t o f v i r t u a l l o c a l f e a t u r e s V i s i n t r o d u c e d .T h e r o l e o f e a c h v i r t u a l l o c a l f e a t u r e i n V i s t o s e l e c t t h e p a i r so f l o c a l f e a t u r e s f r o m X a n d Y t o b e m a t c h e d . T h e p o s i t i v ed e f i n i t e n e s s o f t h e I n t e r m e d i a t e M a t c h i n g k e r n e l i s g i v e n b y

    t h e f o l l o w i n g p r o p o s i t i o nP r o p o s i t i o n 1 : We d e f i n e t h e f o l l o w i n g m a p p i n g f u n c t i o nf r o m p P ( R d ) ( t h e s e t o f p a r t s o f R d ) t o R d w h i c h a s s o c i a t e sf o r e v e r y s e t X t h e n e a r e s t n e i g h b o r h o o d e l e m e n t s f r o m X t ov E R d .4 : P ( R ) o R d

    X x * = a r g m i n l j x - v i lM c E XU s i n g t h e m a p p i n g 4 b , we d e f i n e t h e I n t e r m e d i a t e M a t c h i n gK e r n e l a s f o l l o w s

    K v ( X , Y ) = E e-2 ' I i ( X ) - 4 v i ( Y ) 1 1 2viEV ( 4 )w h e r e V = { v 1 , . . . , v p , } , v i E R d i s t h e s e t o f v i r t u a l l o c a lf e a t u r e s . We c l a i m t h a t t h e I n t e r m e d i a t e M a t c h i n g k e r n e l Kvi s p o s i t i v e d e f i n i t e .P r o o f : T o p r o v e t h e p o s i t i v e d e f i n i t e n e s s o f t h e I n t e r m e -d i a t e M a t c h i n g k e r n e l , we u s e t h e p o s i t i v e d e f i n i t e n e s s o f t h eR BF k e r n e l :K R B F ( X , Y ) =e 2 , x 2 , y E R dI n d e e d , t h e r e e x i s t s a m a p p i n g 4 t R B F : R d e X s u c ht h a t K R B F ( X , Y ) = ( D R B F ( X ) - 4 R B F ( Y ) w h e r e X i s t h e

    f e a t u r e s p a c e a s s o c i a t e d w i t h R BF k e r n e l . We s e t K v ( X , Y ) =e . T h i s l a s t k e r n e l c a n b e w r i t t e n a s :K w ( X , Y ) = K R B F ( P v ( X ) , ( D v ( Y ) )

    = t R B F ( ( v ( X ) ) - RBF(v ( Y ) )= i v , ( X ) * 4 v ( Y )

    w h e r e ( v : p ( R d ) W )X d ' R B F ( ' P v ( X ) )K v , ( X , Y ) i s t h u s p o s i t i v e d e f i n i t e . T h e I n t e r m e d i a t e M a t c h i n gk e r n e l c a n b e w r i t t e n a s :

    Kv ( X , Y ) = K v , ( X , Y )v i E V

    8 9 0

  • 7/27/2019 Intermediate matching kernel

    3/6

    a n d i s t h u s p o s i t i v e d e f i n i t e a s a sum o f p o s i t i v e d e f i n i t ek e r n e l s . UI t i s i m p o r t a n t t o r e c a l l t h a t t h e p o s i t i v e d e f i n i t e n e s s o f t h eI n t e r m e d i a t e M a t c h i n g k e r n e l i s i n s u r e d w h e n t h e p r o c e s s o fb u i l d i n g v i r t u a l l o c a l f e a t u r e s i s n o t r e l a t e d t o t h e t w o s e t s Xa n d Y . M o r e o v e r , t h e m a p p i n g ' I , , c a n b e c ho s e n d i f f e r e n t l yf r o m t h a t p r e s e n t e d i n p r o p o s i t i o n 1 . F o r i n s t a n c e , we c a nc h o o s e a m a p p i n g ( b w h i c h d e f i n e s f o r a n y s e t o f l o c a lf e a t u r e s X t h e m e a n v e c t o r t h e k - n e a r e s t n e i g h b o r h o o d o fa v e c t o r v . H e n c e a w i d e v a r i e t y o f I n t e r m e d i a t e M a t c h i n gk e r n e l s c a n b e d e r i v e d .

    0 000

    X0

    V 00 y*

    0.

    ( x 3 , y 3 ) . I f a m a t c h i n g a l g o r i t h m w a s u s e d i n t h i s e x a m p l e , t h ep a i r ( X 4 , y O ) w o u l d b e m a t c h e d , s i n c e t h e y a r e t h e n e a r e s t , b u td u e t o t h e f a c t t h a t V 3 i s c l o s e r t o X 3 t h a n X 4 w e d i d n o t o b t a i nt h e r e s u l t o f t h e c l a s s i c a l m a t c h i n g . We a l s o n o t i c e t h a t X 4w a s i n v o l v e d i n t h e e x p r e s s i o n o f t h e I n t e r m e d i a t e M a t c h i n g ,t h e r e f o r e i t c a n b e d i s c a r d e d f r o m t h e s e t X , w i t h o u t c h a n g i n gt h e r e s u l t i n g v a l u e . I n a w a y , v i r t u a l l o c a l f e a t u r e s p l a y t h er o l e o f a f e a t u r e s e l e c t o r s . T h e p r e v i o u s e x a m p l e d e m o n s t r a t e st h e i n f l u e n c e o f t h e c h o i c e o f v i r t u a l l o c a l f e a t u r e s o n t h eI n t e r m e d i a t e M a t c h i n g p r o c e s s w h i c h c a n b e s u m m a r i z e d a sf o l l o w s :A l g o r i t h m 1 I n t e r m e d i a t e M a t c h i n g K e r n e lI n p u t : X = { x 1 , . . * , x n } , Y = { Y 1 , * * Y m n } V ={ V 1 I . . . , V p } , oI n i t i a l i z e : K=Of o r v i e V d ox * = a r g m i n k I X k - V i l ly * = a r g m i n k I I Y k - V i l l

    K=K+ee-e n d f o rl I I V ( X ) - u I - V ( Y ) I I

    F i g . 1 . F o r e a c h e l e m e n t v o f V , t h e n e a r e s t e l e m e n t s x * a n d y * a r ec h o s e n f r o m X a n d Y . r e s p e c t i v e l y . T h e d i s t a n c e b e t w e e n t h e t w o p o i n t s i st h e n c o m p u t e d a n d u s e d i n t h e c o m p u t a t i o n o f t h e I n t e r m e d i a t e M a t c h i n gk e r n e l .VV1~~~y1 _ _

    I

    ~~__ _ Y iX2 V 2

    T3' x 3 ~ ~ V3 0 y 3"X 4 Y 3

    y

    F i g . 2 . C o m p l e t e e x a m p l e o f t h e c o m p u t a t i o n o f t h e I n t e r m e d i a t e M a t c h i n gk e r n e l . T h e t w o p o i n t s v 1 a n d V 2 m a t c h t h e s a m p l e p a i r ( x i , y 1 ) t w i c e . T h ep o i n t X 4 i s f a r f r o m V . s o i t i s n o t u s e d d u r i n g k e r n e l c o m p u t a t i o n .

    A s d e s c r i b e d p r e v i o u s l y , t h e c o m p u t a t i o n a l c o s t o f t h eI n t e r m e d i a t e M a t c h i n g k e r n e l m a y a p p e a r h i g h . F i r s t , t h ec o s t o f I n t e r m e d i a t e M a t c h i n g k e r n e l i s l o w e r t h a n t h e c o s to f M a t c h i n g k e r n e l s w h e n e v e r t h e n u m b e r o f v i r t u a l l o c a lf e a t u r e s d o e s n o t e x c e e d t h e n u m b e r o f v e c t o r s o f t h e t w os e t s X a n d Y . S e c o n d , t h e c o m p u t a t i o n o f t h e I n t e r m e d i a t eM a t c h i n g k e r n e l c a n b e e a s i l y s p e e d e d - u p b y o p t i m i z i n g t h es e a r c h f o r t h e n e a r e s t v e c t o r s .T o s u m u p , we d e s c r i b e d t h e I n t e r m e d i a t e M a t c h i n g k e r n e la n d d e r i v e d i t s p o s i t i v e d e f i n i t e n e s s . I n t h e f o l l o w i n g , w e w i l lf o c u s o n b u i l d i n g t h e v i r t u a l l o c a l f e a t u r e s .

    I V . CONSTRUCTION O F THE V I R T U A L LOCAL F E A T U R E SWe d i s t i n g u i s h b e t w e e n t w o a p p r o a c he s f o r c o n s t r u c t i n g t h ev i r t u a l l o c a l f e a t u r e s V . I n t h e f i r s t a p p r o a c h , w e c o n s i d e r ac o n t i n u o u s a n d c o m p a c t s u b s e t I R d . I n t h e s e c o n d a p p r o a c h ,R d i s f i n i t e a n d d i s c r e t e , a n d t r a i n i n g e x a m p l e s a r e u s e d t oo b t a i n t h e v i r t u a l l o c a l f e a t u r e s . T h e d e s c r i p t i o n o f t h e f i r s ta p p r o a c h w i l l b e l i m i t e d t o t h e t h e o r e t i c a l p o i n t o f v i e w . T h es e c o n d o n e w i l l b e d e s c r i b e d i n m o r e d e t a i l s . V a l i d a t i o n s a n dt e s t s f o r t h e s e c o n d a p p r o a c h a r e g i v e n i n t h e e x p e r i m e n t a ls e c t i o n .F i g . I s h o w s t h e c o n s t r u c t i o n o f t h e m a p p i n g I v . F o r t h ev i r t u a l l o c a l f e a t u r e s v E V , t h e n e a r e s t n e i g h b o r h o o d v e c t o r sx * a n d y * f r o m s e t s X a n d Y a r e s e l e c t e d , t h e n t h e d i s t a n c e

    I I x * - i s u s e d f o r t h e k e r n e l c o m p u t a t i o n . We n o t i c e t h a ty d o e s n o t a p p e a r e x p l i c i t l y i n t h e d i s t a n c e e x p r e s s i o n . I t i su s e d o n l y t o d e f i n e t h e p a i r o f v e c t o r s ( x * , y * ) t o b e m a t c h e d .F i g . 2 p r e s e n t s a d e t a i l e d e x a m p l e o f I n t e r m e d i a t e M a t c h i n gk e r n e l c o n s t r u c t i o n . We n o t i c e t h a t v i r t u a l l o c a l f e a t u r e v 1a n d v 2 s e l e c t t h e s a m e p a i r ( x 1 , y l ) , s o t h a t t h e c o n t r i b u t i o no f t h i s p a i r c o u n t s t w i c e i n t h e k e r n e l c o m p u t a t i o n . T h e v i r t u a ll o c a l f e a t u r e V 3 s e l e c t s t h e p a i r ( x 2 , y 2 ) a n d V 4 s e l e c t s t h e p a i r

    A . C o n t i n u o u s c a s eT h e s e t V i s c h o s e n t o b e a c o n t i n u o u s a n d c o m p a c t s u b s e to f t h e f e a t u r e s p a c e R d . T h e s u m m a t i o n i n t h e e x p r e s s i o no f t h e I n t e r m e d i a t e M a t c h i n g k e r n e l ( 4 ) no w t u r n s i n t o a ni n t e g r a l :

    K V ( X ' , Y ) = l V I &e - I v ( X ) - v ( y ) I I 2 d aT h e t e r m e - 2 = i s c o n s t a n t w h e n v b e l o n g st o t h e i n t e r s e c t i o n o f t h e t w o c e l l s o f t h e m u l t i - d i m e n s i o n a l

    8 9 1

    7 1 1 )C 7 .C ,

  • 7/27/2019 Intermediate matching kernel

    4/6

    V o r o n o i d i a g r a m s b u i l t f r o m X a n d Y . T h u s , t h i s i n t e g r a t i o no v e r v t u r n s i n t o a v o l u m e i n t e r s e c t i o n c a l c u l u s . L e t u s d e n o t eb y S i j t h e v o l u m e i n t e r s e c t i o n o f t h e x i a n d y j V o r o n o i c e l l s :K v ( X , Y ) = V I E S i j e - i ; T ( 5 )li E X , Y j EY

    - e ~ ~ ~ ~ ~I I X , _ Y 1 2 IE w i j e X 2Yx i E X , Y j E YR e w r i t t e n w i t h w e i g h t s w i j a s i n t h e p r e v i o u s e q u a t i o n ,we r e c o g n i z e t h e g e n e r a l k e r n e l e x p r e s s i o n ( 1 ) , u p t o t h en o r m a l i z a t i o n . N o t i c e t h a t , e v e n i f w i j d e p e n d s o n X a n d Y ,t h e k e r n e l Kv i s p o s i t i v e d e f i n i t e .

    x~~~~~~~

    x

    F i g . 3 . F o r b o t h s e t s X a n d Y . V o r o n o i d i a g r a m s a r e c o n s t r u c t e d . T h es u r f a c e o f t h e i n t e r s e c t i o n b e t w e e n t h e t w o c e l l s a s s o c i a t e d w i t h x i a n d y ji s t e r m e d S i j .T o o b t a i n t h e w e i g h t s w i j , we n e e d t o c o m p u t e t h e v o l u m e

    o f t h e i n t e r s e c t i o n b e t w e e n t h e c e l l s o f t h e t w o V o r o n o i d i a -g r a m s . T h i s may b e d i f f i c u l t w h e n t h e n u m b e r o f d i m e n s i o n sd i s l a r g e . F i g . 3 p r e s e n t s a 2D e x a m p l e o f t w o V o r o n o id i a g r a m s i n t e r s e c t i n g . F o r t h e p a i r ( x i , y j ) t h e v o l u m e o f t h et w o i n t e r s e c t i n g c e l l s i s s h o w n w i t h d a s h e d l i n e s a n d d e n o t e db y S i j a s i n ( 5 ) . T h e a p p r o a c h i n t h e c o n t i n u o u s c a s e s e e m st o b e p r o m i s i n g , a n d we p l a n t o i n v e s t i g a t e i t m o r e d e e p l y i na f u r t h e r s t u d y .B . D i s c r e t e c a s e

    W i t h i n t h i s a p p r o a c h , t h e s e t V i s c h o s e n t o b e f i n i t e a n dd i s c r e t e . E a c h v i r t u a l l o c a l f e a t u r e i n V w i l l s e l e c t a v e c t o ri n X a n d a v e c t o r i n Y . T h e r e f o r e , v i r t u a l l o c a l f e a t u r e sh a v e t o b e c h o s e n i n h i g h l y i n f o r m a t i v e r e g i o n s o f R d . T od o s o , a d a t a b a s e o f t r a i n i n g e x a m p l e s i s u s e d . T h e r e g i o n so f R d w i t h a h i g h d e n s i t y o f l o c a l f e a t u r e s a r e i n t e r e s t i n gf o r c h o o s i n g v i r t u a l f e a t u r e s . T o d o t h a t , a l l l o c a l f e a t u r e s o fa l l t h e t r a i n i n g i m a g e s a r e g a t h e r e d a n d t h e n a c l u s t e r i n g i sp e r f o r m e d . I n o u r c a s e a s i m p l e FC M c l u s t e r i n g a l g o r i t h mi s a p p l i e d , b u t o t h e r c l u s t e r i n g a l g o r i t h m s c a n b e u s e d w i t he q u a l s u c c e s s . T h e c l u s t e r c e n t e r s a r e t h e n t a k e n a s t h e v i r t u a ll o c a l f e a t u r e s . F C M c l u s t e r i n g a l g o r i t h m i s s u m m a r i z e d i nA l g o r i t h m 2 . T h e c h o i c e o f t h e n u m b e r o f c l a s s e s c a n b eu n d e r - e s t i m a t e d w i t h o u t d i f f i c u l t y . T h e c o n s e q u e n c e i s o n l ya p o s s i b l e r e d u c t i o n i n t h e n u m b e r o f m a t c h e d l o c a l f e a t u r e s .

    o 00

    * v e c t o r s o f X

    d V jO o I 000

    v cv o0 0* v e c t o r s o f Y

    + c l a s s c e n t e r s 0 t r a i n i n g j e t sV = { V 1 , V 2 , V 3 }F i g . 4 . T h e v i r t u a l l o c a l f e a t u r e s a r e t h e c l a s s c e n t e r s o f t h e c l u s t e r i n g o fw h o l e l o c a l f e a t u r e s e x t r a c t e d f r o m t r a i n i n g i m a g e s .A l g o r i t h m 2 F u z z y C - M e a n c l u s t e r i n g a l g o r i t h m [ 1 2 ]I n p u t : { f x } , i = 1 , . . . , qI n i t i a l i z e : S e t t h e n u m b e r o f c l a s s e s p a n d t h e w e i g h t i n gf a c t o r f s o t h a t 1 < f < ocr e p e a tU p d a t e c l a s s c e n t e r ' s v i = L = 1 u . . pU p d a t e m e m b e r s h i p s U i k = 1 2 f o r a l lj , = 11 V --k 11 fi = l , . . . , p , k = 1 , . . . , qu n t i l v i a n d U i k a r e s t a b l e .M o r e o v e r , a s m a l l n u m b e r p o f c l a s s e s i n c r e a s e s t h e s p e e d o ft h e k e r n e l c o m p u t a t i o n . I n d e e d , t h e c o m p u t a t i o n a l c o m p l e x i t yo f t h e I n t e r m e d i a t e M a t c h i n g k e r n e l i s O ( p ( n + m ) ) . Com-p a r e d t o t h e c o m p u t a t i o n a l c o m p l e x i t y o f t h e M a t c h i n g k e r n e l ,w h i c h i s O ( n m ) , t h e I n t e r m e d i a t e M a t c h i n g k e r n e l i s f a s t e ra s s o o n a s t h e n u m b e r o f v i r t u a l l o c a l f e a t u r e s i s s m a l l e r t h a nn a n d mt h e n u m b e r s o f l o c a l f e a t u r e s i n t h e t w o v e c t o r s s e t s .

    V . E X P E R I M E N T SF o r t h e e x p e r i m e n t s we u s e d a n i m a g e d a t a b a s e c o n t a i n i n g 4o b j e c t s a s s h o w n i n F i g . 5 . F o r e a c h o b j e c t , a b o u t 1 2 0 i m a g e sw i t h a s i z e o f 6 4 0 x 4 8 0 a r e t a k e n w i t h d i f f e r e n t b a c k g r o u n d sa n d i l l u m i n a t i o n c o n d i t i o n s ( a b o u t 3 0 d i f f e r e n t b a c k g r o u n d s ,

    o u t d o o r , i n d o o r ) .S a l i e n t p o i n t s a r e d e t e c t e d u s i n g H a r r i s d e t e c t o r [ 3 ] , a ss h o w n i n F i g . 6 . J e t s a r e c h o s e n t o b e t h e i n v a r i a n t t o r o t a t i o nc o l o r d i f f e r e n t i a l f e a t u r e s [ 4 ] .V i r t u a l l o c a l f e a t u r e s a r e o b t a i n e d b y c l u s t e r i n g l o c a l f e a -t u r e s o b t a i n e d f r o m t r a i n i n g i m a g e s . T o d o s o , t h e r e a r e t w op o s s i b i l i t i e s : c l u s t e r i n g p o s i t i v e a n d n e g a t i v e e x a m p l e s s e p a -r a t e l y o r t o g e t h e r . A c o u p l e o f c o m p a r i s o n s we m a d e s h o w st h a t s e p a r a t e c l u s t e r i n g l e a d s t o b e t t e r p e r f o r m a n c e . T h i s c a nb e e x p l a i n e d b y t h e f a c t t h a t i n t r o d u c i n g p r i o r i n f o r m a t i o nc a n i m p r o v e t h e p e r f o r m a n c e s . A k - f o l d c r o s s - v a l i d a t i o n t e s ti s u s e d t o e v a l u a t e t h e r e c o g n i t i o n r a t e ( k = 4 ) . F o r t h e s a k e o fs i m p l i c i t y , we e v a l u a t e t h e o n e - v s - t h e o t h e r s r e c o g n i t i o n t a s k .

    8 9 2

  • 7/27/2019 Intermediate matching kernel

    5/6

    F i g . 5 . I m a g e s u s e d f o r e x p e r i m e n t s , e a c h r o w p r e s e n t s r e s p e c t i v e l y o b j e c t sA , B , C a n d D .

    A B

    C DF i g . 6 . S o m e t e s t i m a g e s o f t h e f o u r o b j e c t s A , B , C . a n d D , w i t h d e t e c t e ds a l i e n t p o i n t s .

    F i g . 7 p r e s e n t s t h e e r r o r r a t e w i t h r e s p e c t t o t h e n u m b e r o fv i r t u a l l o c a l f e a t u r e s f o r t h e d i f f e r e n t o b j e c t s . T h e n u m b e r o fv i r t u a l l o c a l f e a t u r e s r a n g e s f r o m 2 t o 8 0 , a n d i n c r e a s i n g t h e i rn u m b e r i m p r o v e s t h e p e r f o r m a n c e . H o w e v e r , t h e e r r o r r a t e i sr a p i d l y s a t u r a t e d , w h i c h m e a n s t h a t a h i g h n u m b e r o f v i r t u a ll o c a l f e a t u r e s i s n o t n e c e s s a r y t o a c h i e v e b e s t p e r f o r m a n c e s .F o r a g i v e n s e t o f v i r t u a l l o c a l f e a t u r e s , a s m a l l n u m b e r o fl o c a l f e a t u r e s i s i n v o l v e d i n t h e I n t e r m e d i a t e M a t c h i n g k e r n e l .T h i s f a c t c a n b e v i e w e d a s a n o n l i n e f e a t u r e s e l e c t i o n . F i g . 8s h o w s t h e e v o l u t i o n o f t h e n u m b e r o f s e l e c t e d l o c a l f e a t u r e sw i t h r e s p e c t t o t h e n u m b e r o f v i r t u a l l o c a l f e a t u r e s . I n F i g . 9 ,e r r o r r a t e c o m p a r i s o n s b e t w e e n t h e I n t e r m e d i a t e M a t c h i n ga n d M a t c h i n g k e r n e l i s p r e s e n t e d w i t h r e s p e c t t o t h e s c a l ep a r a m e t e r o i n ( 4 ) f o r o b j e c t s A , B , C , a n d D . P e r f o r m a n c e s o ft h e I n t e r m e d i a t e M a t c h i n g k e r n e l a r e g o o d . T a b . I s u m m a r i z e st h e o p t i m a l e r r o r r a t e o b t a i n e d f r o m t h e c r o s s v a l i d a t i o np r o c e d u r e . T h e M a t c h i n g k e r n e l i s b e t t e r t h a n t h e I n t e r m e d i a t eM a t c h i n g k e r n e l b y a b o u t 1% f o r t h e r e c o g n i t i o n o f o b j e c t s Aa n d D . W h i l e t h e l a t t e r ' s p e r f o r m a n c e s a r e b e t t e r o n o b j e c t s Ca n d D b y a b o u t 0 . 5 % . A s a c o n s e q u e n c e , u s i n g 8 0 v i r t u a l l o c a lf e a t u r e s , I n t e r m e d i a t e M a t c h i n g a n d M a t c h i n g k e r n e l s a r e

    1 0 2 0 ' t O 4 0 5 0 6 0n u n b e r o f v i r t u a t l l o c a l f e D a t u r e sF i g . 7 . E r r o r r a t e w i t h r e s p e c t t o t h e n u m b e r o f v i r t u a l l o c a l f e a t u r e s ( n u m b e rp o f c l u s t e r c e n t e r s ) . E r r o r r a t e i s r a p i d l y s a t u r a t e d .

    2 01 81 61 4

    - g 1 2 .1 0

    s E //

    0 I I0 2 0 4 0 6 0 8 0 1 0 0 1 2 0 1 4 0 1 6 0n u m b e r o f v i r t u a l l o c a l i e a t u r e s

    F i g . 8 . T h e n u m b e r o f s e l e c t e d l o c a l f e a t u r e s v s t h e n u m b e r o f v i r t u a ll o c a l f e a t u r e s s h o w s t h a t a s m a l l p o r t i o n o f l o c a l f e a t u r e s a r e i n v o l v e d i n t h ec o m p u t a t i o n o f I n t e r m e d i a t e M a t c h i n g k e r n e l .

    s i m i l a r i n p e r f o r m a n c e s , w h i l e o n l y t h e I n t e r m e d i a t e M a t c h i n gk e r n e l i s s u r e t o b e d e f i n i t e p o s i t i v e . T h e p e r f o r m a n c e s o f t h eI n t e r m e d i a t e M a t c h i n g k e r n e l c a n b e i m p r o v e d b y i n c r e a s i n gs l i g h t l y m o r e t h e n u m b e r o f v i r t u a l l o c a l f e a t u r e s . We n o t i c e dt h a t t h e o b t a i n e d e r r o r r a t e s f o r o b j e c t s A a n d D a r e a r o u n d20% w h i l e e r r o r r a t e s f o r t h e o b j e c t s B a n d C a r e l e s s t h a n I % .T h i s c a n b e e x p l a i n e d b y t h e h i g h s i m i l a r i t y b e t w e e n o b j e c t s Aa n d D w h i c h i n c r e a s e s p o s s i b l e c o n f u s i o n s d u r i n g t h e l e a r n i n gs t a g e . O n e p o s s i b l e w a y t o o v e r c o m e s u c h p r o b l e m w o u l d b et o t a k e t h e s p a t i a l c o n f i g u r a t i o n o f s a l i e n t p o i n t s i n t o a c c o u n ts o a s t o e n h a n c e r e c o g n i t i o n w i t h r e s p e c t t o o b j e c t s h a p e s .

    8 9 3

    t 1 I2

  • 7/27/2019 Intermediate matching kernel

    6/6

    Aa _ _ _

    I 1.

    .\' II ___-2 * 2 *

    B* 2 4B: I I --- _4 @ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~

    I s Ia "^

    l 2 I I ID

    F i g . 9 . E r r o r r a t e c o m p a r i s o n s b e t w e e n I n t e r m e d i a t e M a t c h i n g a n d M a t c h i n gk e r n e l s w i t h r e s p e c t t o t h e h y p e r - p a r a m e t e r U i n ( 4 ) , f o r o b j e c t s A , B , C , a n dD . T h e I n t e r m e d i a t e M a t c h i n g k e r n e l u s e s 8 0 v i r t u a l l o c a l f e a t u r e s o b t a i n e db y c l u s t e r i n g t r a i n i n g l o c a l f e a t u r e s .

    o b j e c t s l A | B [ C J DIM k e r n e l 1 8 . 8 6 % 1 . 5 6 % 0 . 3 3 % 1 8 . 4 7 %

    o r 0 . 1 1 0 . 1 1 OC 1 6 . 3 8 4 . 0 9 2 6 2 . 1 4 6 5 . 5 3M k e r n e l 1 6 . 9 0 % 2 . 2 3 % 0 . 8 3 % 1 7 . 2 4 %_ _ _ _ _ _ 6 5 . 5 3 6 5 . 5 3 1 6 . 3 8 2 6 2 . 1 4C 0 . 1 0 . 1 0 . 1 1 0 0 0TABLE I

    BEST ERROR R A T E OBTAINED FO R THE I N T E R M E D I A T E MATCHINGKERNEL ( I M ) AN D MATCHING KERNEL ( M ) . T HE IM KERNEL I S TRAINED

    WITH 8 0 V I R T U A L LOCAL F E A T U R E S .

    V I . CONCLUSIONT h e M a t c h i n g k e r n e l f o r s e t s o f v e c t o r s h a s b e e n r e c e n t l yi n t r o d u c e d a n d h a s b e e n p r o v e d t o b e e f f i c i e n t f o r S V M - b a s e di m a g e r e c o g n i t i o n w i t h l o c a l f e a t u r e s . H o w e v e r , t h i s k e r n e l

    i s n o t p o s i t i v e d e f i n i t e a n d t h e r e f o r e t h e c o n v e r g e n c e o f t h eS VM a l g o r i t h m t o a u n i q u e s o l u t i o n i s n o t g u a r a n t e e d . M a t c h -i n g k e r n e l n o l o n g e r i n s u r e s t h a t S VM a l g o r i t h m c o n v e r g e s .M o r e o v e r , T h e n e w I n t e r m e d i a t e M a t c h i n g k e r n e l o v e r c o m e st h e s e d r a w b a c k s a s i t m i m i c s t h e m a t c h i n g k e r n e l w h i l e b e i n gp o s i t i v e d e f i n i t e . An i n t e r m e d i a t e s e t o f v i r t u a l l o c a l f e a t u r e si s i n t r o d u c e d f o r m a t c h i n g . F o r e a c h v i r t u a l l o c a l f e a t u r e , t h en e a r e s t p a i r o f v e c t o r s t o t h e v i r t u a l l o c a l f e a t u r e i s m a t c h e d .I n o u r e x p e r i m e n t s , w i t h a r e d u c e d n u m b e r o f v i r t u a l l o c a lf e a t u r e s , t h e n e w I n t e r m e d i a t e M a t c h i n g k e r n e l p e r f o r m s a sw e l l a s t h e M a t c h i n g k e r n e l . T h e I n t e r m e d i a t e M a t c h i n g k e r n e lc a n b e e a s i l y e x t e n d e d b y c h a n g i n g t h e m a p p i n g 4 , . T h i sl e a d s t o a l a r g e r f a m i l y o f p o s i t i v e d e f i n i t e k e r n e l s f o r l o c a lf e a t u r e s .REFERENCES

    [ 1 ] 0 . C h a p e l l e , P . H a f f n e r , a n d V . V a p n i k , " S u p p o r t v e c t o r m a c h i n e s f o rh i s t o g r a m - b a s e d i m a g e c l a s s i f i c a t i o n , " IEEE T r a n s a c t i o n s o n N e u r a lN e t w o r k s , v o l . 1 0 , n o . 5 , 1 9 9 9 .[ 2 ] D . L o w e , " D i s t i n c t i v e i m a g e f e a t u r e s f r o m s c a l e - i n v a r i a n t k e y p o i n t s , "I n t e r n a t i o n a l J o u r n a l o f C o m p u t e r V i s i o n , v o l . 6 0 , n o . 2 , p p . 9 1 - 1 1 0 ,2 0 0 4 .[ 3 ] C . S c h m i d a n d R . M o h r , " L o c a l g r a y v a l u e i n v a r i a n t s f o r i m a g e r e t r i e v a l , "I E E E T r a n s a c t i o n s o n P a t t e r n A n a l y s i s a n d M a c hi n e I n t e l l i g e n c e , v o l .1 9 , n o . 5 , p p . 5 3 0 - 5 3 5 , 1 9 9 7 .[ 4 ] V . G o u e t , P . M o n t e s i n o s , a n d D . P e l d , " S t e r e o m a t c h i n g o f c o l o r i m a g e su s i n g d i f f e r e n t i a l i n v a r i a n t s , " i n P r o c e e d i n g s o f t h e IEEE I n t e r n a t i o n a lC o n f e r e n c e o n I m a g e P r o c e s s i n g , C h i c a g o , E t a t s - U n i s , 1 9 9 8 .[ 5 ] Z . Z h a n g , R . D e r i c h e , 0 . F a u g e r a s , a n d Q . L u o n g , " A r o b u s t t e c h n i q u ef o r m a t c h i n g t w o u n c a l i b r a t e d i m a g e s t h r o u g h t h e r e c o v e r y o f t h eu n k n o w n e p i p o l a r g e o m e t r y , " A r t i f i c i a l I n t e l l i g e n c e , v o l . 7 8 , n o . 1 - 2 ,p p . 8 7 - 1 1 9 , 1 9 9 5 .[ 6 ] A . B a r l a , F . O d o n e , a n d A . V e r i , " H a u s d o r f f k e r n e l f o r 3 D o b j e c t a c -q u i s i t i o n a n d d e t e c t i o n , " i n I n P r o c e e d i n g s o f t h e E u r o p e a n C o n f e r e n c eo n C o m p u t e r V i s i o n , LNCS 2 3 5 3 , 2 0 0 2 , p p . 2 0 - 3 3 .[ 7 ] L . W o l f a n d A . S h a s h u a , " L e a r n i n g o v e r s e t s u s i n g k e r n e l p r i n c i p a la n g l e s , " J o u r n a l o f M a c h i n e L e a r n i n g R e s e a r c h ( J M L R ) , v o l . 4 , n o . 1 0 ,p p . 9 1 3 - 9 3 1 , 2 0 0 3 .[ 8 ] C . W a l l r a v e n , B . C a p u t o , a n d A . G r a f , " R e c o g n i t i o n w i t h l o c a l f e a t u r e s :t h e k e r n e l r e c i p e , " i n I C C V , 2 0 0 3 , p p . 2 5 7 - 2 6 4 .[ 9 ] R . K o n d o r a n d T . J e b a r a , " A k e r n e l b e t w e e n s e t s o f v e c t o r s , " i nP r o c e e d i n g s o ( t h e I C M L , 2 0 0 3 .[ 1 0 1 S . B o u g h o r b e l , J . - P . T a r e l , a n d F . F l e u r e t , " N o n - m e r c e r k e r n e l s f o r SVMo b j e c t r e c o g n i t i o n , " i n P r o c e e d i n g s o f B r i t i s h , M a c h i n e V i s i o n C o n f e r -e n c e ( B M V C ' 0 4 ) , L o n d o n , E n g l a n d , 2 0 0 4 , p p . 1 3 7 - 1 4 6 , h t t p : / / w w w -r o c q . i n r i a . f r / t a r e l / b m v c O 4 . h t m l .[ 1 1 ] C h r i s t o p h e r J . C . B u r g e s a n d D a v i d J . C r i s p , " U n i q u e n e s s o f t h e S VMs o l u t i o n . ' " i n N I P S , 1 9 9 9 , p p . 2 2 3 - 2 2 9 .[ 1 2 ] J . C . B e z d e k , P a t t e r n R e c o g n i t i o n w i t h F u z z y O b j e c t i v e F u n c t i o nA l g o r i t h m s , P l e n u m P r e s s , N ew Y o r k , 1 9 8 1 .

    8 9 4

    a

    I - - - Mft"

    II

    I

    I

    I

    IaE