2007 an object recognition scheme based on visual descriptors for a smart home environment

8/13/2019 2007 an Object Recognition Scheme Based on Visual Descriptors for a Smart Home Environment

1/6

I E E E I n t e r n a t i o n a l C o n f e r e n c e o n R o b o t & Human I n t e r a c t i v e C o m m u n i c a t i o ns t 2 6 2 9 , 2 0 0 7 / J e j u , K o r e aAn O b j e c t R e c o g n i t i o n S c h e m e B a s e d o n V i s u a l D e s c r i p t o r s f o r a S m a r tHome E n v i r o n m e n t

S e u n g - H o B a e g , J a e - H a n P a r k , J a e h a n K o h , K y u n g - W o o k P a r k , Moon-Hong B a e gC o n t r o l a n d P e r c e p t i o n R e s e a r c h G r o u pK o r e a I n s t i t u t e o f I n d u s t r i a l T e c h n o l o g y ( K I T E C H )1 2 7 1 S a 1 - d o n g , S a n gr o k - gu , A n s a n , 4 2 7 - 7 9 1 , S o u t h K o r e a ( R O K )e - m a i l : ( s h b a e g , h a n s 1 0 2 4 , j a e h a n k o , k w p a r k , m h ba e g ) @ k i t e ch . r e . k r

A b s t r a c t - One o f t h e f u n c t i o n a l i t i e s a s e r v i c e r o bo t s h o u l dh a v e , t o work i n a s m a r t e n v i r o n m e n t , i s o b j e c t r e c o g n i t i o n a n dh a n d l i n g o f o b j e c t s . Many r e s e a r c h e r s h a v e a t t e m p t e d t o makes e r v i c e r o b o t s r e c o g n i z e o b j e c t s i n n a t u r a l e n v i r o n m e n t s b u t n oc o n v e n t i o n a l v i s i o n s y s t e m s c a n r e c o g n i z e t a r g e t o b j e c t s i nc o m p l e x s c e n e s . We b u i l t a p r o t o t y p e s m a r t e n v i r o n m e n t i no u r r e s e a r c h b u i l d i n g a t K o r e a I n s t i t u t e o f I n d u s t r i a l T e c h -n o l o g y (KITECH) t o d e m o n s t r a t e t h e f e a s i b i l i t y t h a t a s e r v i c er o b o t w i t h f e w s e n s o r s c a n p r o v i de r e l i a b l e s e r v i c e s b y i n t e r -a c t i n g w i t h a n e n v i r o n m e n t f u l l o f s ma r t d e v i c e s t h r o u g hw i r e l e s s s e n s o r n e t w o r k c o m m u n i c a t i o n s . I n t h i s p a p e r , w ea d d r e s s t h e i s s u e s o f how t o d e v e l o p a n o b j e c t r e c o g n i t i o n s y s -t e m f o r o u r RoboMaidHome p r o j e c t . Our o b j e c t r e c o g n i t i o ns y s t e m c a n n o t o n l y r e c o g n i z e o b j e c t s w i t h n o n e e d o f a p r e -v i o u s t r a i n i n g s t a g e b u t make t h e s e r v i c e r o b o t l i g h t - w e i g h tw i t h minimum h a r d w a r e a n d s o f t w a r e r e q u i r e m e n t s w h i l ew o r k i n g w e l l i n a s m a r t home e n v i r o n m e n t . I n a d d i t i o n , t h em a t c h i n g p r o c e s s f o r o b j e c t r e c o g n i t i o n i s s i m p l e s i n c e o n l y af e w i m a g e p r o c e ss i n g t e c hn i q ue s a r e e m p l o y e d . Our o b j e c tr e c o g n i t i o n s c h e m e o n t h e b a s i s o f MPEG-7 v i s u a l d e s c r i p t o r si s u n d e r d e v e l o p m e n t a n d i n c l u d e s c o l o r , t e x t u r e , a n d s h a p e . I tw i l l a l s o b e i n c o r p o r a t e d i n t o o u r m o b i l e s e r v i c e r o b o t i c s s y s -t e m .

I n d e x Terms- MPEG-7 D e s c r i p t o r , V i s u a l D e s c r i p t o r , O b -j e c t R e c o g n i t i o n , S m a r t E n v i r o n m e n t , U b i q u i t o u s C o m p u t i n g .

I . INTRODUCTIONT h e p r o b l e m s o f o b j e c t r e c o g n i t i o n a n d h a n d l i n g a l o n gw i t h l o c a l i z a t i o n a n d n a v i g a t i o n h a v e b e e n r e g a r d e d a sm a j o r c h a l l e n g e s t o r o b o t i c r e s e a r c h e r s . T h e s e f u n c t i o n a l -i t i e s h a v e o n l y b e e n i m p l e m e n t e d i n a r e s t r i c t e d e n v i r o n m e n tb u t h a v e n o t g i v e n a s a t i s f a c t o r y p e r f o r m a n c e i n a n a t u r a le n v i r o n m e n t . To p r o v i d e r e l i a b l e s e r v i c e s i n a n a t u r a l e n -v i r o n m e n t , s e r v i c e r o b o t s h a v e b e e n o u t f i t t e d w i t h manye x p e n s i v e s e n s o r s a n d a c t u a t o r s . As a n a l t e r n a t i v e t o t h i sa p p r o a c h , we i n i t i a t e d a s m a r t h o m e e n v i r o n m e n t p r o j e c t ,R o b o M a i d H o m e , f u l l o f i n e x p e n s i v e s m a r t i t e m s w i t h r a d i o

f r e q u e n c y i d e n t i f i c a t i o n ( R F I D ) t a g s a s w e l l a s s m a r t d e -v i c e s w i t h RFID t a g r e a d e r s t o b u i l d a n e n v i r o n m e n t f o rl o w - c o s t s e r v i c e r o b o t s . I n t h e e n v i r o n m e n t , t h e s e r v i c er o b o t s d o n o t n e e d t o h a v e many s e n s o r s a n d c a n p e r f o r mc o m p u t a t i o n a l l y e x p e n s i v e o p e r a t i o n s . I n s t e a d , m o s t o f t h et a s k s o f t h e s e r v i c e r o b o t s a r e p e r f o r m e d i n c o l l a b o r a t i o nw i t h t h e e n v i r o n m e n t . To p r o v i d e r e l i a b l e s e r v i c e s , s m a r td e v i c e s a n d s e r v i c e r o b o t s i n t h e e n v i r o n m e n t a r e c o n n e c t e dt h r o u g h w i r e l e s s c o m m u n i c a t i o n s . We c a l l t h i s s e n s o r n e t -w o r k g a t e w a y , h o m e s e r v e r , a n d i t i s u n d e r d e v e l o p m e n t .

One t h i n g t h e h o m e s e r v e r c a n n o t p r o v i d e i s a p r e c i s e l o -c a t i o n o f o b j e c t s o n a s m a r t d e v i c e d u e t o a c h a r a c t e r i s t i c o fRFID t a g s , t h a t i s , t h e f a c t t h a t t h e y c a n n o t p r o v i d e d i r e c -t i o n a l i n f o r m a t i o n . T h e r e f o r e , t h e s e r v i c e r o b o t s m u s t c a l -c u l a t e t h e e x a c t l o c a t i o n b y r e c o g n i z i n g a n o b j e c t t h r o u g hr o b o t v i s i o n , i f t h e t a s k i s g r a b b i n g i tH o w e v e r , v i s i o n - b a s e d r e c o g n i t i o n i s n o t o n l y c o mp u t a -t i o n a l l y e x p e n s i v e b u t a l s o h i g h l y d e p e n d e n t o n t h e s c a l e ,r o t a t i o n , a n d t r a n s l a t i o n o f t h e c a p t u r e d i m a g e s f r o m t h ec a m e r a . As t h e r e c o g n i t i o n p r o c e s s s h o u l d b e c a r r i e d o u t i nr e a l - t i m e f o r l o w - c o s t s e r v i c e r o b o t s t o r e s p o n d t o a n d p e r -f o r m t h e t a s k s i n c o l l a b o r a t i o n w i t h t h e e n v i r o n m e n t , wed e v i s e d o u r o b j e c t r e c o g n i t i o n s y s t e m b a s e d o n MPEG-7v i s u a l d e s c r i p t o r s f o r o u r p r o j e c t . T h e v i s u a l d e s c r i p t o r s a r ed e s i g n e d t o d e s c r i b e a u d i o v i s u a l d a t a c o n t e n t i n m u l t i m e d i ae n v i r o n m e n t s a n d t h e s e d e s c r i p t o r s h a v e b e e n u s e d t o s e a r c h ,i d e n t i f y , f i l t e r a n d b r o w s e a u d i o v i s u a l c o n t e n t [ 1 ] . One a d -v a n t a g e o f u s i n g MPEG-7 d e s c r i p t o r i s e f f i c i e n c y . To b es p e c i f i c , MPEG-7 v i s u a l d e s c r i p t o r s p r o v i d e g o o d c l u e s f o rl o c a t i n g o b j e c t s i n a v i s u a l f i e l d a n d t h e r e c o g n i t i o n p r o c e s sw i t h d e s c r i p t o r s c a n b e c o n d u c t e d i n r e a l - t i m e t h e r e b yg u a r a n t e e i n g r o b u s t n e s s . T h e i n f o r m a t i o n a b o u t o b j e c t s i se x p r e s s e d i n t h e e x t e n s i b l e m a r k u p l a n g u a g e ( X M L ) f o r m a ta n d o u r o b j e c t r e c o g n i t i o n m o d u l e w o r k s o n t h e b a s i s o fMPEG-7 v i s u a l d e s c r i p t o r s .O u r a p p r o a c h h a s t h e f o l l o w i n g a d v a n t a g e s . F i r s t , o u rs y s t e m d o e s n o t r e q u i r e a t r a i n i n g p h a s e f o r o b j e c t r e c o g n i -t i o n a n d l o c a l i z a t i o n s i n c e we r e c e i v e p r o d u c t i n f o r m a t i o nf r o m d a t a b a s e o n t h e o b j e c t i n f o r m a t i o n s e r v e r t h r o u g hw i r e l e s s c o m m u n i c a t i o n s . T h e r e f o r e , a b r a n d - n e w p r o d u c tc a n b e r e c o g n i z e d o n t h e b a s i s o f RFID i n f o r m a t i o n w i t h n op r o b l e m . RFID t a g r e a d e r s o n s m a r t t a b l e s a n d s m a r t s h e l v e sd e t e c t w h e t h e r o b j e c t s a r e o n t h e m a n d s e n d s c a n n e d d a t af r o m a l l o b j e c t s t o t h e e n v i r o n m e n t t h r o u g h s e n s o r n e t w o r k s .S e c o n d , t h e s e r v i c e r o b o t d o e s n o t h a v e t o m a i n t a i n t h eo b j e c t d a t a b a s e i n i t I n s t e a d , t h e o b j e c t i n f o r m a t i o n s e r v e r i nt h e e n v i r o n m e n t m a i n t a i n s t h e d a t a b a s e o f t h e p r o d u c t s . Ont h e b a s i s o f t h e d a t a r e a d f r o m RFID t a g s , a n d t h e w i r e l e s sc o mm un i c a t i o n b e t w e e n s m a r t o b j e c t s a n d t h e e n v i r o n m e n t ,t h e i n f o r m a t i o n a b o u t t h e o b j e c t f o r s e a r c h i n g c a n b e f o un da n d t r a n s m i t t e d t o t h e s e r v i c e r o b o t . T h u s , t h e s i z e o f t h es y s t e m c a n b e m i n i m i z e d . T h i s c a n l e a d t o t h e c o s t r e d u c t i o no f t h e r o b o t i c s y s t e m , w h i c h i s i m p o r t a n t f o r t h e f u t u r e s e r -v i c e r o b o t i n d u s t r y .T h i r d , t h e m a t c h i n g p r o c e s s o f t h e o b j e c t s f o r s e a r c h i n gc a n b e s i m p l e b e c a u s e o u r o b j e c t r e c o g n i t i o n s y s t e m u s e sMPEG-7 v i s u a l d e s c r i p t o r s , s p e c i f i c a l l y , c o l o r , t e x t u r e , a n d

- 4 2 4 4 - 1 6 3 5 - 6 / 0 7/ 2 5 . 0 0 2 0 0 7 I E E E .

WA


2/6

s h a p e . T h e s e r v i c e r o b o t c a n d o w n l o a d t h e i n f o r m a t i o na b o u t t h e o b j e c t s f r o m t h e O I S w h i c h m a i n t a i n s t h e i n f o r -m a t i o n o f t h e a l l p r o d u c t s i n c l u d i n g R F I D - r e l a t e d d a t a , i nt h e XML f o r m a n t a n d f i n d s t h e m a t c h i n g o b j e c t s . S i n c e i td o e s n o t r e q u i r e s o m e c o m p u t a t i o n a l l y e x p e n s i v e i m a g ep r o c e s s i n g , we h o p e t h i s s c h e m e c a n b e u s e d i n r e a l - t i m eh o u s e k e e p i n g t a s k s .T h e s t r u c t u r e o f t h i s p a p e r i s a s f o l l o w s . I n S e c t i o n 2 , wer e v i e w r e l a t e d w o r k w i t h s p e c i a l i n t e r e s t t o o b j e c t r e c o g n i -t i o n u s i n g MPEG-7 v i s u a l d e s c r i p t o r s . T h e n , t h e o v e r a l lo b j e c t r e c o g n i t i o n s y s t e m i s d e s c r i b e d i n m o r e d e t a i l i nS e c t i o n 3 . E x p e r i m e n t a l r e s u l t s a r e b r i e f l y p r e s e n t e d i nS e c t i o n 4 . L a s t l y , we g i v e a c o n c l u s i o n a n d f u t u r e d i r e c t i o no f o u r s y s t e m i n S e c t i o n 5 .

I I . RELATED WORKMany r e s e a r c h e r s i n t h e f i e l d o f s e r v i c e r o b o t i c s h a v e t r i e dt o b u i l d a n a u t o n o m o u s m o b i l e s e r v i c e r o b o t s y s t e m t h a ts e r v e s a s p e r s o n a l a s s i s t a n t s . T h e r o b o t i c s y s t e m i s e x p e c t e dt o i n t e r a c t w i t h p e o p l e i n n a t u r a l e n v i r o n me n t s s uc h a s p r i -

v a t e h o u s e s , h o s p i t a l s , d a y - c a r e f a c i l i t i e s , m u s e u m s , e t c . I nt h e s e e n v i r o n m e n t s , m u c h a t t e n t i o n h a s b e e n g i v e n t o t h em e a n s o f i n t e r f a c e b e t w e e n h u m a n s a n d r o b o t s . As a way t op r o m o t e t h e i n t e r a c t i o n c a p a b i l i t y , m u l t i m o d a l i n t e r f a c e sh a v e b e e n p r o p o s e d .M c G u i r e e t a l . [ 2 ] i n t e g r a t e d a c t i v e v i s i o n , g e s t u r a l i n -s t r u c t i o n , a n d s p e e c h i n p u t i n t o a r o b o t s y s t e m i n g r a s p i n gt a s k s . To b e s p e c i f i c , t h e s p e e c h p r o c e s s i n g m o d u l e a n d t h ea t t e n t i o n m o d u l e p r o d u c e l i n g u i s t i c a n d v i s u a l / g e s t u r a l i n -p u t s , a n d t h e y a r e f e d i n t o i n t e g r a t i o n m o d u l e . F i n a l l y t h eo u t p u t f r o m t h e i n t e g r a t i o n m o d u l e i s p a s s e d t o t h e m a -n i p u l a t o r i n c h a r g e o f m o t i o n a n d g r a s p i n g . T h e a u t h o r si n t e n d e d t o e n a b l e t h e r o b o t t o c o m m u n i c a t e w i t h t h e u s e r i na n a t u r a l f a s h i o n .N a k a m u r a e t a l . [ 3 , 4 , 5 ] d e v e l o p e d a s e r v i c e r o b o t s y s t e mt h a t a c c o m p l i s h e s t a s k s g i v e n b y a u s e r . F o r t h e s e r v i c e r o b o tt o b r i n g t h e o b j e c t s a s k e d b y t h e u s e r , t h e y e m p l o y e d as p e e c h - b a s e d i n t e r f a c e . I n a d d i t i o n , t h e y c o m b i n e d a v i -s i o n - b a s e d i n t e r f a c e t o r e c o g n i z e g e s t u r e s o f t h e u s e r . R e -c e n t l y , t h e y f oc us e d o n t h e c o o p e r a t i v e v i s i o n - s p e e c h s y s -t e m t o r e c o g n i z e o b j e c t s i n c o m p l e x s c e n e s .T a k a h a s h i e t a l . [ 6 ] p r o p o s e d a h u m a n - r o b o t i n t e r f a c em e t h o d t o e n h a n c e t h e c a p a b i l i t y o f r o b o t v i s i o n o n t h e b a s i so f c o m m u n i c a t i o n b y v e r b a l a n d n o n v e r b a l b e h a v i o r s . Whent h e r o b o t i s g i v e n t h e v e r b a l c o m m a n d , b r i n g me t h a t a p -p l e , w h i l e a u s e r i s p o i n t i n g a t a n a p p l e , t h e v i s i o n s y s t e m o ft h e r o b o t a t t e m p t s t o f i n d t h e a p p l e . I f t h e r o b o t e x t r a c t sm u l t i p l e o b j e c t c a n d i d a t e s , i t a s k s t h e u s e r t o c h o o s e t h ec o r r e c t o n e a m o n g t h e m v i a s p e e c h . T h i s t y p e o f i n t e r a c t i o ni s r e p e a t e d u n t i l t h e u s e r ' s c o m m a n d i s f u l f i l l e d .O b j e c t r e c o g n i t i o n a n d g r a s p i n g o b j e c t s a r e common t a s k sf o r s e r v i c e r o b o t s .M a k i h a r a e t a l . [ 7 ] p r o p o s e d a m e t h o d t o r e c o g n i z e a no b j e c t f r o m a n y d i r e c t i o n . By r e g i s t e r i n g o b j e c t m o d e l s i ts t a r t s r e c o g n i z i n g t a r g e t o b j e c t s . h e n i f t h e r o b o t f a i l s t or e c o g n i z e t h e o b j e c t , i t t r i e s a g a i n w i t h u s e r i n t e r a c t i o n v i as p e e c h .

C a r e - O - b o t , a m o b i l e s e r v i c e r o b o t t h a t h a s t h e c a p a b i l i t y t op e r f o r m f e t c h - a n d - c a r r y . F o r s i m p l e m a n - m a c h i n e commu-n i c a t i o n , s p e e c h , h a p t i c s , a n d g e s t u r e s a r e c o n s i d e r e d i n t h ei n t e r f a c e d e s i g n . T h e y a l s o i n t r o d u c e d t h e t a s k s i n c l u d i n gh o u s e h o l d t a s k s , m o b i l i t y a i d , c o m m u n i c a t i o n a n d s o c i a li n t e g r a t i o n , a r o b o t i c h o m e a s s i s t a n t s h o u l d p e r f o r m .

Z o b e l e t a l . [ 9 ] c o m b i n e d v i s i o n a n d s p e e c h t o i m p r o v e t h ec a p a b i l i t i e s o f t h e i r a u t o n o m o u s s e r v i c e r o b o t s y s t e m .M O B S Y a c t s a s a m o b i l e r e c e p t i o n i s t f o r v i s i t o r s . I t w a i t s a ti t s h o m e p o s i t i o n . When a v i s i t o r a r r i v e s , M O B S Y a p -p r o a c h e s t h e m w h i l e i n t r o d u c i n g i t s e l f . A f t e r s t o p p i n g i nf r o n t o f t h e v i s i t o r , i t s t a r t s a n a t u r a l - l a n g u a g e - b a s e d d i a -l o g u e . When t h e d i a l o g u e i s o v e r , M O B S Y t u r n s a n d r e t u r n st o i t s i n i t i a l p o s i t i o n .T h e a b o v e a p p r o a c h e s f o c u s o n p r o v i d i n g u s e r s w i t h s i m -p l e a n d s p e c i f i c s e r v i c e s v i a h u m a n - c o m p u t e r i n t e r a c t i o na n d r e q u i r e a r o b o t i c s y s t e m w i t h s o p h i s c a t e d e q u i p m e n t .S i n c e we h a v e b u i l t t h e s m a r t e n v i r o n m e n t f o r s e r v i c e r o b o t sa n d i t p r o v i d e s s e r v i c e s t h r o u g h t h e c o mm un i c a t i o n b e t w e e nu s e r s a n d s e r v i c e r o b o t s , we n e e d a ne w o b j e c t r e c o g n i t i o ns c h e m e f o r o u r e n v i r o n m e n t .

I I I . O B J E C T RECOGNITION SCHEME FOR THER O B O M A I D H O M E PROJECTO u r s c h e m e s t a r t s w i t h t h e f o l l o w i n g s c e n a r i o : When a

ne w p r o d u c t i s l a u n c h e d , t h e m a n u f a c t u r e r r e g i s t e r s t h ep r o p e r t i e s o f t h e p r o d u c t b y u s i n g t h e a n n o t a t i o n t o o l , v i s i -T a g . T h e a n n o t a t i o n t o o l n o t o n l y g e n e r a t e s v i s u a l d e s c r i p -t o r s i n f o r m a t i o n o f t h e i m a g e o f t h e p r o d u c t i n a c c o r d a n c ew i t h MPEG-7 s p e c i f i c a t i o n a u t o m a t i c a l l y b u t a l s o r e c o r d st h e d e s c r i p t o r s i n f o r m a t i o n i n t h e XML f o r m a t i n t o t h em a n u f a c t u r e r ' s d a t a b a s e . When a r o b o t i s g i v e n a commands u c h a s t o f e t c h a c a n o f c o k e , i t t a l k s t o t h e e n v i r o n m e n tt h r o u g h T C P / I P c o m m u n i c a t i o n s t o r e q u e s t t h e o b j e c t i n -f o r m a t i o n o f t h e RFID c o d e . O n c e t h e i n f o r m a t i o n a b o u t t h eo b j e c t i s r e c e i v e d , t h e r o b o t c a l c u l a t e s t h e e x a c t l o c a t i o n o ft h e c o k e c a n b y v i s i o n p r o c e s s i n g .F i g . 1 s h o w s t h e o v e r a l l s y s t e m a r c h i t e c t u r e o f o u r v i s i o ns y s t e m . T h e v i s i o n s y s t e m c o n s i s t s o f t h e f o l l o w i n g t h r e ec o m p o n e n t s : i ) a n n o t a t i o n t o o l ; i i ) o b j e c t n a m i n g s e r v e r( O N S ) a n d o b j e c t i n f o r m a t i o n s e r v e r ( O I S ) ; a n d i i i ) o b j e c tr e c o g n i t i o n s y s t e m ( O R S ) .T h e a n n o t a t i o n t o o l , v i s i T a g , i s a n R F I D - b a s e d v i s u a l i n -f o r m a t i o n e x t r a c t i o n a n d r e g i s t r a t i o n t o o l . T h i s t o o l e x t r a c t sv i s u a l d e s c r i p t o r s i n f o r m a t i o n o f e a ch o b j e c t a n d t h e i m a g eo f t h e o b j e c t a n d t h e n s t o r e s t h e m i n t o o b j e c t d e s c r i p t i o nd a t a b a s e ( O D D B ) a n d o b j e c t i m a g e d a t a b a s e ( O I D B ) , r e -s p e c t i v e l y .

T h e O I S i s c o n n e c t e d t o i t s O I D B a n d O D D B . T h e O D D Bm a i n t a i n s t h e d e s c r i p t o r s i n f o r m a t i o n a s w e l l a s t r a c k i n gi n f o r m a t i o n o f p r o d u c t s i n t h e XML f o r m a t . T h e OIDBk e e p s i m a g e d a t a f o r p r o d u c t s . I n o u r a r c h i t e c t u r e , e a c hc o m p a n y h a s i t s own O I S . W h e n e v e r a new p r o d u c t i sl a u n c h e d , d a t a a b o u t t h e p r o d u c t i s i n s e r t e d a n d O D D B a n dO I D B a r e u p d a t e d .

H a n s e t a l . [ 8 ] i n t r o d u c e d t h e s e c o n d p r o t o t y p e o f


3/6

RI D S w g h w OI S fo r6( A d d r . = 1 68

c r i l p t i o n D a t a ba s e a n d O b j e c tl n i a g e D a t a b a s efo r c o m p a n y Am a t i o n S e r v e r fo r c o m p a n y A. = 1 6 8 . 1 9 2 . 2 3 2 . 5 7 )

/

F i g . 1 . T h e s y s t e m a r c h i t e c t u r e o f t h e v i s i o n s y s t e m f o rR o b o M a i d H o m eT h e o b j e c t r e c o g n i t i o n s y s t e m f o r t h e R o b o M a i d H o m ep r o j e c t i s c r u c i a l f o r a s e r v i c e r o b o t t o p r o v i d e r e l i a b l es e r v i c e s s i n c e m o s t o f t h e s e r v i c e s a r e c a r r i e d o u t i n a ne n v i r o n m e n t f u l l o f R F I D - t a g g e d o b j e c t s . Many e x p e n s i v et a s k s s u c h a s ma p b u i l d i n g , n a v i g a t i o n , o b j e c t r e c o g n i t i o na n d o b j e c t h a n d l i n g a r e c o n d uc t e d t h r o u gh s o c i a l i n t e r a c -t i o n s b e t w e e n t h e r o b o t a n d t h e h o u s e . F o r e x a m p l e , w h e nl o c a l i z i n g t h e r o b o t , i t i n t e r a c t s w i t h l o c a t i o n s e n s o r s i n t h e

e n v i r o n m e n t a n d w h e n i d e n t i f y i n g i n t r u d e r s , i t t a l k s w i t hs m a r t s e c u r i t y s e n s o r s .

A s t h e n e e d f o r c o n t e x t - a w a r e m o b i l e r o b o t s t o p e r c e i v ee n v i r o n m e n t a l s i g n a l s h a s i n c r e a s e d a n d t h e r o b o t m u s t i n f e rt h e c o n t e x t f r o m t h e s i g n a l s a n d t a k e a p p r o p r i a t e a c t i o n s , i tm us t b e o u t f i t t e d w i t h v a r i o u s s e n s o r s t o c a p t u r e t h e s i g n a l sr e l a t e d t o t h e s t a t e o f t h e e n v i r o n m e n t . I t o f t e n l e a d s t o ac o m p l e x a n d e x p e n s i v e r o b o t i c s y s t e m . I n c o n t r a s t t o t h i sc o n v e n t i o n a l r o b o t i c s y s t e m , o u r r o b o t i c s y s t e m f o r t h es m a r t e n v i r o n m e n t i s q u i t e l i g h t s i n c e i t i s o n l y e q u i p p e dw i t h a c a m e r a , a n RFID r e a d e r , a n d a c o m m u n i c a t i o n m o d -u l e t o a c c o m p l i s h t h e g i v e n t a s k s .

L e t u s t h i n k o f a r e a l i s t i c s c e n a r i o i n d e t a i l b a s e d o n F i g . 2 .S u p p o s e t h e s e r v i c e r o b o t i s a s k e d t o f e t c h a c a n o f c o k e o nt h e s m a r t t a b l e i n o ur s ma r t h o m e e n v i r o n m e n t . When t h er o b o t a p p r o a c h e s t o t h e s m a r t t a b l e , i t d e t e c t s o b j e c t s i . e . ,t h e c o k e c a n ) w i t h i n i t s r e a d r a n g e . A f t e r i t g e t s t h e RFIDc o d e , i t s e n d s t o t h e O N S t h e q u e r y r e g a r d i n g t h e I P a d d r e s so f t h e a p p r o p r i a t e O I S . T h i s p r o c e s s i s r e q u i r e d b e c a u s ee a c h O I S m a i n t a i n s i t s p r o d u c t i n f o r m a t i o n a n d O N S k e e p st h e i n f o r m a t i o n a b o u t how t o g e t a c c e s s t o a l l O I S s . I n o u rs c e n a r i o , t h e i n f o r m a t i o n i s t h e i n t e r n e t p r o t o c o l ( I P ) a d d r e s so f t h e O I S . A f t e r t h e r o b o t g e t s t h e s e r v e r r e s p o n s e , i t e s -t a b l i s h e s a c o n n e c t i o n t o t h e a p p r o p r i a t e O I S a n d r e c e i v e st h e d e s c r i p t o r s i n f o r m a t i o n o f t h e m a t c h i n g o b j e c t f r o m t h ed a t a b a s e m a n a g e m e n t s y s t e m a t t a c h e d t o t h e O I S . Whens e n d i n g a r e q u e s t t o t h e O N S a n d O I S , t h e RFID c o d e o f t h eo b j e c t i s u s e d a s a k e y w o r d f o r r e t r i e v a l . A f t e r r e c e i v i n g t h ev i s u a l d e s c r i p t o r s d a t a i n t h e XML f o r m a t , t h e o b j e c t r e c -o g n i t i o n p r o c e s s o f t h e s e r v i c e r o b o t i s p e r f o r m e d . T h ew h o l e p r o c e s s i s d e p i c t e d i n F i g . 2 .

1 J T h e r o b o t s e a r c h e s a n o b j e c t w i t h a R F I D r e a d e r . 2 ) T h e r o b o t r e a d s R F I D d a t a . 3 ) T h e r o b o t s e n d s a r e q u e s t f o r r e c o g n i t i o n i n f o r m a t i o n . 4 ) T h e O N S r e t u r n s t h e I P a d d r e s s o f t h e O l S w h e r e t h e R F I D c o d e i s l o c a t e d . 5 ) T h e r o b o t s e n d s a r e q u e s t f o r o b j e c t i n f o r m a t i o n . 6 ) T h e p r o p e r Q I S r e t u r n s o b j e c t i n f o r m a t i o n .F i g 2 . T a s k f l o w d i a g r a m f o r g r a s p i n g a c o k e c a n

A . v i s i T a g : t h e a n n o t a t i o n t o o lv i s i T a g i s a n a n n o t a t i o n t o o l f o r e x t r a c t i n g a n d r e g i s t e r i n gv i s u a l d e s c r i p t o r s d a t a i n a c co r d a n c e w i t h MPEG-7 s p e c i -f i c a t i o n . A s n a p s h o t o f t h i s t o o l i s s h o w n i n F i g . 3 . Somef i e l d s s u c h a s p r o d u c t n a m e , m a n u f a c t u r e r , w e i g h t , e t c . , a r eg e n e r a t e d m a n u a l l y a n d t h e o t h e r s i n c l u d i n g d o m i n a n t c o l o rd e s c r i p t o r a n d t e x t u r e d e s c r i p t o r a r e d o n e a u t o m a t i c a l l y . T h e

d a t a g e n e r a t e d a r e s t o r e d i n t h e O D D B i n t h e XML f o r m a t .An e x a m p l e o f a n o b j e c t d e s c r i p t i o n i n t h e XML f o r m a t i si l l u s t r a t e d i n F i g . 4 .

O i m X

F i l eF o l d e r N

m r g 4 d I uI b r iA m i t o

F i g . 3 v i s i T a g : An R F I D - b a s e d o b j e c t a n n o t a t i o n t o o lT h e m a i n w i n d o w o f v i s i T a g c o n s i s t s o f f i v e s e c t i o n s :

_1B


4/6

o b j e c t i m a g e f r a m e s e c t i o n , t h e f i l e f o l d e r s e c t i o n , t h e an -n o t a t o r i n f o r m a t i o n s e c t i o n , t h e s t a t i c d a t a s e c t i o n , a n d t h eMPEG-7 v i s u a l f e a t u r e s s e c t i o n . D a t a u s e d b y v i s i T a g ar ec l a s s i f i e d i n t o t h r e e c a t e g o r i e s : s t a t i c d a t a , i n s t a n c e d a t a ,a n d h i s t o r i c a l d a t a . S t a t i c d a t a i n d i c a t e f i x e d or r a r e l yc h a n g e d d a t a s u c h a s m a n u f a c t u r e r , w e i g h t e t c . I n s t a n c e d a t aar e d a t a t h a t ar e o b j e c t - s p e c i f i c a n d d e s c r i b i n g i n d i v i d u a lo b j e c t s s u c h as m a n u f a c t u r e d a t e , c o l o r d a t a . H i s t o r i c a l d a t aar e t r a c k i n g a n d management d a t a s u c h as RFID r e a d e ri d e n t i f i c a t i o n n u m b e r ( i n d i c a t i n g who r e a d t h e i t e m mostr e c e n t l y ) , t i m e s t a m p ( a t w h i c h t h e i t e m i s r e a d b y an RFIDr e a d e r most r e c e n t l y ) e t c .

F i g . 4 An e x a m p l e o f o b j e c t d e s c r i p t i o n i n f o r m a t i o n i nXML f o r m a t s t o r e d i n O I S

B . O b j e c t Naming S e r v e r ( O N S ) a n d O b j e ct I n f o r ma t i o nS e r v e r ( O I S )T h e O N S p r o v i d e s a means o f a c c e s s i n g t h e a p p r o p r i a t eO I S b y k e e p i n g a l i s t o f I P a d d r e s s e s o f a l l O I S s . When a

r o b o t n e e d s t o d o w n l o a d t h e i n f o r m a t i o n a b o u t d e t e c t e dR F I D - t a g g e d o b j e c t s , i t f i r s t c o n n e c t s t o t h e d e d i c a t e d O N Ss e r v e r . T h e n t h e O N S s e a r c h e s i t s l i s t w i t h t h e RFID c o d ea n d r e t u r n s t h e I P a d d r e s s o f t h e O I S t h a t m a t c h e s t h e R FI Dc o d e . By s e p a r a t i n g t h e O N S f r o m O I S , t h e l o a d on t h eserver i s r e d u c e d . I n a d d i t i o n , t h e server can manage au -t h o r i z a t i o n a n d access c o n t r o l b y g r a n t i n g a n d d e n y i n g t h eaccess t o t h e a s so c i a t e d d a t a ba s e .T h e O I S i s a c t u a l l y i n c h a r g e o f c o n n e c t i n g t o a n d mana g i n g t h e a s s o c i a t e d ODDB a n d t h e O I D B . S i n c e any i n -c o m i n g r e q u e s t i s o n l y a c c e s s i b l e t o t h e ODDB a n d t h eOIDB t h r o u g h t h i s s e r v e r , i t can p r o t e c t t h e s y s t e m f r o msome v i c i o u s a t t a c k s b y e n f o r c i n g s e c u r i t y r e q u i r e m e n t s .T h e ODDB a l s o m a i n t a i n s t h e s c h e m a i n f o r m a t i o n o f t h eG e n e r i c O b j e c t D e s c r i p t i o n Scheme ( G O D S c h e m e ) d a t a b a s e .As s h o w n i n F i g . 5 , t h e s c h e m a c o n s i s t s o f s i x d i s t i n c t t a b l e s .T h e p r i m a r y k e y f o r a l l t h r e e d a t a t a b l e s i s t h e RFID c o d e , so

i f t h e s y s t e m k n o w s t h e RFID c o d e i t can d o w n l o a d t h ed e s c r i p t o r s i n f o r m a t i o n f o r o b j e c t r e c o g n i t i o n .S i n c e t h e s y s t e m m a i n t a i n s v i s u a l d e s c r i p t o r s s u c h as

d o m i n a n t c o l o r d e s c r i p t o r ( D C D ) , e d g e h i s t o g r a m d e s c r i p t o r( E H D ) , a n d c u r v a t u r e s c a l e space ( C S S ) , t h e t a b l e s f o r t h e s ed a t a ar e i n c l u d e d . P r i ma r y k e y s f o r t h e c o l o r , s h a p e , a n dt e x t u r e t a b l e s ar e n o t s h o w n i n F i g . 5 . D a t a i n t h e s e t a b l e s ar ea c c e s s e d v i a f o r e i g n k e y r e f e r e n c e s . A l t h o u g h t h e c u r r e n tv e r s i o n o f t h e o b j e c t r e c o g n i t i o n s y s t e m d o e s n o t us e an ys h a p e d e s c r i p t o r s o f t h e MPEG-7, t h e s h a p e d e s c r i p t o r t a b l ei s c r e a t e d f o r f u t u r e i m p l e m e n t a t i o n .

GOPSd,emfe

F i g . 5 . An e n t i t y - r e l a t i o n s h i p d i a g r a m o f t h e G e n e r i c O b -j e c t D e s c r i p t i o n S c h e m e ( P K i s s h o r t f o r a p r i m a r y k e y f o re a c h t a b l e )

C . O b j e c t R e c o g n i t i o n S y s t e mF i g . 6 s h o w s t h e o v e r a l l r e c o g n i t i o n s y s t e m f o r ou r p r o j e c t .

O n t h e b a s i s o f t h e c a p t u r e d i m a g e s f r o m t h e camera a n d t h eRFID s i g n a l s f r o m t h e RFID r e a d e r , t h e r o b o t g e t s access t ot h e O I S t o d o w n l o a d t h e o b j e c t d a t a i n s e r t e d b y t h e manuf a c t u r e r o f t h e p r o d u c t . T h e n t h e O N S r e t u r n s t h e n e t w o r ka d d r e s s f o r t h e RFID c o d e . C a p t u r e d i m a g e s c o m b i n e d w i t hv i s u a l d e s c r i p t o r d a t a ar e f e d i n t o t h e o b j e c t r e c o g n i t i o ns y s t e m .

C a n d i d a t e r e c t a n g l e s ar e e x t r a c t e d on t h e b a s i s o f d o mi -n a n t c o l o r s s p e c i f i e d i n t h e O D D B . T h e n r e c t a n g l e r e m o v a lp r o c e s s i n g a n d c o l o r - b a s e d m a t c h i n g process ar e c a r r i e d o u t .F i n a l l y , t h e E HD d a t a ar e g e n e r a t e d a n d a s i m i l a r i t y m a t c h -i n g i s p e r f o r m e d . R e g i o n s o f I n t e r e s t s ( R O I s ) f o r g r a s p i n g ano b j e c t ar e t h e f i n a l r e s u l t s

I V . EXPERIMENTAL RESULTSWe h a v e d e v e l o p e d t h e o b j e c t r e c o g n i t i o n s y s t e m f o r ou r

s m a r t e n v i r o n m e n t . F o r t a r g e t o b j e c t s , we us e s i x c a n n e db e v e r a g e s as i n F i g . 7 : B e a u t i f u l , C e y l o n T e a , G a t o r a d e ,L e t s B e , M a n g o , a n d P e p s i . We u s e d t h e two D C D s f o r c o l o ri n f o r m a t i o n a n d t h e E HD f o r t e x t u r e i n f o r m a t i o n .C o l o r - b a s e d r e c o g n i t i o n r e s u l t s ar e c o m p a r e d a g a i n s t t h o s eo f c o l o r a n d t e x t u r e .

< ? x m l v e r s i o n = 1 . 0 ? >< d e s c r i p t i o n D o c u m e n t >

< a c c e s s I n f o >< r e p o g i t o r y T y p e > J D B C < / r e p o s i t o r y T y p e >

< / a c c e s s I n f o >< D B I n f o t y p e = ' s t a t i c l i n s t a n c e l h i s t o r i c a l ' >< c o l u m n >

< n a m e > R F I D c o d e < / n a m e >< k e y > P K < / ke y >< t y p e > v a r c h a r < / t y p e >< l e n g t h > 5 0 < / l e n g t h >< f i e l d N a m e > R F I D c o d e URN < / f i e l d N a m e >

< / c o l u m n >< c o l u m n >

< n a m e > p r o d u c t N a m e < / n a m e >< t y p e > v a r c h a r < / t y p e >< l e n g t h > 3 0 < / l e n g t h >< f i e l d N a m e > N a m e o f t h e P r o d u c t < / f i e l d N a m e >< - - A d d i t i o n a l i n f o r m a t i o n g o e s h e r e . - - >

< / c o l u m n >< / D B I n f o >

< / d e s c r i p t i o n D o c u m e n t >


5/6

F i g . 6 T h e o b j e c t r e c o g n i t i o n s y s t e m o n t h e b a s i s o f v i s u a ld e s c r i p t o r s

F i g . 7 O b j e c t s f o r t h e e x p e r i m e n t s : B e a u t i f u l , C e y l o n T e a ,G a t o r a d e , L e t s B e , M a n g o , a n d P e p s i ( f r o m l e f t t o r i g h t )A f t e r e x t r a c t i n g c a n d i d a t e r e g i o n s b a s e d o n d o m i n a n tc o l o r s , t e x t u r e m a t c h i n g i s p e r f o r m e d . I n t h e e n d , t h e ROIs e l e c t i o n i s p e r f o r m e d .E x p e r i m e n t s s h o w t h a t t h e r e c o g n i t i o n r a t e i s e n h a n c e dc o n s i d e r a b l y w h e n c o l o r i n f o r m a t i o n ( D C D ) i s s u p p l e -m e n t e d b y t e x t u r e i n f o r m a t i o n ( E H D ) a s s h o w n i n F i g . 8 .

F o r a l l o b j e c t s w h e n t h e d i s t a n c e b e t w e e n t h e c a m e r a a n d t h eo b j e c t i s 5 0 c m , t h e r e c o g n i t i o n r a t e i s e n h a n c e d b y 242 o na v e r a g e .P e r f o r m a n c e i s a l s o e v a l u a t e d i n t e r m s o f e x e c u t i o n t i m es i n c e t h e r e c o g n i t i o n s y s t e m s h o u l d r u n i n r e a l - t i m e .F o r a n RFID r e a d e r t o d e t e c t a n o b j e c t , i t s h o u l d b e w i t h i nt h e r e a d e r ' s r e a d r a n g e . C o n s i d e r i n g a f r a m e r e s o l u t i o n o f

3 2 0 x 2 4 0 p i x e l s a n d t h e r e a d r a n g e , we a s s u m e t h a t RFIDr e a d e r s c a n d e t e c t R F I D - t a g g e d o b j e c t s w h e n t h e y a r e w i t h i n2 m e t e r s . T h u s t h e f o l l o w i n g f o u r d i s t i n c t d i s t a n c e s w e r eu s e d f o r t h e e x p e r i m e n t s : 5 0 c m , 1 0 0 c m , 1 5 0 c m , a n d 2 0 0c m . T h e a v e r a g e e x e c u t i o n t i m e f o r c o l o r - b a s e d ROI s e l e c -t i o n s w a s 6 8 m i l l i s e c o n d s a s s h o w n i n F i g . 9 . T h i s f i g u r es h o w s t h a t o u r s c h e m e i s f a s t e n o u g h t o b e u s e d f o r o u rs e r v i c e r o b o t i c s y s t e m i n t h e s m a r t e n v i r o n m e n t . A r e c o g -n i t i o n r e s u l t w h e n b o t h DCD a n d EHD a r e u s e d i s s h o w n i nF i g . 1 0 . I n t h e e x a m p l e , t h e t a r g e t o b j e c t i s t h e c a n c o n -t a i n i n g t h e d r i n k B e a u t i f u l .

V . C O N C L U S I O N S AND F U T U R E WORKI n t h i s p a p e r , we p r o p o s e d a n o b j e c t r e c o g n i t i o n s c h e m e

f o r o u r s m a r t h o m e e n v i r o n m e n t b u i l t i n t h e r e s e a r c h b u i l d -i n g o f K I T E C H i n A n s a n , S o u t h K o r e a , o n t h e b a s i s o fMPEG-7 v i s u a l d e s c r i p t o r s , s p e c i f i c a l l y , D C D a n d EHD.T h i s D C D i s w e l l s u i t e d t o l o c a t e t h e ROI b a s e d o n t h ed o m i n a n t c o l o r s p e c i f i e d i n t h e XML f o r m a t s t o r e d i nO D D B . T h e EHD c a p t u r e s t h e s p a t i a l d i s t r i b u t i o n o f f i v ee d g e t y p e s i n e a c h l o c a l a r e a c a l l e d s u b - i m a g e . By c o m -b i n i n g t h e t w o d e s c r i p t o r s a l o n g w i t h RFID s i g n a l s , t h e v i -s i o n - b a s e d o b j e c t r e c o g n i t i o n i s e n h a n c e d .E x p e r i m e n t a l r e s u l t s s h o w t h a t t h e p r o p o s e d s c h e m e i s n o t

o n l y f a s t e n o u g h t o b e u s e d i n r e a l - t i m e bu t i s a l s o r o b u s tu n d e r v a r y i n g l i g h t i n g c o n d i t i o n s .H o w e v e r , t o i m p r o v e t h e o v e r a l l p e r f o r ma n c e o f t h e o b j e c tr e c o g n i t i o n s y s t e m , o t h e r v i s u a l d e s c r i p t o r s s u c h a s CSSn e e d t o b e i n c l u d e d . I n t h e f u t u r e I n a d d i t i o n , a d a p t i v el e a r n i n g a l g o r i t h m s t o w o r k i n d i f f e r e n t e n v i r o n m e n t a l s e t -t i n g s n e e d t o b e a d d e d a n d t h e f i n e - t u n i n g o f t h e p a r a m e t e r si s r e q u i r e d t o e n h a n c e t h e p e r f o r m a n c e o f o u r m e t h o d .

T h i s s c h e m e w i l l b e i n t e g r a t e d i n t o t h e o b j e c t r e c o g n i t i o ns y s t e m o f t h e s e r v i c e r o b o t s f o r o u r p r o t o ty p e h o m e e n v i -r o n m e n t p r o j e c t , R o b o M a i d H o m e .

P e r f o r m a n c e c o m p a r i s o n o f D C D o n l y a g a i n s t D C D a n d E H Dw h e n t h e l i g h t i s o f f a n d t h e d i s t a n c e i s a t 5 0 c m .

1 0090807060504030201 00

B e a u t i f u l C ey lo n T ea G at o r a de L e t s B e Mango P e p s i

F i g . 8 R e c o g n i t i o n r a t e o f v a r i o u s t a r g e t o b j e c t s

T i m e ( m s )9 07 05 03 01 0

50cm

E x e c u t i o n T i m e

1 cm 150cm 200cmD i s t a n c e

F i g . 9 E x e c u t i o n t i m e o f t h e D C D - b a s e d o b j e c t r e c o g n i t i o n

F i g . 1 0 T h e r e c o g n i z e d o b j e c t on t h e b a s i s o f t h e DCD a n dt h e EHD

U D C D o n l y* M D C D + E H D

R s j d 1. Wte


6/6

V I . REFERENCES[ 1 ] B . S . M a n j u n a t h , P . S a l e m b i e r , e t a l . , I n t r o d u c t i o n t o M E P G - 7 :M u l t i m e d i a C o n t e n t D e s c r i p t i o n I n t e r f a c e , J o h n W i l e y & S o n s , 2 0 0 2[ 2 ] P . M c G u i r e , J . F r i t s c h , J . J . S t e i l , F . R o o t h l i n g , G . A . F i n k , S .W a c h s m u t h , G . S a g e r e r , H . R i t t e r , M u t i - M o d a l H u m a n - M a c h i n eC o m m u n i c a t i o n f o r I n s t r u c t i o n R o b o t G r a s p i n g T a s k s , IROS 2 0 0 2 ,p p . 1 0 8 2 - 1 0 8 9 , 2 0 0 2 .[ 3 ] M . Y o s h i z a k i , Y . K u n o , a n d A . N a k a m u r a , M u t u a l A s s i s t a n c e b e -t w e e n S p e e ch a n d V i s i o n f o r H u m a n - R o b o t I n t e r f a c e , IROS 2 0 0 2 , p p .1 3 0 8- 1 3 13 , 2 00 2.[ 4 ] M . Y o s h i z a k i , A . N a k a m u r a , a n d Y . K u n o , V i s i o n - S p e e c h S y s t e m

A d a p t i n g t o t h e U s e r a n d E n v i r o n me n t f o r S e r v i c e R o b o t s , IROS2 0 0 3 , p p . 1 2 9 0 -1 2 9 5 , 2 0 03 .[ 5 ] R . K u r n i a , S . A . H o s s a i n , A . N a k a m u r a , Y . K u n o , O b j e c t R e c o g n i -t i o n t h r o u g h H u m a n - R o b o t I n t e r a c t i o n b y S p e e c h , P r o c e e d i n g s o f t h e

2 0 0 4 IEEE I n t e r n a t i o n a l W o r k s h o p o n R o b o t a n d Human I n t e r a c t i v eC o m m u n i c a t i o n , p p . 6 1 9 - 6 24 , 2 00 4 .[ 6 ] T . T a k a h a s h i , S . N a k a n i s h i , K u n o , Y , S h i r a i , H u m a n - R o b o t I n -t e r f a c e b y V e r b a l a n d N o n v e r ba l B e h a v i o r s , IROS 1 9 9 8 , p p . 9 2 4 9 2 9 ,1 9 9 8 .[ 7 ] Y . M a k i h a r a , M . T a k i z a w a , Y . S h i r a i , J . M i u r a , N . S h i m a d a , O b j e c tR e c o g n it i o n S up p o r t e d b y U s e r I n t e r a c t i o n f o r S e r v i c e R o b o t s ,P r o ce e d i n g s o f t h e 1 6 t h I n t e r n a t i o n a l C o n f e r e n c e o n P a t t e r n R e c o g -n i t i o n ( I C P R ' 0 2 ) , v o l . 3 , 2 0 0 2 .[ 8 ] M . H a n s , B . G r a f , R . D . S c h r a f t , R o b o t i c Home A s s i s t a n t C a r e - 0 - b o t :P a s t - P r e s e n t - F u t u r e , P r o c e e d i n g s o f t h e 2 0 0 2 IEEE I n t l . W o r k s h o po n R o b o t a n d Human I n t e r a c t i v e C o m m u n i c a t i o n ( R O - M A N ) , p p .3 8 0 -3 8 5 , 2 00 2.[ 9 ] M . Z o b e l , J . D e n a l e r , B . H e i g l , E . N o t h , D . P a u l u s , J . S c h m i d t , G .S t e m m e r , MOB SY: I n t e g r a t i o n o f v i s i o n a n d d i a l o g u e i n s e r v i c er o b o t s , M a c h i n e V i s i o n a n d A p p l i c a t i o n s , v o l . 1 4 , p p . 2 6 - 3 4 , 2 0 0 3 .

2007 an object recognition scheme based on visual descriptors for a smart home environment

Documents