tracking of articulated structures exploiting spatio temporal image slices

7/27/2019 Tracking of Articulated Structures Exploiting Spatio Temporal Image Slices

1/12

V i s u a l T r a c k i n g o f H i g h D O F A r t i c u l a t e d

S t r u c t u r e s : a n A p p l i c a t i o n t o H u m a n H a n d

T r a c k i n g

J a m e s M . R e h g

1

a n d T a k e o K a n a d e

2

1

C a r n e g i e M e l l o n U n i v e r s i t y , D e p a r t m e n t o f E l e c t r i c a l a n d C o m p u t e r E n g i n e e r i n g ,

P i t t s b u r g h P A 1 5 2 1 3 , j i m r @ c s . c m u . e d u

2

C a r n e g i e M e l l o n U n i v e r s i t y , T h e R o b o t i c s I n s t i t u t e , P i t t s b u r g h P A 1 5 2 1 3 ,

t k @ c s . c m u . e d u

A p p e a r s i n T h i r d E u r o p e a n C o n f . o n C o m p u t e r V i s i o n , S t o c k h o l m ,

S w e d e n , M a y 1 9 9 4 , p a g e s 3 5 - 4 6 .

A b s t r a c t . P a s s i v e s e n s i n g o f h u m a n h a n d a n d l i m b m o t i o n i s i m p o r t a n t

f o r a w i d e r a n g e o f a p p l i c a t i o n s f r o m h u m a n - c o m p u t e r i n t e r a c t i o n t o

a t h l e t i c p e r f o r m a n c e m e a s u r e m e n t . H i g h d e g r e e o f f r e e d o m a r t i c u l a t e d

m e c h a n i s m s l i k e t h e h u m a n h a n d a r e d i c u l t t o t r a c k b e c a u s e o f t h e i r

l a r g e s t a t e s p a c e a n d c o m p l e x i m a g e a p p e a r a n c e . T h i s a r t i c l e d e s c r i b e s

a m o d e l - b a s e d h a n d t r a c k i n g s y s t e m , c a l l e d D i g i t E y e s , t h a t c a n r e c o v e r

t h e s t a t e o f a 2 7 D O F h a n d m o d e l f r o m o r d i n a r y g r a y s c a l e i m a g e s a t

s p e e d s o f u p t o 1 0 H z .

1 I n t r o d u c t i o n

S e n s i n g o f h u m a n h a n d a n d l i m b m o t i o n i s i m p o r t a n t i n a p p l i c a t i o n s f r o m

H u m a n - C o m p u t e r I n t e r a c t i o n ( H C I ) t o a t h l e t i c p e r f o r m a n c e m e a s u r e m e n t . C u r -

r e n t c o m m e r c i a l l y a v a i l a b l e s o l u t i o n s a r e i n v a s i v e , a n d r e q u i r e t h e u s e r t o d o n

g l o v e s 1 5 ] o r w e a r t a r g e t s 8 ] . T h i s p a p e r d e s c r i b e s a n o n i n v a s i v e v i s u a l h a n d

t r a c k i n g s y s t e m , c a l l e d D i g i t E y e s . W e h a v e d e m o n s t r a t e d h a n d t r a c k i n g a t s p e e d s

o f u p t o 1 0 H z u s i n g l i n e a n d p o i n t f e a t u r e s e x t r a c t e d f r o m g r a y s c a l e i m a g e s o f

u n a d o r n e d , u n m a r k e d h a n d s .

M o s t p r e v i o u s r e a l - t i m e v i s u a l 3 D t r a c k i n g w o r k h a s a d d r e s s e d o b j e c t s w i t h

6 o r 7 s p a t i a l d e g r e e s o f f r e e d o m ( D O F ) 5 , 7 ] . W e p r e s e n t t r a c k i n g r e s u l t s f o r

b r a n c h e d k i n e m a t i c c h a i n s w i t h a s m a n y a s 2 7 D O F ( i n t h e c a s e o f a h u m a n h a n d

m o d e l ) . W e s h o w t h a t s i m p l e , u s e f u l f e a t u r e s c a n b e e x t r a c t e d f r o m n a t u r a l i m -

a g e s o f t h e h u m a n h a n d . W h i l e d i c u l t p r o b l e m s s t i l l r e m a i n i n t r a c k i n g t h r o u g h

o c c l u s i o n s a n d a c r o s s c o m p l i c a t e d b a c k g r o u n d s , t h e s e r e s u l t s d e m o n s t r a t e t h e

p o t e n t i a l o f v i s i o n - b a s e d h u m a n m o t i o n s e n s i n g .

T h i s p a p e r h a s t w o p a r t s . F i r s t , w e d e s c r i b e t h e 3 D v i s u a l t r a c k i n g p r o b -

l e m f o r o b j e c t s w i t h k i n e m a t i c c h a i n s . S e c o n d , w e s h o w e x p e r i m e n t a l r e s u l t s o f

t r a c k i n g a 2 7 D O F h a n d m o d e l u s i n g t w o c a m e r a s .

2 T h e A r t i c u l a t e d M e c h a n i s m T r a c k i n g P r o b l e m

V i s u a l t r a c k i n g i s a s e q u e n t i a l e s t i m a t i o n p r o b l e m : g i v e n a n i m a g e s e q u e n c e ,

r e c o v e r t h e t i m e - v a r y i n g s t a t e o f t h e w o r l d 5 , 7 , 1 4 ] . T h e s o l u t i o n h a s t h r e e b a s i c


2/12

c o m p o n e n t s : s t a t e m o d e l , f e a t u r e m e a s u r e m e n t , a n d s t a t e e s t i m a t i o n . T h e s t a t e

m o d e l s p e c i e s a m a p p i n g f r o m a s t a t e s p a c e , w h i c h c h a r a c t e r i z e s a l l p o s s i b l e

s p a t i a l c o n g u r a t i o n s o f t h e m e c h a n i s m , t o a f e a t u r e s p a c e . F o r t h e h a n d , t h e

s t a t e s p a c e e n c o d e s t h e p o s e o f t h e p a l m ( s e v e n s t a t e s f o r q u a t e r n i o n r o t a t i o n

a n d t r a n s l a t i o n ) a n d t h e j o i n t a n g l e s o f t h e n g e r s ( f o u r s t a t e s p e r n g e r , v e f o r

t h e t h u m b ) , a n d i s m a p p e d t o a s e t o f i m a g e l i n e s a n d p o i n t s b y t h e s t a t e m o d e l .

A s t a t e e s t i m a t e i s c a l c u l a t e d f o r e a c h i m a g e b y i n v e r t i n g t h e m o d e l t o o b t a i n

t h e s t a t e v e c t o r t h a t b e s t t s t h e m e a s u r e d f e a t u r e s . F e a t u r e s f o r t h e u n m a r k e d

h a n d c o n s i s t o f n g e r l i n k a n d t i p o c c l u d i n g e d g e s , w h i c h a r e e x t r a c t e d b y l o c a l

i m a g e o p e r a t o r s .

A r t i c u l a t e d m e c h a n i s m s a r e m o r e d i c u l t t o t r a c k t h a n a s i n g l e r i g i d o b -

j e c t f o r t w o r e a s o n s : t h e i r s t a t e s p a c e i s l a r g e r a n d t h e i r a p p e a r a n c e i s m o r e

c o m p l i c a t e d . F i r s t , t h e s t a t e s p a c e m u s t r e p r e s e n t a d d i t i o n a l k i n e m a t i c D O F s

n o t p r e s e n t i n t h e s i n g l e - o b j e c t c a s e , a n d t h e r e s u l t i n g e s t i m a t i o n p r o b l e m i s

m o r e e x p e n s i v e c o m p u t a t i o n a l l y . I n a d d i t i o n , k i n e m a t i c s i n g u l a r i t i e s a r e i n t r o -

d u c e d t h a t a r e n o t p r e s e n t i n t h e s i x D O F c a s e . S i n g u l a r i t i e s a r i s e w h e n a s m a l l

c h a n g e i n a g i v e n s t a t e h a s n o e e c t o n t h e i m a g e f e a t u r e s . T h e y a r e c u r r e n t l y

d e a l t w i t h b y s t a b i l i z i n g t h e e s t i m a t i o n a l g o r i t h m . S e c o n d , h i g h D O F m e c h -

a n i s m s p r o d u c e c o m p l e x i m a g e p a t t e r n s a s t h e i r D O F s a r e e x e r c i s e d . P e o p l e

e x p l o i t t h i s o b s e r v a t i o n i n m a k i n g s h a p e s f r o m s h a d o w s c a s t b y t h e i r h a n d s .

T o r e d u c e t h e c o m p l e x i t y o f t h e h a n d m o t i o n , w e e m p l o y a h i g h i m a g e a c -

q u i s i t i o n r a t e ( 1 0 - 1 5 H z d e p e n d i n g o n t h e m o d e l ) w h i c h l i m i t s t h e c h a n g e i n t h e

h a n d s t a t e , a n d t h e r e f o r e i m a g e f e a t u r e l o c a t i o n , b e t w e e n f r a m e s . A s a r e s u l t ,

s t a t e e s t i m a t i o n a n d f e a t u r e m e a s u r e m e n t a r e l o c a l , r a t h e r t h a n g l o b a l , s e a r c h

p r o b l e m s . I n t h e s t a t e s p a c e , w e e x p l o i t t h i s l o c a l i t y b y l i n e a r i z i n g t h e n o n l i n -

e a r s t a t e m o d e l a r o u n d t h e p r e v i o u s e s t i m a t e . T h e r e s u l t i n g l i n e a r e s t i m a t i o n

p r o b l e m p r o d u c e s s t a t e c o r r e c t i o n s w h i c h a r e i n t e g r a t e d o v e r t i m e t o y i e l d a n

e s t i m a t e d s t a t e t r a j e c t o r y . I n t h e i m a g e , t h e p r o j e c t i o n o f t h e p r e v i o u s e s t i m a t e

t h r o u g h t h e s t a t e m o d e l y i e l d s c o o r d i n a t e f r a m e s f o r f e a t u r e e x t r a c t i o n . W e c u r -

r e n t l y a s s u m e t h a t t h e c l o s e s t a v a i l a b l e f e a t u r e i s t h e c o r r e c t m a t c h , w h i c h l i m i t s

o u r s y s t e m t o s c e n e s w i t h o u t o c c l u s i o n s o r c o m p l i c a t e d b a c k g r o u n d s .

P r e v i o u s w o r k o n t r a c k i n g g e n e r a l a r t i c u l a t e d o b j e c t s i n c l u d e s 1 4 , 1 0 , 9 ] .

I n 1 4 ] , Y a m a m o t o a n d K o s h i k a w a d e s c r i b e a s y s t e m f o r h u m a n b o d y t r a c k i n g

u s i n g k i n e m a t i c a n d g e o m e t r i c m o d e l s . T h e y g i v e a n e x a m p l e o f t r a c k i n g a s i n g l e

h u m a n a r m a n d t o r s o u s i n g o p t i c a l o w f e a t u r e s . P e n t l a n d a n d H o r o w i t z 1 0 ]

g i v e a n e x a m p l e o f t r a c k i n g t h e m o t i o n o f a h u m a n g u r e u s i n g o p t i c a l o w

a n d a n a r t i c u l a t e d d e f o r m a b l e m o d e l . A m u c h e a r l i e r s y s t e m b y O ' R o u r k e a n d

B a d l e r 9 ] a n a l y z e d h u m a n b o d y m o t i o n u s i n g c o n s t r a i n t p r o p a g a t i o n .

I n a d d i t i o n t o t h e w o r k o n g e n e r a l a r t i c u l a t e d o b j e c t t r a c k i n g , s e v e r a l a u -

t h o r s h a v e d e v e l o p e d s p e c i a l i z e d t e c h n i q u e s f o r v i s u a l h u m a n m o t i o n a n a l y s i s .

T h i s p r e v i o u s w o r k d i e r s f r o m o u r s i n t w o w a y s . F i r s t , m a r k e r s o r g l o v e s a r e

o f t e n u s e d t o s i m p l i f y m o t i o n a n a l y s i s 4 ] . S e c o n d , a n a l y s i s i s t y p i c a l l y r e s t r i c t e d

t o a s u b s e t o f t h e t o t a l h a n d m o t i o n , s u c h a s a s e t o f g e s t u r e s 2 ] o r r i g i d m o t i o n

o f t h e p a l m 1 ] . I n 4 ] , D o r n e r d e s c r i b e s a s y s t e m f o r i n t e r p r e t i n g A m e r i c a n S i g n

L a n g u a g e f r o m i m a g e s e q u e n c e s o f a s i n g l e h a n d . D o r n e r ' s s y s t e m u s e s t h e f u l l


3/12

s e t o f t h e h a n d ' s D O F s , a n d e m p l o y s a g l o v e w i t h c o l o r e d m a r k e r s t o s i m p l i f y

f e a t u r e e x t r a c t i o n . D a r r e l l a n d P e n t l a n d d e s c r i b e a s y s t e m f o r l e a r n i n g a n d r e c -

o g n i z i n g d y n a m i c h a n d g e s t u r e s i n 2 ] . T h e i r a p p r o a c h a v o i d s t h e p r o b l e m s o f

h a n d m o d e l i n g , b u t d o e s n ' t a d d r e s s 3 D t r a c k i n g . I n o t h e r h a n d - s p e c i c w o r k ,

K a n g a n d I k e u c h i d e s c r i b e a r a n g e s e n s o r - b a s e d a p p r o a c h t o h a n d p o s e e s t i m a -

t i o n 6 ] , u s e d i n t h e i r A s s e m b l y P l a n f r o m O b s e r v a t i o n s y s t e m . S e e 1 1 ] f o r a

m o r e e x t e n s i v e b i b l i o g r a p h y .

I n o r d e r t o a p p l y t h e D i g i t E y e s s y s t e m t o s p e c i c a p p l i c a t i o n s , s u c h a s H C I ,

t w o p r a c t i c a l r e q u i r e m e n t s m u s t b e m e t . F i r s t , t h e k i n e m a t i c s a n d g e o m e t r y o f

t h e t a r g e t h a n d m u s t b e k n o w n i n a d v a n c e , s o t h a t a s t a t e m o d e l c a n b e c o n -

s t r u c t e d . S e c o n d , b e f o r e l o c a l h a n d t r a c k i n g c a n b e g i n , t h e i n i t i a l c o n g u r a t i o n

o f t h e h a n d m u s t b e k n o w n . W e a c h i e v e t h i s i n p r a c t i c e b y r e q u i r i n g t h e s u b j e c t

t o p l a c e t h e i r h a n d i n a c e r t a i n p o s e a n d l o c a t i o n t o i n i t i a t e t r a c k i n g . A 3 D

m o u s e i n t e r f a c e b a s e d o n v i s u a l h a n d t r a c k i n g i s p r e s e n t e d i n 1 1 ] .

I n t h e s e c t i o n s t h a t f o l l o w , w e d e s c r i b e t h e D i g i t E y e s a r t i c u l a t e d o b j e c t t r a c k -

i n g s y s t e m i n m o r e d e t a i l , a l o n g w i t h t h e s p e c i c m o d e l i n g c h o i c e s r e q u i r e d f o r

h a n d t r a c k i n g .

3 S t a t e M o d e l f o r A r t i c u l a t e d M e c h a n i s m s

T h e s t a t e m o d e l e n c o d e s a l l p o s s i b l e m e c h a n i s m c o n g u r a t i o n s a n d t h e i r c o r -

r e s p o n d i n g i m a g e f e a t u r e p a t t e r n s a s a t w o - p a r t m a p p i n g b e t w e e n s t a t e a n d

f e a t u r e s p a c e s . T h e r s t p a r t i s a k i n e m a t i c m o d e l w h i c h c a p t u r e s a l l p o s s i b l e

s p a t i a l l i n k p o s i t i o n s , w h i l e t h e s e c o n d p a r t i s a f e a t u r e m o d e l w h i c h d e s c r i b e s

t h e i m a g e a p p e a r a n c e o f e a c h l i n k s h a p e .

3 . 1 K i n e m a t i c M o d e l s : A p p l i c a t i o n t o t h e H u m a n H a n d

W e m o d e l k i n e m a t i c c h a i n s , l i k e t h e n g e r , w i t h t h e D e n a v i t - H a r t e n b u r g ( D H )

r e p r e s e n t a t i o n , w h i c h i s w i d e l y u s e d i n r o b o t i c s 1 3 ] . S i n c e f e a t u r e m o d e l s r e q u i r e

g e o m e t r i c i n f o r m a t i o n n o t c a p t u r e d i n t h e k i n e m a t i c s , t h e D H d e s c r i p t i o n o f e a c h

l i n k i s a u g m e n t e d w i t h a n a d d i t i o n a l t r a n s f o r m f r o m t h e l i n k f r a m e t o a s h a p e

f r a m e , w h i c h d e s c r i b e s t h e p o s i t i o n o f t h e v i s i b l e l i n k g e o m e t r y i n s p a c e . A s o l i d

m o d e l i n t h e s h a p e f r a m e g e n e r a t e s f e a t u r e s t h r o u g h p r o j e c t i o n i n t o t h e i m a g e .

W e m o d e l t h e h a n d a s a c o l l e c t i o n o f 1 6 r i g i d b o d i e s : 3 i n d i v i d u a l n g e r

l i n k s ( c a l l e d p h a l a n g e s ) f o r e a c h o f t h e v e d i g i t s , a n d a p a l m . F r o m a k i n e m a t i c

v i e w p o i n t , t h e h a n d c o n s i s t s o f m u l t i - b r a n c h e d k i n e m a t i c c h a i n s a t t a c h e d t o a

s i x D O F b a s e . W e m a k e s e v e r a l s i m p l i f y i n g a s s u m p t i o n s i n m o d e l i n g t h e h a n d

k i n e m a t i c s . F i r s t , w e a s s u m e t h a t e a c h o f t h e f o u r n g e r s o f t h e h a n d a r e p l a n a r

m e c h a n i s m s w i t h f o u r d e g r e e s o f f r e e d o m ( D O F ) . T h e a b d u c t i o n D O F m o v e s t h e

p l a n e o f t h e n g e r r e l a t i v e t o t h e p a l m , w h i l e t h e r e m a i n i n g 3 D O F d e t e r m i n e

t h e n g e r ' s c o n g u r a t i o n w i t h i n t h e p l a n e . F i g . 1 i l l u s t r a t e s t h e p l a n a r n g e r

m o d e l . E a c h n g e r h a s a n a n c h o r p o i n t , w h i c h i s t h e p o s i t i o n o f i t s b a s e j o i n t

c e n t e r i n t h e f r a m e o f t h e p a l m , w h i c h i s a s s u m e d t o b e r i g i d . T h e b a s e j o i n t

i s t h e o n e f a r t h e s t ( k i n e m a t i c a l l y ) f r o m t h e n g e r t i p . W e u s e a f o u r p a r a m e t e r


4/12

Anchor

Palm

Point

4th Finger

Thumb

0

1

2

3

2

3

4

1

0

1

2

3

4th Finger Side View

Link 1

Link 2

Link 3

F i g . 1 . K i n e m a t i c m o d e l s , i l l u s t r a t e d f o r f o u r t h n g e r a n d t h u m b . T h e a r r o w s i l l u s t r a t e

t h e j o i n t a x e s f o r e a c h l i n k i n t h e c h a i n .

q u a t e r n i o n r e p r e s e n t a t i o n o f t h e p a l m p o s e , w h i c h e l i m i n a t e s r o t a t i o n a l s i n g u -

l a r i t i e s a t t h e c o s t o f a r e d u n d a n t p a r a m e t e r . T h e t o t a l h a n d p o s e i s d e s c r i b e d

b y a 2 8 d i m e n s i o n a l s t a t e v e c t o r .

T h e t h u m b i s t h e m o s t d i c u l t d i g i t t o m o d e l , d u e t o i t s g r e a t d e x t e r i t y a n d

i n t r i c a t e k i n e m a t i c s . W e c u r r e n t l y e m p l o y t h e t h u m b m o d e l u s e d i n R i j p k e m a

a n d G i r a r d ' s g r a s p m o d e l i n g s y s t e m 1 2 ] ( s e e F i g . 1 ) . T h e y w e r e a b l e t o o b t a i n

r e a l i s t i c a n i m a t i o n s o f h u m a n g r a s p s u s i n g a v e D O F m o d e l . D H p a r a m e t e r s

f o r t h e r s t a u t h o r ' s r i g h t h a n d , u s e d i n t h e e x p e r i m e n t s , c a n b e f o u n d i n 1 1 ] .

R e a l n g e r s d e v i a t e f r o m o u r m o d e l i n g a s s u m p t i o n s i n t h r e e w a y s . F i r s t , m o s t

n g e r s d e v i a t e s l i g h t l y f r o m p l a n a r i t y . T h i s d e v i a t i o n c o u l d b e m o d e l e d w i t h

a d d i t i o n a l k i n e m a t i c t r a n s f o r m s , b u t w e h a v e f o u n d t h e p l a n a r a p p r o x i m a t i o n

t o b e a d e q u a t e i n p r a c t i c e . S e c o n d , t h e l a s t t w o j o i n t s o f t h e n g e r , c o u n t i n g

f r o m t h e p a l m o u t w a r d s , a r e d r i v e n b y t h e s a m e t e n d o n a n d a r e n o t c a p a b l e o f

i n d e p e n d e n t a c t u a t i o n . I t i s s i m p l e r t o m o d e l t h e D O F e x p l i c i t l y , h o w e v e r , t h a n

t o m o d e l t h e c o m p l i c a t e d a n g u l a r r e l a t i o n s h i p b e t w e e n t h e t w o j o i n t s . T h e t h i r d

a n d m o s t s i g n i c a n t m o d e l i n g e r r o r i s c h a n g e i n t h e a n c h o r p o i n t s d u r i n g m o t i o n .

W e h a v e m o d e l e d t h e p a l m a s a r i g i d b o d y , b u t i n r e a l i t y i t c a n e x . I n g r i p p i n g

a b a s e b a l l , f o r e x a m p l e , t h e p a l m w i l l c o n f o r m t o i t s s u r f a c e , c a u s i n g t h e a n c h o r

p o i n t s t o d e v i a t e f r o m t h e i r r e s t p o s i t i o n b y t e n s o f m i l l i m e t e r s . F o r t u n a t e l y , f o r

f r e e m o t i o n s o f t h e h a n d i n s p a c e , t h e d e v i a t i o n s e e m s t o b e s m a l l e n o u g h t o b e

t o l e r a t e d b y o u r s y s t e m .

T h e m o d e l i n g f r a m e w o r k w e e m p l o y i s g e n e r a l . T o t r a c k a n a r b i t r a r y a r t i c u -

l a t e d s t r u c t u r e , o n e s i m p l y n e e d s i t s D H p a r a m e t e r s a n d a s e t o f s h a p e m o d e l s

t h a t d e s c r i b e i t s v i s u a l a p p e a r a n c e . W i t h i n t h e s u b p r o b l e m o f h a n d t r a c k i n g ,

t h i s a l l o w s u s t o d e v e l o p a s u i t e o f h a n d m o d e l s w h o s e D O F s a r e t a i l o r e d t o

s p e c i c a p p l i c a t i o n s .

3 . 2 F e a t u r e M o d e l s : D e s c r i p t i o n o f H a n d I m a g e s

T h e o u t p u t o f t h e h a n d s t a t e m o d e l i s a s e t o f f e a t u r e s c o n s i s t i n g o f l i n e s a n d

p o i n t s g e n e r a t e d b y t h e p r o j e c t i o n o f t h e h a n d m o d e l i n t o t h e i m a g e p l a n e .


5/12

x

y

ImageCoords

Link 0

12

Link 2 Feat

Link 1 Feat

Tip Feat

F i g . 2 . F e a t u r e s u s e d i n h a n d t r a c k i n g a r e i l l u s t r a t e d f o r n g e r l i n k s 1 a n d 2 , a n d t h e

t i p . E a c h i n n i t e l i n e f e a t u r e i s t h e p r o j e c t i o n o f t h e n g e r l i n k c e n t r a l a x i s .

E a c h n g e r l i n k , m o d e l e d b y a c y l i n d e r , g e n e r a t e s a p a i r o f l i n e s i n t h e i m a g e

c o r r e s p o n d i n g t o i t s o c c l u s i o n b o u n d a r i e s . T h e b i s e c t o r o f t h e s e l i n e s , w h i c h

c o n t a i n s t h e p r o j e c t i o n o f t h e c y l i n d e r c e n t r a l a x i s , i s u s e d a s t h e l i n k f e a t u r e . T h e

l i n k f e a t u r e v e c t o r a b ] g i v e s t h e p a r a m e t e r s o f t h e l i n e e q u a t i o n a x + b y ? = 0 .

U s i n g t h e c e n t r a l a x i s l i n e a s t h e l i n k f e a t u r e e l i m i n a t e s t h e n e e d t o m o d e l t h e

c y l i n d e r r a d i u s o r t h e s l o p e o f t h e p a i r o f l i n e s r e l a t i v e t o t h e c e n t r a l a x i s , w h i c h i s

o f t e n s i g n i c a n t n e a r t h e n g e r t i p s . W e u s e t h e e n t i r e l i n e b e c a u s e t h e e n d p o i n t s

a r e d i c u l t t o m e a s u r e i n p r a c t i c e . F i g . 2 s h o w s t w o l i n k f e a t u r e l i n e s e x t r a c t e d

f r o m t h e r s t t w o l i n k s o f a n g e r .

E a c h n g e r t i p , m o d e l e d b y a h e m i s p h e r e , g e n e r a t e s a p o i n t f e a t u r e b y p r o -

j e c t i o n o f t h e c e n t e r i n t o t h e i m a g e . T h e n g e r t i p f e a t u r e v e c t o r x y ] g i v e s t h e

t i p p o s i t i o n i n i m a g e c o o r d i n a t e s , a s i l l u s t r a t e d i n F i g . 2 . T h e t o t a l h a n d a p -

p e a r a n c e i s d e s c r i b e d b y a ( 3 m + 2 n ) - d i m e n s i o n a l v e c t o r , m a d e u p o f l i n k a n d

t i p f e a t u r e s , w h e r e m a n d n a r e t h e n u m b e r o f n g e r l i n k s a n d t i p s , r e s p e c t i v e l y ,

i n t h e m o d e l .

O t h e r f e a t u r e c h o i c e s f o r h a n d t r a c k i n g a r e p o s s i b l e , b u t t h e o c c l u s i o n c o n -

t o u r s a r e t h e m o s t p o w e r f u l c u e . H a n d a l b e d o t e n d s t o b e u n i f o r m , m a k i n g

i t d i c u l t t o u s e c o r r e l a t i o n f e a t u r e s . S h a d i n g i s p o t e n t i a l l y v a l u a b l e , b u t t h e

c o m p l i c a t e d i l l u m i n a n c e a n d s e l f - s h a d o w i n g o f t h e h a n d m a k e i t d i c u l t t o u s e .

4 F e a t u r e M e a s u r e m e n t : D e t e c t i o n o f F i n g e r L i n k s a n d

T i p s

L o c a l i m a g e - b a s e d t r a c k e r s a r e u s e d t o m e a s u r e h a n d f e a t u r e s . T h e s e t r a c k e r s

a r e t h e p r o j e c t i o n s o f t h e s p a t i a l h a n d g e o m e t r y i n t o t h e i m a g e p l a n e , a n d t h e y

s e r v e t o l o c a l i z e a n d s i m p l i f y f e a t u r e e x t r a c t i o n . A n g e r l i n k t r a c k e r , d r a w n

a s a \ T " - s h a p e , i s d e p i c t e d a l o n g w i t h i t s m e a s u r e d l i n e f e a t u r e i n F i g . 3 . T h e

s t e m o f t h e \ T " i s t h e p r o j e c t i o n o f t h e c y l i n d e r c e n t e r a x i s i n t o t h e i m a g e . T h e

i m a g e s a m p l i n g r a t e e n s u r e s t h a t t h e t r u e f e a t u r e l o c a t i o n i s n e a r t h e p r o j e c t e d

t r a c k e r .

O n c e t h e l i n k t r a c k e r h a s b e e n p o s i t i o n e d , l i n e f e a t u r e s a r e e x t r a c t e d b y

s a m p l i n g t h e i m a g e i n s l i c e s p e r p e n d i c u l a r t o t h e c e n t r a l a x i s . F o r e a c h s l i c e , t h e

d e r i v a t i v e o f t h e 1 D i m a g e p r o l e i s c o m p u t e d . P e a k s i n t h e d e r i v a t i v e w i t h t h e


6/12

LinkTracker

Tip

Tracker

F i g . 3 . I m a g e t r a c k e r s , d e t e c t e d f e a t u r e s , a n d r e s i d u a l s f o r a l i n k a n d a t i p a r e s h o w n

u s i n g t h e i m a g e f r o m F i g . 2 . S l a s h e d l i n e s d e n o t e t h e l i n k r e s i d u a l e r r o r b e t w e e n t h e

T - s h a p e d t r a c k e r a n d i t s e x t r a c t e d l i n e m e a s u r e m e n t . S i m i l a r l y , t h e t i p t r a c k e r ( c a r a t

s h a p e ) i s c o n n e c t e d t o i t s p o i n t f e a t u r e ( c r o s s ) b y a r e s i d u a l v e c t o r .

c o r r e c t s i g n c o r r e s p o n d t o t h e i n t e r s e c t i o n o f t h e s l i c e w i t h t h e n g e r s i l h o u e t t e .

T h e e x t r a c t e d i n t e n s i t y p r o l e a n d p e a k l o c a t i o n s f o r a s i n g l e s l i c e a r e i l l u s t r a t e d

i n F i g . 4 . L i n e t t i n g t o e a c h s e t o f t w o o r m o r e d e t e c t e d i n t e r s e c t i o n s g i v e s a

m e a s u r e m e n t o f t h e p r o j e c t e d l i n k a x i s . I f o n l y o n e s i l h o u e t t e l i n e i s d e t e c t e d f o r

a g i v e n l i n k , t h e c y l i n d e r r a d i u s c a n b e u s e d t o e x t r a p o l a t e t h e a x i s l i n e l o c a t i o n .

C u r r e n t l y , t h e l e n g t h o f t h e s l i c e s ( s e a r c h w i n d o w ) i s x e d b y h a n d . F i n g e r t i p

p o s i t i o n s a r e m e a s u r e d t h r o u g h a s i m i l a r p r o c e d u r e .

U s i n g l o c a l t r a c k e r s a n d s a m p l i n g a l o n g l i n e s i n t h e i m a g e r e d u c e s t h e p i x e l

p r o c e s s i n g r e q u i r e m e n t s o f f e a t u r e m e a s u r e m e n t , p e r m i t t i n g f a s t t r a c k i n g .

5 S t a t e E s t i m a t i o n f o r A r t i c u l a t e d M e c h a n i s m s

S t a t e e s t i m a t i o n p r o c e e d s b y m a k i n g i n c r e m e n t a l s t a t e c o r r e c t i o n s b e t w e e n f r a m e s .

O n e c y c l e o f t h e e s t i m a t i o n a l g o r i t h m g o e s a s f o l l o w s : T h e c u r r e n t s t a t e e s t i -

m a t e i s u s e d t o p r e d i c t f e a t u r e l o c a t i o n s i n t h e n e x t f r a m e a n d p o s i t i o n f e a t u r e

t r a c k e r s . A f t e r i m a g e a c q u i s i t i o n a n d f e a t u r e e x t r a c t i o n , m e a s u r e d a n d p r e d i c t e d

f e a t u r e v a l u e s a r e c o m p a r e d t o p r o d u c e a s t a t e c o r r e c t i o n , w h i c h i s a d d e d t o t h e

c u r r e n t e s t i m a t e t o o b t a i n a n e w s t a t e e s t i m a t e . T h e d i e r e n c e b e t w e e n m e a -

s u r e d a n d p r e d i c t e d s t a t e s i s m o d e l e d b y a r e s i d u a l v e c t o r , a n d t h e s t a t e c o r r e c -

t i o n i s o b t a i n e d b y m i n i m i z i n g i t s m a g n i t u d e s q u a r e d . A h i g h i m a g e s a m p l i n g

r a t e a l l o w s u s t o l i n e a r i z e t h e n o n l i n e a r m a p p i n g f r o m s t a t e t o f e a t u r e s a r o u n d

a n o p e r a t i n g p o i n t , w h i c h i s r e c o m p u t e d a t e a c h f r a m e , t o o b t a i n a l i n e a r l e a s t

s q u a r e s p r o b l e m i n t h e m o d e l J a c o b i a n . T h e f o l l o w i n g s u b s e c t i o n s d e s c r i b e t h e

r e s i d u a l m o d e l a n d e s t i m a t i o n a l g o r i t h m i n d e t a i l .

5 . 1 R e s i d u a l M o d e l : L i n k a n d T i p I m a g e A l i g n m e n t

T h e t i p r e s i d u a l m e a s u r e s t h e E u c l i d e a n d i s t a n c e i n t h e i m a g e b e t w e e n p r e d i c t e d

( c

i

) a n d m e a s u r e d ( t

i

) t i p p o s i t i o n s . T h e r e s i d u a l f o r t h e i t h t i p f e a t u r e i s a


7/12

Intensity

pixelsImage

Derivative

F i g . 4 . A s i n g l e l i n k t r a c k e r i s s h o w n a l o n g w i t h i t s d e t e c t e d b o u n d a r y p o i n t s . O n e

s l i c e t h r o u g h t h e n g e r i m a g e o f a n g e r i s a l s o d e p i c t e d . P e a k s i n t h e d e r i v a t i v e g i v e

t h e e d g e l o c a t i o n s .

v e c t o r i n t h e i m a g e p l a n e d e n e d b y

v

i

( q ) = c

i

( q ) ? t

i

; ( 1 )

w h e r e c

i

i s t h e p r o j e c t i o n o f t h e t i p c e n t e r i n t o t h e i m a g e a s a f u n c t i o n o f t h e

h a n d s t a t e .

T h e l i n k r e s i d u a l i s a s c a l a r t h a t m e a s u r e s t h e d e v i a t i o n o f t h e p r o j e c t e d

c y l i n d e r a x i s f r o m t h e m e a s u r e d f e a t u r e l i n e . I t i s i l l u s t r a t e d f o r a s i n g l e n g e r

l i n k i n F i g . 3 . T h e r e s i d u a l a t a p o i n t a l o n g t h e a x i s e q u a l s t h e p e r p e n d i c u l a r

d i s t a n c e t o t h e f e a t u r e l i n e . W e i n c o r p o r a t e t h e o r t h o g r a p h i c c a m e r a m o d e l i n t o

t h e r e s i d u a l e q u a t i o n b y s e t t i n g m = a b 0 ]

t

a n d w r i t i n g

l

i

( q ) = m

t

p

i

( q ) ? ; ( 2 )

w h e r e p

i

( q ) i s t h e 3 D p o s i t i o n o f a p o i n t o n t h e c y l i n d e r l i n k i n c a m e r a c o o r d i -

n a t e s , a n d a b ] a r e t h e l i n e f e a t u r e p a r a m e t e r s . T h e t o t a l l i n k r e s i d u a l c o n s i s t s

o f o n e o r m o r e p o i n t r e s i d u a l s a l o n g t h e c y l i n d e r a x i s ( a t t h e b a s e a n d t i p ) , e a c h

g i v e n b y ( 2 ) . N o t e t h a t b o t h r e s i d u a l s a r e l i n e a r i n t h e m o d e l p o i n t p o s i t i o n s .

T h e f e a t u r e r e s i d u a l s f o r e a c h l i n k a n d t i p i n t h e m o d e l a r e c o n c a t e n a t e d i n t o

a s i n g l e r e s i d u a l v e c t o r , R ( q ) . I f t h e m a g n i t u d e o f t h e r e s i d u a l v e c t o r i s z e r o ,

t h e h a n d m o d e l i s p e r f e c t l y a l i g n e d w i t h t h e i m a g e d a t a .

5 . 2 E s t i m a t i o n A l g o r i t h m : N o n l i n e a r L e a s t S q u a r e s

T h e s t a t e c o r r e c t i o n i s o b t a i n e d f r o m t h e r e s i d u a l v e c t o r b y m i n i m i z i n g H ( q ) =

1

2

k R ( q ) k

2

. W e e m p l o y t h e L e v e n b u r g - M a r q u a r d t ( L M ) a l g o r i t h m f o r n o n l i n e a r

l e a s t s q u a r e s p r o b l e m s 3 ] . T h e s o u r c e o f n o n l i n e a r i t y i n t h e s t a t e m o d e l f o r

a r t i c u l a t e d m e c h a n i s m s i s t r i g o n o m e t r i c t e r m s i n t h e f o r w a r d k i n e m a t i c m o d e l .

T h e o t h e r s o u r c e o f n o n l i n e a r i t y , i n v e r s e d e p t h c o e c i e n t s i n t h e p e r s p e c t i v e

c a m e r a m o d e l , i s a b s e n t i n o u r o r t h o g r a p h i c f o r m u l a t i o n .

L e t R ( q

j

) b e t h e r e s i d u a l v e c t o r f o r i m a g e j . T h e L M s t a t e u p d a t e e q u a t i o n

i s g i v e n b y

q

j + 1

= q

j

? J

t

j

J

j

+ S ]

? 1

J

t

j

R

j

; ( 3 )


8/12

w h e r e J

j

i s t h e J a c o b i a n m a t r i x f o r t h e r e s i d u a l R

j

, b o t h o f w h i c h a r e e v a l u a t e d

a t q

j

. S i s a c o n s t a n t d i a g o n a l c o n d i t i o n i n g m a t r i x u s e d t o s t a b i l i z e t h e l e a s t

s q u a r e s s o l u t i o n . J

j

i s f o r m e d f r o m t h e l i n k a n d t i p r e s i d u a l J a c o b i a n s . T h e s a m e

b a s i c a p p r o a c h w a s u s e d b y L o w e i n h i s r i g i d b o d y t r a c k i n g s y s t e m 7 ] .

I n t h e r e m a i n d e r o f t h i s s e c t i o n , w e d e r i v e t h e l i n k J a c o b i a n a n d d i s c u s s i t s

c o m p u t a t i o n . T h e t i p J a c o b i a n d e r i v a t i o n p r o c e e d s i d e n t i c a l l y , a n d c a n b e f o u n d

i n 1 1 ] . T o c a l c u l a t e t h e l i n k J a c o b i a n w e d i e r e n t i a t e ( 2 ) w i t h r e s p e c t t o t h e

s t a t e v e c t o r , o b t a i n i n g

@ l

i

( q )

@ q

= m

t

@ p

i

( q )

@ q

: ( 4 )

T h e a b o v e g r a d i e n t v e c t o r f o r l i n k i i s o n e r o w o f t h e t o t a l J a c o b i a n m a t r i x .

G e o m e t r i c a l l y , i t i s f o r m e d b y p r o j e c t i n g t h e k i n e m a t i c J a c o b i a n f o r p o i n t s o n

t h e l i n k , @ p

i

( q ) = @ q , i n t h e d i r e c t i o n o f t h e f e a t u r e e d g e n o r m a l .

T h e k i n e m a t i c J a c o b i a n i n ( 4 ) i s c o m p o s e d o f t e r m s o f t h e f o r m @ p

i

= @ q

j

,

w h i c h a r i s e f r e q u e n t l y i n r o b o t c o n t r o l . A s a r e s u l t , t h e s e J a c o b i a n e n t r i e s c a n

b e o b t a i n e d d i r e c t l y f r o m t h e m o d e l k i n e m a t i c s b y m e a n s o f s o m e s t a n d a r d

f o r m u l a s ( s e e 1 3 ] , C h a p t e r 5 ) . T h e r e a r e t h r e e t y p e s o f J a c o b i a n s , c o r r e s p o n d i n g

t o j o i n t r o t a t i o n , s p a t i a l t r a n s l a t i o n , a n d s p a t i a l r o t a t i o n D O F s . A l l p o i n t s m u s t

b e e x p r e s s e d i n t h e f r a m e o f t h e c a m e r a p r o d u c i n g t h e m e a s u r e m e n t s . F o r a

r e v o l u t e ( r o t a t i o n a l ) D O F j o i n t q

j

w e h a v e

@ p

i

@ q

j

= w

j

( p

i

? d

j

c

) ; ( 5 )

w h e r e w

j

i s t h e r o t a t i o n a x i s f o r j o i n t j e x p r e s s e d i n t h e c a m e r a f r a m e , a n d d

j

c

i s t h e p o s i t i o n o f t h e j o i n t j f r a m e i n c a m e r a c o o r d s . T h e r e w i l l b e a s i m i l a r

c a l c u l a t i o n f o r e a c h c a m e r a b e i n g u s e d t o p r o d u c e m e a s u r e m e n t s .

T h e J a c o b i a n c a l c u l a t i o n f o r t h e p a l m D O F s m u s t r e e c t t h e f a c t t h a t p a l m

m o t i o n t a k e s p l a c e w i t h r e s p e c t t o t h e w o r l d c o o r d i n a t e f r a m e , b u t m u s t b e

e x p r e s s e d i n t h e c a m e r a f r a m e . W e o b t a i n t h e r o t a t i o n a n d t r a n s l a t i o n c o m p o -

n e n t s :

@ p

i

@ v

= R

w

c

a n d

@ p

i

@ q

j

= R

w

c

J

w

]

j

p

i

; ( 6 )

w h e r e v i s t h e p a l m v e l o c i t y w i t h r e s p e c t t o t h e w o r l d f r a m e a n d q

j

i s a c o m p o -

n e n t o f t h e q u a t e r n i o n s p e c i f y i n g p a l m r o t a t i o n . I n a d d i t i o n , R

w

c

i s t h e c a m e r a

t o w o r l d r o t a t i o n a n d J

w

i s a J a c o b i a n m a p p i n g q u a t e r n i o n v e l o c i t y t o a n g u l a r

v e l o c i t y , w i t h ]

j

d e n o t i n g t h e j t h c o l u m n o f a m a t r i x .

5 . 3 T r a c k i n g w i t h M u l t i p l e C a m e r a s

T h e t r a c k i n g f r a m e w o r k p r e s e n t e d a b o v e g e n e r a l i z e s e a s i l y t o m o r e t h a n o n e

c a m e r a . W h e n m u l t i p l e c a m e r a s a r e u s e d , t h e r e s i d u a l v e c t o r s f r o m e a c h c a m e r a

a r e c o n c a t e n a t e d t o f o r m a s i n g l e g l o b a l r e s i d u a l v e c t o r . T h i s f o r m u l a t i o n c a n

e x p l o i t p a r t i a l o b s e r v a t i o n s . I f a n g e r l i n k i s v i s i b l e i n o n e v i e w b u t n o t i n t h e

a n o t h e r d u e t o o c c l u s i o n , t h e s i n g l e v i e w m e a s u r e m e n t i s s t i l l i n c o r p o r a t e d i n t o

t h e r e s i d u a l , a n d t h e r e f o r e t h e e s t i m a t e .


9/12

6 E x p e r i m e n t a l R e s u l t s : H a n d T r a c k i n g W i t h T w o

C a m e r a s

T h e D i g i t E y e s s y s t e m w a s u s e d t o t r a c k a f u l l 2 7 D O F h a n d m o d e l , u s i n g t w o

c a m e r a i m a g e s e q u e n c e s . B e c a u s e t h e h a n d m o t i o n m u s t a v o i d o c c l u s i o n s f o r

s u c c e s s f u l t r a c k i n g , t h e a v a i l a b l e r a n g e o f t r a v e l i s n o t l a r g e . I t i s s u c i e n t ,

h o w e v e r , t o d e m o n s t r a t e r e c o v e r y o f a r t i c u l a t e d D O F s i n c o n j u n c t i o n w i t h p a l m

m o t i o n . F i g u r e 5 ( a t t h e e n d o f t h e p a p e r ) s h o w s s a m p l e i m a g e s , t r a c k e r s , a n d

f e a t u r e s f r o m b o t h c a m e r a s a t t h r e e p o i n t s a l o n g a 2 0 0 f r a m e s e q u e n c e . T h e t w o

c a m e r a s a r e s e t u p a b o u t a f o o t a n d a h a l f a p a r t w i t h o p t i c a l c e n t e r s v e r g i n g n e a r

t h e m i d d l e o f t h e t r a c k i n g a r e a . F i g . 6 s h o w s t h e e s t i m a t e d m o d e l c o n g u r a t i o n s

c o r r e s p o n d i n g t o t h e s a m p l e p o i n t s . I n t h e l e f t c o l u m n , t h e e s t i m a t e d m o d e l i s

r e n d e r e d f r o m t h e v i e w p o i n t o f t h e r s t c a m e r a . I n t h e r i g h t c o l u m n , i t i s s h o w n

f r o m a n a r b i t r a r y v i e w p o i n t , d e m o n s t r a t i n g t h e 3 D n a t u r e o f o u r t r a c k i n g r e s u l t .

T h e e s t i m a t e d s t a t e t r a j e c t o r i e s f o r t h e e n t i r e s e q u e n c e a r e g i v e n i n F i g s . 7 a n d

8 .

D i r e c t m e a s u r e m e n t o f t r a c k e r a c c u r a c y i s d i c u l t d u e t o t h e l a c k o f g r o u n d

t r u t h d a t a . W e p l a n t o u s e a P o l h e m u s s e n s o r t o m e a s u r e t h e a c c u r a c y o f t h e 6

D O F p a l m s t a t e e s t i m a t e . O b t a i n i n g g r o u n d t r u t h m e a s u r e m e n t s f o r j o i n t a n g l e s

i s m u c h m o r e d i c u l t . O n e p o s s i b l e s o l u t i o n i s t o w e a r a n i n v a s i v e s e n s o r , l i k e t h e

D a t a G l o v e , t o o b t a i n a b a s e l i n e m e a s u r e m e n t . B y t t i n g t h e D a t a G l o v e i n s i d e

a l a r g e r u n m a r k e d g l o v e , t h e e e c t o f t h e e x t e r n a l n g e r s e n s o r s o n t h e f e a t u r e

e x t r a c t i o n c a n b e m i n i m i z e d .

7 I m p l e m e n t a t i o n D e t a i l s

T h e D i g i t E y e s s y s t e m i s b u i l t a r o u n d a s p e c i a l b o a r d f o r r e a l - t i m e i m a g e p r o c e s s -

i n g , c a l l e d I C 4 0 . E a c h I C 4 0 b o a r d c o n t a i n s a 6 8 0 4 0 C P U , 5 M B o f d u a l - p o r t e d

R A M , a d i g i t i z e r , a n d a v i d e o g e n e r a t o r . T h e k e y f e a t u r e o f t h i s b o a r d i s i t s a b i l -

i t y t o d e l i v e r d i g i t i z e d i m a g e s t o p r o c e s s o r m e m o r y a t v i d e o r a t e w i t h n o c o m p u -

t a t i o n a l o v e r h e a d . T h i s r e m o v e s a n i m p o r t a n t b o t t l e n e c k i n m o s t w o r k s t a t i o n -

b a s e d t r a c k i n g s y s t e m s . O r d i n a r y C c o d e c a n b e c o m p i l e d a n d d o w n - l o a d e d t o

t h e b o a r d f o r e x e c u t i o n .

I n t h e m u l t i c a m e r a i m p l e m e n t a t i o n , t h e r e i s a n I C 4 0 b o a r d f o r e a c h c a m -

e r a . T h e t o t a l c o m p u t a t i o n i s d i v i d e d i n t o t w o p a r t s : f e a t u r e e x t r a c t i o n a n d

s t a t e e s t i m a t i o n . F e a t u r e e x t r a c t i o n i s d o n e i n p a r a l l e l b y e a c h b o a r d , t h e n t h e

e x t r a c t e d f e a t u r e s a r e p a s s e d o v e r t h e V M E b u s t o a S u n w o r k s t a t i o n , w h i c h

c o m b i n e s t h e m a n d s o l v e s t h e r e s u l t i n g l e a s t s q u a r e s p r o b l e m t o o b t a i n a s t a t e

e s t i m a t e . E s t i m a t e d s t a t e s a r e p a s s e d o v e r t h e E t h e r n e t t o a S i l i c o n G r a p h i c s

I n d i g o 2 w o r k s t a t i o n f o r m o d e l r e n d e r i n g a n d d i s p l a y .

8 C o n c l u s i o n

W e h a v e p r e s e n t e d a v i s u a l t r a c k i n g f r a m e w o r k f o r h i g h D O F a r t i c u l a t e d m e c h -

a n i s m s , a n d i t s i m p l e m e n t a t i o n i n a t r a c k i n g s y s t e m c a l l e d D i g i t E y e s . W e h a v e


10/12

d e m o n s t r a t e d r e a l - t i m e h a n d t r a c k i n g o f a 2 7 D O F h a n d m o d e l u s i n g t w o c a m -

e r a s . W e w i l l e x t e n d t h i s b a s i c w o r k i n t w o w a y s . F i r s t , w e w i l l m o d i f y o u r f e a t u r e

e x t r a c t i o n p r o c e s s t o h a n d l e o c c l u s i o n s a n d c o m p l i c a t e d b a c k g r o u n d s . S e c o n d ,

w e w i l l a n a l y z e t h e o b s e r v a b i l i t y r e q u i r e m e n t s o f a r t i c u l a t e d o b j e c t t r a c k i n g a n d

a d d r e s s t h e q u e s t i o n o f c a m e r a p l a c e m e n t .

R e f e r e n c e s

1 . A . B l a k e , R . C u r w e n , a n d A . Z i s s e r m a n . A f r a m e w o r k f o r s p a t i o t e m p o r a l c o n t r o l

i n t h e t r a c k i n g o f v i s u a l c o n t o u r s . I n t . J . C o m p u t e r V i s i o n , 1 1 ( 2 ) : 1 2 7 { 1 4 5 , 1 9 9 3 .

2 . T . D a r r e l l a n d A . P e n t l a n d . S p a c e - t i m e g e s t u r e s . I n L o o k i n g a t P e o p l e W o r k s h o p ,

C h a m b e r y , F r a n c e , 1 9 9 3 .

3 . J . D e n n i s a n d R . S c h n a b e l . N u m e r i c a l M e t h o d s f o r U n c o n s t r a i n e d O p t i m i z a t i o n

a n d N o n l i n e a r E q u a t i o n s . P r e n t i c e - H a l l , E n g l e w o o d C l i s , N J , 1 9 8 3 .

4 . B . D o r n e r . H a n d s h a p e i d e n t i c a t i o n a n d t r a c k i n g f o r s i g n l a n g u a g e i n t e r p r e t a t i o n .

I n L o o k i n g a t P e o p l e W o r k s h o p , I J C A I , C h a m b e r y , F r a n c e , 1 9 9 3 .

5 . D . G e n n e r y . V i s u a l t r a c k i n g o f k n o w n t h r e e - d i m e n s i o n a l o b j e c t s . I n t . J . C o m p u t e r

V i s i o n , 7 ( 3 ) : 2 4 3 { 2 7 0 , 1 9 9 2 .

6 . S . B . K a n g a n d K . I k e u c h i . G r a s p r e c o g n i t i o n u s i n g t h e c o n t a c t w e b . I n P r o c .

I E E E / R S J I n t . C o n f . o n I n t . R o b o t s a n d S y s . , R a l e i g h , N C , 1 9 9 2 .

7 . D . L o w e . R o b u s t m o d e l - b a s e d m o t i o n t r a c k i n g t h r o u g h t h e i n t e g r a t i o n o f s e a r c h

a n d e s t i m a t i o n . I n t . J . C o m p u t e r V i s i o n , 8 ( 2 ) : 1 1 3 { 1 2 2 , 1 9 9 2 .

8 . R . M a n n a n d E . A n t o n s s o n . G a i t a n a l y s i s { p r e c i s e , r a p i d , a u t o m a t i c , 3 - d p o s i t i o n

a n d o r i e n t a t i o n k i n e m a t i c s a n d d y n a m i c s . B U L L E T I N o f t h e H o s p i t a l f o r J o i n t

D i s e a s e s O r t h o p a e d i c I n s t i t u t e , X L I I I ( 2 ) : 1 3 7 { 1 4 6 , 1 9 8 3 .

9 . J . O ' R o u r k e a n d N . B a d l e r . M o d e l - b a s e d i m a g e a n a l y s i s o f h u m a n m o t i o n u s i n g

c o n s t r a i n t p r o p a g a t i o n . I E E E T r a n s . P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e ,

2 ( 6 ) : 5 2 2 { 5 3 6 , 1 9 8 0 .

1 0 . A . P e n t l a n d a n d B . H o r o w i t z . R e c o v e r y o f n o n r i g i d m o t i o n a n d s t r u c t u r e . I E E E

T r a n s . P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , 1 3 ( 7 ) : 7 3 0 { 7 4 2 , 1 9 9 1 .

1 1 . J . R e h g a n d T . K a n a d e . D i g i t e y e s : V i s i o n - b a s e d h u m a n h a n d t r a c k i n g . T e c h n i c a l

R e p o r t C M U - C S - T R - 9 3 - 2 2 0 , C a r n e g i e M e l l o n U n i v . S c h o o l o f C o m p . S c i . , 1 9 9 3 .

1 2 . H . R i j p k e m a a n d M . G i r a r d . C o m p u t e r a n i m a t i o n o f k n o w l e d g e - b a s e d h u m a n

g r a s p i n g . C o m p u t e r G r a p h i c s , 2 5 ( 4 ) : 3 3 9 { 3 4 8 , 1 9 9 1 .

1 3 . M . S p o n g . R o b o t D y n a m i c s a n d C o n t r o l . J o h n W i l e y a n d S o n s , 1 9 8 9 .

1 4 . M . Y a m a m o t o a n d K . K o s h i k a w a . H u m a n m o t i o n a n a l y s i s b a s e d o n a r o b o t a r m

m o d e l . I n I E E E C o n f . C o m p u t . V i s . a n d P a t t e r n R e c . , p a g e s 6 6 4 { 6 6 5 , 1 9 9 1 . A l s o

s e e E l e c t r o t e c h n i c a l L a b o r a t o r y R e p o r t 9 0 - 4 6 .

1 5 . T . Z i m m e r m a n , J . L a n i e r , C . B l a n c h a r d , S . B r y s o n , a n d Y . H a r v i l l . A h a n d g e s -

t u r e i n t e r f a c e d e v i c e . I n P r o c . H u m a n F a c t o r s i n C o m p . S y s . a n d G r a p h i c s I n t e r -

f a c e ( C H I + G I ' 8 7 ) , p a g e s 1 8 9 { 1 9 2 , T o r o n t o , C a n a d a , 1 9 8 7 .

T h i s a r t i c l e w a s p r o c e s s e d u s i n g t h e L

a

T

E

X m a c r o p a c k a g e w i t h L L N C S s t y l e


11/12

Camera 0 View Camera 1 View

F i g . 5 . T h r e e p a i r s o f h a n d i m a g e s f r o m t h e c o n t i n u o u s m o t i o n e s t i m a t e p l o t t e d i n

F i g s . 7 a n d 8 . E a c h s t e r e o p a i r w a s o b t a i n e d a u t o m a t i c a l l y d u r i n g t r a c k i n g b y s t o r i n g

e v e r y f t i e t h i m a g e s e t t o d i s k . T h e s a m p l e s c o r r e s p o n d t o f r a m e s 4 9 , 9 9 , a n d 1 4 9 .

Camera 0 View Bottom View

F i g . 6 . E s t i m a t e d h a n d s t a t e f o r t h e i m a g e s a m p l e s i n F i g . 5 , r e n d e r e d f r o m t h e C a m e r a

0 v i e w p o i n t ( l e f t ) a n d a v i e w p o i n t u n d e r n e a t h t h e h a n d ( r i g h t ) .


12/12

0.0 50.0 100.0 150.0 200.0

Frames (100 ms/frame)

-1.0

-0.5

0.0

0.5

1.0

QuaternionAngle

Palm Rotation

Qw

Qx

QyQz

0.0 50.0 100.0 150.0 200.0


-50.0

0.0

50.0

100.0

150.0

QuaternionAngle

Palm Translation

Tx

Ty

Tz

F i g . 7 . E s t i m a t e d p a l m r o t a t i o n a n d t r a n s l a t i o n f o r m o t i o n s e q u e n c e o f e n t i r e h a n d .

Q

w

- Q

z

a r e t h e q u a t e r n i o n c o m p o n e n t s o f r o t a t i o n , w h i l e T

x

- T

z

a r e t h e t r a n s l a t i o n .

T h e s e q u e n c e l a s t e d 2 0 s e c o n d s .

0.0 50.0 100.0 150.0 200.0


-0.5

0.0

0.5

1.0

JointAngle(radians)

Finger 1 States

Theta 0

Theta 1

Theta 2

Theta 3

0.0 50.0 100.0 150.0 200.0


-0.5

0.0

0.5

1.0

JointAngle(radians)

Thumb States

Theta 0

Theta 1

Theta 3

Theta 4

F i g . 8 . E s t i m a t e d j o i n t a n g l e s f o r t h e r s t n g e r a n d t h u m b . T h e o t h e r t h r e e n g e r s

a r e s i m i l a r t o t h e r s t . R e f e r t o F i g . 1 f o r v a r i a b l e d e n i t i o n s .

tracking of articulated structures exploiting spatio temporal image slices

Documents