3d photography on your desk

8/14/2019 3D Photography on Your Desk

1/8


2/8

W e s t a r t w i t h a d e s c r i p t i o n o f t h e m e t h o d i n S e c . 2 ,

f o l l o w e d i n S e c . 3 b y a n o i s e s e n s i t i v i t y a n a l y s i s , a n d

i n S e c . 4 b y a n u m b e r o f e x p e r i m e n t s t h a t a s s e s s t h e

c o n v e n i e n c e a n d a c c u r a c y o f t h e s y s t e m . W e e n d w i t h

a d i s c u s s i o n a n d c o n c l u s i o n s i n S e c . 5 .

botx (t)

(t)

cO

Z

Y

X

c

c

c

d

Reference bottom row

Reference top row

Desk lamp

holding a stick

The user

S

generated by the stick

Desk plane

Camera

P

The edge of the shadow

xc

top

x (t)

A(t)

B(t)

Imageplane

F i g u r e 2 : G e o m e t r i c a l p r i n c i p l e o f t h e m e t h o d : A p p r o x -

i m a t e t h e l i g h t s o u r c e w i t h a p o i n t S , a n d d e n o t e b y

d

t h e

d e s k p l a n e . A s s u m e t h a t t h e p o s i t i o n s o f t h e l i g h t s o u r c e S a n d

t h e p l a n e

d

i n t h e c a m e r a r e f e r e n c e f r a m e a r e k n o w n f r o m c a l -

i b r a t i o n . T h e g o a l i s t o e s t i m a t e t h e 3 D l o c a t i o n o f t h e p o i n t

P i n s p a c e c o r r e s p o n d i n g t o e v e r y p i x e l x

c

i n t h e i m a g e . C a l l

t t h e t i m e a t w h i c h a g i v e n p i x e l x

c

` s e e s ' t h e s h a d o w b o u n d -

a r y l a t e r r e f e r r e d t o a s t h e s h a d o w t i m e . D e n o t e b y t t h e

c o r r e s p o n d i n g s h a d o w p l a n e a t t h a t t i m e t . A s s u m e t h a t t w o

p o r t i o n s o f t h e s h a d o w p r o j e c t e d o n t h e d e s k p l a n e a r e v i s i -

b l e o n t w o g i v e n r o w s o f t h e i m a g e t o p a n d b o t t o m r o w s i n

t h e g u r e . A f t e r e x t r a c t i n g t h e s h a d o w b o u n d a r y a l o n g t h o s e

r o w s x

t o p

t a n d x

b o t

t , w e n d t w o p o i n t s o n t h e s h a d o w

p l a n e A t a n d B t b y i n t e r s e c t i n g

d

w i t h t h e o p t i c a l r a y s

O

c

; x

t o p

t a n d O

c

; x

b o t

t r e s p e c t i v e l y . T h e s h a d o w p l a n e

t i s t h e n i n f e r r e d f r o m t h e t h r e e p o i n t s i n s p a c e S , A t a n d

B t . F i n a l l y , t h e p o i n t P c o r r e s p o n d i n g t o x

c

i s r e t r i e v e d b y

i n t e r s e c t i n g t w i t h t h e o p t i c a l r a y O

c

; x

c

. T h i s n a l s t a g e

i s c a l l e d t r i a n g u l a t i o n . N o t i c e t h a t t h e k e y s t e p s i n t h e w h o l e

s c h e m e a r e : a e s t i m a t e t h e s h a d o w t i m e t

s

x

c

a t e v e r y p i x e l

x

c

t e m p o r a l p r o c e s s i n g , a n d b l o c a t e t h e r e f e r e n c e p o i n t s

x

t o p

t a n d x

b o t

t a t e v e r y t i m e i n s t a n t t s p a t i a l p r o c e s s i n g

T h e s e t w o a r e d i s c u s s e d i n d e t a i l i n s e c t i o n 2 . 2 .

2 D e s c r i p t i o n o f t h e m e t h o d

T h e g e n e r a l p r i n c i p l e c o n s i s t s o f c a s t i n g a s h a d o w

o n t o t h e s c e n e w i t h a p e n c i l o r a n o t h e r s t i c k , a n d u s -

i n g t h e i m a g e o f t h e d e f o r m e d s h a d o w t o e s t i m a t e t h e

t h r e e d i m e n s i o n a l s h a p e o f t h e s c e n e . F i g u r e 1 s h o w s

t h e r e q u i r e d h a r d w a r e a n d t h e s e t u p o f t h e s y s t e m .

T h e o b j e c t i v e i s t o e x t r a c t s c e n e d e p t h a t e v e r y p i x e l

i n t h e i m a g e . F i g u r e 2 g i v e s a g e o m e t r i c a l d e s c r i p t i o n

o f t h e m e t h o d t h a t w e p r o p o s e t o a c h i e v e t h a t g o a l .

2 . 1 C a l i b r a t i o n

T h e g o a l o f c a l i b r a t i o n i s t o r e c o v e r t h e g e o m e t r y

o f t h e s e t u p t h a t i s , t h e l o c a t i o n o f t h e d e s k p l a n e

d

a n d t h a t o f t h e l i g h t s o u r c e S a s w e l l a s t h e i n -

t r i n s i c p a r a m e t e r s o f t h e c a m e r a f o c a l l e n g t h , o p t i c a l

c e n t e r a n d r a d i a l d i s t o r t i o n f a c t o r . W e d e c o m p o s e

t h e p r o c e d u r e i n t o t w o s u c c e s s i v e s t a g e s : r s t c a m e r a

c a l i b r a t i o n a n d t h e n l a m p c a l i b r a t i o n .

C a m e r a c a l i b r a t i o n : E s t i m a t e t h e i n t r i n s i c c a m -

e r a p a r a m e t e r s a n d t h e l o c a t i o n o f t h e d e s k p l a n e

d

t a b l e t o p w i t h r e s p e c t t o t h e c a m e r a . T h e p r o c e d u r e

c o n s i s t s o f r s t p l a c i n g a p l a n a r c h e c k e r b o a r d p a t t e r n

s e e g u r e 1 o n t h e d e s k i n t h e l o c a t i o n o f t h e o b j e c t s

t o s c a n . F r o m t h e i m a g e c a p t u r e d b y t h e c a m e r a , w e

i n f e r t h e i n t r i n s i c a n d e x t r i n s i c r i g i d m o t i o n b e t w e e n

c a m e r a a n d d e s k r e f e r e n c e f r a m e p a r a m e t e r s o f t h e

c a m e r a , b y m a t c h i n g t h e p r o j e c t i o n s o n t o t h e i m a g e

p l a n e o f t h e k n o w n g r i d c o r n e r s w i t h t h e e x p e c t e d p r o -

j e c t i o n d i r e c t l y m e a s u r e d o n t h e i m a g e e x t r a c t e d c o r -

n e r s o f t h e g r i d . T h i s m e t h o d i s v e r y m u c h i n s p i r e d

b y t h e a l g o r i t h m p r o p o s e d b y T s a i 1 3 . N o t e t h a t

s i n c e o u r c a l i b r a t i o n r i g i s p l a n a r , t h e o p t i c a l c e n t e r

c a n n o t b e r e c o v e r e d t h r o u g h t h a t p r o c e s s , a n d t h e r e -

f o r e i s a s s u m e d t o b e x e d a t t h e c e n t e r o f t h e i m a g e .

A d e s c r i p t i o n o f t h e w h o l e p r o c e d u r e c a n b e f o u n d

i n 3 . T h e r e a d e r c a n a l s o r e f e r t o F a u g e r a s 6 f o r

f u r t h e r i n s i g h t s o n c a m e r a c a l i b r a t i o n . N o t i c e t h a t

t h e e x t r i n s i c p a r a m e t e r s d i r e c t l y l e a d t o t h e p o s i t i o n

o f t h e t a b l e t o p

d

i n t h e c a m e r a r e f e r e n c e f r a m e .

L a m p c a l i b r a t i o n : A f t e r c a m e r a c a l i b r a t i o n , e s t i -

m a t e t h e 3 D l o c a t i o n o f t h e p o i n t l i g h t s o u r c e S .

F i g u r e 3 g i v e s a d e s c r i p t i o n o f o u r m e t h o d .

2 . 2 S p a t i a l a n d t e m p o r a l s h a d o w e d g e l o -

c a l i z a t i o n

A f u n d a m e n t a l s t a g e o f t h e m e t h o d i s t h e d e t e c t i o n

o f t h e l i n e o f i n t e r s e c t i o n o f t h e s h a d o w p l a n e t

w i t h t h e d e s k t o p

d

; a s i m p l e a p p r o a c h m a y b e u s e d

i f w e m a k e s u r e t h a t t h e t o p a n d b o t t o m e d g e s o f t h e

i m a g e a r e f r e e f r o m o b j e c t s . T h e n t h e t w o t a s k s t o a c -

c o m p l i s h a r e : a L o c a l i z e t h e e d g e o f t h e s h a d o w t h a t

i s d i r e c t l y p r o j e c t e d o n t h e t a b l e t o p x

t o p

t ; x

b o t

t

a t e v e r y t i m e i n s t a n t t e v e r y f r a m e , l e a d i n g t o t h e

s e t o f a l l s h a d o w p l a n e s t , b E s t i m a t e t h e t i m e

t

s

x

c

s h a d o w t i m e w h e r e t h e e d g e o f t h e s h a d o w

p a s s e s t h r o u g h a n y g i v e n p i x e l x

c

= x

c

; y

c

i n t h e i m -

a g e . C u r l e s s a n d L e v o y d e m o n s t r a t e d i n 4 t h a t s u c h

a s p a t i o - t e m p o r a l a p p r o a c h i s a p p r o p r i a t e t o p r e s e r v e

s h a r p d i s c o n t i n u i t i e s i n t h e s c e n e . D e t a i l s o f o u r i m -

p l e m e n t a t i o n a r e g i v e n i n g u r e 4 . N o t i c e t h a t t h e

s h a d o w w a s s c a n n e d f r o m t h e l e f t t o t h e r i g h t s i d e o f

t h e s c e n e . T h i s e x p l a i n s w h y t h e r i g h t e d g e o f t h e

s h a d o w c o r r e s p o n d s t o t h e f r o n t e d g e o f t h e t e m p o r a l

p r o l e i n g u r e 4 .

2


3/8

b

ts

b

d

Ts

c

A pencil of known height horthogonal to the desk

O

Z

Y

X

c

c

c

Imageplane

S

Camera

h

t s

T

Light sourceDesk plane

KS must lie on the

sline = (T,T )!!!

F i g u r e 3 : L a m p c a l i b r a t i o n : T h e o p e r a t o r p l a c e s a p e n c i l

o n t h e d e s k p l a n e

d

, o r t h o g o n a l t o i t t o p - l e f t . T h e c a m e r a

o b s e r v e s t h e s h a d o w o f t h e p e n c i l p r o j e c t e d o n t h e t a b l e t o p .

T h e a c q u i r e d i m a g e i s s h o w n o n t h e t o p - r i g h t . F r o m t h e t w o

p o i n t s b a n d t

s

o n t h i s i m a g e , o n e c a n i n f e r t h e p o s i t i o n s i n

s p a c e o f K a n d T

s

, r e s p e c t i v e l y t h e b a s e o f t h e p e n c i l , a n d t h e

t i p o f t h e p e n c i l s h a d o w s e e b o t t o m g u r e . T h i s i s d o n e b y

i n t e r s e c t i n g t h e o p t i c a l r a y s O

c

; b a n d O

c

; t

s

w i t h

d

k n o w n

f r o m c a m e r a c a l i b r a t i o n . I n a d d i t i o n , g i v e n t h a t t h e h e i g h t o f

t h e p e n c i l h i s k n o w n , t h e c o o r d i n a t e s o f i t s t i p T c a n b e d i r e c t l y

i n f e r r e d f r o m K . T h e n , t h e l i g h t s o u r c e p o i n t S h a s t o l i e o n

t h e l i n e = T ; T

s

i n s p a c e . T h i s y i e l d s o n e l i n e a r c o n s t r a i n t

o n t h e l i g h t s o u r c e p o s i t i o n . B y t a k i n g a s e c o n d v i e w , w i t h t h e

p e n c i l a t a d i e r e n t l o c a t i o n o n t h e d e s k , o n e c a n r e t r i e v e a

s e c o n d i n d e p e n d e n t c o n s t r a i n t w i t h a n o t h e r l i n e

0

. A c l o s e d

f o r m s o l u t i o n f o r t h e 3 D c o o r d i n a t e o f S i s t h e n d e r i v e d b y

i n t e r s e c t i n g t h e t w o l i n e s a n d

0

i n t h e l e a s t s q u a r e s s e n s e .

N o t i c e t h a t s i n c e t h e p r o b l e m i s l i n e a r , o n e c a n e a s i l y i n t e g r a t e

t h e i n f o r m a t i o n f r o m m o r e t h a n 2 v i e w s a n d t h e n m a k e t h e

e s t i m a t i o n m o r e a c c u r a t e . I f N 2 i m a g e s a r e u s e d , o n e c a n

o b t a i n a c l o s e d f o r m s o l u t i o n f o r t h e b e s t i n t e r s e c t i o n p o i n t

~

S

o f t h e N i n f e r r e d l i n e s i n t h e l e a s t s q u a r e s s e n s e . W e a l s o

e s t i m a t e t h e u n c e r t a i n t y o n t h a t e s t i m a t e f r o m t h e d i s t a n c e o f

~

S f r o m e a c h o n e o f t h e l i n e s . T h a t i n d i c a t e s h o w c o n s i s t e n t l y

t h e l i n e s i n t e r s e c t a s i n g l e p o i n t i n s p a c e . R e f e r t o 3 f o r t h e

c o m p l e t e d e r i v a t i o n s .

t = t0

= 0134

ref. top row: ytop

= 10

ref. bot. row: ybot

= 230

xtop

(t0)

xbot

(t0)

xc

xc

= (104,128)= (xc,y

c)

50 100 150 200 250 300100

50

0

50

100

xtop

(t0)=118.42

I(x,ytop

,t0)

Column pixel x0 50 100 150 200 250

100

50

0

50

100

I(xc,y

c,t)

ts(x

c,y

c)=133.27

Time t (frame number)

F i g u r e 4 : S p a t i a l a n d t e m p o r a l s h a d o w l o c a t i o n : T h e

r s t s t e p c o n s i s t s o f l o c a l i z i n g s p a t i a l l y t h e s h a d o w e d g e

x

t o p

t

0

; x

b o t

t

0

a t e v e r y i n t e g e r t i m e t

0

i . e . e v e r y f r a m e .

T h e t o p a n d b o t t o m r o w s a r e y

t o p

= 1 0 a n d y

b o t

= 2 3 0

o n t h e t o p g u r e . T h i s l e a d s t o a n e s t i m a t e o f t h e s h a d o w

p l a n e t

0

a t e v e r y f r a m e . T h e s e c o n d p r o c e s s i n g s t e p c o n -

s i s t s o f e x t r a c t i n g a t e v e r y p i x e l x

c

, t h e t i m e t

s

x

c

o f p a s s a g e

o f t h e s h a d o w e d g e . F o r a n y g i v e n p i x e l x

c

= x ; y , d e n e

I

m i n

x ; y = m i n

t

I x ; y ; t a n d I

m a x

x ; y = m a x

t

I x ; y ; t

a s i t s m i n i m u m a n d m a x i m u m b r i g h t n e s s t h r o u g h o u t t h e e n t i r e

s e q u e n c e . W e t h e n d e n e t h e s h a d o w e d g e t o b e t h e l o c a t i o n s

i n s p a c e - t i m e w h e r e t h e i m a g e I x ; y ; t i n t e r s e c t s w i t h t h e

t h r e s h o l d i m a g e I

s h a d o w

x ; y = I

m i n

x ; y + I

m a x

x ; y = 2

T h i s m a y b e a l s o r e g a r d e d a s t h e z e r o c r o s s i n g s o f t h e d i f -

f e r e n c e i m a g e I x ; y ; t = I x ; y ; t , I

s h a d o w

x ; y . T h e t w o

b o t t o m p l o t s i l l u s t r a t e t h e s h a d o w e d g e d e t e c t i o n i n t h e s p a -

t i a l d o m a i n t o n d x

t o p

a n d x

b o t

a n d i n t h e t e m p o r a l d o -

m a i n t o n d t

s

x

c

. T h e b o t t o m - l e f t g u r e s h o w s t h e p r o -

l e o f I x ; y ; t a l o n g t h e t o p r e f e r e n c e r o w y = y

t o p

= 1 0

a t t i m e t = t

0

= 1 3 4 v e r s u s t h e c o l u m n p i x e l c o o r d i n a t e x

T h e s e c o n d z e r o c r o s s i n g o f t h a t p r o l e c o r r e s p o n d s t o t h e

t o p r e f e r e n c e p o i n t x

t o p

t

0

= 1 1 8 4 2 ; 1 0 c o m p u t e d a t s u b -

p i x e l a c c u r a c y . I d e n t i c a l p r o c e s s i n g i s a p p l i e d o n t h e b o t t o m

r o w t o o b t a i n x

b o t

t

0

= 1 3 0 6 ; 2 3 0 . S i m i l a r l y , t h e b o t t o m -

r i g h t g u r e s h o w s t h e t e m p o r a l p r o l e I x

c

; y

c

; t a t t h e p i x e l

x

c

= x

c

; y

c

= 1 0 4 ; 1 2 8 v e r s u s t i m e t o r f r a m e n u m b e r .

T h e s h a d o w t i m e a t t h a t p i x e l i s d e n e d a s t h e r s t z e r o c r o s s -

i n g l o c a t i o n o f t h a t p r o l e : t

s

1 0 4 ; 1 2 8 = 1 3 3 2 7 c o m p u t e d a t

s u b - f r a m e a c c u r a c y .

N o t i c e t h a t t h e p i x e l s c o r r e s p o n d i n g t o r e g i o n s i n

t h e s c e n e t h a t a r e n o t i l l u m i n a t e d b y t h e l a m p s h a d -

o w s d u e t o o c c l u s i o n s d o n o t p r o v i d e a n y r e l e v a n t

d e p t h i n f o r m a t i o n . F o r t h i s r e a s o n w e c a n r e s t r i c t t h e

p r o c e s s i n g t o p i x e l s t h a t h a v e s u c i e n t s w i n g b e t w e e n

m a x i m u m a n d m i n i m u m b r i g h t n e s s . T h e r e f o r e , w e

o n l y p r o c e s s p i x e l s w i t h c o n t r a s t v a l u e I

c o n t r a s t

x ; y

:

=

I

m a x

x ; y , I

m i n

x ; y l a r g e r t h a n a p r e - d e n e d t h r e s h -

o l d I

t h r e s h

. T h i s t h r e s h o l d w a s 7 0 i n a l l e x p e r i m e n t s

r e p o r t e d i n t h i s p a p e r r e c a l l t h a t t h e i n t e n s i t y v a l u e s

3


4/8

a r e e n c o d e d f r o m 0 f o r b l a c k t o 2 5 5 f o r w h i t e .

W e d o n o t a p p l y a n y s p a t i a l l t e r i n g o n t h e i m -

a g e s ; t h a t w o u l d g e n e r a t e u n d e s i r e d b l e n d i n g i n t h e

n a l d e p t h e s t i m a t e s , e s p e c i a l l y n o t i c e a b l e a t d e p t h

d i s c o n t i n u i t i e s a t o c c l u s i o n s f o r e x a m p l e . H o w e v e r ,

i t w o u l d b e a c c e p t a b l e t o l o w - p a s s l t e r t h e b r i g h t n e s s

p r o l e s o f t h e t o p a n d b o t t o m r o w s t h e r e i s n o d e p t h

d i s c o n t i n u i t y o n t h e t a b l e t o p a n d l o w - p a s s l t e r t h e

t e m p o r a l b r i g h t n e s s p r o l e s a t e v e r y p i x e l . T h e s e o p -

e r a t i o n s w o u l d p r e s e r v e s h a r p s p a t i a l d i s c o n t i n u i t i e s ,

a n d m i g h t d e c r e a s e t h e e e c t o f l o c a l p r o c e s s i n g n o i s e

b y a c c o u n t i n g f o r s m o o t h n e s s i n t h e m o t i o n o f t h e

s t i c k .

E x p e r i m e n t a l l y , w e f o u n d t h a t t h i s t h r e s h o l d i n g a p -

p r o a c h f o r s h a d o w e d g e d e t e c t i o n a l l o w f o r s o m e i n t e r -

n a l r e e c t i o n s i n t h e s c e n e 9 , 8 , 1 4 . H o w e v e r , i f t h e

l i g h t s o u r c e i s n o t c l o s e t o a n i d e a l p o i n t s o u r c e , t h e

m e a n v a l u e b e t w e e n m a x i m u m a n d m i n i m u m b r i g h t -

n e s s m a y n o t a l w a y s c o n s t i t u t e t h e o p t i m a l v a l u e f o r

t h e t h r e s h o l d i m a g e I

s h a d o w

. I n d e e d , t h e s h a d o w e d g e

p r o l e b e c o m e s s h a l l o w e r a s t h e d i s t a n c e b e t w e e n t h e

s t i c k a n d t h e s u r f a c e i n c r e a s e s . I n a d d i t i o n , i t d e f o r m s

a s y m m e t r i c a l l y a s t h e s u r f a c e n o r m a l c h a n g e s . T h e s e

e e c t s c o u l d m a k e t h e t a s k o f d e t e c t i n g t h e s h a d o w

b o u n d a r y p o i n t s c h a l l e n g i n g . I n t h e f u t u r e , w e i n -

t e n d t o d e v e l o p a g e o m e t r i c a l m o d e l o f e x t e n d e d l i g h t

s o u r c e s a n d i n c o r p o r a t e i t i n t h e s y s t e m .

A l t h o u g h I

m i n

a n d I

m a x

a r e n e e d e d t o c o m p u t e

I

s h a d o w

, t h e r e e x i s t s a n i m p l e m e n t a t i o n o f t h a t a l -

g o r i t h m t h a t d o e s n o t r e q u i r e s t o r a g e o f t h e c o m -

p l e t e i m a g e s e q u e n c e i n m e m o r y a n d t h e r e f o r e l e a d s

i t s e l f t o r e a l - t i m e i m p l e m e n t a t i o n s . A l l t h a t o n e n e e d s

t o d o i s u p d a t e a t e a c h f r a m e v e d i e r e n t a r r a y s

I

m a x

x ; y , I

m i n

x ; y , I

c o n t r a s t

x ; y , I

s h a d o w

x ; y a n d

t h e s h a d o w t i m e t

s

x ; y , a s t h e i m a g e s I x ; y ; t a r e

a c q u i r e d . F o r a g i v e n p i x e l x ; y , t h e m a x i m u m

b r i g h t n e s s I

m a x

x ; y i s c o l l e c t e d a t t h e v e r y b e g i n -

n i n g o f t h e s e q u e n c e t h e r s t f r a m e , a n d t h e n , a s

t i m e g o e s , t h e i n c o m i n g i m a g e s a r e u s e d t o u p d a t e

t h e m i n i m u m b r i g h t n e s s I

m i n

x ; y a n d t h e c o n t r a s t

I

c o n t r a s t

x ; y . O n c e I

c o n t r a s t

x ; y c r o s s e s I

t h r e s h

, t h e

a d a p t i v e t h r e s h o l d I

s h a d o w

x ; y s t a r t s b e i n g c o m p u t e d

a n d u p d a t e d a t e v e r y f r a m e a n d a c t i v a t e d . T h i s p r o -

c e s s g o e s o n u n t i l t h e p i x e l b r i g h t n e s s I x ; y ; t c r o s s e s

I

s h a d o w

x ; y f o r t h e r s t t i m e i n t h e u p w a r d s d i r e c -

t i o n . T h a t t i m e i n s t a n t i s r e g i s t e r e d a s t h e s h a d o w

t i m e t

s

x ; y . I n t h a t f o r m o f i m p l e m e n t a t i o n , t h e l e f t

e d g e o f t h e s h a d o w i s t r a c k e d i n s t e a d o f t h e r i g h t o n e ,

h o w e v e r t h e p r i n c i p l e r e m a i n s t h e s a m e .

2 . 3 T r i a n g u l a t i o n

O n c e t h e s h a d o w t i m e t

s

x

c

i s e s t i m a t e d a t a g i v e n

p i x e l x

c

, o n e c a n i d e n t i f y t h e c o r r e s p o n d i n g s h a d o w

p l a n e t

s

x

c

. T h e n , t h e 3 D p o i n t P a s s o c i a t e d t o

x

c

i s r e t r i e v e d b y i n t e r s e c t i n g t

s

x

c

w i t h t h e o p t i -

c a l r a y O

c

; x

c

s e e g u r e 2 . N o t i c e t h a t t h e s h a d o w

t i m e t

s

x

c

a c t s a s a n i n d e x t o t h e s h a d o w p l a n e l i s t

t . S i n c e t

s

x

c

i s e s t i m a t e d a t s u b - f r a m e a c c u r a c y ,

t h e n a l p l a n e t

s

x

c

a c t u a l l y r e s u l t s f r o m l i n e a r

i n t e r p o l a t i o n b e t w e e n t h e t w o p l a n e s t

0

, 1 a n d

t

0

i f t

0

, 1 t

s

x

c

t

0

a n d t

0

i n t e g e r . O n c e t h e

r a n g e d a t a a r e r e c o v e r e d , a m e s h m a y b e g e n e r a t e d b y

c o n n e c t i n g n e i g h b o r i n g p o i n t s i n t r i a n g l e s . R e n d e r e d

v i e w s o f t h r e e r e c o n s t r u c t e d s u r f a c e s t r u c t u r e s c a n b e

s e e n i n g u r e s 6 , 7 a n d 8 .

3 N o i s e S e n s i t i v i t y

T h e o v e r a l l s c h e m e i s b a s e d o n r s t e x t r a c t i n g f r o m

e v e r y f r a m e i . e . e v e r y t i m e i n s t a n t s t t h e x c o o r d i -

n a t e s o f t h e t w o r e f e r e n c e p o i n t s x

t o p

t a n d x

b o t

t ,

a n d s e c o n d e s t i m a t i n g t h e s h a d o w t i m e t

s

x

c

a t e v -

e r y p i x e l x

c

. T h o s e i n p u t d a t a a r e u s e d t o e s t i m a t e

t h e d e p t h Z

c

a t e v e r y p i x e l . T h e p u r p o s e o f t h e n o i s e

s e n s i t i v i t y a n a l y s i s i s t o q u a n t i f y t h e e e c t o f t h e n o i s e

i n t h e m e a s u r e m e n t d a t a f x

t o p

t ; x

b o t

t ; t

s

x

c

g o n

t h e n a l r e c o n s t r u c t e d s c e n e d e p t h m a p . O n e k e y s t e p

i n t h e a n a l y s i s i s t o t r a n s f e r t h e n o i s e a e c t i n g t h e

s h a d o w t i m e t

s

x

c

i n t o a s c a l a r n o i s e a e c t i n g t h e

x c o o r d i n a t e o f x

c

a f t e r s c a l i n g b y t h e l o c a l s h a d o w

s p e e d o n t h e i m a g e a t t h a t p i x e l . L e t V b e t h e v o l -

u m e o f t h e p a r a l l e l e p i p e d f o r m e d b y t h e t h r e e v e c t o r s

O

c

A , O

c

B a n d O

c

S , o r i g i n a t i n g a t O

c

s e e g u r e 2 :

V = X

T

S

:

X

B

, X

S

X

A

, X

S

w h e r e X

S

= X

S

Y

S

Z

S

T

, X

A

= X

A

Y

A

Z

A

T

a n d

X

B

= X

B

Y

B

Z

B

T

a r e t h e c o o r d i n a t e v e c t o r s o f

S , A a n d B i n t h e c a m e r a r e f e r e n c e f r a m e i s t h e

s t a n d a r d o u t e r p r o d u c t o p e r a t o r . N o t i c e t h a t V i s

c o m p u t e d a t t h e t r i a n g u l a t i o n s t a g e , a n d t h e r e f o r e i s

a l w a y s a v a i l a b l e s e e 3 . D e n e X

c

= X

c

Y

c

Z

c

T

a s

t h e c o o r d i n a t e v e c t o r i n t h e c a m e r a r e f e r e n c e f r a m e

o f t h e p o i n t i n s p a c e c o r r e s p o n d i n g t o x

c

. A s s u m e

t h a t t h e x c o o r d i n a t e s o f t h e t o p a n d b o t t o m r e f e r e n c e

p o i n t s a f t e r n o r m a l i z a t i o n a r e a e c t e d b y a d d i t i v e

w h i t e G a u s s i a n n o i s e w i t h z e r o m e a n a n d v a r i a n c e s

2

t

a n d

2

b

r e s p e c t i v e l y . A s s u m e i n a d d i t i o n t h a t t h e

v a r i a n c e o n t h e x c o o r d i n a t e o f x

c

i s

2

x

c

d i e r e n t a t

e v e r y p i x e l . T h e f o l l o w i n g e x p r e s s i o n f o r t h e v a r i a n c e

2

Z

c

o f t h e i n d u c e d n o i s e o n t h e d e p t h e s t i m a t e Z

c

w a s

d e r i v e d b y t a k i n g r s t o r d e r d e r i v a t i v e s o f Z

c

w i t h

r e s p e c t t o t h e ` n e w ' n o i s y i n p u t v a r i a b l e s x

t o p

, x

b o t

a n d x

c

n o t i c e t h a t t h e t i m e v a r i a b l e d o e s n o t a p p e a r

a n y l o n g e r i n t h e a n a l y s i s :

2

Z

c

=

Z

2

c

V

2

n

W

2

h

2

S

Z

2

c

2

x

c

+

1

+

1

Y

c

+

1

Z

c

2

2

t

+

2

+

2

Y

c

+

2

Z

c

2

2

b

o

1

4


5/8

w h e r e W , h

S

,

1

,

1

,

1

,

2

,

2

a n d

2

a r e c o n s t a n t s

d e p e n d i n g o n l y o n t h e g e o m e t r y s e e g u r e 5 :

1

= Z

A

Z

B

Y

S

, Y

B

Z

S

1

= , Z

A

Z

B

, Z

S

1

= Z

A

Y

B

, Y

S

2

= Z

B

Y

A

Z

S

, Z

A

Y

S

2

= Z

B

Z

A

, Z

S

2

= , Z

B

Y

A

, Y

S

T h e r s t t e r m i n e q u a t i o n 1 c o m e s f r o m t h e t e m p o -

r a l n o i s e o n t

s

x

c

t r a n s f e r r e d t o x

c

; t h e s e c o n d a n d

t h i r d t e r m s f r o m t h e s p a t i a l n o i s e o n x

t o p

a n d x

b o t

.

L e t

I

b e t h e s t a n d a r d d e v i a t i o n o f t h e i m a g e b r i g h t -

n e s s n o i s e . G i v e n t h a t w e u s e l i n e a r i n t e r p o l a t i o n o f

t h e t e m p o r a l b r i g h t n e s s p r o l e t o c a l c u l a t e t h e s h a d o w

t i m e t

s

x

c

, w e c a n w r i t e

x

c

a s a f u n c t i o n o f t h e

h o r i z o n t a l s p a t i a l i m a g e g r a d i e n t I

x

x

c

a t x

c

a t t i m e

t = t

s

x

c

:

x

c

=

I

j I

x

x

c

j

2

S i n c e

x

c

i n i n v e r s e l y p r o p o r t i o n a l t o t h e i m a g e g r a -

d i e n t , t h e a c c u r a c y i m p r o v e s w i t h s h a d o w e d g e s h a r p -

n e s s . T h i s j u s t i e s t h e i m p r o v e m e n t i n e x p e r i m e n t

3 a f t e r r e m o v i n g t h e l a m p r e e c t o r t h e r e b y s i g n i f -

i c a n t l y i n c r e a s i n g s h a r p n e s s . I n a d d i t i o n , o b s e r v e

t h a t

x

c

d o e s n o t d e p e n d o n t h e l o c a l s h a d o w s p e e d .

T h e r e f o r e , d e c r e a s i n g t h e s c a n n i n g s p e e d w o u l d n o t

i n c r e a s e a c c u r a c y . H o w e v e r , f o r t h e a n a l y s i s l e a d i n g

t o e q u a t i o n 2 t o r e m a i n v a l i d , t h e t e m p o r a l p i x e l p r o -

l e m u s t b e s u c i e n t l y s a m p l e d w i t h i n t h e t r a n s i t i o n

a r e a o f t h e s h a d o w e d g e t h e p e n u m b r a . T h e r e f o r e ,

i f t h e s h a d o w e d g e w e r e s h a r p e r , t h e s c a n n i n g s h o u l d

a l s o b e s l o w e r s o t h a t t h e t e m p o r a l p r o l e a t e v e r y

p i x e l w o u l d b e p r o p e r l y s a m p l e d . D e c r e a s i n g f u r t h e r

t h e s c a n n i n g s p e e d w o u l d b e n e t t h e a c c u r a c y o n l y i f

t h e t e m p o r a l p r o l e w e r e a p p r o p r i a t e l y l o w - p a s s l -

t e r e d b e f o r e e x t r a c t i o n o f t

s

x

c

. T h i s i s a n i s s u e f o r

f u t u r e r e s e a r c h .

N o t i c e t h a t

Z

c

, a s i d e f r o m q u a n t i f y i n g t h e u n c e r -

t a i n t i e s o n t h e d e p t h e s t i m a t e Z

c

a t e v e r y p i x e l x

c

, i t

a l s o c o n s t i t u t e s a g o o d i n d i c a t o r o f t h e o v e r a l l a c c u -

r a c i e s i n r e c o n s t r u c t i o n , s i n c e m o s t o f t h e e r r o r s a r e

l o c a t e d a l o n g t h e Z d i r e c t i o n o f t h e c a m e r a f r a m e .

I n a d d i t i o n , w e f o u n d n u m e r i c a l l y t h a t m o s t o f t h e

v a r i a t i o n s i n t h e v a r i a n c e

2

Z

c

a r e d u e t o t h e v a r i a -

t i o n o f v o l u m e V w i t h i n a s i n g l e s c a n . T h i s e x p l a i n s

w h y t h e r e c o n s t r u c t i o n n o i s e i s s y s t e m a t i c a l l y l a r g e r

i n p o r t i o n s o f t h e s c e n e f u r t h e r a w a y f r o m t h e l a m p

s e e g u r e s 6 , 7 a n d 8 . I n d e e d , i t c a n b e s h o w n t h a t ,

a s t h e s h a d o w m o v e s i n t o t h e o p p o s i t e d i r e c t i o n o f t h e

l a m p e . g . t o t h e r i g h t i f t h e l a m p i s o n t h e l e f t o f t h e

c a m e r a , t h e a b s o l u t e v a l u e o f t h e v o l u m e j V j s t r i c t l y

d e c r e a s e s , m a k i n g

2

Z

c

l a r g e r s e e 3 f o r d e t a i l s .

hS

dd

Xc

Oc

d

S

ccY

Z

C

L

Camera

Light source

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 01 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1d

O

Y

C

Z

B

ZA

A

B

d Y

S

ZC

n

h

dd

CY

W

Desk

S

B L AC

F i g u r e 5 : G e o m e t r i c s e t u p : T h e c a m e r a i s p o s i t i o n e d a t a

d i s t a n c e d

d

a w a y f r o m t h e d e s k p l a n e

d

a n d t i l t e d d o w n t o -

w a r d s i t a t a n a n g l e . T h e l i g h t s o u r c e i s l o c a t e d a t a h e i g h t

h

S

, w i t h i t s d i r e c t i o n d e n e d b y t h e a z i m u t h a n d e l e v a t i o n a n -

g l e s a n d . N o t i c e t h e s i g n o f c o s d i r e c t l y r e l a t e s t o w h i c h

s i d e o f t h e c a m e r a t h e l a m p i s s t a n d i n g : p o s i t i v e o n t h e r i g h t ,

a n d n e g a t i v e o n t h e l e f t . T h e b o t t o m g u r e i s a s i d e v i e w o f

t h e s y s t e m i n t h e O

c

; Y

c

; Z

c

p l a n e . T h e p o i n t s A a n d B a r e

t h e r e f e r e n c e p o i n t s o n t h e d e s k p l a n e s e e g u r e 2 .

I n o r d e r t o o b t a i n a u n i f o r m l y a c c u r a t e r e c o n s t r u c -

t i o n o f t h e e n t i r e s c e n e , o n e m a y t a k e t w o s c a n s o f t h e

s a m e s c e n e w i t h t h e l a m p a t t w o d i e r e n t l o c a t i o n s

o n t h e l e f t L a n d o n t h e r i g h t R o f t h e c a m e r a ,

a n d m e r g e t h e m t o g e t h e r u s i n g a t e a c h p i x e l t h e e s t i -

m a t e d r e l i a b i l i t y o f t h e t w o m e a s u r e m e n t s . A s s u m e

t h a t t h e c a m e r a p o s i t i o n , a s w e l l a s t h e h e i g h t h

S

o f t h e l a m p , a r e k e p t i d e n t i c a l f o r b o t h s c a n s . S u p -

p o s e i n a d d i t i o n t h a t t h e s c a n n i n g s p e e d s w e r e a p -

p r o x i m a t e l y t h e s a m e . T h e n , a t e v e r y p i x e l x

c

i n t h e

i m a g e , t h e t w o s c a n d a t a s e t s p r o v i d e t w o e s t i m a t e s

Z

L

c

a n d Z

R

c

o f t h e s a m e d e p t h Z

c

w i t h r e s p e c t i v e r e l i a -

b i l i t i e s

2

Z

L

a n d

2

Z

R

g i v e n b y e q u a t i o n 1 . I n a d d i t i o n ,

i f w e c a l l V

L

a n d V

R

t h e t w o r e s p e c t i v e v o l u m e s , t h e n

t h e r e l a t i v e u n c e r t a i n t y b e t w e e n Z

L

c

a n d Z

R

c

r e d u c e s

t o a f u n c t i o n o f t h e v o l u m e s :

2

Z

R

=

2

Z

L

= V

L

= V

R

2

.

N o t i c e t h a t c a l c u l a t i n g t h a t r e l a t i v e u n c e r t a i n t y d o e s

n o t r e q u i r e a n y e x t r a c o m p u t a t i o n , s i n c e V

L

a n d V

R

a r e a v a i l a b l e f r o m t h e t w o t r i a n g u l a t i o n s . T h e n a l

d e p t h i s c o m p u t e d b y w e i g h t e d a v e r a g e o f Z

L

c

a n d

Z

R

c

: Z

c

:

= !

L

Z

L

c

+ !

R

Z

R

c

. I f Z

R

c

a n d Z

L

c

w e r e G a u s -

5


6/8

s i a n d i s t r i b u t e d , a n d i n d e p e n d e n t , t h e y w o u l d b e o p -

t i m a l l y a v e r a g e d u s i n g t h e i n v e r s e o f t h e v a r i a n c e s a s

w e i g h t s 1 0 : !

L

=

2

Z

R

=

2

Z

L

+

2

Z

R

=

2

= 1 +

2

a n d !

R

=

2

Z

L

=

2

Z

L

+

2

Z

R

= 1 = 1 +

2

, w h e r e

= V

L

= V

R

. E x p e r i m e n t a l l y , w e f o u n d t h a t t h i s

c h o i c e d o e s n o t y i e l d v e r y g o o d m e r g e d s u r f a c e s . I t

m a k e s t h e n o i s y a r e a s o f o n e v i e w i n t e r a c t t o o s i g -

n i c a n t l y w i t h t h e c l e a n c o r r e s p o n d i n g a r e a s i n t h e

o t h e r v i e w , d e g r a d i n g t h e o v e r a l l n a l r e c o n s t r u c -

t i o n . T h i s h a p p e n s p o s s i b l y b e c a u s e t h e r a n d o m v a r i -

a b l e s Z

L

c

a n d Z

R

c

a r e n o t G a u s s i a n . A h e u r i s t i c s o l u -

t i o n t o t h a t p r o b l e m i s t o u s e s i g m o i d f u n c t i o n s t o

c a l c u l a t e t h e w e i g h t s : !

L

= 1 + e x p f , V g

, 1

,

a n d !

R

= 1 + e x p f V g

, 1

w i t h V = V

2

L

,

V

2

R

= V

2

L

+ V

2

R

=

2

, 1 =

2

+ 1 . T h e p o s i t i v e

c o e c i e n t c o n t r o l s t h e a m o u n t o f d i u s i o n b e t w e e n

t h e l e f t a n d t h e r i g h t r e g i o n s , a n d s h o u l d b e d e t e r -

m i n e d e x p e r i m e n t a l l y . I n t h e l i m i t , a s t e n d s t o i n -

n i t y , m e r g i n g r e d u c e s t o a h a r d d e c i s i o n : Z

c

= Z

L

c

i f

V

L

V

R

, a n d Z

c

= Z

R

c

o t h e r w i s e . O u r m e r g i n g t e c h -

n i q u e p r e s e n t s t w o a d v a n t a g e s : a o b t a i n i n g m o r e

c o v e r a g e o f t h e s c e n e a n d b r e d u c i n g t h e e s t i m a t i o n

n o i s e . M o r e o v e r , s i n c e w e d o n o t m o v e t h e c a m e r a b e -

t w e e n s c a n s , w e d o n o t h a v e t o s o l v e f o r t h e d i c u l t

p r o b l e m o f v i e w a l i g n m e n t 1 1 , 7 , 5 . O n e m e r g i n g

e x a m p l e i s p r e s e n t e d i n e x p e r i m e n t 3 .

I n d e p e n d e n t l y f r o m l o c a l v a r i a t i o n s i n a c c u r a c y

w i t h i n o n e s c a n , o n e w o u l d a l s o w i s h t o m a x i m i z e

t h e g l o b a l o r a v e r a g e a c c u r a c y o f r e c o n s t r u c t i o n

t h r o u g h o u t t h e e n t i r e s c e n e . I n t h i s p a p e r , s c a n n i n g i s

v e r t i c a l s h a d o w p a r a l l e l t o t h e y a x i s o f t h e i m a g e .

T h e r e f o r e , t h e a v e r a g e r e l a t i v e d e p t h e r r o r j

Z

c

= Z

c

j

i s i n v e r s e l y p r o p o r t i o n a l t o j c o s j s e e 3 . T h e t w o

b e s t v a l u e s f o r t h e a z i m u t h a n g l e a r e t h e n = 0 a n d

= c o r r e s p o n d i n g t o t h e l a m p s t a n d i n g e i t h e r t o

t h e r i g h t = 0 o r t o t h e l e f t = o f t h e c a m e r a

s e e g u r e 5 - t o p .

4 E x p e r i m e n t a l R e s u l t s

4 . 1 C a l i b r a t i o n a c c u r a c i e s

C a m e r a c a l i b r a t i o n . F o r a g i v e n s e t u p , w e a c -

q u i r e d 1 0 i m a g e s o f t h e c h e c k e r b o a r d s e e g u r e 1 ,

a n d p e r f o r m e d i n d e p e n d e n t c a l i b r a t i o n s o n t h e m . T h e

c h e c k e r b o a r d c o n s i s t e d o f a p p r o x i m a t e l y 9 0 v i s i b l e

c o r n e r s o n a 8 9 g r i d . T h e n , w e c o m p u t e d b o t h m e a n

v a l u e s a n d s t a n d a r d d e v i a t i o n s o f a l l t h e p a r a m e t e r s

i n d e p e n d e n t l y : t h e f o c a l l e n g t h f

c

, r a d i a l d i s t o r t i o n

f a c t o r k

c

a n d d e s k p l a n e p o s i t i o n

d

. R e g a r d i n g t h e

d e s k p l a n e p o s i t i o n , i t i s c o n v e n i e n t t o l o o k a t t h e

h e i g h t d

d

a n d t h e s u r f a c e n o r m a l v e c t o r n

d

o f

d

e x -

p r e s s e d i n t h e c a m e r a r e f e r e n c e f r a m e . A n a d d i t i o n a l

g e o m e t r i c a l q u a n t i t y r e l a t e d t o n

d

i s t h e t i l t a n g l e

s e e g u r e 5 . T h e f o l l o w i n g t a b l e s u m m a r i z e s t h e c a l -

i b r a t i o n r e s u l t s n o t i c e t h a t t h e r e l a t i v e e r r o r o n t h e

a n g l e i s c o m p u t e d r e f e r r i n g t o 3 6 0 d e g r e e s :

P a r a m e t e r s E s t i m a t e s

R e l a t i v e

e r r o r s

f

c

p i x e l s 8 5 7 3 1 3 0 2

k

c

, 0 1 9 9 0 0 0 2 1

d

d

c m 1 6 6 9 0 0 2 0 1

n

d

, 0 0 4 2 7 0 0 0 0 3

0 7 5 1 5 0 0 0 0 3

0 6 5 9 4 0 0 0 0 4

!

0 0 6

d e g r e e s 4 1 2 7 0 0 2 0 0 0 6

L a m p c a l i b r a t i o n . S i m i l a r l y , w e c o l l e c t e d 1 0 i m a g e s

o f t h e p e n c i l s h a d o w l i k e g u r e 3 - t o p - r i g h t a n d p e r -

f o r m e d c a l i b r a t i o n o f t h e l i g h t s o u r c e o n t h e m . S e e

s e c t i o n 2 . 1 . N o t i c e t h a t t h e p o i n t s b a n d t

s

w e r e m a n -

u a l l y e x t r a c t e d f r o m t h e i m a g e s . D e n e S

c

a s t h e c o -

o r d i n a t e v e c t o r o f t h e l i g h t s o u r c e i n t h e c a m e r a f r a m e .

T h e f o l l o w i n g t a b l e s u m m a r i z e s t h e c a l i b r a t i o n r e s u l t s

r e f e r t o g u r e 5 f o r n o t a t i o n :


R e l a t i v e

e r r o r s

S

c

c m

, 1 3 7 0 1

, 1 7 2 0 3

, 2 9 0 1

!

2

h

S

c m 3 4 0 4 0 1 5 0 5

d e g r e e s 1 4 6 0 0 8 0 2

d e g r e e s 6 4 6 0 2 0 0 6

T h e e s t i m a t e d l a m p h e i g h t a g r e e s w i t h t h e m a n u a l

m e a s u r e w i t h a r u l e r o f 3 4 0 : 5 c m .

O u r m e t h o d y i e l d s a n a c c u r a c y o f a p p r o x i m a t e l y

3 m m i n s t a n d a r d d e v i a t i o n i n l o c a l i z i n g t h e l i g h t

s o u r c e . T h i s a c c u r a c y i s s u c i e n t f o r n a l s h a p e r e -

c o v e r y w i t h o u t s i g n i c a n t d e f o r m a t i o n , a s w e d i s c u s s

i n t h e n e x t s e c t i o n .

4 . 2 S c e n e r e c o n s t r u c t i o n s

O n t h e r s t s c e n e g u r e 6 , w e e v a l u a t e d t h e a c c u -

r a c y o f r e c o n s t r u c t i o n b a s e d o n t h e s i z e s a n d s h a p e s

o f t h e p l a n e a t t h e b o t t o m l e f t c o r n e r a n d t h e c o r n e r

o b j e c t o n t h e t o p o f t h e s c e n e s e e g u r e 4 - t o p .

P l a n a r i t y o f t h e p l a n e : W e t a p l a n e a c r o s s t h e

p o i n t s l y i n g o n t h e p l a n a r p a t c h a n d e s t i m a t e d t h e

s t a n d a r d d e v i a t i o n o f t h e s e t o f r e s i d u a l d i s t a n c e s

o f t h e p o i n t s t o t h e p l a n e t o 0 : 2 3 m m . T h i s c o r -

r e s p o n d s t o t h e g r a n u l a r i t y o r r o u g h n e s s n o i s e o n

t h e p l a n a r s u r f a c e . T h e t w a s d o n e o v e r a s u r -

f a c e p a t c h o f a p p r o x i m a t e s i z e 4 c m 6 c m . T h i s

l e a d s t o a r e l a t i v e n o n p l a n a r i t y o f a p p r o x i m a t e l y

0 : 2 3 m m = 5 c m = 0 : 4 . T o c h e c k f o r p o s s i b l e g l o b a l

d e f o r m a t i o n s d u e t o e r r o r s i n c a l i b r a t i o n , w e a l s o t

a q u a d r a t i c p a t c h a c r o s s t h o s e p o i n t s . W e n o t i c e d

a d e c r e a s e o f a p p r o x i m a t e l y 6 i n r e s i d u a l s t a n d a r d

d e v i a t i o n a f t e r q u a d r a t i c w a r p i n g . T h i s l e a d s u s t o

b e l i e v e t h a t g l o b a l g e o m e t r i c d e f o r m a t i o n s a r e n e g l i -

g i b l e c o m p a r e d t o l o c a l s u r f a c e n o i s e . I n o t h e r w o r d s ,

o n e m a y a s s u m e t h a t t h e e r r o r s o f c a l i b r a t i o n d o n o t

i n d u c e s i g n i c a n t g l o b a l d e f o r m a t i o n s o n t h e n a l r e -

c o n s t r u c t i o n .

6


7/8

F i g u r e 6 : E x p e r i m e n t 1 - T h e p l a n e b a l l c o r n e r s c e n e :

T w o v i e w s o f t h e m e s h g e n e r a t e d f r o m t h e c l o u d o f p o i n t s o b -

t a i n e d a f t e r t r i a n g u l a t i o n . T h e o r i g i n a l s e q u e n c e w a s 2 7 0 f r a m e s

l o n g , t h e i m a g e s b e i n g 3 2 0 2 4 0 p i x e l s e a c h . A t 6 0 H z a c q u i s i -

t i o n f r e q u e n c y , t h e e n t i r e s c a n n i n g t a k e 5 s e c o n d s . T h e c a m e r a

w a s p o s i t i o n e d a t d i s t a n c e d

d

= 1 6 7 c m f r o m t h e d e s k p l a n e ,

t i l t e d d o w n b y = 4 1 3 d e g r e e s . T h e l i g h t s o u r c e w a s a t h e i g h t

h

S

= 3 7 7 c m , o n t h e l e f t o f t h e c a m e r a a t a n g l e s = 1 5 7 1

d e g r e e s a n d = 6 4 8 d e g r e e s . F r o m t h e r i g h t - h a n d g u r e w e

n o t i c e t h a t t h e r i g h t - h a n d s i d e o f t h e r e c o n s t r u c t e d s c e n e i s

m o r e n o i s y t h a n t h e l e f t - h a n d s i d e . T h i s w a s e x p e c t e d s i n c e t h e

l a m p w a s s t a n d i n g o n t h e l e f t o f t h e c a m e r a r e f e r t o s e c t i o n 3

f o r d e t a i l s .

G e o m e t r y o f t h e c o r n e r : W e t 2 p l a n e s t o t h e

c o r n e r s t r u c t u r e , o n e c o r r e s p o n d i n g t o t h e t o p s u r f a c e

t h e h o r i z o n t a l p l a n e a n d t h e o t h e r o n e t o t h e f r o n t a l

s u r f a c e v e r t i c a l p l a n e . W e e s t i m a t e d t h e s u r f a c e

n o i s e o f t h e t o p s u r f a c e t o 0 : 1 2 5 m m , a n d t h a t o f t h e

f r o n t a l f a c e t o 0 : 8 m m a l m o s t 7 t i m e s l a r g e r . T h i s

n o i s e d i e r e n c e b e t w e e n t h e t w o p l a n e s c a n b e o b -

s e r v e d o n g u r e 6 . O n c e a g a i n , a f t e r t t i n g q u a d r a t i c

p a t c h e s t o t h e t w o p l a n a r p o r t i o n s , w e d i d n o t n o -

t i c e a n y s i g n i c a n t g l o b a l g e o m e t r i c d i s t o r t i o n i n t h e

s c e n e f r o m p l a n a r t o q u a d r a t i c w a r p i n g , t h e r e s i d u a l

n o i s e d e c r e a s e d b y o n l y 5 i n s t a n d a r d d e v i a t i o n .

F r o m t h e r e c o n s t r u c t i o n , w e e s t i m a t e d t h e h e i g h t H

a n d w i d t h D o f t h e r i g h t a n g l e s t r u c t u r e , a s w e l l a s

t h e a n g l e b e t w e e n t h e t w o r e c o n s t r u c t e d p l a n e s , a n d

c o m p a r e d t h e m t o t h e i r t r u e v a l u e s :


T r u e

v a l u e s

R e l a t i v e

e r r o r s

H c m 2 5 7 0 0 2 2 6 5 0 0 2 3

D c m 3 0 6 0 0 2 3 0 2 0 0 2 1 3

d e g r e e s 8 6 2 1 9 0 1

T h e o v e r a l l r e c o n s t r u c t e d s t r u c t u r e d o e s n o t h a v e

a n y m a j o r n o t i c e a b l e g l o b a l d e f o r m a t i o n i t s e e m s t h a t

t h e c a l i b r a t i o n p r o c e s s g i v e s g o o d e n o u g h e s t i m a t e s .

T h e m o s t n o t i c e a b l e s o u r c e o f e r r o r s i s t h e s u r f a c e

n o i s e d u e t o l o c a l i m a g e p r o c e s s i n g . A g u r e o f m e r i t

t o k e e p i n m i n d i s a s u r f a c e n o i s e b e t w e e n 0 : 1 m m f o r

p l a n e s r o u g h l y p a r a l l e l t o t h e d e s k a n d 0 : 8 m m f o r

f r o n t a l p l a n e i n t h e r i g h t c o r n e r . I n m o s t p o r t i o n s

o f t h e s c e n e , t h e e r r o r s a r e o f t h e o r d e r o f 0 : 3 m m ,

i . e . l e s s t h a n 1 . N o t i c e t h a t t h e s e g u r e s m a y v e r y

w e l l v a r y f r o m e x p e r i m e n t t o e x p e r i m e n t , e s p e c i a l l y

d e p e n d i n g o n h o w f a s t t h e s c a n n i n g i s p e r f o r m e d . I n

a l l t h e p r e s e n t e d e x p e r i m e n t s , w e k e p t t h e s p e e d o f

t h e s h a d o w a p p r o x i m a t e l y u n i f o r m .

F i g u r e 7 : E x p e r i m e n t 2 - T h e c u p p l a n e b a l l s c e n e : T h e

s c a n n e d o b j e c t s w e r e a c u p , t h e p l a n e a n d t h e b a l l . T h e i n i -

t i a l i m a g e o f t h e s c e n e i s s h o w n o n t h e l e f t , a n d t h e n a l r e -

c o n s t r u c t e d m e s h o n t h e r i g h t . W e f o u n d a g r e e m e n t b e t w e e n

t h e e s t i m a t e d h e i g h t o f t h e c u p f r o m t h e 3 D r e c o n s t r u c t i o n ,

1 1 0 4 0 0 9 c m , a n d t h e m e a s u r e d h e i g h t o b t a i n e d u s i n g a

r u l e r , 1 0 9 5 0 0 5 c m . O n c e a g a i n t h e r i g h t p o r t i o n o n t h e

r e c o n s t r u c t e d s c e n e i s n o i s i e r t h a n t h e l e f t p o r t i o n . T h i s w a s

e x p e c t e d s i n c e t h e l i g h t s o u r c e w a s , o n c e a g a i n , s t a n d i n g t o t h e

l e f t o f t h e c a m e r a . G e o m e t r i c a l p a r a m e t e r s : d

d

= 2 2 6 c m ,

= 3 8 2 d e g r e e s , h

S

= 4 3 2 c m , = 1 5 5 9 d e g r e e s , a n d = 6 9

d e g r e e s .

F i g u r e s 7 a n d 8 r e p o r t t h e r e c o n s t r u c t i o n r e s u l t s

a c h i e v e d o n t w o o t h e r s c e n e s .

5 C o n c l u s i o n a n d f u t u r e w o r k

W e h a v e p r e s e n t e d a s i m p l e , l o w c o s t s y s t e m f o r

e x t r a c t i n g s u r f a c e s h a p e o f o b j e c t s . T h e m e t h o d r e -

q u i r e s v e r y l i t t l e p r o c e s s i n g a n d i m a g e s t o r a g e s o t h a t

i t c a n b e i m p l e m e n t e d i n r e a l t i m e . T h e a c c u r a c i e s

w e o b t a i n e d o n t h e n a l r e c o n s t r u c t i o n s a r e r e a s o n -

a b l e a t m o s t 1 o r 0 : 5 m m n o i s e e r r o r c o n s i d e r i n g

t h e l i t t l e h a r d w a r e r e q u i r e m e n t . I n a d d i t i o n , t h e n a l

o u t c o m e i s a d e n s e c o v e r a g e o f t h e s u r f a c e o n e p o i n t

i n s p a c e f o r e a c h p i x e l i n t h e i m a g e a l l o w i n g f o r d i r e c t

t e x t u r e m a p p i n g .

A n e r r o r a n a l y s i s w a s p r e s e n t e d t o g e t h e r w i t h t h e

d e s c r i p t i o n o f a s i m p l e t e c h n i q u e f o r m e r g i n g m u l t i -

p l e 3 D s c a n s t o g e t h e r i n o r d e r t o a o b t a i n a b e t t e r

c o v e r a g e o f t h e s c e n e , a n d b r e d u c e t h e e s t i m a t i o n

n o i s e . T h e o v e r a l l c a l i b r a t i o n p r o c e d u r e , e v e n i n t h e

c a s e o f m u l t i p l e s c a n s , i s v e r y i n t u i t i v e , s i m p l e , a n d

s u c i e n t l y a c c u r a t e .

A n o t h e r a d v a n t a g e o f o u r a p p r o a c h i s t h a t i t e a s i l y

s c a l e s t o l a r g e r s c e n a r i o s i n d o o r s u s i n g m o r e p o w e r -

f u l l a m p s l i k e p h o t o - o o d s a n d o u t d o o r s w h e r e t h e

s u n m a y b e u s e d a s a c a l i b r a t e d l i g h t s o u r c e g i v e n

l a t i t u d e , l o n g i t u d e , a n d t i m e o f d a y . T h e s e a r e e x -

p e r i m e n t s t h a t w e w i s h t o c a r r y o u t i n t h e f u t u r e .

O t h e r e x t e n s i o n s o f t h i s w o r k r e l a t e t o m u l t i p l e

v i e w i n t e g r a t i o n . W e w i s h t o e x t e n d t h e a l i g n m e n t

t e c h n i q u e t o a m e t h o d a l l o w i n g t h e u s e r t o m o v e f r e e l y

t h e o b j e c t i n f r o n t o f t h e c a m e r a a n d t h e l a m p b e t w e e n

s c a n s i n o r d e r t o a c h i e v e a f u l l c o v e r a g e . T h a t i s n e c -

e s s a r y t o c o n s t r u c t c o m p l e t e 3 D m o d e l s .

I t i s a l s o p a r t o f f u t u r e w o r k t o i n c o r p o r a t e a g e o -

m e t r i c a l m o d e l o f e x t e n d e d l i g h t s o u r c e t o t h e s h a d o w

e d g e d e t e c t i o n p r o c e s s , i n a d d i t i o n t o d e v e l o p i n g a n

u n c a l i b r a t e d o r p r o j e c t i v e v e r s i o n o f t h e m e t h o d .

7


8/8

F i g u r e 8 : E x p e r i m e n t 3 - T h e a n g e l s c e n e : W e t o o k t w o

s c a n s o f t h e a n g e l w i t h t h e l a m p r s t o n t h e l e f t s i d e t o p - l e f t

a n d t h e n o n t h e r i g h t s i d e t o p - r i g h t o f t h e c a m e r a . T h e t w o

r e s u l t i n g m e s h e s a r e s h o w n o n t h e s e c o n d r o w , l e f t a n d r i g h t .

A s e x p e c t e d , t h e p o r t i o n s f u r t h e r a w a y f r o m t h e l i g h t s o u r c e a r e

n o i s i e r . T h e t w o m e s h e s w e r e t h e n m e r g e d t o g e t h e r f o l l o w i n g

t h e t e c h n i q u e d e s c r i b e d i n s e c t i o n 3 , w i t h d i u s i o n c o e c i e n t

= 1 5 . F o u r d i e r e n t v i e w s o f t h e n a l m e s h 4 7 0 7 6 t r i a n g l e s

a r e p r e s e n t e d . N o t i c e t h e s m a l l s u r f a c e n o i s e : w e e s t i m a t e d i t

t o 0 0 9 m m t h r o u g h o u t t h e e n t i r e r e c o n s t r u c t e d s u r f a c e . O v e r

a d e p t h v a r i a t i o n o f a p p r o x i m a t e l y 1 0 c m , t h i s m e a n s a r e l a t i v e

e r r o r o f 0 1 . T h e f e w w h i t e h o l e s c o r r e s p o n d t o t h e o c c l u d e d

p o r t i o n s o f t h e s c e n e n o t o b s e r v e d f r o m t h e c a m e r a o r n o t

i l l u m i n a t e d . M o s t o f t h e g e o m e t r i c a l c o n s t a n t s i n t h e s e t u p

w e r e k e p t r o u g h l y i d e n t i c a l i n b o t h s c a n s : d

d

= 2 2 c m , = 4 0

d e g r e e s , h

S

= 6 2 c m , 7 0 d e g r e e s ; w e o n l y c h a n g e d t h e

a z i m u t h a n g l e f r o m l a m p o n t h e l e f t t o 0 l a m p o n t h e

r i g h t . I n t h i s e x p e r i m e n t w e t o o k t h e l a m p r e e c t o r o , l e a v i n g

t h e b u l b n a k e d . C o n s e q u e n t l y , w e n o t i c e d a s i g n i c a n t i m p r o v e -

m e n t i n t h e s h a r p n e s s o f t h e p r o j e c t e d s h a d o w c o m p a r e d t o t h e

t w o r s t e x p e r i m e n t s . W e b e l i e v e t h a t t h i s o p e r a t i o n w a s t h e

m a i n r e a s o n f o r t h e n o t i c e a b l e i m p r o v e m e n t i n r e c o n s t r u c t i o n

q u a l i t y . O n c e a g a i n , t h e r e w a s n o s i g n i c a n t g l o b a l d e f o r m a t i o n

i n t h e n a l s t r u c t u r e d s u r f a c e : w e t a q u a d r a t i c m o d e l t h r o u g h

t h e r e c o n s t r u c t e d s e t o f p o i n t s o n t h e d e s k p l a n e a n d n o t i c e d

f r o m p l a n a r t o q u a d r a t i c w a r p i n g a d e c r e a s e o f o n l y 2 o n t h e

s t a n d a r d d e v i a t i o n o f s u r f a c e n o i s e .

A c k n o w l e d g m e n t s

T h i s w o r k i s s u p p o r t e d i n p a r t b y t h e C a l i f o r n i a I n s t i t u t e

o f T e c h n o l o g y ; a n N S F N a t i o n a l Y o u n g I n v e s t i g a t o r A w a r d t o

P . P . ; t h e C e n t e r f o r N e u r o m o r p h i c S y s t e m s E n g i n e e r i n g f u n d e d

b y t h e N a t i o n a l S c i e n c e F o u n d a t i o n a t t h e C a l i f o r n i a I n s t i t u t e

o f T e c h n o l o g y ; a n d b y t h e C a l i f o r n i a T r a d e a n d C o m m e r c e

A g e n c y , O c e o f S t r a t e g i c T e c h n o l o g y . W e w i s h t o t h a n k a l l

t h e c o l l e a g u e s t h a t h e l p e d u s t h r o u g h o u t t h i s w o r k , e s p e c i a l l y

L u i s G o n c a l v e s , G e o r g e B a r b a s t a t h i s , M a r i o M u n i c h , a n d A r -

r i g o B e n e d e t t i f o r v e r y u s e f u l d i s c u s s i o n s . C o m m e n t s f r o m t h e

a n o n y m o u s r e v i e w e r s w e r e v e r y h e l p f u l i n i m p r o v i n g a p r e v i o u s

v e r s i o n o f t h e p a p e r .

R e f e r e n c e s

1 P a u l B e s l , A d v a n c e s i n M a c h i n e V i s i o n , c h a p t e r 1 - A c t i v e

o p t i c a l r a n g e i m a g i n g s e n s o r s , p a g e s 1 6 3 , S p r i n g e r - V e r l a g ,

1 9 8 9 .

2 P . J . B e s l a n d N . D . M c K a y , A m e t h o d f o r r e g i s t r a t i o n o f

3 - d s h a p e s " , I E E E T r a n s a c t i o n s o n P a t t e r n A n a l y s i s a n d

M a c h i n e I n t e l l i g e n c e , 1 4 2 : 2 3 9 2 5 6 , 1 9 9 2 .

3 J e a n - Y v e s B o u g u e t a n d P i e t r o P e r o n a , 3 D p h o -

t o g r a p h y o n y o u r d e s k " , T e c h n i c a l r e p o r t , C a l -

i f o r n i a I n s t i t u t e o f T e c h n o l o g y , 1 9 9 7 , a v a i l a b l e a t :

h t t p : w w w . v i s i o n . c a l t e c h . e d u b o u g u e t j I C C V 9 8 .

4 B r i a n C u r l e s s a n d M a r c L e v o y , B e t t e r o p t i c a l t r i a n g u -

l a t i o n t h r o u g h s p a c e t i m e a n a l y s i s " , P r o c . 5

t h

I n t . C o n f .

C o m p u t e r V i s i o n , p a g e s 9 8 7 9 9 3 , 1 9 9 5 .

5 B r i a n C u r l e s s a n d M a r c L e v o y , A v o l u m e t r i c m e t h o d

f o r b u i l d i n g c o m p l e x m o d e l s f r o m r a n g e i m a g e s " , S I G -

G R A P H 9 6 , C o m p u t e r G r a p h i c s P r o c e e d i n g s , 1 9 9 6 .

6 O . D . F a u g e r a s , T h r e e d i m e n s i o n a l v i s i o n , a g e o m e t r i c

v i e w p o i n t , M I T P r e s s , 1 9 9 3 .

7 B e r t h o l d K . P . H o r n , C l o s e d - f o r m s o l u t i o n o f a b s o l u t e o r i -

e n t a t i o n u s i n g u n i t q u a t e r n i o n s " , J . O p t . S o c . A m . A ,

4 4 : 6 2 9 6 4 2 , 1 9 8 7 .

8 J u r g e n R . M e y e r - A r e n d t , R a d i o m e t r y a n d p h o t o m e t r y :

U n i t s a n d c o n v e r s i o n f a c t o r s " , A p p l i e d O p t i c s , 7 1 0 : 2 0 8 1

2 0 8 4 , O c t o b e r 1 9 6 8 .

9 S h r e e K . N a y a r , K a t s u s h i I k e u c h i , a n d T a k e o K a n a d e ,

S h a p e f r o m i n t e r r e e c t i o n s " , I n t . J . o f C o m p u t e r V i s i o n ,

6 3 : 1 7 3 1 9 5 , 1 9 9 1 .

1 0 A t h a n a s i o s P a p o u l i s , P r o b a b i l i t y , R a n d o m V a r i a b l e s a n d

S t o c h a s t i c P r o c e s s e s , M a c G r a w H i l l , 1 9 9 1 , T h i r d E d i t i o n .

1 1 A . J . S t o d d a r t a n d A . H i l t o n , R e g i s t r a t i o n o f m u l t i p l e

p o i n t s e t s " , P r o c e e d i n g s o f t h e 1 3 t h I n t . C o n f . o f P a t t e r n

R e c o g n i t i o n , 1 9 9 6 .

1 2 M a r j a n T r o b i n a , E r r o r m o d e l o f a c o d e d - l i g h t r a n g e

s e n s o r " , T e c h n i c a l R e p o r t B I W I - T R - 1 6 4 , E T H - Z e n t r u m ,

1 9 9 5 .

1 3 R . Y . T s a i , A v e r s a t i l e c a m e r a c a l i b r a t i o n t e c h n i q u e f o r

h i g h a c c u r a c y 3 d m a c h i n e v i s i o n m e t r o l o g y u s i n g o - t h e -

s h e l f t v c a m e r a s a n d l e n s e s " , I E E E J . R o b o t i c s A u t o m a t . ,

R A - 3 4 : 3 2 3 3 4 4 , 1 9 8 7 .

1 4 J o h n W . T . W a l s h , P h o t o m e t r y , D o v e r , N Y , 1 9 6 5 .

1 5 Y . F . W a n g , C h a r a c t e r i z i n g t h r e e - d i m e n s i o n a l s u r f a c e

s t r u c t u r e s f r o m v i s u a l i m a g e s " , I E E E T r a n s a c t i o n s o n

P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , 1 3 1 : 5 2 6 0 ,

1 9 9 1 .

1 6 Z . Y a n g a n d Y . F . W a n g , E r r o r a n a l y s i s o f 3 D s h a p e c o n -

s t r u c t i o n f r o m s t r u c t u r e d l i g h t i n g " , P a t t e r n R e c o g n i t i o n ,

2 9 2 : 1 8 9 2 0 6 , 1 9 9 6 .

8

3d photography on your desk

Documents