99-18_error correction techniques for peer writing, speech and other ambiguous or prone systems

8/13/2019 99-18_Error Correction Techniques for Peer Writing, Speech and Other Ambiguous or Prone Systems

1/9


2/9

1 . 2 D e n i n g T h e A r e a

O u r s u r v e y h a s h a v e i d e n t i e d v e k e y r e s e a r c h a r e a s

f o r e r r o r h a n d l i n g o f r e c o g n i t i o n - b a s e d i n t e r f a c e s .

E r r o r r e d u c t i o n E r r o r r e d u c t i o n i n v o l v e s r e s e a r c h i n t o

i m p r o v i n g r e c o g n i t i o n t e c h n o l o g y i n o r d e r t o e l i m i n a t e

o r r e d u c e e r r o r s . I t h a s b e e n t h e f o c u s o f e x t e n s i v e r e -

s e a r c h , a n d c o u l d e a s i l y b e t h e s u b j e c t o f a w h o l e p a -

p e r o n i t s o w n . E v i d e n c e s u g g e s t s t h a t i t s h o l y g r a i l ,

t h e e l i m i n a t i o n o f e r r o r s , i s p r o b a b l y n o t a c h i e v a b l e .

A n d b i g i m p r o v e m e n t s 5 - 1 0 a r e r e q u i r e d b e f o r e

u s e r s e v e n n o t i c e a d i e r e n c e B u s k i r k & L a L o m i a ,

1 9 9 5 . B e c a u s e o f t h e s e f a c t s , w e h a v e c h o s e n n o t t o

a d d r e s s e r r o r r e d u c t i o n i n t h i s p a p e r .

E r r o r d i s c o v e r y B e f o r e e i t h e r t h e s y s t e m o r t h e u s e r

c a n t a k e a n y a c t i o n r e l a t e d t o a g i v e n e r r o r , o n e o f

t h e m h a s t o k n o w t h a t t h e e r r o r h a s o c c u r e d . T h e

s y s t e m m a y b e t o l d o f a n e r r o r t h r o u g h u s e r i n p u t , a n d

c a n h e l p t h e u s e r t o n d e r r o r s t h r o u g h i t s o u t p u t . I n

a d d i t i o n , s y s t e m d e s i g n e r s h a v e u s e d t h r e e t e c h n i q u e s

t o a u t o m a t e e r r o r d i s c o v e r y | t h r e s h o l d i n g , r u l e s , a n d

h i s t o r i c a l s t a t i s t i c s .

E r r o r c o r r e c t i o n t e c h n i q u e s J u s t a s t h e u s e r i n t e r -

f a c e i s t h e o n l y w a y o n e p a r t y c a n i n f o r m t h e o t h e r

t h a t a n e r r o r h a s o c c u r e d , i t i s a l s o t h e o n l y w a y t h a t

t h e u s e r c a n c o r r e c t a n e r r o r . W e f o u n d t h a t c u r r e n t

e r r o r h a n d l i n g t e c h n i q u e s f a l l i n t o t h r e e m a i n c a t e -

g o r i e s | c h o o s i n g a d e f a u l t , e n c o u r a g i n g l e s s a m b i g u -

o u s i n p u t , a n d m i m i c k i n g n a t u r a l h u m a n c o r r e c t i o n

s t r a t e g i e s .

V a l i d a t i o n o f t e c h n i q u e s V a l i d a t i o n g o e s h a n d i n h a n d

w i t h r e s e a r c h i n t o e r r o r c o r r e c t i o n t e c h n i q u e s . V a l i d a -

t i o n i s t h e o n l y w a y t o d e t e r m i n e t h e e e c t i v e n e s s o f

d i e r e n t d e s i g n s . O u r s u r v e y u n c o v e r e d r e s e a r c h i n t o

t h e o r e t i c a l i s s u e s s u c h a s h o w t o c o m p a r e t e c h n i q u e s ,

a n d p r a c t i c a l r e s u l t s s u c h a s w h i c h t e c h n i q u e s a r e e f -

f e c t i v e .

T o o l k i t l e v e l s u p p o r t T o o l k i t s p r o v i d e r e u s a b l e c o m -

p o n e n t s a n d a r e m o s t u s e f u l w h e n a c l a s s o f c o m m o n ,

s i m i l a r p r o b l e m s e x i s t s . I n t e r f a c e s f o r e r r o r h a n d l i n g

w o u l d b e n e t t r e m e n d o u s l y f r o m a t o o l k i t w h i c h c o u l d

b e u s e d a n d r e - u s e d e v e r y t i m e a n e r r o r p r o n e s i t u a -

t i o n a r o s e . I n a d d i t i o n t o i n t e r f a c e w i d g e t s , a t o o l k i t

w o u l d n e e d t o s u p p o r t c o m p l e t e r e v e r s i b i l i t y , a n d k e e p

t r a c k o f m u l t i p l e p o t e n t i a l i n t e r p r e t a t i o n s a t o n c e .

I n a d d i t i o n t o s u r v e y i n g e x i s t i n g w o r k , w e a r e b u i l d -

i n g a p l a t f o r m t o t e s t s t r a t e g i e s f o r d e a l i n g w i t h s e g -

m e n t a t i o n e r r o r s , h a n d w r i t i n g r e c o g n i t i o n e r r o r s , a n d

g e s t u r e r e c o g n i t i o n e r r o r s s e e F i g u r e 1 . O u r s y s t e m ,

c a l l e d P e n P a d , s u p p o r t s h a n d w r i t i n g r e c o g n i t i o n i n t h e

c o n t e x t o f p e r s o n a l n o t e - t a k i n g . O u r m o t i v a t i o n f o r t h i s

a p p l i c a t i o n i s t o s u p p o r t n o t e t a k i n g a n d d o c u m e n t c r e -

a t i o n i n s i t u a t i o n s w h e n t y p i n g i s n o t a n o p t i o n . T h i s

Figure 1: PenPads user interface. The words: P e n -p a d ; a r o u n d ; b o t h t h e ; a l l ; p o t e n t i a l ; were allrecog-nized correctly. The darker the word, the surer the rec-ognizer is of this. The word interpretations was rec-ognized incorrectly. When the user moves the mouseover this word, ve alternatives are displayed, shownin the blow-up. The words ink, and were originallyincorrect, but the user was able to select them from asimilar set of ve potential choices.


3/9

i n c l u d e s m o b i l e s e t t i n g s , a n d u s e r s w i t h r e p e t i t i v e s t r e s s

i n j u r i e s o r o t h e r d i s a b i l i t i e s w h i c h m a k e k e y b o a r d t y p -

i n g d i c u l t .

T h e r e s t o f t h i s p a p e r d e s c r i b e s t h e r e s u l t s o f o u r

s u r v e y . W e d i s c u s s r e s e a r c h i n e a c h o f t h e l a s t f o u r

s u b - a r e a s m e n t i o n e d a b o v e | e r r o r d i s c o v e r y , e r r o r c o r -

r e c t i o n t e c h n i q u e s , v a l i d a t i o n o f t e c h n i q u e s , a n d t o o l k i t

l e v e l s u p p o r t .

2 E R R O R D I S C O V E R Y

B e f o r e t h e s y s t e m c a n s u p p o r t e r r o r r e c o v e r y i n a n y w a y ,

o r t h e u s e r c a n h a n d l e a n e r r o r , o n e o r t h e o t h e r n e e d s

t o k n o w t h a t a n e r r o r h a s o c c u r r e d . T h e u s e r i n t e r f a c e

i s a c o n d u i t t h r o u g h w h i c h t h e s y s t e m a n d u s e r c a n

p a s s i n f o r m a t i o n . U s e r i n p u t c a n n o t i f y t h e s y s t e m o f

a n e r r o r a n d c o r r e c t i t , d e s c r i b e d i n m o r e d e t a i l i n t h e

n e x t s e c t i o n . A n d i t i s t h r o u g h v i s u a l o r o r a l f e e d b a c k

t h a t t h e s y s t e m h e l p s t h e u s e r t o i d e n t i f y e r r o r s .

T h e s y s t e m c a n a l s o t r y t o d e t e r m i n e w h e n i t h a s

m a d e a m i s t a k e w i t h o u t t h e u s e r ' s h e l p , e i t h e r t h r o u g h

t h r e s h o l d i n g B a b e r & H o n e , 1 9 9 3 ; P o o n e t a l . , 1 9 9 5 ;

B r e n n a n & H u l t e e n , 1 9 9 5 , a r u l e b a s e B a b e r & H o n e ,

1 9 9 3 ; D a v i s , 1 9 7 9 , o r h i s t o r i c a l s t a t i s t i c s M a r x &

S c h m a n d t , 1 9 9 4 .

2 . 1 U s e r i n p u t t o h e l p t h e s y s t e m n d

e r r o r s

I n t h e m o s t c o m m o n a p p r o a c h e s t o n o t i c a t i o n , t h e

u s e r e x p l i c i t l y i n d i c a t e s t h e p r e s e n c e o f a n e r r o r b y , f o r

e x a m p l e , c l i c k i n g o n a w o r d , o r s a y i n g a s p e c i a l k e y -

w o r d . M a n y s p e e c h a n d h a n d w r i t i n g r e c o g n i t i o n s y s -

t e m s u s e t h i s a p p r o a c h . T h r e e w e l l k n o w n e x a m p l e s

a r e t h e P a l m P i l o t

t m

, D r a g o n D i c t a t e

t m

, a n d t h e A p p l e

M e s s a g e P a d

t m

. F o r e x a m p l e , w h e n t h e u s e r c l i c k s o n a

w o r d i n t h e A p p l e M e s s a g e P a d

t m

, a m e n u o f a l t e r n a t i v e

i n t e r p r e t a t i o n s a p p e a r s .

I n c a s e s w h e r e t h e r e i s n o s p e c i a l i n t e r f a c e f o r n o t i -

c a t i o n o r c o r r e c t i o n , u s e r a c t i o n m a y s t i l l h e l p t h e s y s -

t e m t o d i s c o v e r e r r o r s . F o r e x a m p l e , i f t h e u s e r d e l e t e s

a w o r d a n d e n t e r s a n e w o n e , t h e s y s t e m m a y i n f e r t h a t

a n e r r o r h a s o c c u r r e d b y m a t c h i n g t h e d e l e t e d w o r d t o

t h e n e w o n e .

2 . 2 S y s t e m o u t p u t t o h e l p t h e u s e r n d

e r r o r s

T h e r e i s a p l e t h o r a o f h i d d e n i n f o r m a t i o n a v a i l a b l e t o

t h e s y s t e m d e s i g n e r w h i c h c a n h e l p u s e r s t o i d e n t i f y

e r r o r s . T h e l i k e l i h o o d t h a t s o m e t h i n g i s c o r r e c t , t h e

h i s t o r y o f v a l u e s a n i t e m h a s h a d , o t h e r p o s s i b l e v a l -

u e s i t c o u l d h a v e , a n d t h e u s e r ' s o r i g i n a l i n p u t a r e j u s t

a f e w o f t h e n o n a p p l i c a t i o n - s p e c i c o n e s . O u r s u r v e y

s h o w s t h a t d e s i g n e r a f t e r d e s i g n e r h a s f o u n d i t b e n e -

c i a l t o r e v e a l s o m e o f t h i s h i d d e n i n f o r m a t i o n t o t h e u s e r

B r e n n a n & H u l t e e n , 1 9 9 5 ; D a v i s , 1 9 7 9 ; G o l d b e r g &

G o o d i s m a n , 1 9 9 1 ; I g a r a s h i e t a l . , 1 9 9 7 ; K u r t e n b a c h

e t a l . , 1 9 9 4 ; R h o d e s & S t a r n e r , 1 9 9 6 T w o o f t h e m o s t

Figure 2: Pictures of two user interfaces, adapted froma paper about drawing understanding (A, left) (Gold-berg & Goodisman, 1991), and pen input (B, right)(Igarashi et al, 1997)

c o m m o n p i e c e s o f i n f o r m a t i o n t o d i s p l a y a r e t h e p r o b a -

b i l i t y o f c o r r e c t n e s s c a l l e d c e r t a i n t y i n t h i s p a p e r , a n d

m u l t i p l e a l t e r n a t i v e s .

A n e x a m p l e o f a s y s t e m w h i c h s h o w s i n f o r m a t i o n

a b o u t c e r t a i n t y i s t h e P e n P a d s y s t e m . T h e p r o b a b i l i t y

o f c o r r e c t n e s s i s d i s p l a y e d t h r o u g h c o l o r . F o r e x a m p l e ,

t h e t y p e w r i t t e n w o r d P e n P a d i s l i g h t e r l e s s c e r t a i n

t h a n t h e c o r r e s p o n d i n g w o r d s i n k , a n d i n F i g u r e 1 . F i g -

u r e 2 s h o w s t w o e x a m p l e s y s t e m s w h i c h d i s p l a y m u l t i -

p l e a l t e r n a t i v e s . T h e r s t F i g u r e 2 A i s a d r a w i n g u n -

d e r s t a n d i n g s y s t e m d e s i g n e d b y I g a r a s h i e t a l . 1 9 9 7 .

T h e b o l d l i n e r e p r e s e n t s t h e s y s t e m ' s c u r r e n t t o p g u e s s .

T h e d o t t e d l i n e s r e p r e s e n t p o t e n t i a l a l t e r n a t i v e s , a n d

t h e p l a i n l i n e i s a p a s t a c c e p t e d g u e s s . F i g u r e 2 B s h o w s

a c h a r a c t e r r e c o g n i t i o n s y s t e m d e s i g n e d b y G o l d b e r g &

G o o d i s m a n 1 9 9 1 . T h e l a r g e r c h a r a c t e r i s t h e s y s t e m ' s

t o p c h o i c e ; t h e t w o s m a l l e r l e t t e r s a r e t h e s e c o n d a n d

t h i r d m o s t l i k e l y p o s s i b i l i t i e s . I n b o t h s y s t e m s , t h e u s e r

c a n c l i c k o n a n a l t e r n a t i v e t o t e l l t h e s y s t e m t h a t i t s

d e f a u l t c h o i c e s h o u l d b e c h a n g e d . I n b o t h s y s t e m s , i f

t h e u s e r c o n t i n u e s i n p u t a s n o r m a l , t h e y a r e i m p l i c -

i t l y a c c e p t i n g t h e d e f a u l t c h o i c e . I n t e r e s t i n g l y , a l t h o u g h

I g a r a s h i h a d s u c c e s s w i t h t h i s a p p r o a c h i n h i s d r a w i n g -

u n d e r s t a n d i n g s y s t e m , G o l d b e r g a n d G o o d i s m a n f o u n d

t h a t i t r e q u i r e d t o o g r e a t a c o g n i t i v e o v e r h e a d t o b e

e e c t i v e i n t h e i r c h a r a c t e r r e c o g n i t i o n s y s t e m .

B o t h c e r t a i n t y a n d t h e d i s p l a y o f m u l t i p l e a l t e r -

n a t i v e s c a n a l s o b e a c h i e v e d i n a n a u d i o - o n l y s e t t i n g ,

a s d e m o n s t r a t e d b y B r e n n a n & H u l t e e n 1 9 9 5 . T h e y

b a s e t h e i r a p p r o a c h o n l i n g u i s t i c r e s e a r c h s h o w i n g t h a t

h u m a n s r e v e a l p o s i t i v e a n d n e g a t i v e e v i d e n c e a s t h e y

c o n v e r s e . P o s i t i v e e v i d e n c e i s o u t p u t w h i c h c o n r m s

t h a t t h e l i s t e n e r h a s h e a r d t h e s p e a k e r c o r r e c t l y . F o r

e x a m p l e , t h e l i s t e n e r m a y s p e l l b a c k a n a m e w h i c h h a s

j u s t b e e n d i c t a t e d t o t h e m . N e g a t i v e e v i d e n c e i s o u t p u t

w h i c h s o m e h o w r e v e a l s t h a t t h e l i s t e n e r i n t h i s c a s e ,

t h e r e c o g n i t i o n s y s t e m i s n o t s u r e t h e y h a v e u n d e r -

s t o o d t h e s p e a k e r c o r r e c t l y . E x a m p l e s a r e r e p e a t i n g t h e

s p e a k e r ' s s e n t e n c e a n d r e p l a c i n g t h e q u e s t i o n a b l e w o r d


4/9

w i t h a p a u s e o r s i m p l y s a y i n g H u h ? " N e g a t i v e e v i d e n c e

c a n a l s o b e u s e d t o d i s p l a y m u l t i p l e a l t e r n a t i v e s , S o , f o r

e x a m p l e , t h e s y s t e m m a y s a y c a l l J o h n o r J a n e ? " i n

r e s p o n s e t o a u s e r ' s r e q u e s t . B r e n n a n a n d H u l t e e n b u i l t

a s o p h i s t i c a t e d r e s p o n s e s y s t e m u s i n g b o t h t e c h n i q u e s .

T h e y m a k e u s e o f p o s i t i v e a n d n e g a t i v e e v i d e n c e , a n d

t h e y l i m i t t h e d i s p l a y o f a l t e r n a t i v e s b a s e d o n a c o n t e x -

t u a l a n a l y s i s o f t h e l i k e l i h o o d o f c o r r e c t n e s s .

A n o t h e r s e t t i n g i n w h i c h m u l t i p l e a l t e r n a t i v e s a r e

c o m m o n l y d i s p l a y e d i s w o r d p r e d i c t i o n A l m e t a l . , 1 9 9 2 ;

G r e e n b e r g e t a l . , 1 9 9 5 . W o r d p r e d i c t i o n i s o f t e n u s e d

t o s u p p o r t c o m m u n i c a t i o n a n d p r o d u c t i v i t y f o r p e o p l e

w i t h d i s a b i l i t i e s w h i c h m a k e t y p i n g , a n d i n s o m e c a s e s

e v e n u s i n g a m o u s e , v e r y d i c u l t . A s t h e u s e r t y p e s

e a c h l e t t e r , t h e s y s t e m r e t r i e v e s a l i s t o f w o r d s w h i c h

a r e t h e m o s t l i k e l y c o m p l e t i o n s o f w h a t h a s b e e n t y p e d

s o f a r . O f t e n t h e r e a r e a l a r g e n u m b e r o f p o t e n t i a l c o m -

p l e t i o n s , a n d m a n y a r e d i s p l a y e d a t s o m e d i s t a n c e f r o m

t h e a c t u a l i n p u t o n s c r e e n .

2 . 3 T h r e s h o l d i n g

M a n y e r r o r p r o n e s y s t e m s r e t u r n s o m e m e a s u r e o f t h e

p r o b a b i l i t y t h a t e a c h r e s u l t i s c o r r e c t w h e n t h e y r e t u r n

t h e r e s u l t . T h i s p r o b a b i l i t y r e p r e s e n t s t h e c o n d e n c e

o f t h e i n t e r p r e t a t i o n . T h e r e s u l t a n t p r o b a b i l i t i e s c a n

b e c o m p a r e d t o a t h r e s h o l d . W h e n t h e y f a l l b e l o w t h e

t h r e s h o l d , t h e s y s t e m a s s u m e s a n e r r o r h a s o c c u r r e d .

W h e n t h e y f a l l a b o v e i t , t h e a s s u m p t i o n i s t h a t n o e r r o r

h a s o c c u r r e d . M o s t s y s t e m s s e t t h i s t h r e s h o l d t o z e r o ,

m e a n i n g t h e y n e v e r a s s u m e t h a t t h e r e h a s b e e n a m i s -

t a k e . S o m e s y s t e m s m a y s e t i t t o o n e , m e a n i n g t h e y

a l w a y s a s s u m e t h e y a r e w r o n g e . g . , w o r d p r e d i c t i o n ,

a n d o t h e r s y s t e m s t r y t o d e t e r m i n e a r e a s o n a b l e t h r e s h -

o l d b a s e d o n s t a t i s t i c s o r o t h e r m e a n s P o o n e t a l . , 1 9 9 5 ;

B r e n n a n & H u l t e e n , 1 9 9 5 ; B a b e r & H o n e , 1 9 9 3 .

2 . 4 R u l e s

B a b e r & H o n e 1 9 9 3 s u g g e s t u s i n g a r u l e b a s e t o d e t e r -

m i n e w h e n e r r o r s m a y h a v e o c c u r r e d . T h i s c a n p r o v e t o

b e m o r e s o p h i s t i c a t e d t h a n e i t h e r s t a t i s t i c s o r t h r e s h -

o l d i n g s i n c e i t a l l o w s t h e u s e o f c o n t e x t i n d e t e r m i n i n g

w h e t h e r a n e r r o r h a s o c c u r r e d . A n e x a m p l e r u l e m i g h t

b e :

W h e n t h e u s e r h a s j u s t w r i t t e n ` f o r ' , l o w e r t h e p r o b a b i l -

i t y o f c o r r e c t n e s s f o r a n y a l t e r n a t i v e s t o t h e n e x t w o r d t h e y

w r i t e w h i c h a r e n o t m e m b e r s o f t h e s e t o f v a r i a b l e n a m e s

c u r r e n t l y i n s c o p e .

T h i s g o e s b e y o n d s i m p l e s t a t i s t i c s b e c a u s e i t u s e s k n o w l -

e d g e a b o u t t h e c o n t e x t i n w h i c h a w o r d h a s b e e n w r i t t e n

t o d e t e c t e r r o r s .

2 . 5 H i s t o r i c a l S t a t i s t i c s

W h e n e r r o r p r o n e s y s t e m s d o n o t r e t u r n a m e a s u r e o f

p r o b a b i l i t y , o r w h e n t h e e s t i m a t e s o f p r o b a b i l i t y m a y

b e w r o n g , n e w p r o b a b i l i t i e s c a n b e g e n e r a t e d b y d o i n g

a s t a t i s t i c a l a n a l y s i s o f h i s t o r i c a l d a t a a b o u t w h e n a n d

w h e r e t h e s y s t e m m a k e s m i s t a k e s . T h i s t a l k i t s e l f b e n e -

t s f r o m g o o d e r r o r d i s c o v e r y . A h i s t o r i c a l a n a l y s i s c a n

h e l p t o i n c r e a s e t h e a c c u r a c y o f b o t h t h r e s h o l d i n g a n d

r u l e s . F o r e x a m p l e , M a r x & S c h m a n d t 1 9 9 4 c o m p i l e d

s p e e c h d a t a a b o u t w h i c h l e t t e r s w e r e m i s r e c o g n i z e d a s

e " , w i t h w h a t f r e q u e n c i e s , a n d u s e d t h e m a s a l i s t o f

p o t e n t i a l a l t e r n a t i v e s w h e n e v e r t h e s p e e c h r e c o g n i z e r r e -

t u r n e d e " . T h e y d i d t h e s a m e f o r e a c h l e t t e r o f t h e

a l p h a b e t .

T h e e x a m p l e b e l o w s h o w s p e n d a t a f o r e " g e n -

e r a t e d b y t h e r s t a u t h o r b y r e p e a t i n g e a c h l e t t e r o f

t h e a l p h a b e t 2 5 t i m e s i n a P a l m P i l o t

t m

. T h e r s t c o l -

u m n r e p r e s e n t s t h e l e t t e r t h a t w a s w r i t t e n ; t h e o t h e r

c o l u m n s s h o w w h i c h l e t t e r s t h e P a l m P i l o t

t m

G r a t i

t m

r e c o g n i z e r r e t u r n e d . O n l y l e t t e r s w h i c h w e r e m i s t a k e n

f o r e " a r e s h o w n .

o r i g i n a l t o p g u e s s o t h e r g u e s s e s

e e 1 0 0

k k 7 2 l 1 6 , e 8 , s 4

l l 8 0 c 1 7 , e 3

T h i s s o r t o f m a t r i x i s c a l l e d a c o n f u s i o n m a t r i x b e -

c a u s e i t s h o w s p o t e n t i a l c o r r e c t a n s w e r s t h a t t h e s y s t e m

m a y h a v e c o n f u s e d w i t h i t s r e t u r n e d a n s w e r . I n t h i s w a y ,

h i s t o r i c a l s t a t i s t i c s m a y p r o v i d e a d e f a u l t p r o b a b i l i t y o f

c o r r e c t n e s s f o r a g i v e n a n s w e r . M o r e s o p h i s t i c a t e d a n a l -

y s e s c a n h e l p i n t h e c r e a t i o n o f b e t t e r r u l e s o r t h e c h o i c e

o f w h e n t o a p p l y c e r t a i n r u l e s .

A l t h o u g h e r r o r d i s c o v e r y i s a n e c e s s a r y c o m p o n e n t

o f e r r o r h a n d l i n g i n t e r f a c e s , i t h a s a s t i g m a a s s o c i a t e d

w i t h i t : T h e t a s k o f e r r o r d i s c o v e r y i s i t s e l f e r r o r p r o n e .

R u l e s , t h r e s h o l d i n g , a n d h i s t o r i c a l s t a t i s t i c s m a y a l l b e

w r o n g . E v e n w h e n t h e u s e r ' s e x p l i c i t a c t i o n s a r e o b -

s e r v e d , t h e s y s t e m m a y i n c o r r e c t l y i n f e r t h a t a n e r r o r

h a s o c c u r r e d . O n l y w h e n t h e u s e r ' s a c t i o n i s t o e x p l i c -

i t l y n o t i f y t h e s y s t e m o f a n e r r o r c a n w e b e s u r e t h a t

a n e r r o r r e a l l y h a s o c c u r r e d i n t h e u s e r ' s e y e s . I n o t h e r

w o r d s , a l l o f t h e a p p r o a c h e s m e n t i o n e d m a y c r e a t e a n e w

s o u r c e o f e r r o r s , l e a d i n g t o a c a s c a d e o f e r r o r h a n d l i n g

i s s u e s .

3 E R R O R C O R R E C T I O N T E C H N I Q U E S

O n c e a m i s t a k e h a s b e e n i d e n t i e d , t h e s y s t e m c a n t a k e

a c t i o n t o c o r r e c t i t , o r a s k t h e u s e r ' s h e l p i n c o r r e c t i n g

i t t h r o u g h s o m e s o r t o f e r r o r h a n d l i n g i n t e r f a c e . A l -

t e r n a t i v e l y t h e s y s t e m c a n s u p p o r t e r r o r h a n d l i n g i n a n

i n t e g r a t e d f a s h i o n . F o r e x a m p l e , t h e i n t e r a c t i v e b e a u t i -

c a t i o n s y s t e m s h o w n i n F i g u r e 2 A d i s p l a y s a l t e r n a t i v e s

a f t e r e v e r y s t r o k e . T h e s a m e i n t e r f a c e a l s o s u p p o r t s n o -

t i c a t i o n | i f t h e u s e r s e l e c t s a n a l t e r n a t i v e , t h e s y s t e m

c a n i n f e r t h a t t h e o r i g i n a l d e f a u l t w a s w r o n g a n d t h e

a l t e r n a t i v e i s c o r r e c t .

M o s t o f t h e t a s k s b e i n g s u p p o r t e d r e q u i r e t h e s e l e c -

t i o n o f a s i n g l e c o r r e c t i n t e r p r e t a t i o n o f u s e r i n p u t o n e


5/9

e x c e p t i o n t o t h i s i s s e a r c h e n g i n e s , w h i c h m a y h a v e m u l -

t i p l e c o r r e c t r e s p o n s e s . O n e i m p o r t a n t c h o i c e f a c i n g

t h e d e s i g n e r o f e r r o r h a n d l i n g t e c h n i q u e s i s h o w a c t i v e

t h e s y s t e m s h o u l d b e i n s e l e c t i n g t h i s i n t e r p r e t a t i o n . E s -

s e n t i a l l y , t h e d e s i g n e r m u s t c h o o s e w h e t h e r t o a c c e p t t h e

m o s t c e r t a i n c h o i c e b y d e f a u l t , o r t o w a i t f o r u s e r c o n -

r m a t i o n . T h e r s t p a r t o f t h i s s e c t i o n d i s c u s s e s w h e r e

e a c h c h o i c e h a s s h o w n u p i n t h e l i t e r a t u r e , a n d w h y . T h e

r e m a i n i n g p a r t s d i s c u s s t w o c o m m o n l y u s e d t e c h n i q u e s

f o r e r r o r h a n d l i n g , e n c o u r a g i n g l e s s a m b i g u o u s i n p u t ,

a n d m i m i c k i n g n a t u r a l h u m a n c o r r e c t i o n s t r a t e g i e s .

3 . 1 C h o o s i n g a D e f a u l t

T h e n u m b e r o f a n s w e r s r e t u r n e d b y a n e r r o r p r o n e s y s -

t e m i s o f t e n l a r g e r t h a n t h e n u m b e r o f a n s w e r s e x p e c t e d

b y t h e u s e r . T h i s l e a v e s t h e i n t e r f a c e d e s i g n e r w i t h t h e

c h o i c e o f s e l e c t i n g n o n e o f t h e a n s w e r s , o r s e l e c t i n g o n e

o r m o r e o f t h e a n s w e r s a s c o r r e c t " b y d e f a u l t . F o r

e x a m p l e , t h e d r a w i n g u n d e r s t a n d i n g s y s t e m m e n t i o n e d

a b o v e s e l e c t s o n e l i n e b y d e f a u l t s h o w n b o l d i n F i g -

u r e 2 A I g a r a s h i e t a l . , 1 9 9 7 . T h e i n t e r f a c e d e s i g n e r

s h o u l d u s e i n f o r m a t i o n a b o u t t h e p r o b a b i l i t y o f c o r r e c t -

n e s s a n d t h e o v e r h e a d f o r c o r r e c t i n g a m i s t a k e n c h o i c e

o f d e f a u l t t o d e c i d e w h e n i t i s a p p r o p r i a t e t o c h o o s e a

d e f a u l t . I n t h e c a s e o f t h e d r a w i n g u n d e r s t a n d i n g s y s -

t e m , t h e i n t e r f a c e i s d e s i g n e d s o t h a t t h e u s e r d o e s n o

m o r e w o r k w h e n t h e s y s t e m s e l e c t s a d e f a u l t t h a n w h e n

i t d o e s n ' t . A n d i f t h e s y s t e m s e l e c t s t h e c o r r e c t c h o i c e ,

t h e u s e r d o e s l e s s w o r k s i n c e t h e y d o n ' t h a v e t o s e l e c t

i t t h e m s e l v e s b e f o r e t h e y c o n t i n u e d r a w i n g .

A n e x a m p l e o f a s y s t e m w h i c h d o e s w e l l t o s e l e c t

n o t h i n g b y d e f a u l t i s R h o d e s & S t a r n e r ' s 1 9 9 6 r e m e m -

b r a n c e a g e n t . T h e r e m e m b r a n c e a g e n t r e t r i e v e s d o c u -

m e n t s b a s e d o n t h e i r r e l e v a n c e t o t h e c u r r e n t t e x t i n a n

e d i t o r . R a t h e r t h a n i m m e d i a t e l y d i s p l a y i n g t h e m o s t

r e l e v a n t d o c u m e n t , i t h a s a s m a l l p e r m a n e n t w i n d o w

w h e r e i t s h o w s a s i n g l e l i n e f r o m e a c h o f t h r e e p o t e n t i a l l y

i n t e r e s t i n g d o c u m e n t s . A c t u a l l y s e l e c t i n g a d o c u m e n t

a n d d i s p l a y i n g i t w o u l d b e f a r m o r e i n v a s i v e , d i c u l t t o

c o r r e c t , a n d o f t e n n o t w h a t t h e u s e r w a n t s . E v e n i f t h e

s y s t e m h a s f o u n d r e l e v a n t d o c u m e n t s , t h e u s e r m a y n o t

w a n t t o b e i n t e r r u p t e d i n o r d e r t o r e a d t h e m .

W o r d p r e d i c t i o n s y s t e m s a l s o d e m o n s t r a t e w h y t h e

d e s i g n e r m a y c h o o s e n o t t o s e l e c t a d e f a u l t . I f , f o r e x -

a m p l e , t h e s y s t e m a s s u m e s i t s t o p p r e d i c t i o n i s c o r r e c t ,

i t w i l l i n s e r t i t . B u t w o r d p r e d i c t i o n i s a p a r t i c u l a r l y d i f -

c u l t t a s k i n w h i c h t h e t o p c h o i c e i s o f t e n w r o n g . A n d

i t w i l l m o s t l i k e l y t a k e m o r e k e y s t r o k e s f o r t h e u s e r t o

d e l e t e t h e m i s t a k e a n d c o n t i n u e t y p i n g t h a n i t w o u l d t o

h a v e s i m p l y t y p e d t h e w h o l e w o r d o u t i n t h e r s t p l a c e ,

e s p e c i a l l y i f s i m i l a r m i s t a k e s h a p p e n a u t o m a t i c a l l y a f t e r

e v e r y c h a r a c t e r t y p e d .

E v e n w h e n i t i s a p p r o p r i a t e t o c h o o s e a d e f a u l t f o r

t h e u s e r , t h i s c h o i c e m a y b e w r o n g , a n d b e c a u s e o f t h i s

t h e u s e r i n t e r f a c e n e e d s t o s u p p o r t e r r o r c o r r e c t i o n . O n e

w a y t o s u p p o r t t h i s i s t o d i s p l a y a l t e r n a t i v e s f r o m w h i c h

t h e u s e r c a n s e l e c t a c o r r e c t c h o i c e . A n o t h e r a p p r o a c h

i s t o u n o b t r u s i v e l y p r o v i d e w a y s t o c h a n g e t h e d e f a u l t

w i t h o u t n e c e s s a r i l y d i s p l a y i n g a l t e r n a t i v e s . F o r e x a m -

p l e , G o l d b e r g & G o o d i s m a n 1 9 9 1 s u g g e s t u s i n g a s i m -

p l e g e s t u r e a t a p t o s e l e c t t h e n e x t c h o i c e . A s a n o t h e r

e x a m p l e , c o n s i d e r t h e T i v o l i s y s t e m i n w h i c h s o m e i n -

p u t s a r e i n t e r p r e t e d a s g e s t u r e s a n d o t h e r s s i m p l y a s i n k

t o b e d r a w n o n t h e s c r e e n M o r a n e t a l . , 1 9 9 7 . I f a u s e r

d r a w s a g e s t u r e w h i c h c o u l d t r i g g e r a n a c t i o n , s u c h a s

m o v e " , t h e s y s t e m b y d e f a u l t a s s u m e s t h a t t h e a c t i o n i s

i n t e n d e d a n d n o t s i m p l y d r a w i n g o n t h e s c r e e n . H o w -

e v e r , i f t h e u s e r d o e s n ' t f o l l o w t h r o u g h b y s e l e c t i n g a n

o b j e c t t o m o v e i n t h i s c a s e , M o r a n e t a l . a u t o m a t i c a l l y

u n d o i t , r e p l a c i n g i t i n s t e a d w i t h i t s a l t e r n a t e i n t e r p r e -

t a t i o n a s p l a i n i n k .

3 . 2 E n c o u r a g i n g L e s s A m b i g u o u s I n p u t

C e r t a i n m o d e s o f i n p u t a r e k n o w n t o b e l e s s e r r o r p r o n e

t h a n o t h e r s c o m p a r e t y p i n g t o h a n d w r i t i n g r e c o g n i -

t i o n , a n d t h e r e a r e t i m e s w h e n i t i s a p p r o p r i a t e t o

m a k e u s e o f t h i s f a c t . F o r e x a m p l e , S u h m f o u n d t h a t

r e c o g n i t i o n a c c u r a c y a c t u a l l y d e c r e a s e s b y 1 0 6 5 d u r -

i n g t h i s s o r t o f e r r o r r e p a i r i n a s p e e c h r e c o g n i t i o n s y s -

t e m S u h m , 1 9 9 7 . O n e o p t i o n i s f o r t h e c o m p u t e r

t o o e r a l e s s a m b i g u o u s i n p u t m e t h o d a s a n a l t e r n a -

t i v e . T h i s t e c h n i q u e h a s b e e n u s e d e e c t i v e l y i n t h e

A p p l e M e s s a g e P a d

t m

, a s w e l l a s f o r s p e e c h i n p u t M a r x

& S c h m a n d t , 1 9 9 4 , p e n i n p u t G o l d b e r g & G o o d i s m a n ,

1 9 9 1 , a n d a m i x t u r e o f t h e t w o S u h m e t a l . , 1 9 9 6 b .

A l t e r n a t i v e l y , a n i n t e r f a c e d e s i g n e r m a y c h o o s e t o

e n c o u r a g e a l e s s e r r o r p r o n e i n p u t f r o m t h e o u t s e t . F o r

e x a m p l e , t h e d e s i g n e r s o f t h e P a l m P i l o t

t m

c h o s e t o u s e

a u n i s t r o k e a l p h a b e t G o l d b e r g & R i c h a r d s o n , 1 9 9 3 . I t

i s e a s i e r t o r e c o g n i z e u n i s t r o k e s t h a n t o r e c o g n i z e h a n d -

w r i t i n g b e c a u s e t h e r e i s n o p o s s i b i l i t y o f s e g m e n t a t i o n

e r r o r s s i n c e e a c h l e t t e r i s e x a c t l y o n e s t r o k e p e n u p

t o p e n d o w n . I n a n o t h e r e x a m p l e , G o l d b e r g & G o o d -

i s m a n 1 9 9 1 s u g g e s t u s i n g o n - s c r e e n m a r k s b o x e s t o

r e d u c e s e g m e n t a t i o n e r r o r s a n d d i s c o u r a g e c u r s i v e h a n d -

w r i t i n g .

S e v e r a l r e s e a r c h e r s h a v e m a d e u s e o f a h u m a n ' s t e n -

d e n c y t o m i m i c t h e o u t p u t o f w h a t e v e r t h e y a r e c o m m u -

n i c a t i n g w i t h . Z o l t a n - F o r d 1 9 9 1 f o u n d t h a t p e o p l e w i l l

m i m i c s e n t e n c e s t r u c t u r e s o f t h e c o m p u t e r ' s r e s p o n s e s ,

s o m e t h i n g t h a t h e l p s t o m a k e n a t u r a l l a n g u a g e p r o c e s s -

i n g e a s i e r . K u r t e n b a c h e t a l . 1 9 9 4 i n v e s t i g a t e d t h e

u s e o f c r i b s h e e t s w h i c h d i s p l a y g e s t u r e s f o r a u s e r t o

c o p y . T h e u s e r c a n r e q u e s t a n a n i m a t i o n o f a c o m m a n d

b y c l i c k i n g o n i t s p i c t u r e o n t h e c r i b s h e e t . C r i b s h e e t s

h a v e a l s o b e e n f o u n d t o s u c c e s s f u l l y i m p r o v e r e c o g n i t i o n

i n a c h a r a c t e r r e c o g n i t i o n s y s t e m W o l f , 1 9 9 0 .

3 . 3 M i m i c k i n g N a t u r a l H u m a n C o r r e c -

t i o n S t r a t e g i e s

A l t h o u g h c o m p u t e r s a r e a m a j o r s o u r c e o f e r r o r s , h u -

m a n s a l s o m a k e m i s t a k e s . B o t h e x p e r i e n c e a n d r e s e a r c h


6/9


7/9

g e t s , e s p e c i a l l y g r a p h i c a l u s e r i n t e r f a c e s . O n e b e n e t o f

u s i n g t o o l k i t s i s t h a t t h e y m a k e s o p h i s t i c a t e d i n t e r f a c e

f e a t u r e s a v a i l a b l e t o e v e r y p r o g r a m m e r . I f w e c a n i d e n -

t i f y r e u s a b l e c o m p o n e n t s i n t h e d o m a i n o f e r r o r h a n -

d l i n g , p e r h a p s w e c a n p r o v i d e t o o l k i t s w h i c h m a k e i t

m o r e l i k e l y t h a t i n t e r f a c e d e s i g n e r s w i l l i n c l u d e s u p p o r t

f o r e r r o r h a n d l i n g i n t h e i r i n t e r f a c e s .

T h e d o m a i n o f i n t e r f a c e s f o r e r r o r h a n d l i n g h a s s i g -

n i c a n t o v e r l a p w i t h t o o l k i t s f o r b u i l d i n g u s e r i n t e r f a c e s .

T h e r e a r e t w o k e y f e a t u r e s t h a t a r e n e e d e d t o s u p p o r t

e r r o r h a n d l i n g | c o m p l e t e r e v e r s i b i l i t y , a n d s u p p o r t f o r

k e e p i n g t r a c k o f m u l t i p l e p o t e n t i a l i n t e r p r e t a t i o n s a t

o n c e . W i t h o u t t h e f o r m e r , t h e s y s t e m m a y n o t e a s i l y

b e a b l e t o u n d o w r o n g c h o i c e s w h i c h t h e u s e r m a y h a v e

h a d n o p a r t i n a n d t h u s m a y b e u n a b l e t o h e l p t o c o r -

r e c t . W i t h o u t t h e l a t t e r , t h e s y s t e m h a s t o c o m m i t t o

a s i n g l e i n t e r p r e t a t i o n a t e a c h s t a g e , p o s s i b l y t h r o w i n g

a w a y p o t e n t i a l l y u s e f u l d a t a . I n c o r p o r a t i n g m u l t i p l e p o -

t e n t i a l i n t e r p r e t a t i o n s i n t o t h e i n t e r f a c e i s a l s o d i c u l t

w i t h o u t t h e s u p p o r t o f t h e t o o l k i t .

T h e r e i s a l o t o f w o r k o n i n t r o d u c i n g u n d o r e -

v e r s i b i l i t y i n t o G U I t o o l k i t s , p a r t i c u l a r l y i n t h e o b j e c t -

o r i e n t e d t o o l k i t s . F o r e x a m p l e , t h e A m u l e t s y s t e m s u p -

p o r t s b o t h r e g u l a r a n d s e l e c t i v e u n d o M y e r s & K o s b i e ,

1 9 9 6 . A m o r e t h e o r e t i c a l t r e a t m e n t o f t h e s u b j e c t c a n

b e f o u n d i n T h i m b l e b y ' s 1 9 9 0 b o o k o n U s e r I n t e r f a c e

D e s i g n .

I n a d d i t i o n , b o t h r e v e r s i b i l i t y a n d s u p p o r t f o r m u l -

t i p l e p o t e n t i a l i n t e r p r e t a t i o n s w e r e a d d r e s s e d i n t h e w o r k

o f H u d s o n & N e w e l l 1 9 9 2 o n p r o b a b i l i s t i c s t a t e m a -

c h i n e s f o r h a n d l i n g i n p u t . H o w e v e r , t h i s w o r k f o c u s e d

o n t h e e v e n t h a n d l i n g s t a g e o f a n i n t e r f a c e t o o l k i t a n d

i s m o s t a p p l i c a b l e t o h a n d l i n g v i s u a l f e e d b a c k . F o r e x -

a m p l e , i f t h e r e i s u n c e r t a i n t y a s t o w h e t h e r t h e u s e r i s

p o i n t i n g a t b u t t o n A o r b u t t o n B , a p r o b a b i l i s t i c s t a t e

m a c h i n e w o u l d s i m p l i f y t h e t a s k o f h i g h l i g h t i n g b o t h

b u t t o n s . H o w e v e r , i t i s n o t c l e a r t h a t t h e s a m e s y s -

t e m c o u l d k e e p t r a c k o f t h e m u l t i p l e p o t e n t i a l s y s t e m

s t a t e s t h a t m i g h t r e s u l t f r o m p o t e n t i a l l y p r e s s i n g b o t h

b u t t o n s .

I n e x p e r i m e n t i n g w i t h t h e b e s t w a y t o s u p p o r t c o r -

r e c t i o n i n P e n P a d s e e F i g u r e 1 , t h e n e e d f o r a t o o l k i t

b e c a m e i m m e d i a t e l y o b v i o u s . E v e n a t t e m p t s a t a s i m -

p l e p r o b l e m s u c h a s t r y i n g o u t d i e r e n t a p p r o a c h e s t o

d i s p l a y i n g d i e r i n g n u m b e r s o f a l t e r n a t i v e s a r o u n d e a c h

h a n d w r i t t e n w o r d a r e h i n d e r e d b y t h e l a c k o f t o o l k i t

l e v e l s u p p o r t . O n e o f o u r r s t g o a l s i s t o c r e a t e a t o o l k i t

w h i c h w i l l h e l p t o s o l v e t h e s e p r o b l e m s . T h i s i n f r a s t r u c -

t u r e w i l l a l s o s i m p l i f y t h e t a s k o f c o m p a r i n g a n d t e s t i n g

t e c h n i q u e s .

6 C O N C L U S I O N

W e h a v e s u r v e y e d e r r o r h a n d l i n g t e c h n i q u e s f o r r e c o g -

n i t i o n , p r e d i c t i o n , s e a r c h , a n d o t h e r a m b i g u o u s o r e r r o r

p r o n e s y s t e m s . T h i s s u r v e y s c o v e r s w o r k i n t h e a r e a s

o f e r r o r d i s c o v e r y , e r r o r h a n d l i n g t e c h n i q u e s , v a l i d a t i o n ,

a n d t o o l k i t l e v e l s u p p o r t . A l t h o u g h w e h a v e u n c o v e r e d

e x t e n s i v e w o r k i n m a n y o f t h e s e a r e a s , s i g n i c a n t q u e s -

t i o n s r e m a i n .

E r r o r d i s c o v e r y H o w c a n w e i m p r o v e t h e a c c u r a c y o f

e r r o r d i s c o v e r y ? H o w s h o u l d e r r o r s i n e r r o r d i s c o v -

e r y b e h a n d l e d ? W h a t i s t h e b e s t t e c h n i q u e f o r e r r o r

d i s c o v e r y a n d h o w d o e s t h i s c h a n g e d e p e n d i n g o n t h e

s i t u a t i o n ?

E r r o r c o r r e c t i o n t e c h n i q u e s D o e s e r r o r h a n d l i n g r e -

q u i r e n e w t y p e s o f i n t e r f a c e s o r w i d g e t s d i e r e n t f r o m

o t h e r i n t e r f a c e s ? W h e n s h o u l d e r r o r h a n d l i n g o c c u r ?

H o w i n t e g r a t e d s h o u l d e r r o r h a n d l i n g i n t e r f a c e s b e

w i t h t h e n o r m a l w o r k o w i n t e r f a c e ?

V a l i d a t i o n o f t e c h n i q u e s H o w c a n w e c o m p a r e m e t h -

o d s a c r o s s a p p l i c a t i o n s ? I s i t p o s s i b l e t o u n c o v e r g e n -

e r a l r u l e s f o r t h e d e s i g n o f e r r o r h a n d l i n g i n t e r f a c e s ?

T o o l k i t l e v e l s u p p o r t I s i t p o s s i b l e t o s e p a r a t e o u t

a n d e n c a p s u l a t e i n t e r f a c e t e c h n i q u e s f o r e r r o r h a n -

d l i n g ? W h a t t e c h n i q u e s b e l o n g i n s u c h a t o o l k i t ? I s

c o m p l e t e r e v e r s i b i l i t y p o s s i b l e , a n d i f n o t w h a t a r e t h e

a l t e r n a t i v e s ? A r e t h e r e e c i e n t w a y s o f k e e p i n g t r a c k

o f i n c r e a s i n g n u m b e r s o f p r o b a b i l i t i e s ?

I n o u r o w n r e s e a r c h , w e a r e d e v e l o p i n g t h e P e n -

P a d s y s t e m a s a p l a t f o r m f o r a n s w e r i n g s o m e o f t h e s e

q u e s t i o n s . O u r r s t t a s k i s t o d e v e l o p a t o o l k i t w h i c h

s u p p o r t s t h e t e c h n i q u e s u n c o v e r e d i n t h i s s u r v e y . I n

a d d i t i o n t o e n c a p s u l a t i n g s t a n d a r d t e c h n i q u e s , w e p l a n

t o c o n t i n u e t o w o r k o n d e v e l o p i n g i n n o v a t i v e n e w t e c h -

n i q u e s a n d i n v e s t i g a t i n g e x i s t i n g H C I t e c h n i q u e s w h i c h

c o u l d b e a p p l i e d t o e r r o r c o r r e c t i o n .

R E F E R E N C E S

A i n s w o r t h , W . A . & P r a t t , S . R . 1 9 9 2 , F e e d b a c k S t r a t e -

g i e s f o r E r r o r C o r r e c t i o n i n S p e e c h R e c o g n i t i o n S y s -

t e m s " , I n t e r n a t i o n a l J o u r n a l o f M a n - M a c h i n e S t u d i e s

3 6 6 , 8 3 3 8 4 2 .

A l m , N . , A r n o t t , J . L . & N e w e l l , A . F . 1 9 9 2 , P r e d i c -

t i o n a n d c o n v e r s a t i o n a l m o m e n t u m i n a n a u g m e n t a t i v e

c o m m u n i c a t i o n s y s t e m " , C o m m u n i c a t i o n s o f t h e A C M

3 5 5 , 4 6 5 7 .

A r e f , W . G . , o r K a m e l , I . C . & L o p r e s t i , D . P . 1 9 9 5 ,

O n H a n d l i n g E l e c t r o n i c I n k " , A C M C o m p u t i n g S u r -

v e y s 2 7 4 , 5 6 4 5 6 7 .

B a b e r , C . & H o n e , K . S . 1 9 9 3 , M o d e l l i n g E r r o r R e c o v e r y

a n d R e p a i r i n A u t o m a t i c S p e e c h R e c o g n i t i o n " , I n t e r n a -

t i o n a l J o u r n a l o f M a n - M a c h i n e S t u d i e s 3 9 3 , 4 9 5 5 1 5 .

B r e n n a n , S . E . & H u l t e e n , E . A . 1 9 9 5 , I n t e r a c t i o n a n d

F e e d b a c k i n a s p o k e n l a n g u a g e s y s t e m : A t h e o r e t i -

c a l f r a m e w o r k " , K n o w l e d g e - B a s e d S y s t e m s 8 2 - 3 , 1 4 3

1 5 1 .


8/9

B u s k i r k , R . V . & L a L o m i a , M . 1 9 9 5 , T h e J u s t N o t i c e a b l e

D i e r e n c e o f S p e e c h R e c o g n i t i o n A c c u r a c y , i n P r o c e e d -

i n g s o f A C M C H I ' 9 5 C o n f e r e n c e o n H u m a n F a c t o r s i n

C o m p u t i n g S y s t e m s , V o l . 2 o f I n t e r a c t i v e P o s t e r s , p . 9 5 .

D a v i s , R . 1 9 7 9 , I n t e r a c t i v e t r a n s f e r o f e x p e r t i s e : a c q u i -

s i t i o n o f n e w i n f e r e n c e r u l e s " , A r t i c i a l I n t e l l i g e n c e

1 2 , 1 2 1 1 5 7 .

F r a n k i s h , C . , H u l l , R . & M o r g a n , P . 1 9 9 5 , R e c o g n i t i o n A c -

c u r a c y a n d U s e r A c c e p t a n c e o f P e n I n t e r f a c e s , i n P r o -

c e e d i n g s o f A C M C H I ' 9 5 C o n f e r e n c e o n H u m a n F a c t o r s

i n C o m p u t i n g S y s t e m s , V o l . 1 o f P a p e r s : P e n I n t e r f a c e s ,

p p . 5 0 3 5 1 0 .

F r a n k i s h , C . , J o n e s , D . & H a p e s h i , K . 1 9 9 2 , D e c l i n e i n

A c c u r a c y o f A u t o m a t i c S p e e c h R e c o g n i t i o n a s F u n c t i o n

o f T i m e o n T a s k : F a t i g u e o r V o i c e D r i f t ? " , I n t e r n a t i o n a l

J o u r n a l o f M a n - M a c h i n e S t u d i e s 3 6 6 , 7 9 7 8 1 6 .

G o l d b e r g , D . & G o o d i s m a n , A . 1 9 9 1 , S T Y L U S U s e r I n t e r -

f a c e s f o r M a n i p u l a t i n g T e x t , i n P r o c e e d i n g s o f t h e A C M

S y m p o s i u m o n U s e r I n t e r f a c e S o f t w a r e a n d T e c h n o l o g y

| U I S T ' 9 1 , A C M P r e s s , p p . 1 2 7 1 3 5 .

G o l d b e r g , D . & R i c h a r d s o n , C . 1 9 9 3 , T o u c h - T y p i n g w i t h a

S t y l u s , i n P r o c e e d i n g s o f A C M I N T E R C H I ' 9 3 C o n f e r -

e n c e o n H u m a n F a c t o r s i n C o m p u t i n g S y s t e m s , F o r m a l

V i d e o P r o g r a m m e : N o v e l T e c h n o l o g i e s , p . 5 2 0 .

G r e e n b e r g , S . , D a r r a g h , J . J . , M a u l s b y , D . & W i t t e n , I . H .

1 9 9 5 , E x t r a - o r d i n a r y H u m a n - C o m p u t e r I n t e r a c t i o n :

i n t e r f a c e s f o r u s e r s w i t h d i s a b i l i t i e s , C a m b r i d g e s e r i e s

o n h u m a n - c o m p u t e r i n t e r a c t i o n , C a m b r i d g e U n i v e r s i t y

P r e s s , N e w Y o r k , c h a p t e r P r e d i c t i v e I n t e r f a c e s : w h a t

w i l l t h e y t h i n k o f n e x t ? , p p . 1 0 3 1 3 9 .

H u d s o n , S . E . & N e w e l l , G . L . 1 9 9 2 , P r o b a b i l i s t i c S t a t e

M a c h i n e s : D i a l o g M a n a g e m e n t f o r I n p u t s w i t h U n c e r -

t a i n t y , i n P r o c e e d i n g s o f t h e A C M S y m p o s i u m o n U s e r

I n t e r f a c e S o f t w a r e a n d T e c h n o l o g y , T o o l k i t s , p p . 1 9 9

2 0 8 .

H u e r s t , W . , Y a n g , J . & W a i b e l , A . 1 9 9 8 , I n t e r a c t i v e E r r o r

R e p a i r f o r a n O n l i n e H a n d w r i t i n g I n t e r f a c e , i n P r o c e e d -

i n g s o f A C M C H I 9 8 C o n f e r e n c e o n H u m a n F a c t o r s

i n C o m p u t i n g S y s t e m s S u m m a r y , V o l . 2 o f S t u d e n t

P o s t e r s : I n t e r a c t i o n T e c h n i q u e s , p p . 3 5 3 3 5 4 .

I g a r a s h i , T . , M a t s u o k a , S . , K a w a c h i y a , S . & T a n a k a , H .

1 9 9 7 , I n t e r a c t i v e B e a u t i c a t i o n : A T e c h n i q u e f o r

R a p i d G e o m e t r i c D e s i g n , i n P r o c e e d i n g s o f t h e A C M

S y m p o s i u m o n U s e r I n t e r f a c e S o f t w a r e a n d T e c h n o l o g y ,

C o n s t r a i n t s , p p . 1 0 5 1 1 4 .

K a t o , N . & N a k a g a w a , M . 1 9 9 5 , T h e D e s i g n o f a P e n -

b a s e d I n t e r f a c e ' S H O S A I ' f o r C r e a t i v e W o r k , i n Y . a n -

z a i , K . O g a w a & H . M o r i e d s . , H C I I n t e r n a t i o n a l ' 9 5 :

S y m b i o s i s o f H u m a n a n d A r t i f a c t , E l s e v i e r S c i e n c e .

K u r t e n b a c h , G . , M o r a n , T . P . & B u x t o n , W . 1 9 9 4 , C o n -

t e x t u a l A n i m a t i o n o f G e s t u r a l C o m m a n d s " , C o m p u t e r

G r a p h i c s F o r u m 1 3 5 , 3 0 5 3 1 4 .

L o p r e s t i , D . & T o m k i n s , A . 1 9 9 5 , C o m p u t i n g i n t h e I n k

D o m a i n , i n Y . a n z a i , K . O g a w a & H . M o r i e d s . , H C I

I n t e r n a t i o n a l ' 9 5 : S y m b i o s i s o f H u m a n a n d A r t i f a c t ,

E l s e v i e r S c i e n c e .

M a n k o , J . & A b o w d , G . D . 1 9 9 8 , C i r r i n : A w o r d - l e v e l

u n i s t r o k e k e y b o a r d f o r p e n i n p u t , i n P r o c e e d i n g s o f

U I S T ' 9 8 , p p . 2 1 3 2 1 4 .

M a r x , M . & S c h m a n d t , C . 1 9 9 4 , P u t t i n g P e o p l e F i r s t :

S p e c i f y i n g p r o p e r n a m e s i n s p e e c h i n t e r f a c e s , i n P r o -

c e e d i n g s o f t h e A C M S y m p o s i u m o n U s e r I n t e r f a c e S o f t -

w a r e a n d T e c h n o l o g y | U I S T ' 9 4 , A C M P r e s s , p p . 3 0

3 7 .

M o r a n , T . P . , C h i u , P . & v a n M e l l e , W . 1 9 9 7 , P e n - B a s e d

I n t e r a c t i o n T e c h n i q u e s f o r O r g a n i z i n g M a t e r i a l o n a n

E l e c t r o n i c W h i t e b o a r d , i n P r o c e e d i n g s o f t h e A C M

S y m p o s i u m o n U s e r I n t e r f a c e S o f t w a r e a n d T e c h n o l o g y ,

P i c k i n g a n d P o i n t i n g , p p . 4 5 5 4 .

M y e r s , B . A . & K o s b i e , D . S . 1 9 9 6 , R e u s a b l e H i e r a r c h i -

c a l C o m m a n d O b j e c t s , i n P r o c e e d i n g s o f A C M C H I ' 9 0

C o n f e r e n c e o n H u m a n F a c t o r s i n C o m p u t i n g S y s t e m s ,

S I G C H I , A C M P r e s s .

N a n j a , M . & C o o k , C . R . 1 9 8 7 , A n A n a l y s i s o f t h e O n - L i n e

D e b u g g i n g P r o c e s s , i n E m p i r i c a l S t u d i e s o f P r o g r a m -

m e r s : S e c o n d W o r k s h o p , p p . 1 7 2 1 8 4 .

P o o n , A . , W e b e r , K . & C a s s , T . 1 9 9 5 , S c r i b b l e r : A T o o l f o r

S e a r c h i n g D i g i t a l I n k , i n P r o c e e d i n g s o f A C M C H I ' 9 5

C o n f e r e n c e o n H u m a n F a c t o r s i n C o m p u t i n g S y s t e m s ,

V o l . 2 o f S h o r t P a p e r s : P e n s a n d T o u c h p a d s , p p . 2 5 2

2 5 3 .

R h o d e s , B . J . & S t a r n e r , T . 1 9 9 6 , R e m e m b r a n c e A g e n t , i n

T h e P r o c e e d i n g s o f T h e F i r s t I n t e r n a t i o n a l C o n f e r e n c e

o n T h e P r a c t i c a l A p p l i c a t i o n O f I n t e l l i g e n t A g e n t s a n d

M u l t i A g e n t T e c h n o l o g y P A A M ' 9 6 , p p . 4 8 7 4 9 5 .

R i s e b e r g , J . , K l e i n , J . , F e r n a n d e z , R . & P i c a r d , R . W .

1 9 9 8 , F r u s t r a t i n g t h e u s e r o n p u r p o s e : u s i n g b i o s i g -

n a l s i n a p i l o t s t u d y t o d e t e c t t h e u s e r ' s e m o t i o n a l s t a t e ,

i n P r o c e e d i n g s o f t h e C H I 9 8 s u m m a r y c o n f e r e n c e o n

C H I 9 8 s u m m a r y : h u m a n f a c t o r s i n c o m p u t i n g s y s t e m s ,

S I G C H I , p p . 2 2 7 2 2 8 .

S c h o m a k e r , L . R . B . 1 9 9 4 , U s e r - i n t e r f a c e A s p e c t s i n R e c -

o g n i z i n g C o n n e c t e d - C u r s i v e H a n d w r i t i n g , i n P r o c e e d -

i n g s o f t h e I E E C o l l o q u i u m o n h a n d w r i t i n g a n d P e n -

b a s e d i n p u t , n u m b e r 1 9 9 4 0 6 5 , T h e i n s t i t u t i o n o f E l e c -

t r i c a l E n g i n e e r s , T h e i n s t e t u t e i o n o f E l e c t r i c a l E n g i -

n e e r s , L o n d o n .

S u h m , B . 1 9 9 7 , E m p i r i c a l E v a l u a t i o n o f I n t e r a c t i v e M u l t i -

m o d a l E r r o r C o r r e c t i o n , i n I E E E W o r k s h o p o n S p e e c h

r e c o g n i t i o n a n d u n d e r s t a n d i n g , I E E E , S a n t a B a r b a r a

U S A .

S u h m , B . , M y e r s , B . & W a i b e l , A . 1 9 9 6 a , D e s i g n i n g I n t e r -

a c t i v e e r r o r R e c o v e r y M e t h o d s f o r S p e e c h I n t e r f a c e s , i n

C H I 9 6 W o r k s h o p o n D e s i g n i n g t h e U s e r i n t e r f a c e f o r

S p e e c h R e c o g n i t i o n a p p l i c a t i o n s , S I G C H I .

S u h m , B . , M y e r s , B . & W a i b e l , A . 1 9 9 6 b , I n t e r a c t i v e R e -

c o v e r y f r o m S p e e c h R e c o g n i t i o n E r r o r s i n S p e e c h U s e r

I n t e r f a c e s , i n P r o c . I C S L P ' 9 6 , V o l . 2 , P h i l a d e l p h i a ,

P A , p p . 8 6 5 8 6 8 .

T h i m b l e b y , H . 1 9 9 0 , U s e r I n t e r f a c e D e s i g n , A d d i s o n -

W e s l e y P u b l i s h i n g C o . A C M P r e s s , R e a d i n g , M A .

A C M O r d e r n u m b e r 7 0 4 9 0 7 ; Q A 7 6 . 9 . U 8 3 T 4 8 1 9 9 0 .


9/9

W o l f , C . G . 1 9 9 0 , U n d e r s t a n d i n g H a n d w r i t i n g R e c o g n i -

t i o n f r o m t h e U s e r ' s P e r s p e c t i v e , i n P r o c e e d i n g s o f t h e

H u m a n F a c t o r s S o c i e t y 3 4 t h A n n u a l M e e t i n g , V o l . 1 o f

C o m p u t e r S y s t e m s : M o d e l i n g , p p . 2 4 9 2 5 3 .

Z a j i c e k , M . & H e w i t t , J . 1 9 9 0 , A n I n v e s t i g a t i o n i n t o t h e

U s e o f E r r o r R e c o v e r y D i a l o g u e s i n a U s e r I n t e r f a c e

M a n a g e m e n t S y s t e m f o r S p e e c h R e c o g n i t i o n , i n P r o -

c e e d i n g s o f I F I P I N T E R A C T ' 9 0 : H u m a n - C o m p u t e r

I n t e r a c t i o n , I n t e r a c t i v e T e c h n o l o g i e s a n d T e c h n i q u e s :

S p e e c h a n d N a t u r a l L a n g u a g e , p p . 7 5 5 7 6 0 .

Z o l t a n - F o r d , E . 1 9 9 1 , H o w t o G e t P e o p l e t o S a y a n d

T y p e W h a t C o m p u t e r s C a n U n d e r s t a n d " , I n t e r n a -

t i o n a l J o u r n a l o f M a n - M a c h i n e S t u d i e s 3 4 4 , 5 2 7 5 4 7 .

99-18_error correction techniques for peer writing, speech and other ambiguous or prone systems

Documents