decision theory tutorial

7/27/2019 Decision Theory Tutorial

http://slidepdf.com/reader/full/decision-theory-tutorial 1/11

IEEE TRANSACTIONS ON SYS T EMS S C I E N C E A N D CY13ERNETICS, VOL. S S C - 4 , N O. 3 , S E P T E M L I E R 1 9 6 8

ATutorial I n t r o d u c t i o n t o Decision Theory

D . WARNER NORTH

A b s t r a c t - D e c i s i o n t h e o r y p r o v i d e s a r a t i o n a l f r a m e w o r k f o rc h o o s i n g b e t w e e n a l t e r n a t i v e c o u r s e s o f a c t i o n when t h e c o n s e -q u e n c e s r e s u l t i n g f r o m t h i s c h o i c e a r e i m p e r f e c t l y k n o w n . Tw os t r e a m s o f t h o u g h t s e r v e a s t h e f o u n d a t i o n s : u t i l i t y t h e o r y a n d t h ei n d u c t i v e u s e o f p r o b a b i l i t y t h e o r y .

T h e i n t e n t o f t h i s p a p e r i s t o p r o v i d e a t u t o r i a l i n t r o d u c t i o n t o t h i si n c r e a s i n g l y i m p o r t a n t a r e a o f s y s t e m s s c i e n c e . T h e f o u n d a t i o n s a r ed e v e l o p e d o n a n a x i o m a t i c b a s i s , a n d a s i m p l e e x a m p l e , t h e " a n n i -v e r s a r y p r o b l e m , " i s u s e d t o i l l u s t r a t e d e c i s i o n t h e o r y . T h e c o n c e p to f t h e v a l u e o f i n f o r m a t i o n i s d e v e l o p e d a n d d e m o n s t r a t e d . A t t i m e sm a t h e m a t i c a l r i g o r h a s b e e n s u b o r d i n a t e d t o p r o v i d e a c l e a r a n dr e a d i l y a c c e s s i b l e e x p o s i t i o n o f t h e f u n d a m e n t a l a s s u m p t i o n s a n dc o n c e p t s o f d e c i s i o n t h e o r y . A s a m p l i n g o f t h e many e l e g a n t a n dr i g o r o u s t r e a t m e n t s o f d e c i s i o n t h e o r y i s p r o v i d e d a m o n g t h er e f e r e n c e s .

I N T R O D U C T I O N

THE NECESSITY o f m a k i n i g d e c i s i o n s i n t h e f a c e o fu n c e r t a i n t y i s a n i n t e g r a l p a r t o f o u r l i v e s . We m u s t

a c t w i t h o u t k n o w i n g t h e c o n s e q u e i n c e s t h a t w i l l r e s u l tf r o m t h e a c t i o n . T h i s u n c o m f o r t a b l e s i t u a t i o n i s p a r t i c -u l a r l y a c u t e f o r t h e s y s t e m s e n g i n e e r o r m a n a g e r w h o m u s tm a k e f a r - r e a c h i n g d e c i s i o n s o I n c o m p l e x i s s u e s i n a r a p i d l yc h a n g i n g t e c h n o l o g i c a l e n v i r o n m e n t . U n c e r t a i n t y a p p e a r sa s t h e d o m i n a n t c o n s i d e r a t i o n i n m a n y s y s t e m s p r o b l e m sa s w e l l a s i n d e c i s i o n s t h a t we f a c e i n o u r p e r s o n a l l i v e s .T o

d e a lw i t h

t h e s e p r o b l e m so i i a

r a t i o n a l b a s i s , we m u s td e v e l o p a t h e o r e t i c a l s t r u c t u r e f o r d e c i s i o t n m a k i n g t h a ti n c l u d e s u n c e r t a i n i t y .

C o n f r o n t i n g u n c e r t a i n t y i s I n o t e a s y - . We n a t u r a l l y t r yt o a v o i d i t ; s o m e t i m e s we e v e n p r e t e n d i t d o e s n o t e x i s t .O u r p r i m i t i v e a n c e s t o r s s o u g h t t o a v o i d i t b y c o n s u l t i n gs o o t h s a y e r s a n d o r a c l e s w h o w o u l d " r e v e a l " t h e u n c e r t a i nf u t u r e . T h e m e t h o d s h a v e c h a n g e d : a s t r o l o g y a n d t h er e a d i n g o f s h e e p e n t r a i l s a r e s o m e w h a t o u t o f f a s h i o n t o -d a y , b u t p r e d i c t i o n s o f t h e f u t u r e s t i l l a b o u n d . Muchc u r r e n t s c i e n t i f i c e f f o r t g o e s i n t o f o r e c a s t i n g f u t u r e e c o -

n o m i c a n d t e c h n o l o g i c a l d e v e l o p m e n t s . I f t h e s e p r e d i c t i o n sa r e a s s u m e d t o b e c o m p l e t e l y a c c u r a t e , t h e u n c e r t a i n t y i n

m a n y s y s t e m s d e c i s i o n s i s e l i m i n a t e d . T h e o u t c o m e r e s u l t -i n g f r o m a p o s s i b l e c o u r s e o f a c t i o n may t h e n b e p r e s u m e dt o b e k n o w n . D e c i s i o n m a k i n g b e c o m e s a n o p t i m i z a t i o np r o b l e m , a n d t e c h n i q u e s s u c h a s m a t h e m a t i c a l p r o g r a m -m i n g may b e u s e d t o o b t a i n a s o l u t i o n . S u c h p r o b l e m smay b e q u i t e d i f f i c u l t t o s o l v e , b u t t h i s d i f f i c u l t y s h o u l d

M a n u s c r i p t r e c e i v e d M \ a y 8 , 1 9 6 8 . An e a r l i e r v e r s i o n o f t h i s p a p e rwas p r e s e n t e d a t t h e IEEE S y s t e m s S c i e n c e a n d C y b e r n e t i c s C o n -f e r e n c e , W a s h i n g t o n , D . C . , O c t o b e r 1 7 , 1 9 6 6 . T h i s r e s e a r c h w a s s u p -p o r t e d i n p a r t b y t h e G r a d u a t e C o o p e r a t i v e F e l l o w s h i p P r o g r a m o ft h e N a t i o n a l S c i e n c e F o u n d a t i o n a t S t a n f o r d U n i v e r s i t y , S t a n f o r d ,C a l i f .

T h e a u t h o r i s w i t h t h e S y s t e m s S c i e n c e s A r e a , S t a n f o r d R e s e a r c hI n s t i t u t e , M T e n l o P a r k , C a l i f . 9 4 0 2 5 .

n o t

o b s c u r e t h e f a c t t h a t t h e y r e p r e s e n t t h e l i m i t i n g c a s eo f p e r f e c t p r e d i c t i o n s . I t i s o f t e n t e m p t i n g t o assume

p e r f e c t p r e d i c t i o n s , b u t i n s o d o i n g we may b e e l i m i n a t i n i gt h e m o s t i m p o r t a n t f e a t u r e s o f t h e p r o b l e m . ' We s h o u l dl i k e t o i n c l u d e i n t h e a n a l y s i s n o t j u s t t h e p r e d i c t i o n st h e m s e l v e s , b u t a l s o a m e a s u r e o f t h e c o n f i d e n c e we h a v ei n t h e s e p r e d i c t i o n s . A f o r m a l t h e o r y o f d e c i s i o n m a k i n gmust t a k e u n c e r t a i n t y a s i t s d e p a r t u r e p o i n t a n d r e g a r dp r e c i s e k n o w l e d g e o f o u t c o m e s a s a l i m i t i n g s p e c i a l c a s e .

B e f o r e w e b e g i n o u r e x p o s i t i o n , we w i l l c l a r i f y o u r p o i n to f v i e w . We s h a l l t a k e t h e e n g i n i e e r i n g r a t h e r t h a n t h ep u r e l y s c i e n t i f i c v i e w p o i n t . We a r e n o t o b s e r v i n g t h e w a yp e o p l e make d e c i s i o n s ; r a t h e r we a r e p a r t i c i p a n i t s i n t h e

d e c i s i o n - m a k i n g p r o c e s s . O u r c o n c e r i n i s i n a c t u a l l y m a k i n ga d e c i s i o n , i . e . , m a k i n g a c h o i c e b e t w e e n a l t e r n a t i v e w a y so f a l l o c a t i n g r e s o u r c e s . We m u s t a s s u m e t h a t a t l e a s t t w od i s t i n c t a l t e r n a t i v e s e x i s t ( o r e l s e t h e r e i s 1 1 o e l e m e n t o fc h o i c e a n d , c o n s e q u e n t l y , n o p r o b l e m ) . A l t e r n a t i v e s a r e

d i s t i n c t o n l y i f t h e y r e s u l t i n d i f f e r e n t ( u n c e r t a i n ) r e w a r d so r p e n a l t i e s f o r t h e d e c i s i o n m a k e r ; o n c e t h e d e c i s i o n i h a sb e e n m a d e a n d t h e u n c e r t a i n t y r e s o l v e d , t h e r e s o u r c ea l l o c a t i o n c a n b e c h a n g e d o n l y b y i n c u r r i n g s o m e p e n a l t y .

What c a n we e x p e c t o f a g e n e r a l t h e o r y f o r d e c i s i o nm a k i n g u n d e r u n c e r t a i n t y ? I t s h o u l d p r o v i d e a f r a m e w o r ki n w h i c h a l l a v a i l a b l e i n f o r m a t i o n i s u s e d t o d e d u c e w h i c h

o f t h e d e c i s i o n a l t e r n a t i v e s i s " b e s t " a c c o r d i n g t o t h ed e c i s i o n m a k e r ' s p r e f e r e n c e s . B u t c h o o s i n g a n a l t e r n a t i v et h a t i s c o n s i s t e n t w i t h t h e s e p r e f e r e n c e s a n d p r e s e n tk n o w l e d g e d o e s n o t g u a r a n t e e t h a t we w i l l c h o o s e t h ea l t e r n a t i v e t h a t b y h i n d s i g h t t u r n s o u t t o b e m o s t p r o f i t -a b l e .We m i g h t d i s t i n i g u i s h b e t w e e n a g o o d d e c i s i o n a n d a

g o o d o u t c o m e . We a r e a l l f a m i l i a r w i t h s i t u a t i o n s i n w h i c hc a r e f u l m a n a g e m e n t a n d e x t e n s i v e p l a n n i n g p r o d u c e dp o o r r e s u l t s , w h i l e a d i s o r g a n i z e d a n d b a d l y m a n a g e dc o m p e t i t o r a c h i e v e d s p e c t a c u l a r s u c c e s s . A s a n e x t r e m ee x a m p l e , p l a c e y o u r s e l f i n t h e p o s i t i o n o f t h e c o m p a n yp r e s i d e n t w h o h a s d i s c o v e r e d t h a t a v a l u a b l e a n d t r u s t e d

s u b o r d i n a t e w h o s e p a s t j u d g m e n t h a d p r o v e d u n f a i l i n g l y ,a c c u r a t e a c t u a l l y b a s e d h i s d e c i s i o n s u p o n t h e a d v i c e o f ag y p s y f o r t u n e t e l l e r . W o u l d y o u p r o m o t e t h i s man o rf i r e h i m ? T h e a n s w e r , o f c o u r s e , i s t o f i r e h i m a n d h i r e t h eg y p s y a s a c o n s u l t a n t . T h e a v a i l a b i l i t y o f s u c h a c l a i r -v o y a n t t o p r o v i d e p e r f e c t i n f o r m a t i o n w o u l d m a k e d e c i - -s i o n t h e o r y u n n e c e s s a r y . B u t w e s h o u l d n o t c o n f u s e t h et w o . D e c i s i o n t h e o r y i s n o t a s u b s t i t u t e f o r t h e f o r t u n et e l l e r . I t i s r a t h e r a p r o c e d u r e t h a t t a k e s a c c o u n t o f a l la v a i l a b l e i n f o r m a t i o n t o g i v e u s t h e b e s t p o s s i b l e l o g i c a l

I F o r f u r t h e r d i s c u s s i o n o f t h i s p o i n t , s e e Howard [ 1 0 ] a n d K l e i na n d M e c k l i n g [ 1 4 1 .

2 0 0



2 0 1N O R T H : I N T R O DU C T I O N TO D E C I S I O N THEORY

D E C I S I O NALTERNATIVES

BUY FLOWERS

DO N O TBUY FL OWERS

P O S S I B L E OUTCOMES

I T I S YOUR I T I S N O T YOUR

ANNIVERSARY ANNIVERSARY

F i g . 1 . A n n i v e r s a r y p r o b l e m payoff m a t r i x .

BUY FLOWERS

DO N O TBUY FLOWERS

XDECISION POINT

oESOLUTION OFUNCERTAINTY

STATUS QUO

F i g . 2 . D i a g r a m o f a n n i v e r s a r y d e c i s i o n .

d e c i s i o n . I t w i l l m i n i m i z e t h e c o n s e q u e n c e s o f g e t t i n g a n

u n f a v o r a b l e o u t c o m e , b u t we c a n n o t e x p e c t o u r t h e o r y t os h i e l d u s f r o m a l l " b a d l u c k . " T h e b e s t p r o t e c t i o n we h a v e

a g a i n s t a b a d o u t c o m e i s a g o o d d e c i s i o n .D e c i s i o n t h e o r y may b e r e g a r d e d a s a f o r m a l i z a t i o n o f

common s e n s e . M a t h e m a t i c s p r o v i d e s a n u n a m b i g u o u sl a n g u a g e i n w h i c h a d e c i s i o n p r o b l e m may b e r e p r e s e n t e d .

T h e r e a r e t w o d i m e n s i o n s t o t h i s r e p r e s e n t a t i o n t h a t w i l lp r e s e n t l y b e d e s c r i b e d : v a l u e , b y m e a n s o f u t i l i t y t h e o r y ,a n d i n f o r m a t i o n , b y m e a n s o f p r o b a b i l i t y t h e o r y . I n t h i sr e p r e s e n t a t i o n , t h e l a r g e a n d c o m p l e x p r o b l e m s o f s y s t e m s

a n a l y s i s b e c o m e c o n c e p t u a l l y e q u i v a l e n t t o s i m p l e p r o b -

l e m s i n o u r d a i l y l i f e t h a t we s o l v e b y "common s e n s e . "We w i l l u s e s u c h a p r o b l e m a s a n e x a m p l e .

You a r e d r i v i n g home f r o m w o r k i n t h e e v e n i n g when

y o u s u d d e n l y r e c a l l t h a t y o u r w e d d i n g a n n i v e r s a r y c o m e s

a b o u t t h i s t i m e o f y e a r . I n f a c t , i t s e e m s q u i t e p r o b a b l e

( b u t n o t c e r t a i n ) t h a t i t i s t o d a y . You c a n s t i l l s t o p b y t h e

f l o r i s t s h o p a n d b u y a d o z e n r o s e s f o r y o u r w i f e , o r y o u

may g o h o m e e m p t y - h a n d e d a n d h o p e t h e a n n i v e r s a r y

d a t e l i e s s o m e w h e r e i n t h e f u t u r e ( F i g . 1 ) . I f y o u b u y t h er o s e s a n d i t i s y o u r a n n i v e r s a r y , y o u r w i f e i s p l e a s e d a tw h a t a t h o u g h t f u l h u s b a n d y o u a r e a n d y o u r h o u s e h o l d i st h e v e r y e p i t o m e o f d o m e s t i c b l i s s . B u t i f i t i s n o t y o u r

a n n i v e r s a r y , y o u a r e p o o r e r b y t h e p r i c e o f t h e r o s e s a n d

y o u r w i f e ma y w o n d e r w h e t h e r y o u a r e t r y i n g t o makea m e n d s f o r s o m e t r a n s g r e s s i o i l s h e d o e s n o t know a b o u t . I fy o u d o n o t b u y t h e r o s e s , y o u w i l l b e i n t h e c l e a r i f i t i s n o t

y o u r a n n i v e r s a r y ; b u t i f i t i s , y o u may e x p e c t a t e m p e r

t a n t r u m f r o m y o u r w i f e a n d a t w o - w e e k s e n t e n c e t o t h e d o g -

h o u s e . What d o y o u d o ?We s h a l l d e v e l o p t h e g e n e r a l t o o l s f o r s o l v i n g d e c i s i o n

p r o b l e m s a n d t h e n r e t u r n t o t h i s s i m p l e e x a m p l e . T h e

r e a d e r m i g h t c o n s i d e r how h e w o u l d s o l v e t h i s p r o b l e m b y' ' c o m m o n s e n s e " a n d t h e n c o m p a r e h i s r e a s o n i n g w i t h t h e

f o r m a l s o l u t i o n w h i c h we s h a l l d e v e l o p l a t e r ( F i g . 2 ) .

T H E MACHINERY O F D E C I S I O N MAKING

U t i l i t y T h e o r y

T h e f i r s t s t a g e i n s e t t i n g u p a s t r u c t u r e f o r d e c i s i o nm a k i n g i s t o a s s i g n n u m e r i c a l v a l u e s t o t h e p o s s i b l e o u t -

c o m e s . T h i s t a s k f a l l s w i t h i n t h e a r e a c o v e r e d b y t h em o d e r n t h e o r y o f u t i l i t y . T h e r e a r e a n u m b e r o f w a y s o fd e v e l o p i n g t h e s u b j e c t ; t h e p a t h we s h a l l f o l l o w i s t h a t o fL u c e a n d R a i f f a [ 1 6 ] . 2

T h e f i r s t a n d p e r h a p s t h e b i g g e s t a s s u m p t i o n t o b em a d e i s t h a t a n y two p o s s i b l e o u t c o m e s r e s u l t i n g f r o m a

d e c i s i o n c a n b e c o m p a r e d . G i v e n a n y t w o p o s s i b l e o u t -

c o m e s o r p r i z e s , y o u c a n s a y w h i c h y o u p r e f e r . I n s o m e

c a s e s y o u m i g h t s a y t h a t t h e y w e r e e q u a l l y d e s i r a b l e o r

u n d e s i r a b l e , a n d t h e r e f o r e y o u a r e i n d i f f e r e n t . F o r e x -a m p l e , y o u m i g h t p r e f e r a w e e k ' s v a c a t i o n i n F l o r i d a t o a

s e a s o n t i c k e t t o t h e s y m p h o n y . T h e p o i n t i s n o t t h a t t h ev a c a t i o n c o s t s more t h a n t h e s y m p h o n y t i c k e t s , b u t r a t h e r

2 T h e c l a s s i c a l r e f e r e n c e o n m o d e r n u t i l i t y t h e o r y i s v o n Neumanna n d M o r g e n s t e r n [ 2 2 ] . A r e c e n t s u r v e y o f t h e l i t e r a t u r e o n u t i l i t yt h e o r y h a s b e e n m a d e b y F i s h b u r n [ 5 ] .

/ / j



IEEE TR \ N S A \ C T I O N S ON S Y S T ' E M S S C I E N C E AND C Y B E R N E T I C S , SEPTEMBER 1 9 6 S

t h a t y o u p r e f e r t h e v a c a t i o n i . I f y o u w e r e o f f e r e d t h e v a c a -t i o n o r t h e s y m p h o n y t i c k e t s o n a n o n n e g o t i a b l e b a s i s ,y o u w o u l d c h o o s e t h e v a c a t i o n .A r e a s o n a b l e e x t e n s i o n o f t h e e x i s t e n c e o f y - o u r p r e f e r -

e n c e a m o n g o u t c o m e s i s t h a t t h e p r e f e r e n i c e b e t r a n s i t i v e ;i f y o u p r e f e r A t o B a n d B t o C , t h e n i t f o l l o ( w s t h a t X y o up r e f e r A t o C . 3

T h e s e c o n d a s s u m p t i o n , o r i g i n a t e d b y v o n N X e u m a n n

a r i d M o r g e n s t e r n [ 2 2 ] , f o r m s t h e c o r e o f m o d e r n u t i l i t y -t h e o r y : y o u c a n a s s i g n p r e f e r e n c e s i n t h e s a m e m a r i n e r t ol o t t e r i e s i n v o l v i n g p r i z e s a s y o u c a n t o t h e p r i z e s t h e m -s e l v e s . L e t u s d e f i n e w h a t we m e a n i b y a l o t t e r y . I m a g i n i e ap o i t n t e r t h a t s p i n s i n t h e c e n t e r o f a c i r c l e d i v i d e d i n i t ot w o r e g i o n s , a s s h o w n i i n F i g . 3 . I f y o u s p i n t h e p o i n t e r a n di t l a n d s i n r e g i o n I , y o u g e t p r i z e A ; i f i t l a n d s i n r e g i o nI I , y o u g e t p r i z e B . We s h a l l a s s u m e t h a t t h e p o i n i t e r i ss p u n i n s u c h a way t h a t , w h e n i t s t o p s , i t i s e q u a l l y l i k e l yt o b e p o i n t i n g i n a n y g i v e n d i r e c t i o n . T h e f r a c t i o n o f t h e

c i r c u m f e r e n c e o f t h e c i r c l e i n r e g i o n I w i l l b e d e n o t e d P ,

a n d t h a t i n r e g i o n I I a s 1 - P . T h e n f r o m t h e a s s u m p t i o n

t h a t a l l d i r e c t i o n i s a r e e q u a l l y l i k e l v , t h e p r o b a b i l i t y t h a tt h e l o t t e r y g i v e s y o u p r i z e A i s P , a n d t h e p r o b a b i l i t y t h a t

y o u g e t p r i z e B i s 1 - P . We s h a l l d e n o t e s u c h a l o t t e r y a s

( P , A ; 1 - P , B ) a n d r e p r e s e n t i t , b y - F ' i g . 4 .

N o w s u p p o s e y o u a r e a s k e d t o s t a t e y o u r p r e f e r e n c e s f o rp r i z e A , p r i z e B , a n d a l o t t e r y o f t h e a b o v e t y p e . L e t u s

a s s u m e t h a t y - o u p r e f e r p r i z e A t o p r i z e B . T h e n i t w o u l d

s e e m n a t u r a l f o r y o u t o p r e f e r p r i z e A t o t h e l o t t e r y ,( P , A ; 1 - P , B ) , b e t w e e n p r i z e A . a r i d p r i z e B , a r i d t op r e f e r t h i s l o t t e r y b e t w e e i n p r i z e A a r i d p r i z e B t o p r i z e Bf o r a l l p r o b a b i l i t i e s P b e t w e e n 0 a n d 1 . Y o u w o u l d r a t h e rh a v e t h e p r e f e r r e d p r i z e A t h a n t h e l o t t e r y , a n d y o u w o u l d

r a t h e r h a v e t h e l o t t e r y t h a n t h e i n f e r i o r p r i z e B . F u r t h e r -m o r e , i t s e e m s n a t u r a l t h a t , g i v e n a c h o i c e b e t w e e i n t w o

l o t t e r i e s i n v o l v i n g p r i z e s A a n d B , y o u w o u l d c h o o s e t h el o t t e r y w i t h t h e h i g h e r p r o b a b i l i t y o f g e t t i n g t h e p r e f e r r e dp r i z e A , i . e . , y o u p r e f e r l o t t e r y ( P , A ; 1 - P , B ) t o ( P ' , A ;1-P',B) i f a n i d o n l y i f P i s g r e a t e r t h a i P ' .

T h e f i n a l a s s u m p t i o n s f o r a t h e o r y o f u t i l i t y a r e n o t

q u i t e s o n a t u r a l a n d h a v e b e e n t h e s u b j e c t , o f m u c h d i s -c u s s i o n . N o n e t h e l e s s , t h e y s e e m t o b e t h e m o s t r e a s o n a b l eb a s i s f o r l o g i c a l d e c i s i o n m a k i i n g . T h e t h i r d a s s u m p t i o n i st h a t t h e r e i s n o i n t r i n s i c r e w a r d i n l o t t e r i e s , t h a t i s , " n i of u n i n g a m b l i n g . " L e t u s c o n s i d e r a c o m p o u n d l o t t e r y ,a l o t t e r y i n w h i c h a t l e a s t , o n e o f t h e p r i z e s i s r i o t a n o u t -

c o m e b u t a n o t h e r l o t t e r y a m o n g o u t c o m e s . F o r e x a m p l e ,e o n i s i d e r t h e l o t t e r y ( P , A ; 1 - P , ( P ' , B ; 1 - P ' , C ) ) . I f t h ep o i n t e r o f F i g . 3 l a n d s i n r e g i o n I , y o u g e t p r i z e A ; i f i tl a n d s i n r e g i o n I I , y o u r e c e i v e a n o t h e r l o t t e r y t h a t h a s

I S u p p o s e n o t : y o u w o u l d b e a t l e a s t a s h a p p y w i t h C a s w i t h A .T h e n i f a l i t t l e man i n a s h a b b y o v e r c o a t c a m e u p a n d o f f e r e d y o u lC i n s t e a d o f A , y o u w o u l d p r e s u m a b l y a c c e p t . N o w y o u h a v e C ;a n d s i n c e y o u p r e f e r B t o C , y o u w o u l d p r e s u m a b l y p a y a su m o fmoney t o g e t B i n s t e a d . O n c e y o u h a d B , y o u p r e f e r A ; s o y o u w o u l dp a y t h e m a n i n t h e s h a b b y o v e r c o a t s o m e m o r e money t o g e t A .B u t t no w y o u a r e b a c k w h e r e y o u s t a r t e d , w i t h A , a n d t h e l i t t l e m a n ii n t h e s h a b b y o v e r c o a t w a l k s away c o u n t i n g y o u r m o n e y . G i v e n t h a ty o u i a c c e p t a s t a n d a r d o f v a l u e s u c h a s m o n e y , t r a n s i t i v i t y p r e v e n t sy o u i f r o m b e c o m i n g a " m o n e y p t u m p . "

p K I

F i g . 3 . A l o t t e r y .

AP

I -P

B

F i g . 4 . L o t t e r y d i a g r a m.

A

I P B

p I PC

C O MPOU ND L O T T ER Y

A

P

C ( I - P ) ' B

( I - P ) ( I - P )C

E Q U I V A L E N T S I M P L E L O T T E R Y

F i g . , . "No f u n i n g a m b l i t i g . "

d i f f e r e n t , p r i z e s a n d p e r h a p s a d i f f e r e n i t d i v i s i o i n o f t h ec i r c l e ( F i g . 5 ) . I f y o u s p i n i t h e s e c o n d p o i n t e r y o u w i l lr e c e i v e p r i z e B o r p r i z e C , d e p e n d i n g o n w h e r e t h i s p o i n t e rl a n d s . T h e a s s u m p t i o n i s t h a t s u b d i v i d i n g r e g i o n I I i n t ot w o p a r t s w h o s e p r o p o r t i o n s c o r r e s p o n d t o t h e p r o b a -b i l i t i e s P ' a r i d 1 - P ' o f t h e s e c o n d l o t t e r y c r e a t e s a i ne q u i v a l e n t s i m p l e l o t t e r y i n w h i c h a l l o f t h e p r i z e s a r eo u t c o m e s . A c c o r d i n g t o t h i s t h i r d a s s u m p t i o i i , y o u c a n

d e c o m p o s e a c o m p o u n d l o t t e r y b y m u l t i p l y i n g t h e p r o b a -

b i l i t ) o f t h e l o t t e r y p r i z e i n t h e f i r s t l o t t e r y b y t h e p r o b a -b i l i t i e s o f t h e i n i d i v i d u a l p r i z e s i n t h e s e c o n d l o t t e r y ; y o us h o u l d b e i n d i f f e r e n i t b e t w e e i n ( P , A ; 1 - I P , ( P ' , B ; 1 - ' ,C ) ) a n i d ( P , A ; P ' - P P ' , B ; 1 - P- P ' + P P ' , C ) . I no t h e r w o r d s , y o u r p r e f e r e n c e s a r e r i o t a f f e c t e d b y t h e w a y -i n w h i c h t h e u n c e r t a i n t y i s r e s o l v e d b i t b y b i t , o r a l l a to n c e . T h e r e i s n o v a l u e i n t h e l o t t e r v i t s e l f ; i t d o e s r i o tm a t t e r w h e t h e r y o u s p i n t h e p o i n t e r o i n c e o r t w i c e .

F o u r t h , we make a c o n t i n u i t y a s s u m p t i o n . C o n s i d e it h r e e p r i z e s , A , B , a r i d C . You p r e f e r A t o C , a n d C t o B( a n d , a s we h a v e p o i n t e d o u t , y o u w i l l t h e r e f o r e p r e f e r At o B ) . We s h a l l a s s e r t t h a t t h e r e m u s t , e x i s t s o m e p r o b a -b i l i t y P s o t h a t y r o u a r e i n d i f f e r e t n t , t o r e c e i v i n g p r i z e C o r

2 0 2 9



N O R T H : I N T R O DU CT I O N T O DE CI SI ON THEORY

t h e l o t t e r y ( P , A ; 1 - P , B ) b e t w e e n A a n d B . C i s c a l l e dt h e c e r t a i n e q u i v a l e n t o f t h e l o t t e r y ( P , A ; 1 - P , B ) ,a n 1 1 d o n t h e s t r e n g t h o f o u r " n o f u n i n g a m b l i n g " a s s u m p -t i o i t , w e a s s u m e t h a t i n t e r c h a n g i i n g C a n d t h e l o t t e r y( P , A ; 1 - P , B ) a s p r i z e s i n s o m e c o m p o u n d l o t t e r y d o e si i o t c h a n g e y o u r e v a l u a t i o n o f t h e l a t t e r l o t t e r y . We h a v en o t a s s u m e d t h a t , g i v e n a l o t t e r y ( P , A ; 1 - P , B ) , t h e r ee x i s t s a P r i z e C i n t e r m e d i a t e i n v a l u e b e t w e e n A a n d B s o

t h a t y o u a r e i n d i f f e r e n t b e t w e e n C a n d ( P , A ; 1 - P , B ) .I n i s t e a d we h a v e a s s u m e d t h e e x i s t e n c e o f t h e p r o b a b i l i t yP . G i v e n p r i z e A p r e f e r r e d t o p r i z e C p r e f e r r e d t o p r i z e B ,

f o r s o m e P b e t w e e n 0 a n d 1 , t h e r e e x i s t s a l o t t e r y ( P , A ;1 - P , B ) s u c h t h a t y o u a r e i n d i f f e r e n i t b e t w e e n t h i s l o t t e r ya n d P r i z e C . L e t u s r e g a r d t h e c i r c l e i n F i g . 3 a s a " p i e "

t o b e c u t i n t o t w o p i e c e s , r e g i o n I ( o b t a i n p r i z e A ) a n dr e g i o n I I ( o b t a i n p r i z e B ) . T h e a s s u m p t i o n i s t h a t t h e" p i e " c a n b e d i v i d e d s o t h a t y o u a r e i n d i f f e r e n t a s t ow h e t h e r y o u r e c e i v e t h e l o t t e r y o r i n t e r m e d i a t e p r i z e C .

I s t h i s c o n t i n u i t y a s s u m p t i o n r e a s o n a b l e ? T a k e t h e

f o l l o w i n g e x t r e m e c a s e :

A = r e c e i v e $ 1 ;B = d e a t h ;C = r e c e i v e n o t h i n g ( s t a t u s q u o ) .

I t s e e m s o b v i o u s t h a t m o s t o f u s w o u l d a g r e e A i s p r e -f e r r e d t o C , a n d C i s p r e f e r r e d t o B ; b u t i s t h e r e a p r o b a -b i l i t v P s u c h t h a t we w o u l d r i s k d e a t h f o r t h e p o s s i b i l i t y o fg a i n i n g $ 1 ? R e c a l l t h a t t h e p r o b a b i l i t y P c a n b e a r b i -t r a r i l y c l o s e t o 0 o r 1 . O b v i o u s l y , w e w o u l d n o t e n g a g e i ns u c h a l o t t e r y w i t h , s a y , P = 0 . 9 , i . e . , a 1 - i n - 1 0 c h a n c e o fd e a t h . B u t s u p p o s e P = 1 - 1 X 1 0 - 5 0 , i . e . , t h e p r o b a -b i l i t y o f d e a t h a s o p p o s e d t o $ 1 i s n o t 0 . 1 b u t 1 0 - 5 0 . T h el a t t e r i s c o n s i d e r a b l y l e s s t h a n t h e p r o b a b i l i t y o f b e i n g

s t r u ( c k o n I t h e h e a d b y a m e t e o r i n t h e c o u r s e o f g o i n g o u tt o p i c k u p a $ 1 b i l l t h a t s o m e o n e h a s d r o p p e d o n y o u r d o o r -s t e p . M A o s t o f u s w o u l d n o t h e s i t a t e t o p i c k u p t h e b i l l .E v e n i n t h i s e x t r e m e c a s e w h e r e d e a t h i s a p r i z e , we c o n -

c l u d e t h e a s s u m p t i o n i s r e a s o n a b l e .We c a n s u m m a r i z e t h e a s s u m p t i o n s we h a v e m a d e i n t o

t h e f o l l o w i i n g a x i o m s .A , B , C a r e p r i z e s o r o u t c o m e s r e s u l t i n g f r o m a d e c i s i o n .

N o t a t i o n :

A > B

A B

m e a n s " i s p r e f e r r e d t o ; "m e a n s A i s p r e f e r r e d t o B ;

m e a n s " i s i n d i f f e r e n t t o ; "m e a n s t h e d e c i s i o n m a k e r i s i n d i f f e r e n t b e -t w e e n A a n d B .

U t i l i t y A x i o m s :

1 ) P r e f e r e n c e s c a n b e e s t a b l i s h e d b e t w e e n p r i z e s a n dl o t t e r i e s i n a n u n a m b i g u o u s f a s h i o n . T h e s e p r e f e r e n c e s a r et r a n s i t i v e , i . e . ,

A>B, B>C impliesA>CA B, B-C i m p l i e s A - C .

2 ) I f A > B , t h e n ( P , A ; 1 - P , B ) > ( P ' , A ; 1 - P ' , B ) i fa n d o n l y i f P > P ' .

3 ) ( P , A ; 1 - P , ( P ' , B ; 1 - P ' , C ) ) - ( P , A ; P ' - P P ' , B ;1 - P - P ' + P P ' , C ) , i . e . , t h e r e i s " n I o f u n i n g a m b l i n g . "

4 ) I f A > C > B , t h e r e e x i s t s a P w i t h 0 < P < 1 s o t h a t

C( P , A ; I 1 - P , B )

i . e . , i t m a k e s n o d i f f e r e n c e t o t h e d e c i s i o n m a k e r w h e t h e r Co r t h e l o t t e r y ( P , A ; 1 - P , B ) i s o f f e r e d t o h i m a s a p r i z e .

U n d e r t h e s e a s s u m p t i o n s , t h e r e i s a c o n c i s e m a t h e -m a t i c a l r e p r e s e n t a t i o n p o s s i b l e f o r p r e f e r e n c e s : a u t i l i t yf u n c t i o n u ( ) t h a t a s s i g n s a n u m b e r t o e a c h l o t t e r y o r

p r i z e . T h i s u t i l i t y f u n c t i o n h a s t h e f o l l o w i n g p r o p e r t i e s :

u ( A ) > u ( B ) i f a n d o n l y i f A > B ( 1 )

i f C ( P , A ; 1 - P , B ) ,t h e n u ( C ) = P u ( A ) + ( 1 - P ) u ( B ) ( 2 )

i . e . , t h e u t i l i t y o f a l o t t e r y i s t h e m a t h e m a t i c a l e x p e c t a t i o no f t h e u t i l i t y o f t h e p r i z e s . I t i s t h i s " e x p e c t e d v a l u e "

p r o p e r t y t h a t m a k e s a u t i l i t y f u n c t i o n u s e f u l b e c a u s e i ta l l o w s c o m p l i c a t e d l o t t e r i e s t o b e e v a l u a t e d q u i t e e a s i l y .

I t i s i m p o r t a n t t o r e a l i z e t h a t a l l t h e u t i l i t y f u n c t i o n d o e si s p r o v i d e a m e a n s o f c o n s i s t e n t l y d e s c r i b i n g t h e d e c i s i o nm a k e r ' s p r e f e r e n c e s t h r o u g h a s c a l e o f r e a l n u m b e r s ,p r o v i d i n g t h e s e p r e f e r e n c e s a r e c o n s i s t e n t w i t h t h e p r e v i -o u s l y m e n t i o n e d a s s u m p t i o n s 1 ) t h r o u g h 4 ) . The u t i l i t yf u n c t i o n i s n o m o r e t h a n a m e a n s t o l o g i c a l d e d u c t i o nb a s ed o n g i v e n p r e f e r e n c e s . T h e p r e f e r e n c e s c o m e f i r s t a n dt h e u t i l i t y f u n c t i o n i s o n l y a c o n v e n i e i n t m e a n s o f d e s c r i b -i n g t h e m . We c a n a p p l y t h e u t i l i t y c o n i c e p t t o a l m o s t a n ys o r t o f p r i z e s o r o u t c o m e s , f r o m b a t t l e f i e l d c a s u a l t i e s o ra c h i e v e m e n t s i n s p a c e t o p r e f e r e n c e s f o r W h e a t i e s o rP o s t T o a s t i e s . A l l t h a t i s n e c e s s a r y i s t h a t t h e d e c i s i o n

m a k e r h a v e u n a m b i g u o u s p r e f e r e n c e s a n d b e w i l l i n g t oa c c e p t t h e b a s i c a s s u m p t i o n s .I n many p r a c t i c a l s i t u a t i o n s , h o w e v e r , o u t c o m e s a r e i n

t e r m s o f d o l l a r s a n d c e n t s . What d o e s t h e u t i l i t y c o n c e p tm e a n h e r e ? F o r a n e x a m p l e , l e t u s s u p p o s e y o u w e r e

o f f e r e d t h e f o l l o w i n g l o t t e r y : a c o i n w i l l b e f l i p p e d , a n d i fy o u g u e s s t h e o u t c o m e c o r r e c t l y , y o u g a i n $ 1 0 0 . I f y o ug u e s s i n c o r r e c t l y , y o u g e t n o t h i n g . We s h a l l a s s u m e y o uf e e l t h a t t h e c o i n h a s a n e q u a l p r o b a b i l i t y o f c o m i n g u ph e a d s o r t a i l s ; i t c o r r e s p o n d s t o t h e " l o t t e r y " w h i c h weh a v e d e f i n e d i n t e r m s o f a p o i n t e r w i t h P = 1 / 2 . H o wmuch w o u l d y o u p a y f o r s u c h a l o t t e r y ? A c o m m o n a n s w e rt o t h i s a c a d e m i c q u e s t i o n i s " u p t o $ 5 0 , " t h e a v e r a g e o r -

e x p e c t e d v a l u e o f t h e o u t c o me s . When r e a l money i s i n -v o l v e d , h o w e v e r , t h e s a m e p e o p l e t e n d t o b i d c o n s i d e r a b l yl o w e r ; t h e a v e r a g e b i d i s a b o u t $ 2 0 . 4 A g r o u p o f S t a n f o r d

U n i v e r s i t y g r a d u a t e s t u d e n t s w a s a c t u a l l y c o n f r o n t e d w i t ha $ 1 0 0 p i l e o f b i l l s a n d a 1 9 6 4 s i l v e r q u a r t e r t o f l i p . T h ea v e r a g e o f t h e s e a l e d b i d s f o r t h i s g a m e w a s s l i g h t l y u n d e r$ 2 0 , a n d o n l y 4 o u t o f 4 6 v e n t u r e d t o b i d a s h i g h a s $ 4 0 .( T h e h i g h b i d d e r , a t $ 4 5 . 6 1 , l o s t a n d t h e p r o c e e d s w e r eu s e d f o r a c l a s s p a r t y . ) T h e s e r e s u l t s a r e q u i t e t y p i c a l ;i n f a c t , p r o f e s s i o n a l e n g i n e e r s a n d m a n i a g e r s a r e , i f a n v -

4 B a s e d o n u n p u b l i s h e d d a t a o b t a i n e d b y P r o f . R . A . Howard o fS t a n f o r d

U n i v e r s i t y , S t a n f o r d ,C a l i f .

2 0 3



IEEE TRANSACTIONS ON SYS T EMS S C I E N C E A N D CYBERNETICS, SEPTEMBER 1 9 6 8

t h i n g , m o r e c o n s e r v a t i v e i n t h e i r b i d s t h a n t h e l e s sa f f l u e n t s t u d e n t s .

T h e l e s s o n t o b e l e a r n e d h e r e i s t h a t , b y a n d l a r g e , m o s tp e o p l e s e e m t o b e a v e r s e t o r i s k i n g a m b l e s i n v o l v i n g w h a ti s t o t h e m s u b s t a n t i a l l o s s . T h e y a r e w i l l i n g t o e q u a t e t h ev a l u e o f a l o t t e r y t o a s u r e p a y o f f o r c e r t a i n e q u i v a l e n ts u b s t a n t i a l l y l e s s t h a n t h e e x p e c t e d v a l u e o f t h e o u t c o m e s .

S i m i l a r l y , m o s t o f u s a r e w i l l i n g t o p a y m o r e t h a n t h e

e x p e c t e d l o s s t o g e t o u t o f a n u n f a v o r a b l e l o t t e r y . T h i sf a c t f o r m s t h e b a s i s o f t h e i n s u r a n c e i n d u s t r y .

I f y o u a r e v e r y w e a l t h y a n d y o u a r e c o n f r o n t e d w i t h a

s m a l l l o t t e r y , y o u m i g h t w e l l b e i n d i f f e r e n t t o t h e r i s k .An u n f a v o r a b l e o u t c o m e w o u l d n o t d e p l e t e y o u r r e s o u r c e s ,a n d y o u m i g h t r e a s o n t h a t y o u w i l l make u p y o u r l o s s e s i nf u t u r e l o t t e r i e s ; t h e " l a w o f a v e r a g e s " w i l l c o m e t o y o u rr e s c u e . You t h e n e v a l u a t e t h e l o t t e r y a t t h e e x p e c t e d v a l u eo f t h e p r i z e s . F o r e x a m p l e , t h e ( 1 / 2 , $ 0 ; 1 / 2 , $ 1 0 0 ) l o t t e r yw o u l d b e w o r t h 1 / 2 ( $ 0 ) + 1 / 2 ( $ 1 0 0 ) = $ 5 0 t o y o u . Y o u ru t i l i t y f u n c t i o n i s t h e n a s t r a i g h t l i n e , a n d we s a y y o u a r e

a n " e x p e c t e d v a l u e " d e c i s i o n m a k e r . F o r l o t t e r i e s i n v o l v -

i n g s m a l l p r i z e s , m o s t i n d i v i d u a l s a n d c o r p o r a t i o n s a r ee x p e c t e d v a l u e d e c i s i o n m a k e r s . We m i g h t r e g a r d t h i s a s a

c o n s e q u e i i c e t o t h e f a c t t h a t a n y a r b i t r a r y u t i l i t y c u r v e

f o r m o n e y l o o k s l i k e a s t r a i g h t l i n e i f we l o o k a t a s m a l l

e n o u g h s e c t i o n o f i t . O n l y w h e n t h e p r i z e s a r e s u b s t a n t i a li n r e l a t i o n t o o u r r e s o u r c e s d o e s t h e c u r v a t u r e b e c o m ee v i d e n t . T h e n a n u n f a v o r a b l e o u t c o m e r e a l l y h u r t s . F o r

t h e s e l o t t e r i e s m o s t o f u s b e c o m e q u i t e r i s k a v e r s e , a n de x p e c t e d v a l u e d e c i s i o n m a k i n g d o e s n i o t a c c u r a t e l y r e f l e c to u r t r u e p r e f e r e n c e s .

L e t u s now d e s c r i b e o n e way y o u m i g h t c o n s t r u c t y o u ro w i n u t i l i t y c u r v e f o r m o n e y , s a y , i n t h e a m o u n t s o f $ 0 t o$ 1 0 0 , i n a d d i t i o n t o y o u r p r e s e n t a s s e t s . T h e u t i l i t y f u n c -t i o n i s a r b i t r a r y a s t o c h o i c e o f z e r o p o i n t a n d o f s c a l ef a c t o r ; c h a n g i n g t h e s e f a c t o r s d o e s n o t l e a d t o a c h a n g e i nt h e e v a l u a t i o n o f l o t t e r i e s u s i n g p r o p e r t i e s ( 1 ) a n d ( 2 ) .T h e r e f o r e , we c a n t a k e t h e u t i l i t y o f $ 0 a s 0 a n d t h e u t i l i t yo f $ 1 0 0 a s 1 . N o w d e t e r m i n e t h e minimum a m o u n t y o uw o u l d a c c e p t i n p l a c e o f t h e l o t t e r y o f f l i p p i n g a c o i n t od e t e r m i n e w h e t h e r y o u r e c e i v e $ 0 o r $ 1 0 0 . L e t u s s a y y o u ra n s w e r i s $ 2 7 . N o w d e t e r m i n e t h e c e r t a i n e q u i v a l e n t o ft h e l o t t e r i e s ( 1 / 2 , $ 0 ; 1 / 2 , $ 2 7 ) , a n d ( 1 / 2 , $ 2 7 ; 1 / 2 , $ 1 0 0 ) ,a n d s o f o r t h . We m i g h t a r r i v e a t a c u r v e l i k e t h a t s h o w ni n F i g . 6 .

We h a v e s i m p l y u s e d t h e e x p e c t e d v a l u e p r o p e r t y ( 2 ) t o

c o n s t r u c t a u t i l i t y c u r v e . T h i s s a m e c u r v e , h o w e v e r ,a l l o w s u s t o u s e t h e s a m e e x p e c t e d u t i l i t y t h e o r e m t o

e v a l u a t e new l o t t e r i e s ; f o r e x a m p l e , ( 1 / 2 , $ 3 0 ; 1 / 2 $ 8 0 ) .From F i g . 6 , u ( $ 3 0 ) = 0 . 5 4 , u ( $ 8 0 ) = 0 . 9 1 , a n d t h e r e f o r e1 / 2 u ( $ 3 0 ) + 1 / 2 u ( $ 8 0 ) = u ( x ) > x = $ 4 9 . I f y o u a r e

g o i n g t o b e c o n s i s t e n t w i t h t h e p r e f e r e n c e s y o u e x p r e s s e di n d e v e l o p i n g t h e u t i l i t y c u r v e , y o u w i l l b e i n d i f f e r e n tb e t w e e n $ 4 9 a n d t h i s l o t t e r y . - M o r e o v e r , t h i s a m o u i n tc o u l d h a v e b e e n d e t e r m i n e d f r o m y o u r u t i l i t y c u r v e b y as u b o r d i n a t e o r p e r h a p s a c o m p u t e r p r o g r a m . You c o u l ds e n d y o u r a g e n t t o m a k e d e c i s i o n s o n l o t t e r i e s b y u s i n gy o u r u t i l i t y c u r v e , a n d h e w o u l d m a k e t h e m t o r e f l e c t y o u rp r e f e r e n c e f o r a m o u n t s i n t h e r a n g e $ 0 t o $ 1 0 0 .

1 . 0 0

0 . 7 5

- ' 0 . 5 0

0 . 2 5

0

0 20 40 60 80 1 0 0

MONEY- d o l l a r s

F i g . 6 . U t i l i t y c u i r v e f o r m o n e y : $ 0 t o $ 1 0 0 .

E v e n w i t h o u t s u c h a m o n l e t a r y r e p r e s e i n t a t i o n i , we c a i ia l w a y s c o n s t r u c t a u t i l i t y f u n c t i o n o i n a f i i n i t e s e t o f o u t -c o m e s b y u s i n g t h e e x p e c t e d v a l u e p r o p e r t y ( 2 ) . L e t u s

c h o o s e t w o o u t c o m e s , o n e o f w h i c h i s p r e f e r r e d t o t h e

o t h e r . I f w e s e t t h e u t i l i t i e s a r b i t r a r i l y a t 1 f o r t h e p r e f e r r e do u t c o m e a n d 0 f o r t h e o t h e r , we c a n u s e t h e e x p e c t e d v a l u e

p r o p e r t y ( 2 ) o f t h e u t i l i t y f u n c t i o n t o d e t e r m i n e t h e

u t i l i t y o f t h e o t h e r p r i z e s . T h i s p r o c e d u r e w i l l a l w a y s w o r - ks o l o n g a s o u r p r e f e r e n c e s o b e y t h e a x i o m s , b u t i t may b eu n w i e l d y i n p r a c t i c e b e c a u s e w e a r e a s k i n g t h e d e c i s i o nm a k e r t o a s s e s s s i m u l t a n e o u s l y h i s v a l u e s i n t h e a b s e n i c e o fu n c e r t a i n t y a n d h i s p r e f e r e n c e a m o n g r i s k s . T h e v a l u e o fs o m e o u t c o m e i s a c c e s s i b l e o n i l y b y r e f e r e n c e t o a l o t t e r yi n v o l v i n g t h e t w o " r e f e r e n c e " o u t c o o m e s . F o r e x a m p l e ,

t h e r e f e r e n c e o u t c o m e s i n t h e a n i n i v e r s a r y p r o b l e m m i g h tb e " d o m e s t i c b l i s s " = 1 a n d " d o g h o u s e " = 0 . We c o u l d

t h e n d e t e r m i n e t h e u t i l i t y o f " s t a t u s q u o " a s 0 . 9 1 s i n c e t h eh u s b a n d i s i n d i f f e r e n t b e t w e e n t h e o u t c o m e " s t a t u s q u o "a n d a l o t t e r y i n w h i c h t h e c h a n c e s a r e 1 0 t o 1 o f " d o m e s t i cb l i s s " a s o p p o s e d t o t h e " d o g h o u s e . " S i m i l a r l y , w e m i g h td i s c o v e r t h a t a u t i l i t y o f 0 . 6 6 7 s h o u l d b e a s s i g n e d t o " s u s -p i c i o u s w i f e a n d $ 6 w a s t e d o n r o s e s , " s i i n c e o u r f r i e n d i s i l n d i f -f e r e n t b e t w e e n t h i s e v e n i t u a l i t y a n d a l o t t e r y i n w h i c h t h ep r o b a b i l i t i e s a r e 0 . 3 3 3 o f " d o g h o u s e " a n d 0 . 6 6 7 o f " d o -m e s t i c b l i s s . " O f c o u r s e , t o b e c o n s i s t e n i t w i t h t h e a x i o m s ,

o u r f r i e n d m u s t b e i n d i f f e r e n t b e t w e e n " s u s p i c i o u s w i f e ,e t c . , " a n d a 0 . 7 3 p r o b a b i l i t y o f " s t a t u s q u o " a n d a 0 . 2 7p r o b a b i l i t y o f " d o g h o u s e . " I f t h e e x a m p l e i n c l u d e da d d i t i o n a l o u t c o m e s a s w e l l , h e m i g h t f i n d i t q u i t e d i f f i c u l tt o e x p r e s s h i s p r e f e r e n c e s a m o n g t h e l o t t e r i e s i n a m a i i n n e rc o n s i s t e n t w i t h t h e a x i o m s . I t may b e a d v i s a b l e t o p r o c e e di n t w o s t a g e s ; f i r s t , a n u m e r i c a l d e t e r m i n a t i o n o f v a l u e i l l ar i s k - f r e e s i t u a t i o n , a n d t h e n a n a d j u s t m e n t t o t h i s s c a l et o i n c l u d e p r e f e r e n c e t o w a r d r i s k .

E q u i v a l e n t t o o u r f i r s t a s s u m p t i o n , t h e e x i s t e n c e o ft r a n s i t i v e p r e f e r e n c e s , i s t h e e x i s t e n c e o f s o m e s c a l e o fv a l u e b y w h i c h o u t c o m e s may b e r a n k i e d ; A i s p r e f e r r e d t oB i f a n d o n l y i f A i s h i g h e r i n v a l u e t h a n B . T h e n u m e r i c C a l

2 0 4



N O R T H : I N T R O DU CT I O N T O DECISION THEORY

s t r u c t u r e we g i v e t o t h i s v a l u e i s n o t i m p o r t a n t s i n c e am o n o t o n i c t r a n s f o r m a t i o n t o a n e w s c a l e p r e s e r v e s t h er a n k i n g o f o u t c o m e s t h a t c o r r e s p o n d s t o t h e o r i g i n a lp r e f e r e n c e s . No m a t t e r w h a t s c a l e o f v a l u e we u s e , we c a nc o n s t r u c t a u t i l i t y f u n c t i o n o n i t b y u s i I n g t h e e x p e c t e dv a l u e p r o p e r t y ( 2 ) , s o l o n g a s o u r f o u r a s s u m p t i o n s h o l d . Wem a y a s w e l l u s e a s t a n d a r d o f v a l u e t h a t i s r e a s o n a b l yi n t u i t i v e , a n d i n m o s t s i t u a t i o n s m o n e y i s a c o n v e n i e n ts t a n d a r d o f e c o n o m i c v a l u e . We c a n t h e n f i n d a m o n e t a r ye q u i v a l e n i t f o r e a c h o u t c o m e b y d e t e r m i n i n g t h e p o i n t a tw h i c h t h e d e c i s i o n m a k e r i s i n d i f f e r e n t b e t w e e n r e c e i v i n gt h e o u t c o m e a n d r e c e i v i n g ( o r p a y i n g o u t ) t h i s a m o u n t o fm o l i e y . I n a d d i t i o n t o c o n c e p t u a l s i m p l i c i t y , t h i s p r o -c e d u r e m a k e s i t e a s y t o e v a l u a t e n e w o u t c o m e s b y p r o -v i d i n g a n i n t u i t i v e s c a l e o f v a l u e s . S u c h a s c a l e w i l l b e -c o m e n e c e s s a r y l a t e r o n i f we a r e t o c o n s i d e r t h e v a l u e o fr e s o l v i n g u n c e r t a i n t y .We w i l l r e t u r n t o t h e a n n i v e r s a r y d e c i s i o n a n d d e m o n -

s t r a t e h o w t h i s t w o - s t e p v a l u e d e t e r m i n a t i o n p r o c e d u r em a y b e a p p l i e d . B u t f i r s t l e t u s d e s c r i b e h o w we s h a l l

q u a n t i f y u n c e r t a i n t y .T h e I n d u c t i v e U s e o f P r o b a b i l i t y T h e o r y

We no w w i s h t o l e a v e t h e p r o b l e m o f t h e e v a l u a t i o n o fo u t c o m e s r e s u l t i n g f r o m a d e c i s i o n a n d t u r n o u r a t t e n t i o nt o a m e a n s o f e n c o d i n g t h e i n f o r m a t i o n we h a v e a s t o

w h i c h o u t c o m e i s l i k e l y t o o c c u r . L e t u s l o o k a t t h e l i m i t i n gc a s e w h e r e a d e c i s i o n r e s u l t s i n a c e r t a i n o u t c o m e . Wem i g h t r e p r e s e n t a n o u t c o m e , o r a n e v e n t , w h i c h i s c e r t a i nt o o c c u r b y 1 , a n d a n e v e n t w h i c h c a n n o t o c c u r b y 0 .A c e r t a i n e v e n t , t o g e t h e r w i t h a n o t h e r c e r t a i n e v e n t , i sc e r t a i n t o o c c u r ; b u t a c e r t a i n e v e n t , t o g e t h e r w i t h a n

i m p o s s i b l e e v e n t , i s c e r t a i n n o t t o o c c u r . M l o s t e n g i n e e r sw o u l d r e c o g n i z e t h e a f o r e m e n t i o n e d a s s i m p l e B o o l e a ne q u a t i o n s : 1 1 = 1 , 1 . 0 = 0 . B o o l e a n a l g e b r a a l l o w s u s

t o m a k e c o m p l e x c a l c u l a t i o n s w i t h s t a t e m e n t s t h a t mayt a k e o n o n l y t h e l o g i c a l v a l u e s " t r u e " a n d " f a l s e . " T h ew h o l e f i e l d o f d i g i t a l c o m p u t e r s i s , o f c o u r s e , b a s e d o n t h i sb r a n c h o f m a t h e m a t i c s .

B u t h o w d o we h a n d l e t h e l o g i c a l " m a y b e ? " T a k e t h es t a t e m e n t , " I t w i l l r a i n t h i s a f t e r n o o n . " We c a n n o t no wa s s i g n t h i s s t a t e m e n t a l o g i c a l v a l u e o f t r u e o r f a l s e , b u twe c e r t a i n l y h a v e s o m e f e e l i n g s o n t h e m a t t e r , a n d wemay e v e n h a v e t o m a k e a d e c i s i o n b a s e d o n t h e t r u t h o ft h e s t a t e m e n t , s u c h a s w h e t h e r t o g o t o t h e b e a c h . I d e a l l y ,we w o u l d l i k e t o g e n e r a l i z e t h e i n d u c t i v e l o g i c o f B o o l e a na l g e b r a t o i n c l u d e u n c e r t a i n t y . We w o u l d l i k e t o b e a b l e t oa s s i g n t o a s t a t e m e n t o r a n e v e n t a v a l u e t h a t i s a m e a s u r eo f i t s u n c e r t a i n t y . T h i s v a l u e w o u l d l i e i n t h e r a n g e f r o m 0

t o 1 . A v a l u e o f 1 i n d i c a t e s t h a t t h e s t a t e m e n t i s t r u e o r

t h a t t h e e v e n t i s c e r t a i n t o o c c u r ; a v a l u e o f 0 i n d i c a t e st h a t t h e s t a t e m e n t i s f a l s e o r t h a t t h e e v e n t c a n n o t o c c u r .

W V e m i g h t a d d t w o o b v i o u s a s s u m p t i o n s . We w a n t t h ev a l u e a s s i g n m e n t s t o b e u n a m b i g u o u s , a n d we w a n t t h ev a l u e a s s i g n m e n t s t o b e i n d e p e n d e n t o f a n y a s s u m p t i o n st h a t h a v e n o t b e e n e x p l i c i t l y i n t r o d u c e d . I n p a r t i c u l a r , t h ev a l u e o f t h e s t a t e m e n t s h o u l d d e p e n d o n i t s c o n t e n t , n o t

o n t h e way i t i s p r e s e n t e d . F o r e x a m p l e , " I t w i l l r a i n t h i s

m o r n i n g o r i t w i l l r a i n t h i s a f t e r n o o n , " s h o u l d h a v e t h e

s a m e v a l u e a s " I t w i l l r a i n t o d a y . "T h e s e a s s u m p t i o n s a r e e q u i v a l e n t t o t h e a s s e r t i o n

t h a t t h e r e i s a f u n c t i o n P t h a t g i v e s v a l u e s b e t w e e n 0 a n d 1t o e v e n t s ( " t h e s t a t e m e n t i s t r u e " i s a n e v e n t ) a n d t h a t

o b e y s t h e f o l l o w i n g p r o b a b i l i t y a x i o m s . 5L e t E a n d F b e e v e n t s o r o u t c o m e s t h a t c o u l d r e s u l t

f r o m a d e c i s i o n :

1 ) P ( E ) > 0 f o r a n y e v e n t E ;2 ) P ( E ) = 1 , i f E i s c e r t a i n t o o c c u r ;3 ) P(E o r F ) = P ( E ) + P ( F ) i f E a n d F a r e m u t u a l l y

e x c l u s i v e e v e n t s ( i . e . , o n l y o n e o f t h e m c a n o c c u r ) .

E o r F m e a n s t h e e v e n t t h a t e i t h e r E o r F o c c u r s . Wea r e i n l u c k . O u r a x i o m s a r e i d e n t i c a l t o t h e a x i o m s t h a tf o r m t h e m o d e r n b a s i s o f t h e t h e o r y o f p r o b a b i l i t y . T h u swe may u s e t h e w h o l e m a c h i n e r y o f p r o b a b i l i t y t h e o r y f o ri n d u c t i v e r e a s o n i n g .

W h e r e d o we o b t a i n t h e v a l u e s P ( E ) t h a t we w i l la s s i g n t o t h e u n c e r t a i n t y o f t h e e v e n t E ? We g e t t h e m f r o m

o u r own m i n d s . T h e y r e f l e c t o u r b e s t j u d g m e n t o n t h eb a s i s o f a l l t h e i n f o r m a t i o n t h a t i s p r e s e n t l y a v a i l a b l e t o u s .T h e u s e o f p r o b a b i l i t y t h e o r y a s a t o o l o f i n d u c t i v e r e a s o n -i n g g o e s b a c k t o t h e b e g i n n i n g s o f p r o b a b i l i t y t h e o r y .I n N a p o l e o n ' s t i m e , L a p l a c e w r o t e t h e f o l l o w i n g a s a p a r t

o f h i s i n t r o d u c t i o n t o A P h i l o s o p h i c a l E s s a y o n P r o b a -b i l i t i e s ( [ 1 5 ] , p . 1 ) :

S t r i c t l y s p e a k i n g i t m a y e v e n b e s a i d t h a t n e a r l y a l l o u r

k n o w l e d g e i s p r o b l e m a t i c a l ; a n d i n t h e s m a l l n u m b e r s o ft h i n g s w h i c h w e a r e a b l e t o k n o w w i t h c e r t a i n t y , e v e n i nt h e m a t h e m a t i c a l s c i e n c e s t h e m s e l v e s , t h e p r i n c i p a l m e a n sf o r a s c e r t a i n i n g t r u t h - i n d u c t i o n a n d a n a l o g y - a r e t h e m -

s e l v e s b a s e d o n p r o b a b i l i t i e s ....

U n f o r t u n a t e l y , i n t h e y e a r s f o l l o w i n g L a p l a c e , h i s w r i t -i n g s w e r e m i s i n t e r p r e t e d a n d f e l l i n t o d i s f a v o r . A d e f i n i t i o no f p r o b a b i l i t y b a s e d o n f r e q u e n c y c a m e i n t o v o g u e , a n d t h ep e n d u l u m i s o n l y no w b e g i n n i n g t o s w i n g b a c k . A g r e a t

many m o d e r n p r o b a b i l i s t s l o o k o n t h e p r o b a b i l i t y a s s i g n e dt o a n e v e n t a s t h e l i m i t i n g f r a c t i o n o f t h e n u m b e r o f t i m e sa n e v e n t o c c u r r e d i n a l a r g e n u m b e r o f i n d e p e n d e n tr e p e a t e d t r i a l s . We s h a l l n o t e n t e r i n t o a d i s c u s s i o n o f t h e

g e n e r a l m e r i t s o f t h i s v i e w p o i n t o n p r o b a b i l i t y t h e o r y .S u f f i c e i t t o s a y t h a t t h e s i t u a t i o n i s a r a r e o n e i n w h i c hy o u c a n o b s e r v e a g r e a t many i n d e p e n d e n t i d e n t i c a l t r i a l si n o r d e r t o a s s i g n a p r o b a b i l i t y . I n f a c t , i n d e c i s i o n t h e o r ywe a r e o f t e n i n t e r e s t e d i n e v e n t s t h a t w i l l o c c u r j u s t o n c e ,F o r u s , a p r o b a b i l i t y a s s e s s m e n t i s m a d e o n t h e b a s i s o f a

s t a t e o f m i n d ; i t i s n o t a p r o p e r t y o f p h y s i c a l o b j e c t s t o

b e m e a s u r e d l i k e l e n g t h , w e i g h t , o r t e m p e r a t u r e . When wea s s i g n t h e p r o b a b i l i t y o f 0 . 5 t o a c o i n c o m i n g u p h e a d s , o r

e q u a l p r o b a b i l i t i e s t o a l l p o s s i b l e o r i e n t a t i o n s o f a p o i n t e r ,we may b e r e a s o n i n g o n t h e b a s i s o f t h e s y m m e t r y o f t h e

I A x i o m s 1 ) a n d 2 ) a r e o b v i o u s , a n d 3 ) r e s u l t s f r o m t h e a s s u m p t i o no f i n v a r i a n c e t o t h e f o r m o f d a t a p r e s e n t a t i o n ( t h e l a s t s e n t e n c e i nt h e p r e c e d i n g p a r a g r a p h ) . F o r m a l d e v e l o p m e n t s may b e f o u n d i nCox [ 3 ] , J a y n e s [ 1 2 1 , o r J e f f r e y s [ 1 3 1 . A j o i n t a x i o m a t i z a t i o n o f b o t h

p r o b a b i l i t y a n d u t i l i t y t h e o r y h a s b e e n d e v e l o p e d b y S a v a g e [ 2 0 ] .

2 0 5



I E E E T R A N S A C T I O N S O N S Y S T E M S S C I E N C E A N D C Y B E R N E T I C S , S E P T E M B E R 1 9 6 8

p h y s i c a l o b j e c t . T h e r e i s n O r e a s o n t o s u p p o s e t h a t o n es i d e o f t h e c o i n\ i i l l b e f a v o r e d o v e r t h e o t h e r . B u t t h ep h y s i c a l s y m m e t r y o f t h e c o i n d o e s n o t l e a d i m m e d i a t e l yt o a p r o b a b i l i t y a s s i g i n m e n i t o f 0 . 5 f o r h e a d s . F o r e x a m p l e ,c o n s i d e r a c o i n t h a t i s p l a c e d o n a d r u m h e a d . T h e d r u mh e a d i s s t r u c k , a t n d t h e c o i n b o u n c e s i n t o t h e a i r . W i l l i tl a n d h e a d s u p h a l f o f t h e t i m e ? We m i g h t e x p e c t t h a t t h e

p r o b a b i l i t y o f h e a d s w o u l d d e p e n d o n w h i c h s i d e o f t h ec o i n w a s u p i n i i t i a l l y , h o w h a r d t h e d r u m w a s h i t , a n i d s of o r t h . T h e p r o b a b i l i t y o f h e a d s i s n o t a p h y s i c a l p a r a m e t e ro f t h e c o i n ; w e h a v e t o s p e c i f y t h e f l i p p i n g s y s t e m a s w v e l l .B u t i f w e k i i e w e x a c t l y h o w t h e c o i n w e r e t o b e f l i p p e d , w ec o u l d c a l c u l a t e f r o m t h e l a w s o f m e c h a n i c s w h e t h e r i tw o u l d l a n d h e a d s o r t a i l s . P r o b a b i l i t y e n t e r s a s a m e a n s o fd e s c r i b i i n g o u r f e e l i n g s a b o u t t h e l i k e l i h o o d o f h e a d s w h e no u r k i n o w l e d g e o f t h e f l i p p i n g s y s t e m i s n o t e x a c t . We m u s tc o n c l u d e t h a t t h e p r o b a b i l i t y a s s i g n m e n t d e p e n i d s o n o u rp r e s e n t s t a t e o f k n i o w l e d g e .

T h e m o s t i m p o r t a n i t c o n s e q u e n c e o f t h i s a s s e r t i o n i s t h a tp r o b a b i l i t i e s a r e s u b j e c t t o c h a n g e a s o u r i n i f o r m a t i o n

i m p r o v e s . I n f a c t , i t e v e n m a k e s s e n s e t o t a l k a b o u tp r o b a b i l i t i e s o f p r o b a b i l i t i e s . A f e w y e a r s a g o we m i g h th a v e a s s i g n e d t h e v a l u e 0 . 5 t o t h e p r o b a b i l i t y t h a t t h es u r f a c e o f t h e moon i s c o v e r e d b y a t h i c k l a y e r o f d u s t .A t t h e t i m e , w e m i g h t h a v e s a i d , "We a r e 9 0 p e r c e n tc e r t a i n t h a t o u r p r o b a b i l i t y a s s i g n m e n t a f t e r t h e f i r s ts u c c e s s f u l S u r v e y o r p r o b e w i l l b e l e s s t h a n 0 . 0 1 o r g r e a t e rt h a n 0 . 9 9 . We e x p e c t t h a t o u r u n c e r t a i n t y a b o u t t h e c o m -p o s i t i o I n o f t h e m o o i n ' s s u r f a c e w i l l b e l a r g e l y r e s o l v e d . "

L e t u s c o n c l u d e o u r d i s c u s s i o n o f p r o b a b i l i t y t h e o r yw i t h a n e x a mp l e t h a t w i l l i n t r o d u c e t h e m e a n s b y w h i c hp r o b a b i l i t y d i s t r i b u t i o n s a r e m o d i f i e d t o i n c l u d e n e w i n -f o r m a t i o n : B a y e s ' r u l e . We s h a l l a l s o i n t r o d u c e a u s e f u ln o t a t i o n i . We h a v e s t r e s s e d t h a t a l l o f o u r p r o b a b i l i t ya s s i g n i m e n t s a r e g o i n g t o r e f l e c t a s t a t e o f i n f o r m a t i o n i nt h e m i n d o f t h e d e c i s i o n m a k e r , a n d o u r n o t a t i o n s h a l li n d i c a t e t h i s s t a t e o f i n f o r m a t i o n e x p l i c i t l y .

L e t A b e a n e v e n i t , a n d l e t x b e a q u a n t i t y a b o u t w h i c hw e a r e u n c e r t a i n ; e . g . , x i s a r a n d o m v a r i a b l e . T h e v a l u e st h a t x may a s s u m e may b e d i s c r e t e ( i . e . , h e a d s o r t a i l s )o r c o n t i n u o u s ( i . e . , t h e t i m e a n e l e c t r o n i c c o m p o n e n t w i l lr u i n b e f o r e i t f a i l s ) . We s h a l l d e n o t e b y { A | S } t h e p r o b a -b i l i t y a s s i g n e d t o t h e e v e n t A o n t h e b a s i s o f a s t a t e o fi n f o r m a t i o n S , a n d b y { x j S } t h e p r o b a b i l i t y t h a t t h er a n d o m v a r i a b l e a s s u m e s t h e v a l u e x , i . e . , t h e p r o b a b i l i t y

m a s s f u n c t i o n f o r a d i s c r e t e r a n d o m v a r i a b l e o r t h e p r o b a -b i l i t y d e n s i t y f u i n e t i o n f o r a c o n t i n u o u s r a n d o m v a r i a b l e ,g i v e n a s t a t e o f i n f o r m a t i o i n S . I f t h e r e i s c o n f u s i o n b e -t w e e n t h e r a n d o m v a r i a b l e a n d i t s v a l u e , we s h a l l w r i t e{ x = x 0 1 S } , w h e r e x d e n o t e s t h e r a n d o m v a r i a b l e a n d x 0t h e v a l u e . We s h a l l a s s u m e t h e r a n d o m v a r i a b l e t a k e s o ns o m e v a l u e , s o t h e p r o b a b i l i t i e s m u s t sum t o 1 :

f { x I S } = 1 . ( 3 )

f i s a g e n e r a l i z e d s u m m a t i o n o p e r a t o r r e p r e s e n i t i n gs u m m a t i o n o v e r a l l d i s c r e t e v a l u e s o r i n t e g r a t i o n o v e r a l l

c o n t i i n u o u sv a l u e s o f t h e r a n d o m v a r i a b l e . T h e e x p e c t e d

v a l u e , o r t h e a v e r a g e o f t h e r a n d o m v a r i a b l e o v e r i t sp r o b a b i l i t y d i s t r i b u t i o n i , i s

( x j S ) = X{ . x s } . ( 4 )

O n e s p e c i a l s t a t e o f i n i f o r m a t i o n w i l l b e u s e d o v e r a n i do v e r a g a i n , s o we s h a l l n e e d a s p e c i a l name f o r i t . T h i s i s

t h e i i n f o r m a t i o n t h a t w e n i o w p o s s e s s o n t h e b a s i s o f o u rp r i o r k n o w l e d g e a n d e x p e r i e n c e , b e f o r e we h a v e d o n e a I n ys p e c i a l e x p e r i m e n t i n g o r s a m p l i n g t o r e d u c e o u r u n i c e r -t a i n t y . T h e p r o b a b i l i t y d i s t r i b u t i o n t h a t we a s s i g n i t ov a l u e s o f a n u n c e r t a i i ( q u a n t i t y o n t h e b a s i s o f t h i s p r i o rs t a t e o f i n f o r m a t i o n ( d e n o t e d g ) w i l l b e r e f e r r e d t o a s t h e" p r i o r d i s t r i b u t i o n " o r s i m p l y t h e " p r i o r . "

N o w v l e t u s c o n s i d e r a p r o b l e m . M o s t o f u s t a k e a s

a x i o m a t i c t h e a s s i g n m e n t o f 0 . 5 t o t h e p r o b a b i l i t y o f h e a d so n t h e f l i p o f a c o i n . S u p p o s e we f l i p t h u m b t a c k s . I f t h e

t h u m b t a c k l a n d s w i t h t h e h e a d u p a n d p o i n i t d o w i l , wes h a l l d e n i o t e t h e o u t c o m e o f t h e f l i p a s " h e a d s . " I f i t l a I l d sw i t h t h e h e a d d o w n a n d t h e

p o i n t u p ,we

s h a l ld e n o t e t h e

o u t c o m e a s " t a i l s . " T h e q u e s t i o n w h i c h w e m u s t a n s w e ri s , "What i s p , t h e p r o b a b i l i t y o f h e a d s i n f l i p p i n g at h u m b t a c k ? " We w i l l a s s u m e t h a t b o t h t h u m b t a c k a n i dm e a n s o f f l i p p i n g a r e s u f f i c i e n t l y s t a n d a r d i z e d s o t h a t w v emay e x p e c t t h a t a l l f l i p s a r e i n d e p e n d e n t a n d h a v e t h es a m e p r o b a b i l i t y f o r c o m i n g u p h e a d s . ( F o r m a l l y , t h ef l i p s a r e B e r n o u l l i t r i a l s . ) T h e n t h e l o n g - r u n f r a c t i o i n o fh e a d s may b e e x p e c t e d t o a p p r o a c h p , a w e l l - d e f i n i e dn u m b e r t h a t a t t h e m o m e n t we d o n o t k n o w .

L e t u s a s s i g n a p r o b a b i l i t y d i s t r i b u t i o n t o t h i s u n c e r t a i n

p a r a m e t e r p . We a r e a l l f a m i l i a r w i t h t h u m b t a c k s ; we h a v en o d o u b t d r o p p e d a f e w o n t h e f l o o r . P e r h a p s we h a v e s o m e

e x p e r i e n c e w i t h s p i l l e d c a r p e t t a c k s , o r c o i n f l i p p i n g , o rt h e p h y s i c s o f f a l l i n g b o d i e s t h a t we b e l i e v e i s r e l e v a n i t .We w a n t t o e n c o d e a l l o f t h i s p r i o r i n f o r m a t i o n i n i t o t h ef o r m o f a p r o b a b i l i t y d i s t r i b u t i o n o n p .

T h i s t a s k i s a c c o m p l i s h e d b y u s i n g t h e c u m u l a t i v e d i s -t r i b u t i o n f u n c t i o i n , { p < p o l g } , t h e p r o b a b i l i t y t h a t t h e

p a r a m e t e r p w i l l b e l e s s t h a n o r e q u a l t o s o m e s p e c i f i cv a l u e o f t h e p a r a m e t e r p o . I t may b e c o n v e n i e n i t t o u s e

t h e c o m p l e m e n t a r y c u m u l a t i v e

l p > p o l g } = 1 - l p < P o l 8 }

a n d a s k q u e s t i o n s s u c h a s , " W h a t i s t h e p r o b a b i l i t y t h a t p

i s g r e a t e r t h a n P o = 0 . 5 ? "To make t h e s i t u a t i o n e a s i e r t o v i s u a l i z e , l e t u s i n t r o d u c e

S a m , t h e n e i g h b o r h o o d b o o k i e . We s h a l l s u p p o s e t h a t wea r e f o r c e d t o d o b u s i n e s s w i t h S a m . F o r s o m e v a l u e P ob e t w e e n 0 a n d 1 , Sam o f f e r s u s t w o p a c k a g e s :

P a c k a g e 1 : I f m e a s u r e m e n t o f t h e l o n g r u n i f r a c t i o i n o fh e a d s p s h o w s t h a t t h e q u a n t i t y i s l e s s t h a n o r e q u a l t o p o ,t h e n Sam p a y s u s $ 1 . I f p > p o , t h e n we p a y Sam $ 1 .

P a c k a g e 2 : We d i v i d e a c i r c l e i n t o t w o r e g i o n s ( a s s h o w n ii n F i g . 3 ) . R e g i o n I i s d e f i n e d b y a f r a c t i o n P o f t h e c i r c u m -f e r e n c e o f t h e c i r c l e , a n d t h e r e m a i n d e r o f t h e c i r c l e c o n -

s t i t u t e s r e g i o n I I . No w a p o i n t e r i s s p u n i n s u c h a w a y

t h a tw h e n

i t s t o p s , i t i s e q u a l l y l i k e l y t o b e p o i n t i n g i n a n y v

2 0 6



N O R T H : I N T R O DU C T I O N T O DECISION THEORY

g i v e n d i r e c t i o n . I f t h e p o i n t e r s t o p s i n r e g i o n I , Sam p a y s

u s $ 1 ; i f i t l a n d s i n r e g i o n I I , we p a y Sam $ 1 .Sam l e t s u s c h o o s e t h e f r a c t i o n P i n P a c k a g e 2 , b u t t h e n

h e c h o o s e s w h i c h p a c k a g e we a r e t o r e c e i v e . D e p e n d i n g o nt h e v a l u e o f p o , t h e s e p a c k a g e s may b e m o r e o r l e s s a t t r a c -t i v e t o u s , b u t i t i s t h e r e l a t i v e r a t h e r t h a n t h e a b s o l u t e

v a l u e o f t h e t w o p a c k a g e s t h a t i s o f i n t e r e s t . I f w e s e t Pt c o b e l a r g e , w e m i g h t e x p e c t t h a t Sam w i l l c h o o s e p a c k a g e

1 , w h e r e a s i f P i s s m a l l e n o u g h , Sam w i l l c e r t a i n l y c h o o s e

p a c k a g e 2 . Sam w i s h e s ( j u s t a s w e d o ) t o h a v e t h e p a c k a g ew i t h t h e h i g h e r p r o b a b i l i t y o f w i n n i n g $ 1 . ( R e c a l l t h i s i so u r s e c o i n d u t i l i t y a x i o m . ) We s h a l l a s s u m e S am h a s t h es a m e i n f o r m a t i o n a b o u t t h u m b t a c k s t h a t w e d o , s o h i sp r o b a b i l i t y a s s i g i n m e n t s w i l l b e t h e s a m e a s o u r s . T h ea s s u m p t i o n i [ u t i l i t y a x i o m 4 ) ] i s t h a t g i v e i n p o , we c a n f i n d a

P s u c h t h a t P a c k a g e s 1 a n d 2 r e p r e s e i n t e q u i v a l e n t l o t -t e r i e s , s o P = { p < p o l 8 } F 6 T h e a p p r o a c h i s s i m i l a r t o t h ew e l l - k n o w n m e t h o d o f d i v i d i n i g a n e x t r a d e s s e r t b e t w e e nt w o s m a l l b o y s : l e t o n e d i v i d e a n d t h e o t h e r c h o o s e . T h ef i r s t i s m o t i v a t e d t o m a k e t h e d i v i s i o n a s e v e n a s p o s s i b l e

s o t h a t h e w i l l b e i n d i f f e r e n t a s t o w h i c h h a l f h e r e c e i v e s .S u p p o s e Sam s t a r t s a t a v a l u e p o = 0 . 5 . We m i g h t

r e a s o n t h a t s i n c e n a i l s a l w a y s f a l l o I n t h e s i d e ( h e a d s ) , a n d a

t h u m b t a c k i s i n t e r m e d i a t e b e t w e e n i a c o i n a n d a n a i lh e a d s i s t h e m o r e l i k e l y o r i e n t a t i o n ; b u t we a r e n o t t o o

s u r e ; w e h a v e s e e n a l o t o f t h u m b t a c k s come u p t a i l s .A f t e r s o m e t h o u g h t , we d e c i d e t h a t we a r e i n d i f f e r e n t a b o u tw h i c h p a c k a g e we g e t i f t h e f r a e t i o n P i s 0 . 3 , s o { p <0 . 5 1 8 } = 0 . 3 0 .

Sam t a k e s o t h e r v a l u e s b e s i d e s 0 . 5 , s k i p p i n g a r o u n d i n a

r a n d o m f a s h i o n , i . e . , 0 . 3 , 0 . 9 , 0 . 1 , 0 . 4 5 , 0 . 8 , 0 . 6 , e t c . T h ec u r v e t h a t r e s u l t s f r o m t h e i n i t e r r o g a t i o n m i g h t l o o k l i k e

t h a ts h o w n

i n F i g . 7 . By h i sm e t h o d o f

r a n d o m l y s k i p p i n ga r o u n d , Sam h a s e l i m i n a t e d a n i y b i a s i n o u r t r u e f e e l i n g st h a t r e s u l t e d f r o m a n u n c o i n s c i o u s d e s i r e t o g i v e a n s w e r sc o n s i s t e n t w i t h p r e v i o u s p o i n t s . I n t h i s f a s h i o n , Sam h a sh e l p e d u s t o e s t a b l i s h o u r p r i o r d i s t r i b u t i o n o n t h e p a r a m -e t e r p . We may d e r i v e a p r o b a b i l i t y d e n s i t y f u n c t i o n b yt a k i i n g t h e d e r i v a t i v e o f t h e c u m u l a t i v e d i s t r i b u t i o n f u n c -t i o n ( F i g . 8 ) : { p J & } = ( d l d p o ) { p < p o l } .N o w s u p p o s i n g we a r e a l l o w e d t o f l i p t h e t h u m b t a c k

2 0 t i m e s a n d we o b t a i n 5 h e a d s a i n d 1 5 t a i l s . H o w d o wet a k e a c c o u n t o f t h i s new d a t a i i i a s s i g n i n g a p r o b a -b i l i t y d i s t r i b u t i o n b a s e d o n t h e i n e w s t a t e o f i n f o r m a t i o n ,w h i c h we d e n o t e a s 8 , E : o u r p r i o r e x p e r i e n c e g p l u s E , t h e2 0 - f l i p e x p e r i m e n t ? We w i l l u s e o i n e o f t h e o l d e s t ( 1 7 6 3 )r e s u l t s o f p r o b a b i l i t y t h e o r y , B a y e s ' r u l e . C o n s i d e r t h ep r i o r p r o b a b i l i t y t h a t p w i l l t a k e o n a s p e c i f i c v a l u e a n dt h e 2 0 - f l i p e x p e r i m e n t E w i l l h a v e a c e r t a i n s p e c i f i c o u t -

come ( f o r e x a m p l e , p = 0 . 4 3 ; E = 5 h e a d s , 1 5 t a i l s ) . N o wwe c a n w r i t e t h i s j o i n t p r o b a b i l i t y i n t w o w a y s :

{ p , E 1 8 } = { p J E , & } { E Z 8 } ( 5 )

6 We h a v e e q u a t e d t h e s u b j e c t i v e p r o b a b i l i t y t h a t s u m m a r i z e d o u ri n f o r m a t i o n a b o u t t h u m b t a c k s t o t h e more i n t u i t i v e n o t i o n o fp r o b a b i l i t y b a s e d o n s y m m e t r y ( i n P a c k a g e 2 ) . S u c h a t w o - s t e pa p p r o a c h t o p r o b a b i l i t y t h e o r y h a s b e e n d i s c u s s e d t h e o r e t i c a l l y b y

A n s c o m b e a n d Aumann [ 1 ] .

1 . 0

t i 3

8 P 0 . 5V I0 0

00o

0 0 . 5 1 . 0

p O

F i g . 7 . C u m u l a t i v e d i s t r i b u t i o n f u n c t i o n i f o r t h u m b t a c k f l i p p i n g .

2 . 0

- 1 . 0 K I

0-

0 0 . 5 1 . 0

PARAMETER p = LONG-RUN F R A C T I O N o f HEADS f o r THUMB TACK

F i g . 8 . P r i o r p r o b ab i l i t y d e n s i t y f u n c t i o n .

i . e . , as t h e p r o d u c t o f t h e p r o b a b i l i t y we a s s i g n t o t h e

e x p e r i m e n t a l o u t c o m e E t i m e s t h e p r o b a b i l i t y we w o u l da s s i g n t o t h e v a l u e o f p a f t e r we k n e w t h e e x p e r i m e n t a lo u t c o m e E i n a d d i t i o n t o o u r p r i o r i n f o r m a t i o n ; o r

{ p , E I & }=

{ E j p , j } { p j g } ( 6 )i . e . , t h e p r o d u c t o f t h e p r o b a b i l i t y o f t h a t e x p e r i m e n t a l

o u t c o m e i f we knew t h a t p were t h e p r o b a b i l i t y o f g e t t i n gh e a d s t i m e s o u r p r i o r p r o b a b i l i t y a s s e s s m e n t t h a t p a c t t u -a l l y t a k e s on t h a t v a l u e .We a s s u m e d t h a t p r o b a b i l i t i e s w e r e u n a m b i g u o u s , so

we e q u a t e t h e s e t w o e x p r e s s i o n s . P r o v i d i n g { E 1 8 } 0 ,i . e . , t h e e x p e r i m e n t a l o u t c o m e i s n o t i m p o s s i b l e , we o b t a i i nt h e p o s t e r i o r ( a f t e r t h e e x p e r i m e n t ) p r o b a b i l i t y d i s t r i b u -t i o n on p

l p l E I I J { E l p , 6 } {p8}E& j ~ ( 7 )

T h i s e x p r e s s i o n i i s t h e w e l l - k n o w n B a y e s ' r u l e .{ E g} i s t h e " p r e - p o s t e r i o r " p r o b a b i l i t y o f t h e outcome

E . I t d o e s n o t d e p e n d on p, so i t b e c o m e s a n o r m a l i z i n gf a c t o r f o r t h e p o s t e r i o r p r o b a b i l i t y d i s t r i b u t i o n . { E j p , 6 } i st h e p r o b a b i l i t y o f t h e outcome E i f we k n e w t h e v a l u e p

f o r t h e p r o b a b i l i t y o f h e a d s . T h i s p r o b a b i l i t y i s a f u n c t i o no f p, u s u a l l y r e f e r r e d t o as t h e " l i k e l i h o o d f u n c t i o n . " Wen o t i c e s i n c e p must t a k e on some v a l u e , t h e e x p e c t a t i o n o ft h e l i k e l i h o o d f u n c t i o n over t h e v a l u e s o f p g i v e s t h e pre-

p o s t e r i o r p r o b a b i l i t y o f t h e e x p e r i m e n t a l o u t c o m e :

{ E l & 4 - = p , & { P (8&)

\ :VALUES OBTAINED TH ROUGHSAM'S INTERROGATION

1 < F PROBABILITY

THAT LONG-RUNFRACTION OF HEADS_FO R THUMBTACK< P o L

T 1 . 0 1 -

2 0 7

z

II II



IEEE T R A N S A C T I O N S ON SYSTEMS SCIENCE A N D CYBERNETICS, SEPTEMBER 1 9 6 8

0 . 2

0 . 1

0 0 . 5

PARAMETER p

I . 0

F i g . 9 . L i k e l i h o o d f u n c t i o n f o r 5 h e a d s i n 2 0 t r i a l s .

5 . 0

4 . 0

U)3 . 0

2 . 0

1.0

.0

0 0 . 5

PARAMETER p

I . 0

F i g . 1 0 . P o s t e r i o r p r o b a b i l i t y d e n s i t y f u n c t i o i n .

For t h e s p e c i f i c case we are t r e a t i n g , t h e l i k e l i h o o d f u n c -t i o n i s t h e f a m i l i a r r e s u l t f r o m e l e m e n t a r y p r o b a b i l i t yt h e o r y f o r r successes in n B e r n o u l l i t r i a l s xhen t h ep r o b a b i l i t y o f a success i s p :

{ E l p I 8 } = !( n- pr)! r ( l -p ) n - r . ( 9 )

T h i s f u n c t i o n i s g r a p h e d f o r r = 5 h e a d s i n n =2 0 t r i a l s i nF i g . 9 . M \ I u l t i p l y i n g i t b y t h e p r i o r j p j & } ( F i g . 8 ) a n dn o r m a l i z i n g b y

d i v i d i n g b y { E [ 8 } g i v e su s t h e

p o s t e r i o rd i s t r i b u t i o n { p j E , & } ( F i g . 1 0 ) . I n t h i s w a y , B a y e s ' r u l e

g i v e s u s a g e n e r a l means o f r e v i s i n g o u r p r o b a b i l i t y assess-

m e n t s t o t a k e a c c o u n t o f new i n f o r m a t i o n . 7

S O L U T I O N O F D E C I S I O N PROBLEMS

N o w t h a t we h a v e t h e proper t o o l s , u t i l i t y t h e o r y a n dp r o b a b i l i t y t h e o r y , we r e t u r n t o t h e a n n i v e r s a r y d e c i s i o n

p r o b l e m . We a s k t h e h u s b a n d , o u r d e c i s i o n m a k e r , t o

a s s i g n m o n e t a r y v a l u e s t o t h e f o u r p o s s i b l e o u t c o m e s .He d o e s so as f o l l o w s :

Domestic bliss

D o g h o u s eS t a t u s qu o

S u s p i c i o u s w i f e

(flowers anniversary):

( n o f l o w e r s , a n n i v e r s a r y ) :( n o f l o w e r s , noa n n i v e r s a r y ) :( f l o w e r s , no a n n i v e r s a r y ) :

$ 1 0 0

$0

$ S o$ 4 2 .

( F o r e x a m p l e , h e i s i n d i f f e r e n t b e t w e e n " s t a t u s q u o " a i n d" d o g h o u s e " p r o v i d e d i n t h e l a t t e r case h e receives $ 8 0 . )H i s p r e f e r e n c e f o r r i s k i s r e f l e c t e d b y t h e u t i l i t y f u n c t i o n o fF i g . 6 , a n d h e d e c i d e s t h a t a p r o b a b i l i t y a s s e s s m e n t o f 0 . 2sums u p h i s u n c e r t a i n t y a b o u t t h e p o s s i b i l i t y o f t o d a y b e -

F o r c e r t a i n s a m p l i n g processes h a v i n g s p e c i a l s t a t i s t i c a l p r o pe r -t i e s , a s s u m p t i o n o f a p r i o r p r o b a b i l i t y d i s t r i b u t i o n f r o m a p a r t i c u l a rf a m i l y o f f u n c t i o n s l e a d s t o a s i m p l e f o r m f o r B a y e s ' r u l e . An ex -t e n s i v e d e v e l o p m e n t o f t h i s i d e a o f " c o n j u g a t e d i s t r i b u t i o n s " h a sb e e n a c c o m p l i s h e d b y R a i f f a and S c h l a i f e r [ 1 9 ] .

i n g h i s a n n i v e r s a r y : t h e o d d s are 4 t o 1 t h a t i t i s n o t h i sa n n i v e r s a r y . N o w l e t us l o o k a t t h e t w o l o t t e r i e s t h a tr e p r e s e n t h i s d e c i s i o n a l t e r n a t i v e s . I f h e b u y s t h e f l o w e r s ,h e h a s a 0 . 2 p r o b a b i l i t y o f " d o m e s t i c b l i s s " a n d an 0 . 8p r o b a b i l i t y o f " s u s p i c i o u s w i f e . " T h e e x p e c t e d u t i l i t y o ft h e l o t t e r y i s 0 . 2 ( 1 . 0 ) + 0 . 8 ( 0 . 6 6 7 ) = 0 . 7 3 4 = u ( $ 5 0 ) .On t h e o t h e r h a n d , i f h e d o e s n o t b u y t h e f l o w e r s , h e h a s a i l0 . 8 c h a n c e o f " s t a t u s q u o " a n i d a 0 . 2 c h a n c e o f " d o g h o u s e . "T h e e x p e c t e d u t i l i t y o f t h i s a l t e r n a t i v e i s 0 . 8 ( 0 . 9 1 ) +0 . 2 ( 0 ) = 0 . 7 2 8 = u ( $ 4 9 ) . T h e f i r s t a l t e r n a t i v e h a s a

s l i g h t l y h i g h e r v a l u e t o h i m so h e s h o u l d b u y t h e f l o w e r s .On t h e b a s i s o f h i s v a l u e s , h i s r i s k p r e f e r e n c e , a n d h i sj u d g m e n t a b o u t t h e u i c e r t a i n t y , b u y i i n g t h e f l o w e r s i s h i sb e s t a l t e r n a t i v e . I f h e were an e x p e c t e d v a l u e d e c i s i o nm a k e r , t h e f i r s t l o t t e r y w o u l d b e w o r t h 0 . 2 ( $ 1 0 0 ) +0 . 8 ( $ 4 2 ) = $ 5 3 . 6 0 a n d t h e s e c o n d 0 . 2 ( 0 ) + 0 . S ( $ 8 0 ) =

$ 6 4 . I n t h i s case h e s h o u l d n o t b u y t h e f l o w e r s .T h e f o r e g o i n g e x a m p l e i s , o f c o u r s e , very t r i v i a l , b u t

c o n c e p t u a l l y a n i y d e c i s i o n p r o b l e m i s e x a c t l y t h e same.

T h e r e i s o n l y o ne a d d i t i o i n a l f e a t u r e t h a t we m a y t y p i c a l l y

e x p e c t : i n g e n e r a l , d e c i s i o n p r o b l e m s mav i n v o l v e as e q u e n c e o f d e c i s i o l i s . F i r s t , a d e c i s i o n i s m a d e a n d t h e n i a i nu n c e r t a i n o u t c o m e i s o b s e r v e d ; a f t e r w h i c h a n o t h e r d e -c i s i o n i s m a d e , a n d an o u t c o m e o b s e r v e d , e t c . For e x a m p l e ,t h e d e c i s i o n t o d e v e l o p a ne w p r o d u c t m i g h t g o as f o l l o w s .A d e c i s i o n i s m a d e as t o w h e t h e r o r n o t a p r o d u c t s h o u l db e d e v e l o p e d . I f t h e d e c i s i o n i s a f f i r m a t i v e , an u n c e r t a i l lr e s e a r c h a n d d e v e l o p m e n t c o s t w i l l b e i n i c u r r e d . A t t h i sp o i n t , a d e c i s i o n i s m a d e as t o w h e t h e r t o g o i n i t o p r o d u c -t i o n . T h e p r o d u c t i o n c o s t i s u n c e r t a i n i . A f t e r t h e p r o d u c -t i o n c o s t i s k n o w n , a s a l e p r i c e i s s e t . F i n a l l y , t h e u i n c e r t a i ns a l e s v o l u m e d e t e r m i n e s t h e p r o f i t o r l o s s o n I t h e p r o d u c t .We ca n h a n d l e t h i s p r o b l e m i n t h e same w a x as t h e

a n n i v e r s a r y p r o b l e m : a s s i g n v a l u e s t o t h e f i i n a l o u t c o m e s ,a n d p r o b a b i l i t i e s t o t h e v a r i o u s u n e e r t a i n i o u t c o m e s t h a tw i l l r e s u l t f r o m t h e a d o p t i o n o f a d e c i s i o t n a l t e r n a t i v e .We ca n r e p r e s e n t t h e p r o b l e m as a d e c i s i o n t r e e ( F i g . 1 1 ) ,a n d t h e s o l u t i o n i s c o n i c e p t u a l l y e a s y . S t a r t a t t h e f i n a lo u t c o m e , s a l e s v o l u m e ( t h e e n d s o f t h e t r e e ) . Go i n t o t h ef i r s t d e c i s i o i n , t h e s a l e s price ( t h e l a s t t o b e m a d e c h r o n o -l o g i c a l l y ) . C o m p u t e t h e u t i l i t y o f t h e d e c i s i o n a l t e r n a t i v e s ,a n d c h o o s e t h e one w i t h t h e h i g h e s t v a l u e . T h i s v a l u eb e c o m e s t h e u t i l i t y o f t h e c h a i c e outcome l e a d i i n g t o t h a td e c i s i o n ( e . g . , p r o d u c t i o n c o s t ) . T h e c o r r e s p o n d i l n gc e r t a i n e q u i v a l e n t i n d o l l a r s r e f l e c t s t h e e x p e c t e d u t i l i t y

o f r e a c h i n g t h a t p o i n t i l l t h e t r e e . I I 1 t h i s f a s h i o i , x v e x o r kb a c k w a r d s t o t h e s t a r t o f t h e t r e e , f i n d i i n g t h e b e s t d e c i s i o na l t e r n a t i v e s a n d t h e i r v a l u e s a t e a c h s t e p .

M I a n y d e c i s i o n p r o b l e m s e n i c o u n t e r e d i n l a c t u a l p r a c t i C e

ar e e x t r e m e l y c o m p l e x , a n i d a d e c i s i o n t r e e a p p r o a c h may

n o t a l w a y s b e a p p r o p r i a t e . I f a l l q u a t n t i t i e s c o n c e r n e d i nt h e p r o b l e m were c o n i s i d e r e d u n c e r t a i n ( w i t h p r i o r d i s -t r i b u t i o n s ) , t h e p r o b l e m m i g h t b e c o m p u t a t i o n i a l l y i l l -t r a c t a b l e . I t i s o f t e n a d v i s a b l e t o s o l v e t h e m o d e l d e -terministically as a f i r s t approximation. Weapproximate

a l l u n c e r t a i n q u a n t i t i e s w i t h a s i n g l e b e s t e s t i m a t e a n i dt h e n e x a m i n e t h e d e c i s i o n i ; i . e . , i f r e s e a r c h a n d d e v e l o p -ment c o s t s , p r o d u c t i o n c o s t s , a n d s a l e s v o l u m e t o o k t h e

I II

2 0 8

0.j



N O R T H : I N T R O D U C T I O N T O D E C I S I O N T H E O R Y

P R O D U C T I O NCOST

DO NOTDEVELOPPRODUCT

X < D E C I S I O N P O I N T S

UNCERTAIN OUTCOMES-" C H A N C E P O I N T S "

F i g . 1 1 . P r o d u c t d e v e l o p m e n t d e c i s i o n t r e e .

v a l u e s we c o n s i d e r m o s t l i k e l y , w o u l d i t t h e n b e a d v i s a b l e

t o d e v e l o p t h e p r o d u c t ? T h i s d e t e r m i n i s t i c p h a s e w i l lu s u a l l y give u s some i n s i g h t i n t o t h e d e c i s i o n . A M o r e o v e r ,we ca n p e r f o r m a s e n s i t i v i t y a n a l v s i s b y v a r y i n g q u a n t i t i e s

t h a t we b e l i e v e are u n c e r t a i n t o d e t e r m i n e how t h e ya f f e c t t h e d e c i s i o n . The d e c i s i o n may b e q u i t e i n s e n s i t i v et o some q u a n t i t i e s , a n d t h e s e q u a n t i t i e s may b e t r e a t e d as

c e r t a i n ( u n c e r t a i n t y i s n e g l e c t e d i f i t appears n o t t o

a f f e c t t h e d e c i s i o n ) . O n t h e o t h e r h a n d , i f a v a r i a t i o n t h a t

l i e s w i t h i n t h e range o f u n c e r t a i n t y o f a f a c t o r causes a

m a j o r s h i f t i n t h e d e c i s i o n ( i . e . , f r o m " d e v e l o p t h e p r o d -

u c t " t o " d o n o t d e v e l o p t h e p r o d u c t " ) , we s h a l l c e r t a i n l yw i s h t o e n c o d e o u r f e e l i n g s a b o u t t h e u n c e r t a i n t y o f t h a t

q u a n t i t y b y a p r i o r d i s t r i b u t i o n . 8

T H E VALUE O F R E S O L V I N G U N C E R T A I N T I E S

T h e r e i s a c l a s s o f a l t e r n a t i v e s u s u a l l y a v a i l a b l e t o t h ed e c i s i o n m a k e r t h a t we h a v e n o t y e t m e n t i o n e d : a c t i v i t i e st h a t a l l o w him t o g a t h e r more i n f o r m a t i o n t o d i m i n i s h t h e

u n c e r t a i n t i e s b e f o r e h e makes t h e d e c i s i o n . We h a v e a l -

r e a d y seen how new i n f o r m a t i o n may b e i n c o r p o r a t e d i n t o

p r o b a b i l i t y a s s e s s m e n t s t h r o u g h B a y e s ' r u l e , a n d we n o t e d

t h a t we can a s s i g n a p r o b a b i l i t y d i s t r i b u t i o n t o t h e r e s u l t so f t h e i n f o r m a t i o n g a t h e r i n g b y means o f t h e p r e - p o s t e r i o rp r o b a b i l i t y d i s t r i b u t i o n . T y p i c a l i n f o r m a t i o n - g a t h e r i n ga c t i v i t i e s m i g h t i n c l u d e m a r k e t s u r v e y s , p i l o t s t u d i e s ,p r o t o t y p e c o n s t r u c t i o n , t e s t m a r k e t i n g , o r c o n s u l t i n g w i t h

e x p e r t s . T h e s e a c t i v i t i e s i n v a r i a b l y c o s t t h e d e c i s i o n maker

t i m e a n d r e s o u r c e s ; h e must pay a p r i c e f o r r e s o l v i n guncertainty.

L e t u s r e t u r n t o t h e h u s b a n d w i t h t h e a n n i v e r s a r y

p r o b l e m . S u p p o s e h e h a s t h e o p t i o n o f c a l l i n g h i s s e c r e t a r y .I f i t i s h i s a n n i v e r s a r y , h i s s e c r e t a r y w i l l c e r t a i n l y t e l l h i m .

B u t i f i t i s n o t , s h e may d e c i d e t o p l a y a t r i c k a n d t e l l him

t h a t t o d a y i s h i s a n n i v e r s a r y . H e a s s i g n s p r o b a b i l i t y 0 . 5 t o

s u c h p r a c t i c a l j o k i n g . I n anv e v e n t , t h e s e c r e t a r y w i l ls p r e a d t h e w o r d a r o u n d t h e o f f i c e a n d o u r f r i e n d w i l l g e tsome g o o d n a t u r e d h e c k l i n g , w h i c h h e v i e w s as h a v i n g a

v a l u e o f m i n u s $ 1 0 .

8 The d e c i s i o n a n a l y s i s p r o c e d t u r e h a s b e e i i d e s c r i b e d i n d e t a i l b yHoward [ 8 ] .

I l o w w i l l t h e s e c r e t a r y ' s i n f o r m a t i o n c h a n g e h i s a s s e s s -m e n t o f t h e p r o b a b i l i t y t h a t t o d a y i s h i s a n n i v e r s a r y ?I f s h e s a y s , " N o , i t i s n o t y o u r a n n i v e r s a r y , " h e may b e

s u r e t h a t i t i s n o t ; b u t i f s h e s a y s " Y e s , i t i s , " s h e c o u l d b e

j o k i n g . We c a n c o m p u t e t h e n e w a s s e s s m e n t o f t h e p r o b a -b i l i t y f r o m B a y e s ' r u l e . T h i s n e w p r o b a b i l i t y i s e q u a l t o t h ep r o b a b i l i t y 0 . 2 t h a t s h e s a y s y e s a n d i t r e a l l y i s h i s a n n i -v e r s a r y , d i v i d e d b y h i s p r i o r e s t i m a t e , 0 . 2 + 0 . 5 X 0 . 8= 0 . 6 , t h a t s h e w i l l s a y y e s r e g a r d l e s s o f t h e d a t e o f h i sa n n i v e r s a r y . H e n c e t h e p r o b a b i l i t y a s s i g n m e n t r e v i s e d t oi n c l u d e t h e s e c r e t a r y ' s y e s a n s w e r i s 0 . 3 3 3 .

W h a t i s t h e v a l u e o f t h i s n e w a l t e r n a t i v e t o o u r f r i e n d ?I f h i s s e c r e t a r y s a y s n o ( p r o b a b i l i t y 0 . 4 ) , h e may r e t u r nh o m e e m p t y - h a n d e d a n d b e a s s u r e d o f " s t a t u s q u o . " Ont h e o t h e r h a n d , i f s h e s a y s y e s ( p r o b a b i l i t y 0 . 6 ) , h e w i l lb u y t h e f l o w e r s . I n e i t h e r c a s e , h e h a s i n c u r r e d a c o s t o f$ 1 0 w h i c h m u s t b e s u b t r a c t e d f r o m t h e v a l u e s o f t h e o u t -c o m e s . C a l l i n g t h e s e c r e t a r y t h e n h a s a u t i l i t y o f

0 . 4 u ( $ 7 0 ) + 0 . 6 [ 0 . 3 3 3 u ( $ 9 0 ) + 0 . 6 6 7 u ( $ 3 2 ) ]

= 0 . 3 4 4 + 0 . 4 1 6 = 0 . 7 6 0 = u ( $ 5 3 . 5 0 ) .

S i n c e t h i s v a l u e o f $ 5 3 . 5 0 e x c e e d s t h e v a l u e o f $ 5 0 f o r h i sp r e v i o u s b e s t a l t e r n a t i v e ( b u y f l o w e r s ) , o u r f r i e n d s h o u l d

c a l l h i s s e c r e t a r y . I f t h e h u s b a n d w e r e a n e x p e c t e d v a l u ed e c i s i o n m a k e r , t h e a l t e r n a t i v e o f c a l l i n g t h e s e c r e t a r yw o u l d h a v e a v a l u e o f

0 . 4 ( $ 7 0 ) + 0 . 6 [ 0 . 3 3 3 ( $ 9 0 ) + 0 . 6 6 7 ( $ 3 2 ) ] = $ 5 8 . 8 0

w h i c h i s l e s s t h a n t h e v a l u e o f $ 6 4 f o r t h e " d o n o t b u yf l o w e r s " a l t e r n a t i v e ; i n t h i s c a s e o u r f r i e n d s h o u l d n o t c a l lh i s s e c r e t a r y . I t i s e v i d e n t t h a t i n t h i s e x a m p l e p r e f e r e n c et o w a r d r i s k i s v e r y i m p o r t a n t i n d e t e r m i n i n g t h e d e c i s i o nm a k e r ' s b e s t c o u r s e o f a c t i o n .

I n t h e c o m p l e x d e c i s i o n p r o b l e m s n o r m a l l y e n c o u n t e r e di n p r a c t i c e , t h e r e a r e u s u a l l y s e v e r a l a l t e r n a t i v e o p t i o n sa v a i l a b l e f o r d i m i n i s h i n g t h e u n c e r t a i n t y a s s o c i a t e d w i t ht h e u n k l n o w n f a c t o r s . I n t h e o r y , t h e e x p e c t e d g a i n f o r e a c h

t y p e o f s a m p l i n g c o u l d b e c o m p u t e d a n d c o m p a r e d w i t ht h e c o s t o f s a m p l i n g a s we h a v e j u s t d o n e i n t h e s i m p l ea n n i v e r s a r y e x a m p l e . B u t t h e s e c a l c u l a t i o n s c a n b e q u i t ei n v o l v e d a s a r u l e , a n d t h e r e may b e a g r e a t many a l t e r n a -t i v e w a y s o f g a t h e r i n g i n f o r m a t i o n . O f t e n t h e r e l e v a n tq u e s t i o n s a r e , f i r s t , " S h o u l d w e s a m p l e a t a l l ? " a n d t h e n ," W h a t k i n d o f s a m p l i n g i s b e s t f o r u s ? "

I t i s o f t e n u s e f u l t o l o o k a t t h e l i m i t i n g c a s e o f c o m p l e t e

r e s o l u t i o n o f u n c e r t a i n t y , w h i c h w e c a l l p e r f e c t i n f o r m a -t i o n . We c a n i m a g i n e t h a t a g y p s y f o r t u n e t e l l e r whoa l w a y s m a k e s c o r r e c t p r e d i c t i o n s i s , i n f a c t , a v a i l a b l e t o u s .T h e v a l u e o f p e r f e c t i n f o r m a t i o n i s t h e a m o u n t t h a t w e a r ew i l l i n g t o p a y h e r t o t e l l u s e x a c t l y w h a t t h e u n c e r t a i nq u a n t i t y w i l l t u r n o u t t o b e . N o t e t h a t h e r a n s w e r may b eo f l i t t l e v a l u e t o us-we may b e p l a n n i n g t o t a k e t h e b e s td e c i s i o n a l t e r n a t i v e a l r e a d y . On t h e o t h e r h a n d , h e r p e r f e c ti n f o r m a t i o n may b e q u i t e v a l u a b l e ; i t may a l l o w u s t oa v o i d a n u n f a v o r a b l e o u t c o m e . We a r e g o i n g t o h a v e t o p a yh e r b e f o r e we h e a r h e r i n f o r m a t i o n ; o u r p a y m e n t w i l lr e f l e c t w h a t we e x p e c t t h e i n f o r m a t i o n t o b e o n t h e b a s i so f o u r p r i o r p r o b a b i l i t y a s s e s s m e n t .

2 0 9



I E E E T R A N S A C T I O N S O N S Y S T E M S S C I E N C E A N D C Y B E R N E T I C S , S E P T E M B E R 1 9 6 8

I n t h e h u s b a n i d ' s a n n i i v e r s a r y p r o b l e m , p e r f e c t i n i f o r m a -t i o n m i g h t c o r r e s p o n d t o a s e c r e t a r y who i s c e r t a i n t o t e l lh i m i f t o d a y i s h i s a n n i v e r s a r y . I f h e c o u l d a c t on t h i si n f o r m a t i o n , h e w o u l d b u y f l o w e r s i f i t w e r e h i s a n i n i -v e r s a r y a n d w o u l d n o t b u y f l o w e r s o t h e r w i s e . S i n c e h ef e e l s t h a t t h e r e i s a 0 . 2 c h a n c e t h e s e c r e t a r y w i l l t e l l h i mt h a t i t i s h i s a n n i v e r s a r y , t h e e x p e c t e d u t i l i t y o f t h e o u t -c o m e s i f h e b a s e s h i s d e c i s i o n o n p e r f e c t i n f o r m a t i o t n i s0 . 2 u ( $ 1 0 0 - b ) + 0 . 8 u ( $ 8 0 - b ) w h e r e b i s t h e a m o u n t h em u s t p a y t o g e t t h e i n f o r m a t i o n . By s e t t i n g t h i s e x p r e s s i o ne q u a l t o 0 . 7 3 4 , t h e e x p e c t e d u t i l i t y o f h i s b e s t a l t e r n a t i v eb a s e d o I n p r i o r i n f o r m a t i o n , we c a n s o l v e f o r b = $ 3 3 . 5 0 .T h e h u s b a n d s h o u l d c o n s i d e r f o r m o r e d e t a i l e d a i n a l y s i so n l y t h o s e o p p o r t u n i t i e s f o r r e s o l v i n g h i s u n c e r t a i n t y t h a t" c o s t " h i m $ 3 3 . 5 0 o r l e s s . I f h e w e r e a n e x p e c t e d v a l u e

d e c i s i o n m a k e r , p e r f e c t i n f o r m a t i o n w o u l d b e o f l e s s v a l u e

t o h i m ; h e w o u l d b e w i l l i n g t o p a y a maximum o f o n l y $ 2 0f o r i t .

S U M M A R Y

D e c i s i o n t h e o r y i s a way o f f o r m a l i z i n g c o m m o n i s e n s e .T h e d e c i s i o n m a k e r a n a l y z e s t h e p o s s i b l e o u t c o m e s r e -s u l t i n g f r o m h i s a v a i l a b l e a l t e r n a t i v e s i n t w o d i m e n s i o n s :v a l u e ( b y m e a n s o f u t i l i t y t h e o r y ) a n d p r o b a b i l i t y o fo c c u r r e n c e . He t h e n t c h o o s e s t h e a l t e r n a t i v e t h a t h e e x p e c t s

t o h a v e t h e h i g h e s t v a l u e . He c a n n o t g u a r a n t e e t h a t t h eo u t c o m e w i l l b e a s g o o d a s h e m i g h t h o p e f o r , b u t h e h a s

m a d e t h e b e s t d e c i s i o n h e c a n , b a s e d o n h i s p r e f e r e r n c e s a n da v a i l a b l e k n o w l e d g e . I n f e r e n i c e u s i n g B a y e s ' r u l e a l l o w st h e d e c i s i o n m a k e r t o e v a l u a t e i n f o r m a t i o n g a t h e r i i n ga c t i v i t i e s t h a t w i l l r e d u c e h i s u n c e r t a i n t y .

D e c i s i o n t h e o r y g i v e s n o m a g i c a l f o r m u l a s f o r c o r r e c t

d e c i s i o n s . I n f a c t , i t f o r c e s t h e d e c i s i o n m a k e r t o r e l y m o r es t r o n g l y t h a n e v e r o n i h i s own p r e f e r e n c e s a n d j u d g m e n t s .B u t i t d o e s g i v e h i m a l o g i c a l f r a m e w o r k i n w h i c h t o w o r k ,a f r a m e w o r k t h a t i s a d a p t a b l e i n p r i n c i p l e t o a l l d e c i s i o i np r o b l e m s , f r o m t h e s i m p l e s t t o t h e m o s t c o m p l e x . A sm o d e r n s o c i e t y c o n t i n u e s t o g r o w i n s i z e a n d c o m p l e x i t y ,s u c h a f r a m e w o r k f o r d e c i s i o n m a k i n g w i l l b e c o m e m o r ea n d m o r e n e c e s s a r y .

I A d d i t i o n a l d i s c u s s i o n r e g a r d i n g t h e v a l u e o f i n f o r m a t i o n i nd e c i s i o n t h e o r y i s a v a i l a b l e f r o m many s o u r c e s , most n o t a b l yH o w a r d [ 8 b ] , [ 9 ] , [ 1 1 ] a n d R a i f f a a n d S c h l a i f e r [ 1 9 ] .

ACKNOWLEDGMENT

T h e a u t h o r i s d e e p l y i n d e b t ed t o P r o f . R . A . Howard f o rv a l u a b l e g u i d a n c e a n d a d v i c e . Much o f t h e v i e w p o i i n tp r e s e n t e d i n t h i s p a p e r was a c q u i r e d a s a r e s u l t o f t w o

y e a r s o f a s s i s t i n g P r o f . Howard i n h i s c o u r s e i n D e c i s i o n

A n a l y s i s a t S t a n f o r d U n i v e r s i t y , S t a n f o r d , C a l i f .

R E F E R E N C E S

[ 1 ] F . J . A n s c o m b e a n d R . J . A u m a n n , "A d e f i n i t i o n o f s u b j e c t i v ep r o b a b i l i t y , " A n n . M a t h . S t a t i s t . , v o l . 3 4 , p p . 1 9 0 9 - 2 0 5 , 1 9 6 3 .

[ 2 ] T . B a y e s , " A n e s s a y t o w a r d s o l v i n g a p r o b l e m i n t h e d o c t r i n eo f c h a n c e s , " P h i l . T r a n s . R o y . S o c . ( L o n d o n ) , v o l . 3 3 , p p . 3 7 0 -4 1 8 , 1 7 6 3 .

[ 3 1 R . T . C o x , T h e A l g e b r a o f P r o b a b l e I n f e r e n c e . B a l t i m o r e , M d . :T h e J o h n H o p k i n s P r e s s , 1 9 6 1 .

[ 4 ] P . C . F i s h b u r n , D e c i s i o n a n d V a l u e T h e o r y . New Y o r k : W i l e y ,1 9 6 4 .

[ 5 ] , " U t i l i t y t h e o r y , " i l M a n a g e m e n t S c i . , v o l . 1 4 , p p . 3 3 3 - 3 7 8 ,J a n u a r y 1 9 6 8 .

[ 6 ] , " O n t h e p r o s p e c t s o f a u s e f u l u n i f i e d t h e o r y o f v a l u e f o re n g i n e e r i n g , " IEEE T r a n s . S y s t e m n s S c i e n c e a n d C y b e r n e t i c s ,v o l . S S C - 2 , p p . 2 7 - 3 5 , A u g u s t 1 9 6 6 .

[ 7 ] R . A . H o w a r d , " B a y e s i a n d e c i s i o n m o d e l s f o r s y s t e m e n g i n e e r -i n g , " IEEE T r a n s . S y s t e m s S c i e n c e a n d C y b e r n e t i c s , v o l .S S C - 1 , p p . 3 6 - 4 0 , N o v e m b e r 1 9 6 5 .

[ 8 ] a ) , " D e c i s i o n a n a l y s i s : a p p l i e d d e c i s i o n t h e o r y , " P r o c . 4 t hI n t e r n a t ' l C o n f . O p e r a t i o n a l R e s . ( B o s t o n , M a s s . , 1 9 6 6 ) .b ) -," T h e f o u n d a t i o n b s o f d e c i s i o n a n a l y s i s " t h i s i s s u e , p p .2 1 1 - 2 1 9 .

[ 9 ] ec, " I n fo r m a t i o n v a l u e t h e o r y , " IEEE T r a n s . S y s t e m s S c i -e n c e a n d C y b e r n e t i c s , v o l . S S C - 2 , p p . 2 2 - 2 6 , A u g u s t 1 9 6 6 .

[ 1 0 1 , " T h e s c i e n c e o f d e c i s i o n - m a k i n g " ( u n p u b l i s h e d ) .[ 1 1 ] , " V a l u e o f i n f o r m a t i o n l o t t e r i e s , " IEEE T r a n s . S y s t e m s

S c i e n c e a n d C y b e r n e t i c s , v o l . S S C - 3 , p p . 5 4 - 6 0 , J u n e 1 9 6 7 .[ 1 2 ] E . T . J a y n e s , " P r o b a b i l i t y t h e o r y i n s c i e n c e a n d e n g i n e e r i n g , "

F i e l d R e s e a r c h L a b o r a t o r y , S o c o n y M o b i l O i l C o . , I n i c . , D a l l a s ,T e x . , 1 9 3 9 .

[ 1 3 ] H . J e f f r e y s , T h e o r y o f P r o b a b i l i t y , 3 r d e d . O x f o r d : C l a r e n d o nP r e s s , 1 9 6 1 .

[ 1 4 ] B . K l e i n a n d W . M e c k l i n g , " A p p l i c a t i o n s o f o p e r a t i o n s r e s e a r c ht o d e v e l o p m e n t d e c i s i o n . s , " O p e r a t i o n s R e s . , v o l . 6 , p p . 3 3 2 - 3 6 3 ,. M a y - J u n e 1 9 5 8 .

[ 1 5 ] P . S . L a p l a c e , E s s a i P h i l o s o p h i q u e s u r l e s P r o b a b i l i h ' s ( P a r i s ,1 8 1 4 ) , t r a n s l a t i o n . New Y o r k : D o v e r , 1 9 3 1 .

[ 1 6 ] R . 1 ) . L u c e a n d H . R a i f f a , G a m e s a n d D e c i s i o n s : I n t r o d u c t i o n a n ( dC r i t i c a l S u r v e y . New Y o r k : W i l e y , 1 9 5 7 .[ 1 7 ] J . W. P r a t t , H . R a i f f a , a r i d R . S c h l a i f e r , " T h e f o u n d a t i o n s o f

d e c i s i o n u n d e r u n c e r t a i n t y : a n e l e m e n t a r y e x p o s i t i o n , " J . Am.S t a t i s t . A s s o c . , v o l . 5 9 , p p . 3 3 3 - 3 7 5 , J u n e 1 9 6 4 .

[ 1 8 ] , I n t r o d u c t i o n t o S t a t i s t i c a l D e c i s i o n T h e o r y . New Y o r k :M l c G r a w - H i l l , 1 9 6 5 .

[ 1 9 ] H . R a i f f a a n d I t . S c h l a i f e r , A p p l i e d S t a t i s t i c a l D e c i s i o n T h e o r y .B o s t o n , M a ss . : G r a d u a t e S c h o o l o f B u s i n e s s , H a r v a r d U n i -v e r s i t y , 1 9 6 1 .

[ 2 0 ] L . J . S a v a g e , T h e F o u n d a t i o n s o f S t a t i s t i c s . New Y o r k : W i l e y ,1 9 3 4 .

[ 2 1 ] R . S c h l a i f e r , P r o b a b i l i t y a n d S t a t i s t i e s f o r B u s i n e s s D e c i s i o n s .New Y o r k : M c G r a w - H i l l , 1 9 5 9 .

[ 2 2 ] J . v o n Neumann a n d 0 . M o r g e n s t e r n , T h e o r y o f G a m e s a n dE c o n o m i c B e h a v i o r , 2 n d e d . P r i n c e t o n , N . J . : P r i n c e t o n U n i -v e r s i t y P r e s s , 1 9 4 7 .

2 1 0

decision theory tutorial

Documents