matching, maximizing, and hill‐climbing
TRANSCRIPT
-
8/10/2019 Matching, Maximizing, And HillClimbing
1/11
JOURNAL
OF
THE EXPERIMENTAL ANALYSIS
OF
BEHAVIOR
MATCHING,
MAXIMIZING, AND
HILL-CLIMBING
JOHN
M.
H I N S O N
AND J . E . R . S T A D D O N
DUKE
UNIVERSITY
I n
s i m p l e
s i t u a t i o n s , a n i m a l s
c o n s i s t e n t l y
c h o o s e t h e b e t t e r o f two a l t e r n a t i v e s . On
c o n -
c u r r e n t v a r i a b l e - i n t e r v a l
v a r i a b l e - i n t e r v a l a n d
v a r i a b l e - i n t e r v a l
v a r i a b l e - r a t i o
s c h e d u l e s ,
t h e y
a p p r o x i m a t e l y
m a t c h
a g g r e g a t e
c h o i c e a n d
r e i n f o r c e m e n t
r a t i o s . Th e
m a t c h i n g
l a w
a t t e m p t s
t o
e x p l a i n
t h e
l a t t e r r e s u l t b u t
d o e s
n o t
a d d r e s s
t h e
f o r m e r .
H i l l - c l i m b i n g
r u l e s
s u c h a s
m o m e n t a r y m a x i m i z i n g c a n
a c c o u n t
f o r
b o t h .
We
s h o w
t h a t
m o m e n t a r y m a x i m i z i n g
c o n s t r a i n s
m o l a r
c h o i c e t o
a p p r o x i m a t e m a t c h i n g ;
t h a t
m o l a r
c h o i c e
c o v a r i e s
w i t h
p i g e o n s '
m o m e n t a r y - m a x i m i z i n g
e s t i m a t e ;
a n d t h a t
t h e g e n e r a l i z e d
m a t c h i n g
l a w
f o l l o w s
f r o m
a l m o s t
a n y h i l l - c l i m b i n g
r u l e .
K e y
w o r d s : o p t i m a l b e h a v i o r , momentary
m a x i m i z i n g ,
m a t c h i n g
l a w ,
c o n c u r r e n t s c h e d -
u l e s ,
v a r i a b l e
i n t e r v a l ,
v a r i a b l e
r a t i o ,
k e y
p e c k ,
p i g e o n s
E a r l y
r e s e a r c h
h a s s h o w n
t h a t
a h u n g r y
a s s
r e g u l a r l y
a l l o w e d t o c h o o s e b e t w e e n t w o
p i l e s
o f
h a y , o n e
l a r g e
a n d
o n e s m a l l , w i l l c o n s i s -
t e n t l y p i c k t h e l a r g e .
T h i s
r e s u l t
c o n f o r m s t o
t h e
m a t c h i n g
l a w
( H e r r n s t e i n ,
1 9 6 1 , 1 9 7 0 ) ,
b u t i s n o t
e x p l a i n e d
b y
i t - c o n s i s t e n t
c h o i c e
o f
t h e s m a l l
p i l e w o u l d f i t a s w e l l .
Tw o
o t h e r t h e -
o r i e s d o
e x p l a i n t h i s
r e s u l t : o v e r a l l
m a x i m i z a -
t i o n
( e . g . ,
R a c h l i n , G r e e n , K a g e l ,
B a t t a l i o ,
1 9 7 6 ; S t a d d o n
M o t h e r a l , 1 9 7 8 )
a n d h i l l -
c l i m b i n g ,
n a m e l y , p i c k i n g
t h e
b e s t
a l t e r n a t i v e
a t a
g i v e n t i m e
( e . g . ,
H i n s o n
&
S t a d d o n , 1 9 8 3 ;
S h i m p ,
1 9 6 9 ) .
O v e r a l l m a x i m i z a t i o n
w o r k s
b e -
c a u s e
c o n s i s t e n t c h o i c e
o f t h e
l a r g e p i l e m a x i -
m i z e s f o o d i n t a k e .
H i l l - c l i m b i n g w o r k s b e c a u s e
a l w a y s p i c k i n g t h e l a r g e p i l e m e a n s a l w a y s
p i c k i n g
t h e
b e s t a l t e r n a t i v e
o f f e r e d .
More
r e c e n t
r e s e a r c h h a s
s h o w n
t h a t o n c o n -
c u r r e n t
v a r i a b l e - i n t e r v a l
v a r i a b l e - i n t e r v a l ( c o n -
c u r r e n t
V I
V I ) ,
v a r i a b l e - i n t e r v a l ,
v a r i a b l e - r a t i o
( c o n c u r r e n t
V I V R ) , a n d s o m e
o t h e r
r e i n f o r c e -
ment
s c h e d u l e s , p i g e o n s , r a t s ,
a n d
p e o p l e
a l l o -
c a t e
t h e i r
a g g r e g a t e
r e s p o n d i n g a c c o r d i n g t o
t h e f o r m u l a
x / y
=
a [ R ( x ) / R ( y ) ] b ,
( 1 )
w h e r e
x a n d
y
a r e
t h e
a v e r a g e r e s p o n s e r a t e s
t o
t h e t w o
a l t e r n a t i v e s ,
R ( x )
a n d
R ( y ) t h e r e i n -
f o r c e m e n t
r a t e s o b t a i n e d , a n d
a
a n d
b
c o n -
T h i s
r e s e a r c h w a s
s u p p o r t e d b y g r a n t s
f r o m t h e
N a -
t i o n a l
S c i e n c e F o u n d a t i o n
t o
Duke
U n i v e r s i t y , J . E .
R .
S t a d d o n p r i n c i p a l
i n v e s t i g a t o r .
R e p r i n t s
m a y b e o b -
t a i n e d f r o m J o h n M.
H i n s o n ,
D e p a r t m e n t
o f
P s y c h o l -
o g y ,
W a s h i n g t o n
S t a t e
U n i v e r s i t y , P u l l m a n , W a s h i n g -
t o I n 9 9 1 6 4 .
s t a n t s . F o r
c o n c u r r e n t
V I
V I ,
a a n d
b a r e
b o t h
a p p r o x i m a t e l y
u n i t y ( i . e . ,
t h e
m a t c h i n g l a w ) ,
a l t h o u g h s o m e
s t u d i e s
f i n d
b
v a l u e s
l e s s
t h a n
o n e
( u n d e r m a t c h i n g ) ;
f o r c o n c u r r e n t
V I
V R ,
b
i s n e a r
u n i t y
b u t
a
m a y
b e
l e s s
t h a n
o n e
( b i a s e d
m a t c h i n g ) ;
f o r c o n c u r r e n t c h a i n e d
s c h e d u l e s ,
a
i s u n i t y , b u t
b
i s
g e n e r a l l y g r e a t e r
t h a n
u n i t y
( o v e r m a t c h i n g :
B a c o t t i , 1 9 7 7 ; B a u m ,
1 9 7 4 ;
D a v i s o n ,
1 9 8 - 1 ;
L e a ,
1 9 8 1 ) .
E q u a t i o n
1 ,
t h e
g e n e r a l i z e d m a t c h i n g
l a w ,
i s
f l e x i b l e
e n o u g h
t o a c c o m m o d a t e a l m o s t
a n y
m o n o t o n i c
e m p i r i c a l
r e l a t i o n s h i p
b e t w e e n
c h o i c e
a n d
r e i n f o r c e m e n t
r a t i o s , g i v e n
u s u a l
e x p e r i m e n t a l
v a r i a t i o n .
H e n c e ,
E q u a t i o n
1 i s
s i g n i f i c a n t m a i n l y
f o r
t h e
c o n s i s t e n t
r e l a t i o n -
s h i p
b e t w e e - n
p a r a m e t e r
v a l u e s
a n d
p a r t i c u l a r
p r o c e d u r e s .
The
s t a n d a r d m a t c h i n g
l a w
c a n n o t
a c c o u n t 4 o r s y s t e m a t i c
d e v i a t i o n s
f r o m
u n i t y
i n
t h e t w o
p a r a m e t e r s .
B e h a v , i e r - o n
c o n c u r r e n t s c h e d u l e s
h a s
p r o p -
e r t - i e s
, m i a d d i - t i o n t o
a g g r e g a t e
c h o i c e
r a t i o s :
d i s t - r i b - t i o n s
o f
i n t e r r e s p o n s e t i m e s
( I R T s )
t o
e a c h
a l t e r n a t i v e ,
- i n t e r s w i t c h
t i m e s
( i . e . ,
c h o i c e
b o u t
l e n g t h s ) ,
a n d
t e m p o r a l r e l a t i o n s h i p s
b e -
t w e e n
- 4 i e
s e q u e n c e
o f
r e s p o n s e s
t o e a c h a l -
t e r n a t i v e . Some
o f
t h e s e
p r o p e r t i e s
a r e a f f e c t e d
i n
s t r i k i n g
w a y s
b y
p r o c e d u r a l
f e a t u r e s . F o r
e x a m p l e ,
i f
e a c h
s w i t c h
( c h a n g e o v e r )
s t a r t s
a
t i m e r
t h a t
p r e v e n t s t h e
d e l i v e r y
o f
f o o d
f o r
t
s e c
a f t e r
t h e
s w i t c h
( c h a n g e o v e r
d e l a y : C O D ) ,
t h e n
i n t e r s w i t c h t i m e s i n c r e a s e
( e . g . ,
B a u m ,
1 9 8 2 ;
H u n t e r
D a v i s o n ,
1 9 7 8 ) .
A s
a n o t h e r
e x -
a m p l e ,
I - R T s
t o
t h e
VR a l t e r n a t i v e o n
c o n c u r -
r e n t
VI
VR
a r e s h o r t e r t h a n
IRTs
t o
t h e V I .
None
o f t h e s e
p r o p e r t i e s
o f
c h o i c e
a r e e x -
p l i c a b l e b y t h e
m a t c h i n g
l a w .
3 2 1
1 9 8 3 ,
4 0 ,
3 2 1 - 3 3 1
NUMBER
3
( N O V E M B E R )
-
8/10/2019 Matching, Maximizing, And HillClimbing
2/11
JOHN
M.
HINSON a n d
J .
E . R . STADDON
The l i m i t e d a p p l i c a b i l i t y o f m a t c h i n g - l a w
f o r m u l a t i o n s
h a s
l e d
i n
r e c e n t y e a r s
t o a s e a r c h
f o r m o r e c o m p r e h e n s i v e a l t e r n a t i v e s t h a t c a n
e x p l a i n s i m p l e m a t c h i n g , p o w e r - r a t i o m a t c h -
i n g ( E q u a t i o n 1 ) , COD
a n d
s c h e d u l e - t y p e e f -
f e c t s ,
a s
w e l l a s e x c l u s i v e c h o i c e . F o r e x a m p l e ,
t h e e f f e c t s o f COD o n i n t e r s w i t c h t i m e
make
p e r f e c t
s e n s e f r o m t h e
p o i n t
o f v i e w o f
e i t h e r
o v e r a l l
m a x i m i z i n g
o r h i l l - c l i m b i n g ;
IRT
d i f -
f e r e n c e s a n d b i a s e d m a t c h i n g o n c o n c u r r e n t
V I
VR
f o l l o w f r o m a f o r m o f
h i l l - c l i m b i n g
( H i n s o n
S t a d d o n , 1 9 8 3 ; S t a d d o n ,
1 9 8 0 ) ,
a n d
a s
we h a v e
s e e n , e x c l u s i v e c h o i c e i n s i m p l e
s i t u a t i o n s f o l l o w s f r o m
a l m o s t
a n y o p t i m i z i n g
t h e o r y .
M o l a r
m e a s u r e s ,
s u c h
a s
t h e
a g g r e g a t e
r e -
s p o n s e
a n d
r e i n f o r c e m e n t r a t e s t h a t e n t e r
i n t o
E q u a t i o n
1 ,
a r e made u p o f m o l e c u l a r
e l e m e n t s :
m o m e n t - b y - m o m e n t
c h o i c e s o f o n e
a l t e r n a t i v e o r
t h e
o t h e r . B o t h
m o l a r
m a t c h -
i n g
a n d
o v e r a l l
r e i n f o r c e m e n t - r a t e
m a x i m i z a -
t i o n when t h e y
o c c u r
m u s t d e p e n d u p o n
r u l e s
t h a t r e l a t e
t h e
a n i m a l ' s i n s t a n t a n e o u s c h o i c e
t o i t s p a s t h i s t o r y .
S u c h
a r u l e c a n b e c a l l e d
a
s t r a t e g y
o r p o l i c y w i t h o u t i m p l y i n g
c o n
s c i o u s
d e l i b e r a t i o n
b y
t h e
a n i m a l .
When
m o l a r
p r i n c i p l e s
f a i l ,
t h e
o b v i o u s
p l a c e
t o
l o o k
f o r a n
e x p l a n a t i o n
i s
t h e
m o l e c u l a r s t r a t e -
g i e s
t h a t
u n d e r l i e t h e m .
We
c a n
p r o b a b l y
r u l e o u t o n e
p o s s i b i l i t y -
w h a t we h a v e
e l s e w h e r e c a l l e d
t h e
m o l a r
c o m -
p a r i s o n
s t r a t e g y
( H i n s o n
S t a d d o n ,
1 9 8 3 ) -
t h a t
i s , t h e i d e a t h a t
when
a n i m a l s m a x i m i z e ,
t h e y
d o
s o b y
v a r y i n g
c h o i c e
p r o p o r t i o n s
f r o m
d a y
t o
d a y , r e m e m b e r i n g
t h e
a v e r a g e
r e i n f o r c e -
m e n t r a t e
a s s o c i a t e d w i t h
e a c h ,
a n d
c h o o s i n g
t h e
p r o p o r t i o n
t h a t
g i v e s
t h e m
t h e
h i g h e s t
p a y o f f
r a t e .
Memory
l i m i t a t i o n s
mean
t h a t
a n i -
m a l s
a r e
much m o r e
l i k e l y
t o
m a x i m i z e
( a n d
m a t c h ) b y a d o p t i n g
a
m o m e n t - b y - m o m e n t
s t r a t e g y
t h a t
d o e s
n o t demand
c o m p a r i s o n s
o v e r
l o n g
t i m e
p e r i o d s .
H i l l - c l i m b i n g ,
p i c k i n g
t h e
b e s t
o p t i o n
a v a i l -
a b l e
f r o m moment t o
m o m e n t ,
i s
o n e c l a s s
o f
s t r a t e g i e s
t h a t
m a k e s l i m i t e d
d e m a n d s on m e m -
o r y , y e t
o f t e n
a c h i e v e s
m o l a r o u t c o m e s
c l o s e
t o
t h e t h e o r e t i c a l
o p t i m u m
( M i n s k y , 1 9 6 1 ) .
T h i s
p a p e r
d i s c u s s e s
o n e s u c h
h i l l - c l i m b i n g s t r a t e g y ,
m o m e n t a r y m a x i m i z i n g
( S h i m p ,
1 9 6 6 ) .
We
h a v e p r e v i o u s l y
s h o w n t h a t
p i g e o n s
c o n f o r m
r e a s o n a b l y
w e l l
t o
m o m e n t a r y
m a x i m i z i n g
o n
b o t h c o n c u r r e n t
V I V I
a n d c o n c u r r e n t
VI VR
s c h e d u l e s
( H i n s o n
8 c
S t a d d o n ,
1 9 8 1 , 1 9 8 3 ) .
H e r e
w e s h o w
t h a t when
p i g e o n s
s h o w
m o m e n t a r y
m a x i m i z i n g , m o l a r c h o i c e
p r o p o r t i o n a p p r o x i -
m a t e l y
m a t c h e s
r e i n f o r c e m e n t p r o p o r t i o n ;
t h a t
m o l a r c h o i c e
v a r i e s
w i t h
t h e
a n i m a l ' s momen-
t a r y e s t i m a t e o f p a y o f f p r o b a b i l i t i e s f o r t h e
t w o
a l t e r n a t i v e s o n
t h e s e t w o
s c h e d u l e s ;
a n d
t h a t t h i s r e l a t i o n
i s
n o t
a n a r t i f a c t
o f o u r
m e t h o d o f m e a s u r i n g t h e a n i m a l ' s
e s t i m a t e .
H e n c e
m a t c h i n g ,
a m o l a r r e l a t i o n , i s p r o b a b l y
t h e
o u t c o m e
o f m o m e n t - b y - m o m e n t h i l l - c l i m b -
i n g . We s h o w i n t h e D i s c u s s i o n
t h a t a
c l a s s o f
h i l l - c l i m b i n g
s t r a t e g i e s o f w h i c h m o m e n t a r y
m a x i m i z i n g
i s a s p e c i a l
c a s e i m p l i e s
m o l a r r e -
s u l t s
c o n f o r m i n g
t o E q u a t i o n 1 .
We
c o n c l u d e
f r o m
t h e s e
s i m u l a t i o n s t h a t
E q u a t i o n
1
i s
i m -
p l i e d
b y
a l m o s t
a n y
h i l l - c l i m b i n g
r u l e .
METHOD
T h i s p a p e r
p r e s e n t s
a d d i t i o n a l a n a l y s e s
o f
t h e e x p e r i m e n t d e s c r i b e d
i n
H i n s o n
a n d S t a d -
d o n ( 1 9 8 3 ) .
The
m e t h o d i s
g i v e n
i n
f u l l
i n
t h a t
p a p e r ,
s o we
p r e s e n t o n l y
a
b r i e f s u m m a r y
h e r e .
S u b j e c t s
E i g h t m a l e ,
a d u l t
W h i t e
C a r n e a u x p i g e o n s
s e r v e d .
A p p a r a t u s
A l l
e x p e r i m e n t s w e r e c o n d u c t e d
i n
a s t a n -
d a r d a l u m i n u m a n d P l e x i g l a s o p e r a n t - c o n d i -
t i o n i n g
c h a m b e r w i t h
t w o
t r a n s l u c e n t
p e c k i n g
k e y s . The e x p e r i m e n t a l c o n t i n g e n c i e s
a n d
d a t a
r e c o r d i n g
w e r e c a r r i e d o u t
b y
a
m i c r o c o m p u t e r
i n a n
a d j a c e n t
r o o m .
D a t a
o n
t h e a b s o l u t e
t i m e
( t o
o n e m s e c ) a n d i d e n t i t y o f e a c h e x p e r i m e n -
t a l e v e n t w e r e l a t e r
t r a n s f e r r e d
t o
a
PDP
I 1
m i n i c o m p u t e r
f o r a n a l y s i s .
P r o c e d u r e
The
p i g e o n s
r e c e i v e d
e x t e n s i v e t r a i n i n g o n
c o n c u r r e n t V I V I a n d VR V I
s c h e d u l e s ,
w i t h
r a n d o m
( F l e s h l e r
H o f f m a n ,
1 9 6 2 )
i n t e r f o o d
i n t e r v a l s a n d n o
c h a n g e o v e r
d e l a y .
Th e
e x p e r i -
m e n t a l
c o n d i t i o n s
f o r
a l l
a n i m a l s
a p p e a r
i n
T a b l e
1 . S e s s i o n s
l a s t e d
1
h o u r , e x c l u d i n g
t h e
t i m e
t a k e n
b y
f o o d
d e l i v e r y .
RESULTS
C o n c u r r e n t
V I V I
F i g u r e
1
s h o w s m o l a r m a t c h i n g :
t h e
r e l a t i o n -
s h i p
b e t w e e n
t h e
m e a n
l o g a r i t h m s
o f
c h o i c e
r a t i o s a n d
t h e
mean o f
t h e
l o g a r i t h m s
o f o b -
3 2 2
-
8/10/2019 Matching, Maximizing, And HillClimbing
3/11
MATCHING, MAXIMIZING,
AND HILL-CLIMBING
T a b l e
1
C o n d i t i o n s
a n d Number o f
S e s s i o n s f o r E a c h B i r d
C o n c u r r e n t
V I
V I
B i r d
C o n d i t i o n
C096
C0123
C 0 1 0 4
S e s s i o n s
1
VI60
V I
6 0
VI60
VI60
V I 6 0 V I 6 0
9 0
2
VI180VI60
VI180VI60 VI180VI60
9 0
3 VI60
V I 1 8 0
VI60
V I 1 8 0 VI60
V I 1 8 0
6 0
4 VI60
VI60 VI60 VI60
VI60 VI60
3 0
CD129
CD117
C D 1 4 8
1
V I
1 8 0
V I
6 0
V I
1 8 0
V I
6 0
3 0
2
VI60 V I
1 8 0 VI60
V I 1 8 0
VI60 V I
1 8 0
3 0
3 V I 6 0
V I
6 0
V I
6 0 V I 6 0
V I
6 0
V I 6 0
1 7
4 V I
2 4 0
V I 6 0 V I 2 4 0
V I 6 0
V I 2 4 0 V I 6 0
1 5
5
V I 9 0
V I
1 8 0
V I
9 0
V I 1 8 0
V I
9 0
V I
1 8 0
1 6
6
VI180VI30
V I 1 8 0 V I 3 0
1 5
C o n c u r r e n t
VR
V I
B i r d
B i r d
C R 1 2 9
S e s s i o n s
C R 1 1 7
S e s s i o n s
1
VR
3 0
V I
6 0
3 0
VR 3 0
V I
6 0
3 0
2
VR 6 0
V I 6 0
3 0
VR 6 0 V I 6 0
3 0
3
VR
1 5
V I
6 0
3 0 VR
1 5
V I
6 0
3 0
C R 1 0 1
CR196
1
VR
1 5
V I
6 0
4 0
VR
6 0
V I
6 0
2 0
2
VR 6 0 V I 6 0
4 0
VR 6 0
V I
1 8 0
1 7
3
VR
3 0
V I 6 0
1 5
VR 6 0
V I
1 2 0
1 8
t a i n e d
r e i n f o r c e m e n t
r a t i o s
o f
t h e
l a s t
f i v e s e s -
s i o n s
o f e a c h
c o n d i t i o n f o r
e a c h
a n i m a l .
V e r -
t i c a l b a r s f o r e a c h
p o i n t
w i t h i n
t h e
g r a p h
s h o w
t h e
range
o f
response
r a t i o s .
M a t c h i n g
i n
t h i s
s i t u a t i o n
i s
w i t h i n
t h e
n o r m a l
range: S l o p e s
o f
t h e
f i t t e d
r e g r e s s i o n
l i n e s ,
shown
f o r
e a c h
a n i -
m a l ,
a r e
g e n e r a l l y
l e s s
t h a n one
and t h e
i n t e r -
c e p t s
a r e
c l o s e
t o
z e r o .
T h e r e
a r e t w o
ways t o
d e m o n s t r a t e
a
r e l a -
t i o n s h i p
b e t w e e n
m a t c h i n g
a n d
m o m e n t a r y
m a x i m i z i n g ,
n e i t h e r
p e r f e c t l y
s a t i s f a c t o r y .
Th e
f i r s t
i s
t o s h o w
t h a t
when
a n i m a l s
c o n f o r m
w e l l
t o
t h e
m o m e n t a r y
m a x i m i z i n g
r u l e ,
c h o i c e
p r o -
p o r t i o n s
ar e
c l o s e
t o
m a t c h i n g . (When
a n i m a l s
m a x i m i z e
p o o r l y ,
t h e i r
c h o i c e
p r o p o r t i o n s
may
o r
may
no t
c o n f o r m
t o
m a t c h i n g , d e p e n d i n g
on
w h a t causes
t h e
p o o r
p e r f o r m a n c e .
C o n s e -
q u e n t l y ,
m o l a r
c h o i c e
p r o p o r t i o n
on
d a y s
w h en
m a x i m i z i n g
i s
p o o r
i s
l e s s
i n f o r m a t i v e
t h a n
c h o i c e
p e r f o r m a n c e
on
d a y s
when
m a x i m i z i n g
i s g o o d . )
Th e s e c o n d way
t o s h o w
a r e l a t i o n -
s h i p
b e t w e e n
m a t c h i n g
and
m o m ent a r y
m a x i -
m i z i n g
i s
t o s h o w
t h a t
m o l a r
c h o i c e
p r o p o r t i o n
r e l i a b l y
c o v a r i e s
w i t h
t h e
a n i m a l ' s
e s t i m a t e
o f
t h e
m o m e n t a r y m a x i m i z i n g
s w i t c h i n g
l i n e .
We
w i l l
d i s c u s s e a c h
o f
t h e s e
m e t h o d s
i n t u r n .
P r e v i o u s
pa pe r s
( H i n s o n
S t a d d o n ,
1 9 8 1 ,
1 9 8 3 ;
S t a d d o n ,
H i n s o n ,
K r a m ,
1 9 8 1 )
h a v e
s h o w n
t h a t
t h e r e l e v a n t
v a r i a b l e s
f o r momen-
t a r y m a x i m i z i n g
a r e
t 1
a n d
t 2 ,
t h e t i m e s s i n c e
t h e l a s t
r e s p o n s e s
t o
a l t e r n a t i v e s o n e a n d t w o .
M o m e n t a r y
m a x i m i z i n g
i s d e f i n e d b y t h e
s w i t c h i n g
l i n e ,
t l
=
x 2 t 2 / X l ,
w h e r e
X ,
i s t h e s c h e d u l e d
V I r e i n f o r c e m e n t
r a t e f o r
a l t e r n a t i v e
i . The
a n i m a l
i s p e r f o r m i n g
p e r f e c t l y
when
a l l
i n s t a n c e s o f
r e s p o n s e
o n e
l i e
b e t w e e n
t h e s w i t c h i n g
l i n e
a n d t h e
t 1 a x i s
i n
t 1
/ t 2 s p a c e
( t h e
c l o c k s p a c e )
a n d
a l l i n s t a n c e s
o f
r e s p o n s e
t w o
l i e b e t w e e n
t h e l i n e
a n d
t h e
t 2
a x i s .
T a b l e
2
P r o c e d u r e
f o r
o b t a i n i n g t h e
m o m e n t a r y
m a x i m i z i n g
e s t i m a t e m .
R e i n f o r c e m e n t
P r o b a b i l i t y
p ( R
I t l )
>
P ( R
Q
p ( R | t j )