-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
1/67
A C o m p a r i s o n o f S e l e c t i o n S c h e m e s u s e d i n
G e n e t i c A l g o r i t h m s
T o b i a s B l i c k l e a n d L o t h a r T h i e l e
C o m p u t e r E n g i n e e r i n g a n d C o m m u n i c a t i o n N e t w o r k s L a b ( T I K )
S w i s s F e d e r a l I n s t i t u t e o f T e c h n o l o g y ( E T H )
G l o r i a s t r a s s e 3 5 , 8 0 9 2 Z u r i c h
S w i t z e r l a n d
f b l i c k l e , t h i e l e g @ t i k . e e . e t h z . c h
T I K - R e p o r t
N r . 1 1 , D e c e m b e r 1 9 9 5
V e r s i o n 2
( 2 . E d i t i o n )
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
2/67
A b s t r a c t
G e n e t i c A l g o r i t h m s a r e a c o m m o n p r o b a b i l i s t i c o p t i m i z a t i o n m e t h o d b a s e d o n
t h e m o d e l o f n a t u r a l e v o l u t i o n . O n e i m p o r t a n t o p e r a t o r i n t h e s e a l g o r i t h m s i s
t h e s e l e c t i o n s c h e m e f o r w h i c h a n e w d e s c r i p t i o n m o d e l i s i n t r o d u c e d i n t h i s
p a p e r . W i t h t h i s a m a t h e m a t i c a l a n a l y s i s o f t o u r n a m e n t s e l e c t i o n , t r u n c a t i o n
s e l e c t i o n , l i n e a r a n d e x p o n e n t i a l r a n k i n g s e l e c t i o n a n d p r o p o r t i o n a l s e l e c t i o n i s
c a r r i e d o u t t h a t a l l o w s a n e x a c t p r e d i c t i o n o f t h e t n e s s v a l u e s a f t e r s e l e c t i o n .
T h e f u r t h e r a n a l y s i s d e r i v e s t h e s e l e c t i o n i n t e n s i t y , s e l e c t i o n v a r i a n c e , a n d t h e l o s s
o f d i v e r s i t y f o r a l l s e l e c t i o n s c h e m e s . F o r c o m p l e t i o n a p s e u d o - c o d e f o r m u l a t i o n
o f e a c h m e t h o d i s i n c l u d e d . T h e s e l e c t i o n s c h e m e s a r e c o m p a r e d a n d e v a l u a t e d
a c c o r d i n g t o t h e i r p r o p e r t i e s l e a d i n g t o a n u n i e d v i e w o f t h e s e d i e r e n t s e l e c t i o n
s c h e m e s . F u r t h e r m o r e t h e c o r r e s p o n d e n c e o f b i n a r y t o u r n a m e n t s e l e c t i o n a n d
r a n k i n g s e l e c t i o n i n t h e e x p e c t e d t n e s s d i s t r i b u t i o n i s p r o v e n .
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
3/67
F o r e w o r d
T h i s p a p e r i s t h e r e v i s e d a n d e x t e n d e d v e r s i o n o f t h e T I K - R e p o r t N o . 1 1 f r o m
A p r i l , 1 9 9 5 . T h e m a i n a d d i t i o n s t o t h e r s t e d i t i o n a r e t h e a n a l y s i s o f e x p o n e n -
t i a l r a n k i n g s e l e c t i o n a n d p r o p o r t i o n a l s e l e c t i o n . P r o p o r t i o n a l s e l e c t i o n i s o n l y
i n c l u d e d f o r c o m p l e t e n e s s - w e b e l i e v e t h a t i t i s a v e r y u n s u i t e d s e l e c t i o n m e t h o d
a n d w e w i l l s h o w t h i s ( l i k e i t h a s b e d o n e b y o t h e r r e s e a r c h e r s , t o o ) b a s e d o n
a m a t h e m a t i c a l a n a l y s i s i n c h a p t e r 7 . F u r t h e r m o r e f o r e a c h s e l e c t i o n s c h e m e a
p s e u d o - c o d e n o t a t i o n i s g i v e n a n d a s h o r t r e m a r k o n t i m e c o m p l e x i t y i s i n c l u d e d .
T h e m a i n c o r r e c t i o n c o n c e r n s t h e a p p r o x i m a t i o n f o r m u l a f o r t h e s e l e c t i o n
v a r i a n c e o f t o u r n a m e n t s e l e c t i o n . T h e a p p r o x i m a t i o n g i v e n i n t h e r s t e d i t i o n
w a s c o m p l e t e l y w r o n g . I n t h i s r e p o r t t h e a p p r o x i m a t i o n f o r m u l a i s d e r i v e d b y a
g e n e t i c a l g o r i t h m , o r b e t t e r s p e a k i n g b y t h e g e n e t i c p r o g r a m m i n g o p t i m i z a t i o n
m e t h o d . T h e u s e d m e t h o d i s d e s c r i b e d i n a p p e n d i x A a n d a l s o a p p l i e d t o d e r i v e
a n a n a l y t i c a p p r o x i m a t i o n f o r t h e s e l e c t i o n i n t e n s i t y a n d s e l e c t i o n v a r i a n c e o f
e x p o n e n t i a l r a n k i n g s e l e c t i o n .
W e h o p e t h a t t h i s r e p o r t s u m m a r i z e s t h e m o s t i m p o r t a n t f a c t s f o r t h e s e v e
s e l e c t i o n s c h e m e s a n d g i v e s a l l r e s e a r c h e s a w e l l f o u n d e d b a s i s t o c h o s e t h e a p -
p r o p r i a t e s e l e c t i o n s c h e m e f o r t h e i r p u r p o s e .
T o b i a s B l i c k l e Z u r i c h , D e c . , 1 9 9 5
1
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
4/67
C o n t e n t s
1 I n t r o d u c t i o n 4
2 D e s c r i p t i o n o f S e l e c t i o n S c h e m e s 6
2 . 1 A v e r a g e F i t n e s s . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2 . 2 F i t n e s s V a r i a n c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0
2 . 3 R e p r o d u c t i o n R a t e . . . . . . . . . . . . . . . . . . . . . . . . . . 1 0
2 . 4 L o s s o f D i v e r s i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1
2 . 5 S e l e c t i o n I n t e n s i t y . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1
2 . 6 S e l e c t i o n V a r i a n c e . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3
3 T o u r n a m e n t S e l e c t i o n 1 4
3 . 1 C o n c a t e n a t i o n o f T o u r n a m e n t S e l e c t i o n . . . . . . . . . . . . . . . 1 7
3 . 2 R e p r o d u c t i o n R a t e . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9
3 . 3 L o s s o f D i v e r s i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9
3 . 4 S e l e c t i o n I n t e n s i t y . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0
3 . 5 S e l e c t i o n V a r i a n c e . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1
4 T r u n c a t i o n S e l e c t i o n 2 3
4 . 1 R e p r o d u c t i o n R a t e . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4
4 . 2 L o s s o f D i v e r s i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4
4 . 3 S e l e c t i o n I n t e n s i t y . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5
4 . 4 S e l e c t i o n V a r i a n c e . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5
5 L i n e a r R a n k i n g S e l e c t i o n 2 7
5 . 1 R e p r o d u c t i o n R a t e . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0
5 . 2 L o s s o f D i v e r s i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1
5 . 3 S e l e c t i o n I n t e n s i t y . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2
5 . 4 S e l e c t i o n V a r i a n c e . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2
6 E x p o n e n t i a l R a n k i n g S e l e c t i o n 3 4
6 . 1 R e p r o d u c t i o n R a t e . . . . . . . . . . . . . . . . . . . . . . . . . . 3 7
6 . 2 L o s s o f D i v e r s i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 7
6 . 3 S e l e c t i o n I n t e n s i t y a n d S e l e c t i o n V a r i a n c e . . . . . . . . . . . . . 3 8
2
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
5/67
7 P r o p o r t i o n a l S e l e c t i o n 4 0
7 . 1 R e p r o d u c t i o n R a t e . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1
7 . 2 S e l e c t i o n I n t e n s i t y . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1
8 C o m p a r i s o n o f S e l e c t i o n S c h e m e s 4 3
8 . 1 R e p r o d u c t i o n R a t e a n d U n i v e r s a l S e l e c t i o n . . . . . . . . . . . . . 4 3
8 . 2 C o m p a r i s o n o f t h e S e l e c t i o n I n t e n s i t y . . . . . . . . . . . . . . . . 4 6
8 . 3 C o m p a r i s o n o f L o s s o f D i v e r s i t y . . . . . . . . . . . . . . . . . . . 4 7
8 . 4 C o m p a r i s o n o f t h e S e l e c t i o n V a r i a n c e . . . . . . . . . . . . . . . . 4 8
8 . 5 T h e C o m p l e m e n t S e l e c t i o n S c h e m e s : T o u r n a m e n t a n d L i n e a r R a n k -
i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 0
9 C o n c l u s i o n 5 2
A D e r i v i n g A p p r o x i m a t i o n F o r m u l a s U s i n g G e n e t i c P r o g r a m m i n g 5 3
A . 1 A p p r o x i m a t i n g t h e S e l e c t i o n V a r i a n c e o f T o u r n a m e n t S e l e c t i o n . . 5 4
A . 2 A p p r o x i m a t i n g t h e S e l e c t i o n I n t e n s i t y o f E x p o n e n t i a l R a n k i n g S e -
l e c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 5
A . 3 A p p r o x i m a t i n g t h e S e l e c t i o n V a r i a n c e o f E x p o n e n t i a l R a n k i n g S e -
l e c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 5
B U s e d I n t e g r a l s 6 0
C G l o s s a r y 6 1
3
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
6/67
C h a p t e r 1
I n t r o d u c t i o n
G e n e t i c A l g o r i t h m s ( G A ) a r e p r o b a b i l i s t i c s e a r c h a l g o r i t h m s c h a r a c t e r i z e d b y
t h e f a c t t h a t a n u m b e r N o f p o t e n t i a l s o l u t i o n s ( c a l l e d i n d i v i d u a l s J
i
2 J , w h e r e
J r e p r e s e n t s t h e s p a c e o f a l l p o s s i b l e i n d i v i d u a l s ) o f t h e o p t i m i z a t i o n p r o b l e m
s i m u l t a n e o u s l y s a m p l e t h e s e a r c h s p a c e . T h i s p o p u l a t i o n P = f J
1
; J
2
; : : : ; J
N
g
i s m o d i e d a c c o r d i n g t o t h e n a t u r a l e v o l u t i o n a r y p r o c e s s : a f t e r i n i t i a l i z a t i o n ,
s e l e c t i o n ! : J
N
7!J
N
a n d r e c o m b i n a t i o n : J
N
7!J
N
a r e e x e c u t e d i n a l o o p
u n t i l s o m e t e r m i n a t i o n c r i t e r i o n i s r e a c h e d . E a c h r u n o f t h e l o o p i s c a l l e d a
g e n e r a t i o n a n d P ( ) d e n o t e s t h e p o p u l a t i o n a t g e n e r a t i o n .
T h e s e l e c t i o n o p e r a t o r i s i n t e n d e d t o i m p r o v e t h e a v e r a g e q u a l i t y o f t h e p o p u -
l a t i o n b y g i v i n g i n d i v i d u a l s o f h i g h e r q u a l i t y a h i g h e r p r o b a b i l i t y t o b e c o p i e d i n t o
t h e n e x t g e n e r a t i o n . S e l e c t i o n t h e r e b y f o c u s e s t h e s e a r c h o n p r o m i s i n g r e g i o n s i n
t h e s e a r c h s p a c e . T h e q u a l i t y o f a n i n d i v i d u a l i s m e a s u r e d b y a t n e s s f u n c t i o n
f : J 7! R . R e c o m b i n a t i o n c h a n g e s t h e g e n e t i c m a t e r i a l i n t h e p o p u l a t i o n e i t h e r
b y c r o s s o v e r o r b y m u t a t i o n i n o r d e r t o e x p l o i t n e w p o i n t s i n t h e s e a r c h s p a c e .
T h e b a l a n c e b e t w e e n e x p l o i t a t i o n a n d e x p l o r a t i o n c a n b e a d j u s t e d e i t h e r b y
t h e s e l e c t i o n p r e s s u r e o f t h e s e l e c t i o n o p e r a t o r o r b y t h e r e c o m b i n a t i o n o p e r a t o r ,
e . g . b y t h e p r o b a b i l i t y o f c r o s s o v e r . A s t h i s b a l a n c e i s c r i t i c a l f o r t h e b e h a v i o r
o f t h e G A i t i s o f g r e a t i n t e r e s t t o k n o w t h e p r o p e r t i e s o f t h e s e l e c t i o n a n d
r e c o m b i n a t i o n o p e r a t o r s t o u n d e r s t a n d t h e i r i n u e n c e o n t h e c o n v e r g e n c e s p e e d .
S o m e w o r k h a s b e e n d o n e t o c l a s s i f y t h e d i e r e n t s e l e c t i o n s c h e m e s s u c h
a s p r o p o r t i o n a t e s e l e c t i o n , r a n k i n g s e l e c t i o n , t o u r n a m e n t s e l e c t i o n . G o l d b e r g
G o l d b e r g a n d D e b , 1 9 9 1
]
i n t r o d u c e d t h e t e r m o f t a k e o v e r t i m e . T h e t a k e o v e r
t i m e i s t h e n u m b e r o f g e n e r a t i o n s t h a t i s n e e d e d f o r a s i n g l e b e s t i n d i v i d u a l t o
l l u p t h e w h o l e g e n e r a t i o n i f n o r e c o m b i n a t i o n i s u s e d . R e c e n t l y B a c k
B a c k ,
1 9 9 4
]
h a s a n a l y z e d t h e m o s t p r o m i n e n t s e l e c t i o n s c h e m e s u s e d i n E v o l u t i o n a r y
A l g o r i t h m s w i t h r e s p e c t t o t h e i r t a k e o v e r t i m e . I n
M u h l e n b e i n a n d S c h l i e r k a m p -
V o o s e n , 1 9 9 3
]
t h e s e l e c t i o n i n t e n s i t y i n t h e s o c a l l e d B r e e d e r G e n e t i c A l g o r i t h m
( B G A ) i s u s e d t o m e a s u r e t h e p r o g r e s s i n t h e p o p u l a t i o n . T h e s e l e c t i o n i n t e n s i t y
i s d e r i v e d f o r p r o p o r t i o n a l s e l e c t i o n a n d t r u n c a t i o n s e l e c t i o n . D e l a M a z a a n d
T i d o r
d e l a M a z a a n d T i d o r , 1 9 9 3
]
a n a l y z e d s e v e r a l s e l e c t i o n m e t h o d s a c c o r d i n g
4
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
7/67
t o t h e i r s c a l e a n d t r a n s l a t i o n i n v a r i a n c e .
A n a n a l y s i s b a s e d o n t h e b e h a v i o r o f t h e b e s t i n d i v i d u a l ( a s d o n e b y G o l d -
b e r g a n d B a c k ) o r o n t h e a v e r a g e p o p u l a t i o n t n e s s ( a s d o n e b y M u h l e n b e i n )
o n l y d e s c r i b e s o n e a s p e c t o f a s e l e c t i o n m e t h o d . I n t h i s p a p e r a s e l e c t i o n s c h e m e
i s d e s c r i b e d b y i t s i n t e r a c t i o n o n t h e d i s t r i b u t i o n o f t n e s s v a l u e s . O u t o f t h i s
d e s c r i p t i o n s e v e r a l p r o p e r t i e s c a n b e d e r i v e d , e . g . t h e b e h a v i o r o f t h e b e s t o r
a v e r a g e i n d i v i d u a l . T h e d e s c r i p t i o n i s i n t r o d u c e d i n t h e n e x t c h a p t e r . I n c h a p t e r
3 a n a n a l y s i s o f t h e t o u r n a m e n t s e l e c t i o n i s c a r r i e d o u t a n d t h e p r o p e r t i e s o f
t h e t o u r n a m e n t s e l e c t i o n a r e d e r i v e d . T h e s u b s e q u e n t c h a p t e r s d e a l w i t h t r u n c a -
t i o n s e l e c t i o n , r a n k i n g s e l e c t i o n , a n d e x p o n e n t i a l r a n k i n g s e l e c t i o n . C h a p t e r 7 i s
d e v o t e d t o p r o p o r t i o n a l s e l e c t i o n t h a t r e p r e s e n t s s o m e k i n d o f e x c e p t i o n t o t h e
o t h e r s e l e c t i o n s c h e m e s a n a l y z e d i n t h i s p a p e r . F i n a l l y a l l s e l e c t i o n s c h e m e s a r e
c o m p a r e d .
5
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
8/67
C h a p t e r 2
D e s c r i p t i o n o f S e l e c t i o n S c h e m e s
I n t h i s c h a p t e r w e i n t r o d u c e a d e s c r i p t i o n o f s e l e c t i o n s c h e m e s t h a t w i l l b e u s e d
i n t h e s u b s e q u e n t c h a p t e r s t o a n a l y z e a n d c o m p a r e s e v e r a l s e l e c t i o n s c h e m e s ,
n a m e l y t o u r n a m e n t s e l e c t i o n , t r u n c a t i o n s e l e c t i o n , a n d l i n e a r a n d e x p o n e n t i a l
r a n k i n g s e l e c t i o n a n d t n e s s p r o p o r t i o n a l s e l e c t i o n . T h e d e s c r i p t i o n i s b a s e d o n
t h e t n e s s d i s t r i b u t i o n o f t h e p o p u l a t i o n b e f o r e a n d a f t e r s e l e c t i o n a s i n t r o d u c e d
i n
B l i c k l e a n d T h i e l e , 1 9 9 5
]
. I t i s a s s u m e d t h a t s e l e c t i o n a n d r e c o m b i n a t i o n
a r e d o n e s e q u e n t i a l l y : r s t a s e l e c t i o n p h a s e c r e a t e s a n i n t e r m e d i a t e p o p u l a t i o n
P
0
( ) a n d t h e n r e c o m b i n a t i o n i s p e r f o r m e d w i t h a c e r t a i n p r o b a b i l i t y p
c
o n t h e
i n d i v i d u a l s o f t h i s i n t e r m e d i a t e p o p u l a t i o n t o g e t t h e p o p u l a t i o n f o r t h e n e x t
g e n e r a t i o n ( F i g . 2 . 1 ) . R e c o m b i n a t i o n i n c l u d e s c r o s s o v e r a n d m u t a t i o n o r a n y
o t h e r o p e r a t o r t h a t c h a n g e s t h e \ g e n e t i c m a t e r i a l " . T h i s k i n d o f d e s c r i p t i o n
d i e r s f r o m t h e c o m m o n p a r a d i g m s w h e r e s e l e c t i o n i s m a d e t o o b t a i n t h e i n d i -
v i d u a l s f o r r e c o m b i n a t i o n
G o l d b e r g , 1 9 8 9 ; K o z a , 1 9 9 2
]
. B u t i t i s m a t h e m a t i c a l l y
e q u i v a l e n t a n d a l l o w s t o a n a l y z e t h e s e l e c t i o n m e t h o d s e p a r a t e l y .
F o r s e l e c t i o n o n l y t h e t n e s s v a l u e s o f t h e i n d i v i d u a l s a r e t a k e n i n t o a c c o u n t .
H e n c e , t h e s t a t e o f t h e p o p u l a t i o n i s c o m p l e t e l y d e s c r i b e d b y t h e t n e s s v a l u e s
o f a l l i n d i v i d u a l s . T h e r e e x i s t o n l y a n i t e n u m b e r o f d i e r e n t t n e s s v a l u e s
f
1
; : : : ; f
n
( n N ) a n d t h e s t a t e o f t h e p o p u l a t i o n c a n a s w e l l b e d e s c r i b e d b y t h e
v a l u e s s ( f
i
) t h a t r e p r e s e n t t h e n u m b e r o f o c c u r r e n c e s o f t h e t n e s s v a l u e f
i
i n
t h e p o p u l a t i o n .
D e n i t i o n 2 . 0 . 1 ( F i t n e s s d i s t r i b u t i o n ) T h e f u n c t i o n s : R 7! Z
+
0
a s s i g n s
t o e a c h t n e s s v a l u e f 2 R t h e n u m b e r o f i n d i v i d u a l s i n a p o p u l a t i o n P 2 J
N
c a r r y i n g t h i s t n e s s v a l u e . s i s c a l l e d t h e t n e s s d i s t r i b u t i o n o f a p o p u l a t i o n P .
T h e c h a r a c t e r i z a t i o n o f t h e p o p u l a t i o n b y i t s t n e s s d i s t r i b u t i o n h a s a l s o
b e e n u s e d b y o t h e r r e s e a r c h e s , b u t i n a m o r e i n f o r m a l w a y . I n
M u h l e n b e i n
a n d S c h l i e r k a m p - V o o s e n , 1 9 9 3
]
t h e t n e s s d i s t r i b u t i o n i s u s e d t o c a l c u l a t e s o m e
p r o p e r t i e s o f t r u n c a t i o n s e l e c t i o n . I n
S h a p i r o e t a l . , 1 9 9 4
]
a s t a t i s t i c a l m e c h a n i c s
a p p r o a c h i s t a k e n t o d e s c r i b e t h e d y n a m i c s o f a G e n e t i c A l g o r i t h m t h a t m a k e s
u s e o f t n e s s d i s t r i b u t i o n s , t o o .
6
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
9/67
Selection(whole population)
Randomly createdInitial Population
End
Yes
No Problemsolved ?
Recombination
p 1-pc c
F i g u r e 2 . 1 : F l o w c h a r t o f t h e G e n e t i c A l g o r i t h m .
I t i s p o s s i b l e t o d e s c r i b e a s e l e c t i o n m e t h o d a s a f u n c t i o n t h a t t r a n s f o r m s a
t n e s s d i s t r i b u t i o n i n t o a n o t h e r t n e s s d i s t r i b u t i o n .
D e n i t i o n 2 . 0 . 2 ( S e l e c t i o n m e t h o d ) A s e l e c t i o n m e t h o d i s a f u n c t i o n t h a t
t r a n s f o r m s a t n e s s d i s t r i b u t i o n s i n t o a n n e w t n e s s d i s t r i b u t i o n s
0
:
s
0
= ( s ; p a r l i s t ) ( 2 . 1 )
p a r l i s t i s a n o p t i o n a l p a r a m e t e r l i s t o f t h e s e l e c t i o n m e t h o d .
A s t h e s e l e c t i o n m e t h o d s a r e p r o b a b i l i s t i c w e w i l l o f t e n m a k e u s e o f t h e e x -
p e c t e d t n e s s d i s t r i b u t i o n .
D e n i t i o n 2 . 0 . 3 ( E x p e c t e d t n e s s d i s t r i b u t i o n )
d e n o t e s t h e e x p e c t e d
t n e s s d i s t r i b u t i o n a f t e r a p p l y i n g t h e s e l e c t i o n m e t h o d t o t h e t n e s s d i s t r i b u t i o n
s , i . e .
( s ; p a r l i s t ) = E ( ( s ; p a r l i s t ) ) ( 2 . 2 )
T h e n o t a t i o n s
=
( s ; p a r l i s t ) w i l l b e u s e d a s a b b r e v i a t i o n .
7
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
10/67
I t i s i n t e r e s t i n g t o n o t e t h a t i t i s a l s o p o s s i b l e t o c a l c u l a t e t h e v a r i a n c e o f t h e
r e s u l t i n g d i s t r i b u t i o n .
T h e o r e m 2 . 0 . 1 T h e v a r i a n c e i n o b t a i n i n g t h e t n e s s d i s t r i b u t i o n s
0
i s
2
s
= s
1 ?
s
N
( 2 . 3 )
P r o o f : s
( f
i
) d e n o t e s t h e e x p e c t e d n u m b e r o f i n d i v i d u a l s w i t h t n e s s v a l u e
f
i
a f t e r s e l e c t i o n . I t i s o b t a i n e d b y d o i n g N e x p e r i m e n t s \ s e l e c t a n i n d i v i d u a l
f r o m t h e p o p u l a t i o n u s i n g a c e r t a i n s e l e c t i o n m e c h a n i s m " . H e n c e t h e s e l e c t i o n
p r o b a b i l i t y o f a n i n d i v i d u a l w i t h t n e s s v a l u e f
i
i s g i v e n b y p
i
=
s
( f
i
)
N
. T o
e a c h t n e s s v a l u e t h e r e e x i s t s a B e r n o u l l i t r i a l \ a n i n d i v i d u a l w i t h t n e s s f
i
i s
s e l e c t e d " . A s t h e v a r i a n c e o f a B e r n o u l l i t r i a l w i t h N t r i a l s i s g i v e n b y
2
=
N p ( 1 ? p ) , ( 2 . 3 ) i s o b t a i n e d u s i n g p
i
. 2
T h e i n d e x s i n
s
s t a n d s f o r \ s a m p l i n g " a s i t i s t h e m e a n v a r i a n c e d u e t o t h e
s a m p l i n g o f t h e n i t e p o p u l a t i o n .
T h e v a r i a n c e o f ( 2 . 3 ) i s o b t a i n e d b y p e r f o r m i n g t h e s e l e c t i o n m e t h o d i n N
i n d e p e n d e n t e x p e r i m e n t s . I t i s p o s s i b l e t o r e d u c e t h e v a r i a n c e a l m o s t c o m p l e t e l y
b y u s i n g m o r e s o p h i s t i c a t e d s a m p l i n g a l g o r i t h m s t o s e l e c t t h e i n d i v i d u a l s . W e
w i l l i n t r o d u c e B a k e r ' s \ s t o c h a s t i c u n i v e r s a l s a m p l i n g " a l g o r i t h m ( S U S )
B a k e r ,
1 9 8 7
]
, w h i c h i s a n o p t i m a l s a m p l i n g a l g o r i t h m w h e n w e c o m p a r e t h e d i e r e n t
s e l e c t i o n s c h e m e s i n c h a p t e r 8 .
D e n i t i o n 2 . 0 . 4 ( C u m u l a t i v e t n e s s d i s t r i b u t i o n ) L e t n b e t h e n u m b e r o f
u n i q u e t n e s s v a l u e s a n d f
1
< : : : < f
n ? 1
< f
n
( n N ) t h e o r d e r i n g o f t h e
t n e s s v a l u e s w i t h f
1
d e n o t i n g t h e w o r s t t n e s s o c c u r r i n g i n t h e p o p u l a t i o n a n d
f
n
d e n o t i n g t h e b e s t t n e s s i n t h e p o p u l a t i o n .
S ( f
i
) d e n o t e s t h e n u m b e r o f i n d i v i d u a l s w i t h t n e s s v a l u e f
i
o r w o r s e a n d i s
c a l l e d c u m u l a t i v e t n e s s d i s t r i b u t i o n , i . e .
S ( f
i
) =
8
>
:
0 : i n
( 2 . 4 )
E x a m p l e 2 . 0 . 1 A s a n e x a m p l e o f a d i s c r e t e t n e s s d i s t r i b u t i o n w e u s e t h e i n i t i a l
t n e s s d i s t r i b u t i o n o f t h e \ w a l l - f o l l o w i n g - r o b o t " f r o m K o z a
K o z a , 1 9 9 2
]
. T h i s
d i s t r i b u t i o n i s t y p i c a l o f p r o b l e m s s o l v e d b y g e n e t i c p r o g r a m m i n g ( m a n y b a d a n d
o n l y v e r y f e w g o o d i n d i v i d u a l s e x i s t ) . F i g u r e 2 . 2 s h o w s t h e d i s t r i b u t i o n s ( f ) ( l e f t )
a n d t h e c u m u l a t i v e d i s t r i b u t i o n S ( f ) ( r i g h t ) .
W e w i l l n o w d e s c r i b e t h e d i s t r i b u t i o n s ( f ) a s a c o n t i n u o u s d i s t r i b u t i o n s ( f )
a l l o w i n g t h e f o l l o w i n g p r o p e r t i e s t o b e e a s i l y d e r i v e d . T o d o s o , w e a s s u m e
8
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
11/67
2.5 5 7.5 10 12.5 15f0
100
200
300
400
500
600
s(f)
2.5 5 7.5 10 12.5 15f0
200
400
600
800
1000
S(f)
F i g u r e 2 . 2 : T h e t n e s s d i s t r i b u t i o n s ( f ) a n d t h e c u m u l a t i v e t n e s s d i s t r i b u t i o n
S ( f ) f o r t h e \ w a l l - f o l l o w i n g - r o b o t " p r o b l e m .
c o n t i n u o u s d i s t r i b u t e d t n e s s v a l u e s . T h e r a n g e o f t h e f u n c t i o n s ( f ) i s f
0
< f
f
n
, u s i n g t h e s a m e n o t a t i o n a s i n t h e d i s c r e t e c a s e .
W e d e n o t e a l l f u n c t i o n s i n t h e c o n t i n u o u s c a s e w i t h a b a r , e . g . w e w r i t e s ( f )
i n s t e a d o f s ( f ) . S i m i l a r s u m s a r e r e p l a c e d b y i n t e g r a l s , f o r e x a m p l e
S ( f ) =
Z
f
f
0
s ( x ) d x ( 2 . 5 )
d e n o t e s t h e c o n t i n u o u s c u m u l a t i v e t n e s s d i s t r i b u t i o n .
E x a m p l e 2 . 0 . 2 A s a n e x a m p l e f o r a c o n t i n u o u s t n e s s d i s t r i b u t i o n w e c h o s e
t h e G a u s s i a n d i s t r i b u t i o n G ( ; ) w i t h
G ( ; ) ( x ) =
1
p
2
e
?
( x ? )
2
2
2
( 2 . 6 )
T h e d i s t r i b u t i o n s
G
( f ) = N G ( ; ) ( f ) w i t h = 3 0 ; = 1 0 0 ; N = 1 0 0 0 a n d
f
0
= ? 1 ; f
n
= + 1 i s s h o w n i n t h e i n t e r e s t i n g r e g i o n f 2 0 ; 2 0 0 ] i n F i g u r e
2 . 3 ( l e f t ) . T h e r i g h t g r a p h i n t h i s g u r e s h o w s t h e c u m u l a t i v e t n e s s d i s t r i b u t i o n
S
G
( f ) .
W e w i l l n o w i n t r o d u c e t h e a s p e c t s o f t h e t n e s s d i s t r i b u t i o n w e w a n t t o c o m -
p a r e . T h e d e n i t i o n s g i v e n w i l l a l l r e f e r t o c o n t i n u o u s d i s t r i b u t e d t n e s s v a l u e s .
2 . 1 A v e r a g e F i t n e s s
D e n i t i o n 2 . 1 . 1 ( A v e r a g e t n e s s )
M d e n o t e s t h e a v e r a g e t n e s s o f t h e p o p u -
l a t i o n b e f o r e s e l e c t i o n a n d
M
d e n o t e s t h e e x p e c t e d a v e r a g e t n e s s a f t e r s e l e c t i o n :
M =
1
N
Z
f
n
f
0
s ( f ) f d f ( 2 . 7 )
M
=
1
N
Z
f
n
f
0
s
( f ) f d f ( 2 . 8 )
9
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
12/67
50 100 150 200f
2
4
6
8
10
12
s(f)
50 100 150 200f
200
400
600
800
1000
S(f)
F i g u r e 2 . 3 : T h e t n e s s d i s t r i b u t i o n s
G
( f ) ( l e f t ) a n d t h e c u m u l a t i v e t n e s s d i s -
t r i b u t i o n
S
G
( f ) ( r i g h t ) .
2 . 2 F i t n e s s V a r i a n c e
D e n i t i o n 2 . 2 . 1 ( F i t n e s s v a r i a n c e ) T h e t n e s s v a r i a n c e
2
d e n o t e s t h e v a r i -
a n c e o f t h e t n e s s d i s t r i b u t i o n s ( f ) b e f o r e s e l e c t i o n a n d (
)
2
d e n o t e s t h e v a r i a n c e
o f t h e t n e s s d i s t r i b u t i o n s
( f ) a f t e r s e l e c t i o n :
2
=
1
N
Z
f
n
f
0
s ( f ) ( f ?
M )
2
d f =
1
N
Z
f
n
f
0
f
2
s ( f ) d f ?
M
2
( 2 . 9 )
(
)
2
=
1
N
Z
f
n
f
0
s
( f ) ( f ?
M
)
2
d f =
1
N
Z
f
n
f
0
f
2
s
( f ) d f ?
M
2
( 2 . 1 0 )
N o t e t h e d i e r e n c e o f t h i s v a r i a n c e t o t h e v a r i a n c e i n o b t a i n i n g a c e r t a i n
t n e s s d i s t r i b u t i o n c h a r a c t e r i z e d b y t h e o r e m 2 . 0 . 1
2 . 3 R e p r o d u c t i o n R a t e
D e n i t i o n 2 . 3 . 1 ( R e p r o d u c t i o n r a t e ) T h e r e p r o d u c t i o n r a t e
R ( f ) d e n o t e s
t h e r a t i o o f t h e n u m b e r o f i n d i v i d u a l s w i t h a c e r t a i n t n e s s v a l u e f a f t e r a n d
b e f o r e s e l e c t i o n
R ( f ) =
(
s
( f )
s ( f )
: s ( f ) > 0
0 : s ( f ) = 0
( 2 . 1 1 )
A r e a s o n a b l e s e l e c t i o n m e t h o d s h o u l d f a v o r g o o d i n d i v i d u a l s b y a s s i g n i n g
t h e m a r e p r o d u c t i o n r a t e
R ( f ) > 1 a n d p u n i s h b a d i n d i v i d u a l s b y a r a t i o
R ( f )
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
13/67
2 . 4 L o s s o f D i v e r s i t y
D u r i n g e v e r y s e l e c t i o n p h a s e b a d i n d i v i d u a l s w i l l b e l o s t a n d b e r e p l a c e d b y
c o p i e s o f b e t t e r i n d i v i d u a l s . T h e r e b y a c e r t a i n a m o u n t o f \ g e n e t i c m a t e r i a l " i s
l o s t t h a t w a s c o n t a i n e d i n t h e b a d i n d i v i d u a l s . T h e n u m b e r o f i n d i v i d u a l s t h a t
a r e r e p l a c e d c o r r e s p o n d s t o t h e s t r e n g t h o f t h e \ l o s s o f d i v e r s i t y " . T h i s l e a d s t o
t h e f o l l o w i n g d e n i t i o n .
D e n i t i o n 2 . 4 . 1 ( L o s s o f d i v e r s i t y ) T h e l o s s o f d i v e r s i t y p
d
i s t h e p r o p o r t i o n
o f i n d i v i d u a l s o f a p o p u l a t i o n t h a t i s n o t s e l e c t e d d u r i n g t h e s e l e c t i o n p h a s e .
T h e o r e m 2 . 4 . 1 I f t h e r e p r o d u c t i o n r a t e
R ( f ) i n c r e a s e s m o n o t o n o u s l y i n f , t h e
l o s s o f d i v e r s i t y o f a s e l e c t i o n m e t h o d i s
p
d
=
1
N
S ( f
z
) ?
S
( f
z
)
( 2 . 1 2 )
w h e r e f
z
d e n o t e s t h e t n e s s v a l u e s u c h t h a t
R ( f
z
) = 1 .
P r o o f : F o r a l l t n e s s v a l u e s f 2 ( f
0
; f
z
] t h e r e p r o d u c t i o n r a t e i s l e s s t h a n o n e .
H e n c e t h e n u m b e r o f i n d i v i d u a l s t h a t a r e n o t s e l e c t e d d u r i n g s e l e c t i o n i s g i v e n
b y
R
f
z
f
0
( s ( x ) ? s
( x ) ) d x . I t f o l l o w s t h a t
p
d
=
1
N
Z
f
z
f
0
( s ( x ) ? s
( x ) ) d x
=
1
N
Z
f
z
f
0
s ( x ) d x ?
Z
f
z
f
0
s
( x ) d x
!
=
1
N
S ( f
z
) ?
S
( f
z
)
2
T h e l o s s o f d i v e r s i t y s h o u l d b e a s l o w a s p o s s i b l e b e c a u s e a h i g h l o s s o f d i v e r -
s i t y i n c r e a s e s t h e r i s k o f p r e m a t u r e c o n v e r g e n c e .
I n h i s d i s s e r t a t i o n
B a k e r , 1 9 8 9
]
, B a k e r h a s i n t r o d u c e d a s i m i l a r m e a s u r e c a l l e d
\ r e p r o d u c t i o n r a t e R R " . R R g i v e s t h e p e r c e n t a g e o f i n d i v i d u a l s t h a t i s s e l e c t e d
t o r e p r o d u c e , h e n c e R R = 1 0 0 ( 1 ? p
d
) .
2 . 5 S e l e c t i o n I n t e n s i t y
T h e t e r m \ s e l e c t i o n i n t e n s i t y " o r \ s e l e c t i o n p r e s s u r e " i s o f t e n u s e d i n d i e r e n t
c o n t e x t s a n d f o r d i e r e n t p r o p e r t i e s o f a s e l e c t i o n m e t h o d . G o l d b e r g a n d D e b
G o l d b e r g a n d D e b , 1 9 9 1
]
a n d B a c k
B a c k , 1 9 9 4
]
u s e t h e \ t a k e o v e r t i m e " t o
d e n e t h e s e l e c t i o n p r e s s u r e . W h i t l e y c a l l s t h e p a r a m e t e r c ( s e e c h a p t e r 5 ) o f h i s
r a n k i n g s e l e c t i o n m e t h o d s e l e c t i o n p r e s s u r e .
1 1
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
14/67
W e u s e t h e t e r m \ s e l e c t i o n i n t e n s i t y " i n t h e s a m e w a y i t i s u s e d i n p o p u l a -
t i o n g e n e t i c
B u l m e r , 1 9 8 0
]
. M u h l e n b e i n h a s a d o p t e d t h e d e n i t i o n a n d a p p l i e d
i t t o g e n e t i c a l g o r i t h m s
M u h l e n b e i n a n d S c h l i e r k a m p - V o o s e n , 1 9 9 3
]
. R e c e n t l y
m o r e a n d m o r e r e s e a r c h e s a r e u s i n g t h i s t e r m t o c h a r a c t e r i z e s e l e c t i o n s c h e m e s
T h i e r e n s a n d G o l d b e r g , 1 9 9 4 a ; T h i e r e n s a n d G o l d b e r g , 1 9 9 4 b ; B a c k , 1 9 9 5 ;
B l i c k l e a n d T h i e l e , 1 9 9 5
]
.
T h e c h a n g e o f t h e a v e r a g e t n e s s o f t h e p o p u l a t i o n d u e t o s e l e c t i o n i s a r e a -
s o n a b l e m e a s u r e f o r s e l e c t i o n i n t e n s i t y . I n p o p u l a t i o n g e n e t i c t h e t e r m s e l e c t i o n
i n t e n s i t y w a s i n t r o d u c e d t o o b t a i n a n o r m a l i z e d a n d d i m e n s i o n - l e s s m e a s u r e . T h e
i d e a i s t o m e a s u r e t h e p r o g r e s s d u e t o s e l e c t i o n b y t h e s o c a l l e d \ s e l e c t i o n d i f -
f e r e n t i a l " , i . e . t h e d i e r e n c e b e t w e e n t h e p o p u l a t i o n a v e r a g e t n e s s a f t e r a n d
b e f o r e s e l e c t i o n . D i v i d i n g t h i s s e l e c t i o n d i e r e n t i a l b y t h e m e a n v a r i a n c e o f t h e
p o p u l a t i o n t n e s s l e a d s t o t h e d e s i r e d d i m e n s i o n - l e s s m e a s u r e t h a t i s c a l l e d t h e
s e l e c t i o n i n t e n s i t y .
D e n i t i o n 2 . 5 . 1 ( S e l e c t i o n i n t e n s i t y ) T h e s e l e c t i o n i n t e n s i t y o f a s e l e c t i o n
m e t h o d f o r t h e t n e s s d i s t r i b u t i o n s ( f ) i s t h e s t a n d a r d i z e d q u a n t i t y
I =
M
?
M
( 2 . 1 3 )
B y t h i s , t h e s e l e c t i o n i n t e n s i t y d e p e n d s o n t h e t n e s s d i s t r i b u t i o n o f t h e i n i t i a l
p o p u l a t i o n . H e n c e , d i e r e n t t n e s s d i s t r i b u t i o n s w i l l i n g e n e r a l l e a d t o d i e r e n t
s e l e c t i o n i n t e n s i t i e s f o r t h e s a m e s e l e c t i o n m e t h o d . F o r c o m p a r i s o n i t i s n e c e s s a r y
t o r e s t r i c t o n e s e l f t o a c e r t a i n i n i t i a l d i s t r i b u t i o n . U s i n g t h e n o r m a l i z e d G a u s s i a n
d i s t r i b u t i o n G ( 0 ; 1 ) a s i n i t i a l t n e s s d i s t r i b u t i o n l e a d s t o t h e f o l l o w i n g d e n i t i o n .
D e n i t i o n 2 . 5 . 2 ( S t a n d a r d i z e d s e l e c t i o n i n t e n s i t y ) T h e s t a n d a r d i z e d s e -
l e c t i o n i n t e n s i t y I
i s t h e e x p e c t e d a v e r a g e t n e s s v a l u e o f t h e p o p u l a t i o n a f t e r a p -
p l y i n g t h e s e l e c t i o n m e t h o d t o t h e n o r m a l i z e d G a u s s i a n d i s t r i b u t i o n G ( 0 ; 1 ) ( f ) =
1
p
2
e
?
f
2
2
:
I
=
Z
1
? 1
f
( G ( 0 ; 1 ) ) ( f ) d f ( 2 . 1 4 )
T h e \ e e c t i v e " a v e r a g e t n e s s v a l u e o f a G a u s s i a n d i s t r i b u t i o n w i t h m e a n
a n d v a r i a n c e
2
c a n e a s i l y b e d e r i v e d a s
M
= I + . N o t e t h a t t h i s d e n i t i o n
o f t h e s t a n d a r d i z e d s e l e c t i o n i n t e n s i t y c a n o n l y b e a p p l i e d i f t h e s e l e c t i o n m e t h o d
i s s c a l e a n d t r a n s l a t i o n i n v a r i a n t . T h i s i s t h e c a s e f o r a l l s e l e c t i o n s c h e m e s e x a m -
i n e d i n t h i s p a p e r e x c e p t p r o p o r t i o n a l s e l e c t i o n . L i k e w i s e t h i s d e n i t i o n h a s n o
e q u i v a l e n t i n t h e c a s e o f d i s c r e t e t n e s s d i s t r i b u t i o n s . I f t h e s e l e c t i o n i n t e n s i t y
f o r a d i s c r e t e d i s t r i b u t i o n h a s t o b e c a l c u l a t e d , o n e m u s t r e f e r t o D e n i t i o n 2 . 5 . 1 .
I n t h e r e m a i n d e r o f t h i s p a p e r w e u s e t h e t e r m \ s e l e c t i o n i n t e n s i t y " a s e q u i v a -
l e n t f o r \ s t a n d a r d i z e d s e l e c t i o n i n t e n s i t y " a s o u r i n t e n t i o n i s t h e c o m p a r i s o n o f
s e l e c t i o n s c h e m e s .
1 2
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
15/67
2 . 6 S e l e c t i o n V a r i a n c e
I n a d d i t i o n t o t h e s e l e c t i o n i n t e n s i t y w e i n t r o d u c e t h e t e r m o f \ s e l e c t i o n v a r i a n c e " .
T h e d e n i t i o n i s a n a l o g o u s t o t h e d e n i t i o n o f t h e s e l e c t i o n i n t e n s i t y , b u t h e r e w e
a r e i n t e r e s t e d i n t h e t h e n e w v a r i a n c e o f t h e t n e s s d i s t r i b u t i o n a f t e r s e l e c t i o n .
D e n i t i o n 2 . 6 . 1 ( S e l e c t i o n v a r i a n c e ) T h e s e l e c t i o n v a r i a n c e i s t h e n o r m a l -
i z e d e x p e c t e d v a r i a n c e o f t h e t n e s s d i s t r i b u t i o n o f t h e p o p u l a t i o n a f t e r a p p l y i n g
t h e s e l e c t i o n m e t h o d t o t h e t n e s s d i s t r i b u t i o n s ( f ) , i . e .
V =
(
)
2
2
( 2 . 1 5 )
F o r c o m p a r i s o n t h e s t a n d a r d i z e d s e l e c t i o n v a r i a n c e i s o f i n t e r e s t .
D e n i t i o n 2 . 6 . 2 ( S t a n d a r d i z e d s e l e c t i o n v a r i a n c e ) T h e s t a n d a r d i z e d s e l e c -
t i o n v a r i a n c e V
i s t h e n o r m a l i z e d e x p e c t e d v a r i a n c e o f t h e t n e s s d i s t r i b u t i o n o f
t h e p o p u l a t i o n a f t e r a p p l y i n g t h e s e l e c t i o n m e t h o d t o t h e n o r m a l i z e d G a u s s i a n
d i s t r i b u t i o n G ( 0 ; 1 ) .
V
=
Z
1
? 1
( f ? I
)
2
( G ( 0 ; 1 ) ) ( f ) d f ( 2 . 1 6 )
t h a t i s e q u i v a l e n t t o
V
=
Z
1
? 1
f
2
( G ( 0 ; 1 ) ) ( f ) d f ? I
2
( 2 . 1 7 )
N o t e t h a t t h e r e i s a d i e r e n c e b e t w e e n t h e s e l e c t i o n v a r i a n c e a n d t h e l o s s o f
d i v e r s i t y . T h e l o s s o f d i v e r s i t y g i v e s t h e p r o p o r t i o n o f i n d i v i d u a l s t h a t a r e n o t
s e l e c t e d , r e g a r d l e s s o f t h e i r t n e s s v a l u e . T h e s t a n d a r d i z e d s e l e c t i o n v a r i a n c e i s
d e n e d a s t h e n e w v a r i a n c e o f t h e t n e s s d i s t r i b u t i o n a s s u m i n g a G a u s s i a n i n i t i a l
t n e s s d i s t r i b u t i o n . H e n c e a s e l e c t i o n v a r i a n c e o f 1 m e a n s t h a t t h e v a r i a n c e i s
n o t c h a n g e d b y s e l e c t i o n . A s e l e c t i o n v a r i a n c e l e s s t h a n 1 r e p o r t s a d e c r e a s e i n
v a r i a n c e . T h e l o w e s t p o s s i b l e v a l u e o f V
i s z e r o , w h i c h m e a n s t h a t t h e v a r i a n c e
o f t h e t n e s s v a l u e s o f p o p u l a t i o n a f t e r s e l e c t i o n i s i t s e l f z e r o . A g a i n w e w i l l
u s e t h e t e r m t h e \ s e l e c t i o n v a r i a n c e " a s e q u i v a l e n t f o r \ s t a n d a r d i z e d s e l e c t i o n
v a r i a n c e " .
1 3
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
16/67
C h a p t e r 3
T o u r n a m e n t S e l e c t i o n
T o u r n a m e n t s e l e c t i o n w o r k s a s f o l l o w s : C h o o s e s o m e n u m b e r t o f i n d i v i d u a l s
r a n d o m l y f r o m t h e p o p u l a t i o n a n d c o p y t h e b e s t i n d i v i d u a l f r o m t h i s g r o u p i n t o
t h e i n t e r m e d i a t e p o p u l a t i o n , a n d r e p e a t N t i m e s . O f t e n t o u r n a m e n t s a r e h e l d
o n l y b e t w e e n t w o i n d i v i d u a l s ( b i n a r y t o u r n a m e n t ) b u t a g e n e r a l i z a t i o n i s p o s s i b l e
t o a n a r b i t r a r y g r o u p s i z e t c a l l e d t o u r n a m e n t s i z e .
T h e p s e u d o c o d e o f t o u r n a m e n t s e l e c t i o n i s g i v e n b y a l g o r i t h m 1 .
A l g o r i t h m 1 : ( T o u r n a m e n t S e l e c t i o n )
I n p u t : T h e p o p u l a t i o n P ( ) t h e t o u r n a m e n t s i z e t 2 f 1 ; 2 ; : : : ; N g
O u t p u t : T h e p o p u l a t i o n a f t e r s e l e c t i o n P ( )
0
t o u r n a m e n t ( t , J
1
; : : : ; J
N
) :
f o r i
1 t o N d o
J
0
i
b e s t t i n d i v i d u a l o u t o f t r a n d o m l y p i c k e d
i n d i v i d u a l s f r o m f J
1
; : : : ; J
N
g ;
o d
r e t u r n f J
0
1
; : : : ; J
0
N
g
T h e o u t l i n e o f t h e a l g o r i t h m s h o w s t h a t t o u r n a m e n t s e l e c t i o n c a n b e i m p l e -
m e n t e d v e r y e c i e n t l y a s n o s o r t i n g o f t h e p o p u l a t i o n i s r e q u i r e d . I m p l e m e n t e d
i n t h e w a y a b o v e i t h a s t h e t i m e c o m p l e x i t y O ( N ) .
U s i n g t h e n o t a t i o n i n t r o d u c e d i n t h e p r e v i o u s c h a p t e r , t h e e n t i r e t n e s s d i s -
t r i b u t i o n a f t e r s e l e c t i o n c a n b e p r e d i c t e d . T h e p r e d i c t i o n w i l l b e m a d e f o r t h e
d i s c r e t e ( e x a c t ) t n e s s d i s t r i b u t i o n a s w e l l a s f o r a c o n t i n u o u s t n e s s d i s t r i b u t i o n .
T h e s e r e s u l t s w e r e r s t p u b l i s h e d i n
B l i c k l e a n d T h i e l e , 1 9 9 5
]
. T h e c a l c u l a t i o n s
a s s u m e t h a t t o u r n a m e n t s e l e c t i o n i s d o n e w i t h r e p l a c e m e n t .
T h e o r e m 3 . 0 . 1 T h e e x p e c t e d t n e s s d i s t r i b u t i o n a f t e r p e r f o r m i n g t o u r n a m e n t
1 4
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
17/67
s e l e c t i o n w i t h t o u r n a m e n t s i z e t o n t h e d i s t r i b u t i o n s i s
T
( s ; t ) ( f
i
) = s
( f
i
) = N
0
@
S ( f
i
)
N
!
t
?
S ( f
i ? 1
)
N
!
t
1
A
( 3 . 1 )
P r o o f : W e r s t c a l c u l a t e t h e e x p e c t e d n u m b e r o f i n d i v i d u a l s w i t h t n e s s f
i
o r w o r s e , i . e . S
( f
i
) . A n i n d i v i d u a l w i t h t n e s s f
i
o r w o r s e c a n o n l y w i n t h e
t o u r n a m e n t i f a l l o t h e r i n d i v i d u a l s i n t h e t o u r n a m e n t h a v e a t n e s s o f f
i
o r
w o r s e . T h i s m e a n s w e h a v e t o c a l c u l a t e t h e p r o b a b i l i t y t h a t a l l t i n d i v i d u a l s
h a v e a t n e s s o f f
i
o r w o r s e . A s t h e p r o b a b i l i t y t o c h o o s e a n i n d i v i d u a l w i t h
t n e s s f
i
o r w o r s e i s g i v e n b y
S ( f
i
)
N
w e g e t
S
( f
i
) = N
S ( f
i
)
N
!
t
( 3 . 2 )
U s i n g t h i s e q u a t i o n a n d t h e r e l a t i o n s
( f
i
) = S
( f
i
) ? S
( f
i ? 1
) ( s e e D e n i t i o n
2 . 0 . 4 ) w e o b t a i n ( 3 . 1 ) . 2
E q u a t i o n ( 3 . 1 ) s h o w s t h e s t r o n g i n u e n c e o f t h e t o u r n a m e n t s i z e t o n t h e
b e h a v i o r o f t h e s e l e c t i o n s c h e m e . O b v i o u s l y f o r t = 1 w e o b t a i n ( i n a v e r a g e )
t h e u n c h a n g e d i n i t i a l d i s t r i b u t i o n a s
T
( s ; 1 ) ( f
i
) = N
S ( f
i
)
N
?
S ( f
i ? 1
)
N
= S ( f
i
) ?
S ( f
i ? 1
) = s ( f
i
) .
I n
B a c k , 1 9 9 4
]
t h e p r o b a b i l i t y f o r t h e i n d i v i d u a l n u m b e r i t o b e s e l e c t e d
b y t o u r n a m e n t s e l e c t i o n i s g i v e n b y p
i
= N
? t
( ( N
?i + 1 )
t
?( N
?i )
t
) , u n d e r
t h e a s s u m p t i o n t h a t t h e i n d i v i d u a l s a r e o r d e r e d a c c o r d i n g t o t h e i r t n e s s v a l u e
f ( J
1
) f ( J
2
) : : : f ( J
N
) . N o t e t h a t B a c k u s e s a n \ r e v e r s e d " t n e s s f u n c t i o n
w h e r e t h e b e s t i n d i v i d u a l h a s t h e l o w e s t i n d e x . F o r c o m p a r i s o n w i t h o u r r e s u l t s
w e t r a n s f o r m t h e t a s k i n t o a n m a x i m i z a t i o n t a s k u s i n g j = N ? i + 1 :
p
j
= N
? t
( j
t
? ( j ? 1 )
t
) 1 j N ( 3 . 3 )
T h i s f o r m u l a i s a s a s p e c i a l c a s e o f ( 3 . 1 ) w i t h a l l i n d i v i d u a l s h a v i n g a d i e r e n t
t n e s s v a l u e . T h e n s ( f
i
) = 1 f o r a l l i 2 1 ; N ] a n d S ( f
i
) = i a n d p
i
=
s
( f
i
)
N
y i e l d s t h e s a m e e q u a t i o n a s g i v e n b y B a c k . N o t e t h a t ( 3 . 3 ) i s n o t v a l i d i f s o m e
i n d i v i d u a l s h a v e t h e s a m e t n e s s v a l u e .
E x a m p l e 3 . 0 . 1 U s i n g t h e d i s c r e t e t n e s s d i s t r i b u t i o n f r o m E x a m p l e 2 . 0 . 1 ( F i g -
u r e 2 . 2 ) w e o b t a i n t h e t n e s s d i s t r i b u t i o n s h o w n i n F i g u r e 3 . 1 a f t e r a p p l y i n g
t o u r n a m e n t s e l e c t i o n w i t h a t o u r n a m e n t s i z e t = 1 0 . I n a d d i t i o n t o t h e e x -
p e c t e d d i s t r i b u t i o n t h e r e a r e a l s o t h e t w o g r a p h s s h o w n f o r s
( f ) ?
s
( f ) a n d
s
( f ) +
s
( f ) . H e n c e a d i s t r i b u t i o n o b t a i n e d f r o m o n e t o u r n a m e n t r u n w i l l l i e i n
t h e g i v e n i n t e r v a l ( t h e c o n d e n c e i n t e r v a l ) w i t h a p r o b a b i l i t y o f 6 8 % .
T h e h i g h a g r e e m e n t b e t w e e n t h e t h e o r e t i c a l d e r i v e d r e s u l t s a n d a s i m u l a t i o n i s
v e r i e d i n F i g u r e 3 . 2 . H e r e t h e d i s t r i b u t i o n s a c c o r d i n g t o ( 3 . 1 ) a n d t h e a v e r a g e
o f 2 0 s i m u l a t i o n a r e s h o w n .
1 5
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
18/67
2.5 5 7.5 10 12.5 15f
20
40
60
80
100
s*(f)
F i g u r e 3 . 1 : T h e r e s u l t i n g e x p e c t e d t n e s s d i s t r i b u t i o n a n d t h e c o n d e n c e i n t e r v a l
o f 6 8 % a f t e r a p p l y i n g t o u r n a m e n t s e l e c t i o n w i t h a t o u r n a m e n t s i z e o f 1 0 .
I n e x a m p l e 3 . 0 . 1 w e c a n s e e a v e r y h i g h v a r i a n c e i n t h e d i s t r i b u t i o n t h a t a r i s e s
f r o m f a c t t h a t t h e i n d i v i d u a l s a r e s e l e c t e d i n N i n d e p e n d e n t t r i a l s . I n c h a p t e r 8 . 1
w e w i l l m e e t t h e s o c a l l e d \ s t o c h a s t i c u n i v e r s a l s a m p l i n g " m e t h o d t h a t m i n i m i z e s
t h i s m e a n v a r i a n c e .
T h e o r e m 3 . 0 . 2 L e t s ( f ) b e t h e c o n t i n u o u s t n e s s d i s t r i b u t i o n o f t h e p o p u l a t i o n .
T h e n t h e e x p e c t e d t n e s s d i s t r i b u t i o n a f t e r p e r f o r m i n g t o u r n a m e n t s e l e c t i o n w i t h
t o u r n a m e n t s i z e t i s
T
( s ; t ) ) ( f ) = s
( f ) = t s ( f )
S ( f )
N
!
t ? 1
( 3 . 4 )
P r o o f : A n a l o g o u s t o t h e p r o o f o f t h e d i s c r e t e c a s e t h e p r o b a b i l i t y o f a n i n d i -
v i d u a l w i t h t n e s s f o r w o r s e t o w i n t h e t o u r n a m e n t i s g i v e n b y
S
( f ) = N
S ( f )
N
!
t
( 3 . 5 )
A s s
( f ) =
d
S
( f )
d f
, w e o b t a i n ( 3 . 4 ) . 2
E x a m p l e 3 . 0 . 2 F i g u r e 3 . 3 s h o w s t h e r e s u l t i n g t n e s s d i s t r i b u t i o n s a f t e r a p p l y i n g
t o u r n a m e n t s e l e c t i o n o n t h e G a u s s i a n d i s t r i b u t i o n f r o m E x a m p l e 2 . 0 . 2 .
1 6
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
19/67
5 10 15f0
25
50
75
100
s(f)
F i g u r e 3 . 2 : C o m p a r i s o n b e t w e e n t h e o r e t i c a l d e r i v e d d i s t r i b u t i o n ( | ) a n d s i m u -
l a t i o n ( - - - ) f o r t o u r n a m e n t s e l e c t i o n ( t o u r n a m e n t s i z e t = 1 0 ) .
3 . 1 C o n c a t e n a t i o n o f T o u r n a m e n t S e l e c t i o n
A n i n t e r e s t i n g p r o p e r t y o f t h e t o u r n a m e n t s e l e c t i o n i s t h e c o n c a t e n a t i o n o f s e v e r a l
s e l e c t i o n p h a s e s . A s s u m e a n a r b i t r a r y p o p u l a t i o n w i t h t h e t n e s s d i s t r i b u t i o n
s . W e a p p l y r s t t o u r n a m e n t s e l e c t i o n w i t h t o u r n a m e n t s i z e t
1
t o t h i s p o p u l a -
t i o n a n d t h e n o n t h e r e s u l t i n g p o p u l a t i o n t o u r n a m e n t s e l e c t i o n w i t h t o u r n a m e n t
s i z e t
2
. T h e o b t a i n e d t n e s s d i s t r i b u t i o n i s t h e s a m e a s i f o n l y o n e t o u r n a m e n t
s e l e c t i o n w i t h t h e t o u r n a m e n t s i z e t
1
t
2
i s a p p l i e d t o t h e i n i t i a l d i s t r i b u t i o n s .
T h e o r e m 3 . 1 . 1 L e t s b e a c o n t i n u o u s t n e s s d i s t r i b u t i o n a n d t
1
; t
2
1 t w o
t o u r n a m e n t s i z e s . T h e n t h e f o l l o w i n g e q u a t i o n h o l d s
T
(
T
( s ; t
1
) ; t
2
) ( f ) =
T
( s ; t
1
t
2
) ( f ) ( 3 . 6 )
P r o o f :
T
(
T
( s ; t
1
) ; t
2
) ( f ) = t
2
T
( s ; t
1
) ( f )
1
N
Z
f
f
0
T
( s ; t
1
) ( x ) d x
!
t
2
? 1
= t
2
t
1
s ( f )
1
N
Z
f
f
0
s ( x ) d x
!
t
1
? 1
1
N
Z
f
f
0
t
1
s ( x )
1
N
Z
x
f
0
s ( y ) d y
t
1
? 1
d x
!
t
2
? 1
A s
Z
f
f
0
t
1
s ( x )
1
N
Z
x
f
0
s ( y ) d y
t
1
? 1
d x = N
1
N
Z
f
f
0
s ( x ) d x
!
t
1
1 7
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
20/67
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
21/67
w i t h 1 a n d
R
f
n
f
0
g ( x ) d x = N . T h e n t h e e x p e c t e d d i s t r i b u t i o n a f t e r t o u r n a m e n t
w i t h t o u r n a m e n t s i z e t i s
s
( f ) = t g ( f )
0
@
R
f
f
0
g ( x ) d x
N
1
A
t ? 1
( 3 . 9 )
P r o o f : I f w e a s s u m e t h a t s ( f ) i s t h e r e s u l t o f a p p l y i n g t o u r n a m e n t s e l e c t i o n
w i t h t o u r n a m e n t s i z e o n t h e d i s t r i b u t i o n g ( f ) , ( 3 . 9 ) i s d i r e c t l y o b t a i n e d u s i n g
T h e o r e m 3 . 1 . 1 . 2
3 . 2 R e p r o d u c t i o n R a t e
C o r o l l a r y 3 . 2 . 1 T h e r e p r o d u c t i o n r a t e o f t o u r n a m e n t s e l e c t i o n i s
R
T
( f ) =
s
( f )
s ( f )
= t
S ( f )
N
!
t ? 1
( 3 . 1 0 )
T h i s i s d i r e c t l y o b t a i n e d b y s u b s t i t u t i n g ( 3 . 4 ) i n ( 2 . 1 1 ) .
I n d i v i d u a l s w i t h t h e l o w e s t t n e s s h a v e a r e p r o d u c t i o n r a t e o f a l m o s t z e r o
a n d t h e i n d i v i d u a l s w i t h t h e h i g h e s t t n e s s h a v e a r e p r o d u c t i o n r a t e o f t .
3 . 3 L o s s o f D i v e r s i t y
T h e o r e m 3 . 3 . 1 T h e l o s s o f d i v e r s i t y p
d ; T
o f t o u r n a m e n t s e l e c t i o n i s
p
d ; T
( t ) = t
?
1
t ? 1
? t
?
t
t ? 1
( 3 . 1 1 )
P r o o f :
S ( f
z
) c a n b e d e t e r m i n e d u s i n g ( 3 . 1 0 ) ( r e f e r t o T h e o r e m 2 . 4 . 1 f o r t h e
d e n i t i o n o f f
z
) :
S ( f
z
) = N t
?
1
t ? 1
( 3 . 1 2 )
U s i n g D e n i t i o n 2 . 4 . 1 a n d ( 3 . 1 2 ) w e o b t a i n :
p
d ; T
( t ) =
1
N
S ( f
z
) ?
S
( f
z
)
=
S ( f
z
)
N
?
S ( f
z
)
N
!
t
= t
?
1
t ? 1
? t
?
t
t ? 1
2
I t t u r n s o u t t h a t t h e n u m b e r o f i n d i v i d u a l s l o s t i n c r e a s e s w i t h t h e t o u r n a m e n t
s i z e ( s e e F i g . 3 . 4 ) . A b o u t t h e h a l f o f t h e p o p u l a t i o n i s l o s t a t t o u r n a m e n t s i z e
t = 5 .
1 9
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
22/67
5 10 15 20 25 300
0.2
0.4
0.6
0.8
1
tournament size t
p (t)d
F i g u r e 3 . 4 : T h e l o s s o f d i v e r s i t y p
d ; T
( t ) f o r t o u r n a m e n t s e l e c t i o n .
3 . 4 S e l e c t i o n I n t e n s i t y
T o c a l c u l a t e t h e s e l e c t i o n i n t e n s i t y w e c a l c u l a t e t h e a v e r a g e t n e s s o f t h e p o p u l a -
t i o n a f t e r a p p l y i n g t o u r n a m e n t s e l e c t i o n o n t h e n o r m a l i z e d G a u s s i a n d i s t r i b u t i o n
G ( 0 ; 1 ) . U s i n g D e n i t i o n 2 . 1 . 1 w e o b t a i n
I
T
( t ) =
Z
1
? 1
t x
1
p
2
e
?
x
2
2
Z
x
? 1
1
p
2
e
?
y
2
2
d y
!
t ? 1
d x ( 3 . 1 3 )
T h e s e i n t e g r a l e q u a t i o n s c a n b e s o l v e d a n a l y t i c a l l y f o r t h e c a s e s t = 1 ; : : : ; 5
(
B l i c k l e a n d T h i e l e , 1 9 9 5 ; B a c k , 1 9 9 5 ; A r n o l d e t a l . , 1 9 9 2
]
) :
I
T
( 1 ) = 0
I
T
( 2 ) =
1
p
I
T
( 3 ) =
3
2
p
I
T
( 4 ) =
6
p
a r c t a n
p
2
I
T
( 5 ) =
1 0
p
(
3
2
a r c t a n
p
2 ?
1
4
)
2 0
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
23/67
F o r a t o u r n a m e n t s i z e o f t w o T h i e r e n s a n d G o l d b e r g d e r i v e t h e s a m e a v e r a g e
t n e s s v a l u e
T h i e r e n s a n d G o l d b e r g , 1 9 9 4 a
]
i n a c o m p l e t e l y d i e r e n t m a n n e r .
B u t t h e i r f o r m u l a t i o n c a n n o t b e e x t e n d e d t o o t h e r t o u r n a m e n t s i z e s .
F o r l a r g e r t o u r n a m e n t s i z e s ( 3 . 1 3 ) c a n b e a c c u r a t e l y e v a l u a t e d b y n u m e r i c a l
i n t e g r a t i o n . T h e r e s u l t i s s h o w n o n t h e l e f t s i d e o f F i g u r e 3 . 5 f o r a t o u r n a m e n t
s i z e f r o m 1 t o 3 0 . B u t a n e x p l i c i t e x p r e s s i o n o f ( 3 . 1 3 ) m a y n o t e x i s t . B y m e a n s
o f t h e s t e e p e s t d e s c e n t m e t h o d ( s e e , e . g .
H e n r i c i , 1 9 7 7
]
) a n a p p r o x i m a t i o n f o r
l a r g e t o u r n a m e n t s i z e s c a n b e g i v e n . B u t e v e n f o r s m a l l t o u r n a m e n t s i z e s t h i s
a p p r o x i m a t i o n g i v e s a c c e p t a b l e r e s u l t s .
T h e c a l c u l a t i o n s l e a d t o t h e f o l l o w i n g r e c u r s i o n e q u a t i o n :
I
T
( t )
k
q
c
k
( l n ( t ) ? l n ( I
T
( t )
k ? 1
) ) ( 3 . 1 4 )
w i t h I
T
( t )
0
= 1 a n d k t h e r e c u r s i o n d e p t h . T h e c a l c u l a t i o n o f t h e c o n s t a n t s c
k
i s d i c u l t . T a k i n g a r o u g h a p p r o x i m a t i o n w i t h k = 2 t h e f o l l o w i n g e q u a t i o n i s
o b t a i n e d t h a t a p p r o x i m a t e s ( 3 . 1 3 ) w i t h a n r e l a t i v e e r r o r o f l e s s t h a n 2 . 4 % f o r
t 2 2 ; 5 ] , f o r t o u r n a m e n t s i z e s t > 5 t h e r e l a t i v e e r r o r i s l e s s t h a n 1 % :
I
T
( t )
r
2 ( l n ( t ) ? l n (
q
4 : 1 4 l n ( t ) ) ) ( 3 . 1 5 )
5 10 15 20 25 30t0
0.5
1
1.5
2
2.5
I(t)
5 10 15 20 25 30t0
0.2
0.4
0.6
0.8
1
V(t)
F i g u r e 3 . 5 : D e p e n d e n c e o f t h e s e l e c t i o n i n t e n s i t y ( l e f t ) a n d s e l e c t i o n v a r i a n c e
( r i g h t ) o n t h e t o u r n a m e n t s i z e t .
3 . 5 S e l e c t i o n V a r i a n c e
T o d e t e r m i n e t h e s e l e c t i o n v a r i a n c e w e n e e d t o s o l v e t h e e q u a t i o n
V
T
( t ) =
Z
1
? 1
t ( x
?I
T
( t ) )
2
1
p
2
e
?
x
2
2
Z
x
? 1
1
p
2
e
?
y
2
2
d y
!
t ? 1
d x ( 3 . 1 6 )
F o r a b i n a r y t o u r n a m e n t w e h a v e
V
T
( 2 ) = 1 ?
1
2 1
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
24/67
H e r e a g a i n ( 3 . 1 6 ) c a n b e s o l v e d b y n u m e r i c a l i n t e g r a t i o n . T h e d e p e n d e n c e o f
t h e s e l e c t i o n v a r i a n c e o n t h e t o u r n a m e n t s i z e i s s h o w n o n t h e r i g h t o f F i g u r e 3 . 5 .
T o o b t a i n a u s e f u l a n a l y t i c a p p r o x i m a t i o n f o r t h e s e l e c t i o n v a r i a n c e , w e p e r -
f o r m a s y m b o l i c r e g r e s s i o n u s i n g t h e g e n e t i c p r o g r a m m i n g o p t i m i z a t i o n m e t h o d .
D e t a i l s a b o u t t h e w a y t h e d a t a w a s c o m p u t e d c a n b e f o u n d i n a p p e n d i x A . T h e
f o l l o w i n g f o r m u l a a p p r o x i m a t e s t h e s e l e c t i o n v a r i a n c e w i t h a n r e l a t i v e e r r o r o f
l e s s t h a n 1 . 6 % f o r t 2 f 1 ; : : : ; 3 0 g :
V
T
( t )
s
2 : 0 5 + t
3 : 1 4 t
3
2
; t 2 f 1 ; : : : ; 3 0 g ( 3 . 1 7 )
2 2
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
25/67
C h a p t e r 4
T r u n c a t i o n S e l e c t i o n
I n T r u n c a t i o n s e l e c t i o n w i t h t h r e s h o l d T o n l y t h e f r a c t i o n T b e s t i n d i v i d u a l s
c a n b e s e l e c t e d a n d t h e y a l l h a v e t h e s a m e s e l e c t i o n p r o b a b i l i t y . T h i s s e l e c t i o n
m e t h o d i s o f t e n u s e d b y b r e e d e r s a n d i n p o p u l a t i o n g e n e t i c
B u l m e r , 1 9 8 0 ; C r o w
a n d K i m u r a , 1 9 7 0
]
. M u h l e n b e i n h a s i n t r o d u c e d t h i s s e l e c t i o n s c h e m e t o t h e
d o m a i n o f g e n e t i c a l g o r i t h m s
M u h l e n b e i n a n d S c h l i e r k a m p - V o o s e n , 1 9 9 3
]
. T h i s
m e t h o d i s e q u i v a l e n t t o ( ; ) - s e l e c t i o n u s e d i n e v o l u t i o n s t r a t e g i e s w i t h T =
B a c k , 1 9 9 5
]
.
T h e o u t l i n e o f t h e a l g o r i t h m i s g i v e n b y a l g o r i t h m 2 .
A l g o r i t h m 2 : ( T r u n c a t i o n S e l e c t i o n )
I n p u t : T h e p o p u l a t i o n P ( ) , t h e t r u n c a t i o n t h r e s h o l d T 2 0 ; 1 ]
O u t p u t : T h e p o p u l a t i o n a f t e r s e l e c t i o n P ( )
0
t r u n c a t i o n ( T , J
1
; : : : ; J
N
) :
J s o r t e d p o p u l a t i o n J a c c o r d i n g t n e s s
w i t h w o r s t i n d i v i d u a l a t t h e r s t p o s i t i o n
f o r i 1 t o N d o
r r a n d o m f ( 1 ? T ) N ] ; : : : ; N g
J
0
i
J
r
o d
r e t u r n f J
0
1
; : : : ; J
0
N
g
A s a s o r t i n g o f t h e p o p u l a t i o n i s r e q u i r e d , t r u n c a t i o n s e l e c t i o n h a s a t i m e
c o m p l e x i t y o f O ( N l n N ) .
A l t h o u g h t h i s m e t h o d h a s b e e n i n v e s t i g a t e d s e v e r a l t i m e s w e w i l l d e s c r i b e
t h i s s e l e c t i o n m e t h o d u s i n g t h e m e t h o d s d e r i v e d h e r e , a s a d d i t i o n a l p r o p e r t i e s
c a n b e o b s e r v e d .
T h e o r e m 4 . 0 . 1 T h e e x p e c t e d t n e s s d i s t r i b u t i o n a f t e r p e r f o r m i n g t r u n c a t i o n s e -
2 3
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
26/67
l e c t i o n w i t h t h r e s h o l d T o n t h e d i s t r i b u t i o n s i s
?
( s ; T ) ( f
i
) = s
( f
i
) =
8
>
:
0 : S ( f
i
) ( 1 ? T ) N
S ( f
i
) ? ( 1 ? T ) N
T
: S ( f
i ? 1
) ( 1 ? T ) N < S ( f
i
)
s ( f
i
)
T
: e l s e
( 4 . 1 )
P r o o f : T h e r s t c a s e i n ( 4 . 1 ) g i v e s z e r o o s p r i n g t o i n d i v i d u a l s w i t h a t n e s s
v a l u e b e l o w t h e t r u n c a t i o n t h r e s h o l d . T h e s e c o n d c a s e r e e c t s t h e f a c t t h a t
t h r e s h o l d m a y l i e w i t h i n s
i
. T h e n o n l y t h e f r a c t i o n a b o v e t h e t h r e s h o l d ( S
i
?
( 1 ? T ) N ) m a y b e s e l e c t e d . T h e s e f r a c t i o n i s i n a v e r a g e c o p i e d
1
T
t i m e s . T h e l a s t
c a s e i n ( 4 . 1 ) g i v e s a l l i n d i v i d u a l s a b o v e t h e t h r e s h o l d t h e m u l t i p l i c a t i o n f a c t o r
1
T
t h a t i s n e c e s s a r y t o k e e p t h e p o p u l a t i o n s i z e c o n s t a n t . 2
T h e o r e m 4 . 0 . 2 L e t s ( f ) b e t h e c o n t i n u o u s d i s t r i b u t i o n o f t h e p o p u l a t i o n . T h e n
t h e e x p e c t e d t n e s s d i s t r i b u t i o n a f t e r p e r f o r m i n g t r u n c a t i o n s e l e c t i o n w i t h t h r e s h -
o l d T i s
?
( s ; T ) ( f ) =
(
s ( f )
T
:
S ( f ) > ( 1 ? T ) N
0 : e l s e
( 4 . 2 )
P r o o f : A s
S ( f ) g i v e s t h e c u m u l a t i v e t n e s s d i s t r i b u t i o n , i t f o l l o w s f r o m t h e
c o n s t r u c t i o n o f t r u n c a t i o n s e l e c t i o n t h a t a l l i n d i v i d u a l s w i t h
S ( f ) ( 1 ? T ) N
0 : e l s e
( 4 . 3 )
4 . 2 L o s s o f D i v e r s i t y
B y c o n s t r u c t i o n o f t h e s e l e c t i o n m e t h o d o n l y t h e f r a c t i o n T o f t h e p o p u l a t i o n
w i l l b e s e l e c t e d , i . e . t h e l o s s o f d i v e r s i t y i s
p
d ; ?
( T ) = 1
?T ( 4 . 4 )
2 4
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
27/67
4 . 3 S e l e c t i o n I n t e n s i t y
T h e r e s u l t s p r e s e n t e d i n t h i s s u b s e c t i o n h a v e b e e n a l r e a d y d e r i v e d i n a d i e r e n t
w a y i n
C r o w a n d K i m u r a , 1 9 7 0
]
.
T h e o r e m 4 . 3 . 1 T h e s e l e c t i o n i n t e n s i t y o f t r u n c a t i o n s e l e c t i o n i s
I
?
( T ) =
1
T
1
p
2
e
?
f
2
c
2
( 4 . 5 )
w h e r e f
c
i s d e t e r m i n e d b y T =
R
1
f
c
1
p
2
e
?
f
2
2
d f .
P r o o f : T h e s e l e c t i o n i n t e n s i t y i s d e n e d a s t h e a v e r a g e t n e s s o f t h e p o p u l a t i o n
a f t e r s e l e c t i o n a s s u m i n g a n i n i t i a l n o r m a l i z e d G a u s s i a n d i s t r i b u t i o n G ( 0 ; 1 ) , h e n c e
I =
R
1
? 1
( G ( 0 ; 1 ) ) ( f ) f d f . A s n o i n d i v i d u a l w i t h a t n e s s v a l u e w o r s e t h a n f
c
w i l l b e s e l e c t e d , t h e l o w e r i n t e g r a t i o n b o u n d c a n b e r e p l a c e d b y f
c
. H e r e f
c
i s
d e t e r m i n e d b y
S ( f
c
) = ( 1 ? T ) N = 1 ? T ( 4 . 6 )
b e c a u s e N = 1 f o r t h e n o r m a l i z e d G a u s s i a n d i s t r i b u t i o n .
S o w e c a n c o m p u t e
I
?
( T ) =
Z
1
f
c
1
T
1
p
2
e
?
f
2
2
f d f
=
1
T
1
p
2
e
?
f
2
c
2
H e r e f
c
i s d e t e r m i n e d b y ( 4 . 6 ) . S o l v i n g ( 4 . 6 ) f o r T y i e l d s
T = 1 ?
Z
f
c
? 1
1
p
2
e
?
f
2
2
d f
=
Z
1
f
c
1
p
2
e
?
f
2
2
d f
2
A l o w e r b o u n d f o r t h e s e l e c t i o n i n t e n s i t y r e p o r t e d b y
M u h l e n b e i n a n d V o i g t ,
1 9 9 5
]
i s I
?
( T )
q
1 ? T
T
.
F i g u r e 4 . 1 s h o w s o n t h e l e f t t h e s e l e c t i o n i n t e n s i t y i n d e p e n d e n c e o f p a r a m e t e r
T .
4 . 4 S e l e c t i o n V a r i a n c e
T h e o r e m 4 . 4 . 1 T h e s e l e c t i o n v a r i a n c e o f t r u n c a t i o n s e l e c t i o n i s
V
?
( T ) = 1 ? I
?
( T ) ( I
?
( T ) ? f
c
) ( 4 . 7 )
2 5
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
28/67
0.2 0.4 0.6 0.8 1T0
0.5
1
1.5
2
2.5
3
3.5
4
I(T)
0.2 0.4 0.6 0.8 1.0
0.2
0.4
0.6
0.8
1
T
V(T)
F i g u r e 4 . 1 : S e l e c t i o n i n t e n s i t y ( l e f t ) a n d s e l e c t i o n v a r i a n c e ( r i g h t ) o f t r u n c a t i o n
s e l e c t i o n .
S k e t c h o f p r o o f : T h e s u b s t i t u t i o n o f ( 4 . 2 ) i n t h e d e n i t i o n e q u a t i o n ( 2 . 1 7 )
g i v e s
V
?
( T ) =
Z
1
f
c
f
2
1
T
1
p
2
e
?
f
2
2
d f ? I
?
( T ) )
2
A f t e r s o m e c a l c u l a t i o n s t h i s e q u a t i o n c a n b e s i m p l i e d t o ( 4 . 7 ) . 2
T h e s e l e c t i o n v a r i a n c e i s p l o t t e d o n t h e r i g h t o f F i g u r e 4 . 1 . ( 4 . 7 ) h a s a l s o
b e e n d e r i v e d i n
B u l m e r , 1 9 8 0
]
.
2 6
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
29/67
C h a p t e r 5
L i n e a r R a n k i n g S e l e c t i o n
R a n k i n g s e l e c t i o n w a s r s t s u g g e s t e d b y B a k e r t o e l i m i n a t e t h e s e r i o u s d i s a d v a n -
t a g e s o f p r o p o r t i o n a t e s e l e c t i o n
G r e f e n s t e t t e a n d B a k e r , 1 9 8 9 ; W h i t l e y , 1 9 8 9
]
.
F o r r a n k i n g s e l e c t i o n t h e i n d i v i d u a l s a r e s o r t e d a c c o r d i n g t h e i r t n e s s v a l u e s a n d
t h e r a n k N i s a s s i g n e d t o t h e b e s t i n d i v i d u a l a n d t h e r a n k 1 t o t h e w o r s t i n d i -
v i d u a l . T h e s e l e c t i o n p r o b a b i l i t y i s l i n e a r l y a s s i g n e d t o t h e i n d i v i d u a l s a c c o r d i n g
t o t h e i r r a n k :
p
i
=
1
N
?
+ (
+
?
?
)
i ? 1
N ? 1
; i 2 f 1 ; : : : ; N g ( 5 . 1 )
H e r e
?
N
i s t h e p r o b a b i l i t y o f t h e w o r s t i n d i v i d u a l t o b e s e l e c t e d a n d
+
N
t h e
p r o b a b i l i t y o f t h e b e s t i n d i v i d u a l t o b e s e l e c t e d . A s t h e p o p u l a t i o n s i z e i s h e l d
c o n s t a n t , t h e c o n d i t i o n s
+
= 2 ?
?
a n d
?
0 m u s t b e f u l l l e d . N o t e t h a t a l l
i n d i v i d u a l s g e t a d i e r e n t r a n k , i . e . a d i e r e n t s e l e c t i o n p r o b a b i l i t y , e v e n i f t h e y
h a v e t h e s a m e t n e s s v a l u e .
K o z a
K o z a , 1 9 9 2
]
d e t e r m i n e s t h e p r o b a b i l i t y b y a m u l t i p l i c a t i o n f a c t o r r
m
t h a t d e t e r m i n e s t h e g r a d i e n t o f t h e l i n e a r f u n c t i o n . A t r a n s f o r m a t i o n i n t o t h e
f o r m o f ( 5 . 1 ) i s p o s s i b l e b y
?
=
2
r
m
+ 1
a n d
+
=
2 r
m
r
m
+ 1
.
W h i t l e y
W h i t l e y , 1 9 8 9
]
d e s c r i b e s t h e r a n k i n g s e l e c t i o n b y t r a n s f o r m i n g a n
e q u a l l y d i s t r i b u t e d r a n d o m v a r i a b l e 2 0 ; 1 ] t o d e t e r m i n e t h e i n d e x o f t h e
s e l e c t e d i n d i v i d u a l
j = b
N
2 ( c ? 1 )
c ?
q
c
2
? 4 ( c ? 1 )
c ( 5 . 2 )
w h e r e c i s a p a r a m e t e r c a l l e d \ s e l e c t i o n b i a s " . B a c k h a s s h o w n t h a t f o r 1 < c 2
t h i s m e t h o d i s a l m o s t i d e n t i c a l t o t h e p r o b a b i l i t i e s i n ( 5 . 1 ) w i t h
+
= c
B a c k ,
1 9 9 4
]
.
2 7
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
30/67
A l g o r i t h m 3 : ( L i n e a r R a n k i n g S e l e c t i o n )
I n p u t : T h e p o p u l a t i o n P ( ) a n d t h e r e p r o d u c t i o n r a t e o f t h e w o r s t
i n d i v i d u a l
?
2 0 ; 1 ]
O u t p u t : T h e p o p u l a t i o n a f t e r s e l e c t i o n P ( )
0
l i n e a r r a n k i n g (
?
, J
1
; : : : ; J
N
) :
J s o r t e d p o p u l a t i o n J a c c o r d i n g t n e s s
w i t h w o r s t i n d i v i d u a l a t t h e r s t p o s i t i o n
s
0
0
f o r i 1 t o N d o
s
i
s
i ? 1
+ p
i
( E q u a t i o n 5 . 1 )
o d
f o r i 1 t o N d o
r r a n d o m 0 , s
N
J
0
i
J
l
s u c h t h a t s
l ? 1
r < s
l
o d
r e t u r n
fJ
0
1
; : : : ; J
0
N
g
T h e p s e u d o - c o d e i m p l e m e n t a t i o n o f l i n e a r r a n k i n g s e l e c t i o n i s g i v e n b y a l g o -
r i t h m 3 . T h e m e t h o d r e q u i r e s t h e s o r t i n g o f t h e p o p u l a t i o n , h e n c e t h e c o m p l e x i t y
o f t h e a l g o r i t h m i s d o m i n a t e d b y t h e c o m p l e x i t y o f s o r t i n g , i . e . O ( N l o g N ) .
T h e o r e m 5 . 0 . 2 T h e e x p e c t e d t n e s s d i s t r i b u t i o n a f t e r p e r f o r m i n g r a n k i n g s e l e c -
t i o n w i t h
?
o n t h e d i s t r i b u t i o n s i s
R
( s ;
?
) ( f
i
) = s
( f
i
) = s ( f
i
)
N
?
? 1
N ? 1
+
1 ?
?
N ? 1
S ( f
i
)
2
? S ( f
i ? 1
)
2
( 5 . 3 )
P r o o f : W e r s t c a l c u l a t e t h e e x p e c t e d n u m b e r o f i n d i v i d u a l s w i t h t n e s s f
i
o r w o r s e , i . e . S
( f
i
) . A s t h e i n d i v i d u a l s a r e s o r t e d a c c o r d i n g t o t h e i r t n e s s
v a l u e t h i s n u m b e r i s g i v e n b y t h e s u m o f t h e p r o b a b i l i t i e s o f t h e S
( f
i
) l e s s t
i n d i v i d u a l s :
S
( f
i
) = N
S ( f
i
)
X
j = 1
p
j
=
?
S ( f
i
) +
+
?
?
N ? 1
S ( f
i
)
X
j = 1
j ? 1
=
?
S ( f
i
) +
+
?
?
N ? 1
1
2
S ( f
i
) ( S ( f
i
) ? 1 )
A s
+
= 2 ?
?
a n d s
( f
i
) = S
( f
i
) ? S
( f
i ? 1
) w e o b t a i n
s
( f
i
) =
?
( S ( f
i
) ? S ( f
i ? 1
) ) +
1 ?
?
N ? 1
( S ( f
i
) ( S ( f
i
) ? 1 ) ? S ( f
i ? 1
) ( S ( f
i ? 1
) ? 1 ) )
2 8
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
31/67
=
?
s ( f
i
) +
1 ?
?
N ? 1
S ( f
i
)
2
? S ( f
i ? 1
)
2
? s ( f
i
)
= s ( f
i
)
N
?
? 1
N ? 1
+
1 ?
?
N ? 1
S ( f
i
)
2
? S ( f
i ? 1
)
2
2
E x a m p l e 5 . 0 . 1 A s a n e x a m p l e w e u s e a g a i n t h e t n e s s d i s t r i b u t i o n o f t h e \ w a l l -
f o l l o w i n g - r o b o t " f r o m E x a m p l e 2 . 0 . 1 . T h e r e s u l t i n g d i s t r i b u t i o n a f t e r r a n k i n g s e -
l e c t i o n w i t h
?
= 0 : 1 i s s h o w n i n F i g u r e 5 . 1 . H e r e a g a i n t h e c o n d e n c e i n t e r v a l
i s s h o w n . A c o m p a r i s o n b e t w e e n t h e o r e t i c a l a n a l y s i s a n d t h e a v e r a g e o f 2 0 s i m u -
l a t i o n s i s s h o w n i n F i g u r e 5 . 2 . A g a i n a v e r y h i g h a g r e e m e n t w i t h t h e t h e o r e t i c a l
r e s u l t s i s o b s e r v e d .
2.5 5 7.5 10 12.5 15 17.5
f0
50
100
150
200
250
300
350
400
s*(f)
F i g u r e 5 . 1 : T h e r e s u l t i n g e x p e c t e d t n e s s d i s t r i b u t i o n a n d t h e c o n d e n c e i n t e r v a l
o f 6 8 % a f t e r a p p l y i n g r a n k i n g s e l e c t i o n w i t h
?
= 0 : 1 :
T h e o r e m 5 . 0 . 3 L e t s ( f ) b e t h e c o n t i n u o u s t n e s s d i s t r i b u t i o n o f t h e p o p u l a t i o n .
T h e n t h e e x p e c t e d t n e s s d i s t r i b u t i o n a f t e r p e r f o r m i n g r a n k i n g s e l e c t i o n
R
w i t h
?
o n t h e d i s t r i b u t i o n s i s
R
( s ;
?
) ( f ) = s
( f ) =
?
s ( f ) + 2
1 ?
?
N
S ( f ) s ( f ) ( 5 . 4 )
P r o o f : A s t h e c o n t i n u o u s f o r m o f ( 5 . 1 ) i s g i v e n b y p ( x ) =
1
N
(
?
+
+
?
?
N
x ) w e
c a l c u l a t e
S ( f ) u s i n g
+
= 2
?
?
:
S
( f ) = N
Z
S ( f )
0
p ( x ) d x
2 9
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
32/67
2.5 5 7.5 10 12.5 15 17.5f0
50
100
150
200
250
300
350
400
F i g u r e 5 . 2 : C o m p a r i s o n b e t w e e n t h e o r e t i c a l d e r i v e d d i s t r i b u t i o n ( | ) a n d t h e
a v e r a g e o f 2 0 s i m u l a t i o n s ( - - - ) f o r r a n k i n g s e l e c t i o n w i t h
?
=
1
N
.
=
?
Z
S ( f )
0
d x + 2
1 ?
?
N
Z
S ( f )
0
x d x
=
?
S ( f ) +
1
?
?
N
S ( f )
2
A s s
( f ) =
d
S
( f )
d f
, ( 5 . 4 ) f o l l o w s . 2
E x a m p l e 5 . 0 . 2 F i g u r e 5 . 3 s h o w s t h e t h e i n i t i a l c o n t i n u o u s t n e s s d i s t r i b u t i o n
s
G
a n d t h e r e s u l t i n g d i s t r i b u t i o n s a f t e r p e r f o r m i n g r a n k i n g s e l e c t i o n .
5 . 1 R e p r o d u c t i o n R a t e
C o r o l l a r y 5 . 1 . 1 T h e r e p r o d u c t i o n r a t e o f r a n k i n g s e l e c t i o n i s
R
R
( f ) =
?
+ 2
1 ?
?
N
S ( f ) ( 5 . 5 )
T h i s e q u a t i o n s h o w s t h a t t h e w o r s t t i n d i v i d u a l s h a v e t h e l o w e s t r e p r o d u c -
t i o n r a t e
R ( f
0
) =
?
a n d t h e b e s t t i n d i v i d u a l s h a v e t h e h i g h e s t r e p r o d u c t i o n
r a t e
R ( f
n
) = 2
?
?
=
+
. T h i s c a n b e d e r i v e d f r o m t h e c o n s t r u c t i o n o f t h e
m e t h o d a s
?
N
i s t h e s e l e c t i o n p r o b a b i l i t y o f t h e w o r s t t i n d i v i d u a l a n d
+
N
t h e
o n e o f t h e b e s t t i n d i v i d u a l .
3 0
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
33/67
25 50 75 100 125 150 175 2000
2.5
5
7.5
10
12.5
15
17.5
20
s*(f)
fitness f
F i g u r e 5 . 3 : G a u s s i a n t n e s s d i s t r i b u t i o n s
G
( f ) a n d t h e r e s u l t i n g d i s t r i b u t i o n s
a f t e r p e r f o r m i n g r a n k i n g s e l e c t i o n w i t h
?
= 0 : 5 a n d
?
= 0 ( f r o m l e f t t o r i g h t ) .
5 . 2 L o s s o f D i v e r s i t y
T h e o r e m 5 . 2 . 1 T h e l o s s o f d i v e r s i t y p
d ; R
(
?
) o f r a n k i n g s e l e c t i o n i s
p
d ; R
(
?
) = ( 1 ?
?
)
1
4
( 5 . 6 )
P r o o f : U s i n g T h e o r e m 2 . 4 . 1 a n d r e a l i z i n g t h a t S ( f
z
) =
N
2
w e c a l c u l a t e :
p
d ; R
(
?
) =
1
N
S ( f
z
) ?
S
( f
z
)
=
1
N
S ( f
z
) ?
?
S ( f
z
) ?
1 ?
?
N
S ( f
z
)
2
!
=
1
N
N
2
?
?
N
2
?
1 ?
?
N
N
2
4
!
=
1
4
( 1 ?
?
)
2
B a k e r h a s d e r i v e d t h i s r e s u l t u s i n g h i s t e r m o f \ r e p r o d u c t i o n r a t e "
B a k e r ,
1 9 8 9
]
.
N o t e t h a t t h e l o s s o f d i v e r s i t y i s a g a i n i n d e p e n d e n t o f t h e i n i t i a l d i s t r i b u t i o n .
3 1
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
34/67
5 . 3 S e l e c t i o n I n t e n s i t y
T h e o r e m 5 . 3 . 1 T h e s e l e c t i o n i n t e n s i t y o f r a n k i n g s e l e c t i o n i s
I
R
(
?
) = ( 1 ?
?
)
1
p
( 5 . 7 )
P r o o f : U s i n g t h e d e n i t i o n o f t h e s e l e c t i o n i n t e n s i t y ( D e n i t i o n 2 . 5 . 2 ) a n d u s i n g
t h e G a u s s i a n f u n c t i o n f o r t h e i n i t i a l t n e s s d i s t r i b u t i o n w e o b t a i n
I
R
(
?
) =
Z
1
? 1
x
1
p
2
e
?
x
2
2
?
+ 2 ( 1 ?
?
)
Z
x
? 1
1
p
2
e
?
y
2
2
d y
!
d x
=
?
p
2
Z
1
? 1
x e
?
x
2
2
d x +
1 ?
?
Z
1
? 1
x e
?
x
2
2
Z
x
? 1
e
?
y
2
2
d y d x
A s t h e r s t s u m m a n d i s 0 a n d
R
1
? 1
x e
?
x
2
2
R
x
? 1
e
?
y
2
2
d y d x =
p
w e o b t a i n ( 5 . 7 ) .
2
T h e s e l e c t i o n i n t e n s i t y o f r a n k i n g s e l e c t i o n i s s h o w n i n F i g u r e 5 . 4 ( l e f t ) i n
d e p e n d e n c e o f t h e p a r a m e t e r
?
.
0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
I( )
0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
V( )
F i g u r e 5 . 4 : S e l e c t i o n i n t e n s i t y ( l e f t ) a n d s e l e c t i o n v a r i a n c e ( r i g h t ) o f r a n k i n g
s e l e c t i o n .
5 . 4 S e l e c t i o n V a r i a n c e
T h e o r e m 5 . 4 . 1 T h e s e l e c t i o n v a r i a n c e o f r a n k i n g i s
V
R
(
?
) = 1 ?
( 1 ?
?
)
2
= 1 ? I
R
(
?
)
2
( 5 . 8 )
P r o o f : S u b s t i t u t i n g ( 5 . 4 ) i n t o t h e d e n i t i o n e q u a t i o n ( 2 . 1 7 ) l e a d s t o
V
R
(
?
) =
Z
1
? 1
f
2
1
p
2
e
?
f
2
2
?
+ 2 ( 1 ? ? )
Z
f
? 1
1
p
2
e
?
y
2
2
d y
!
d f ? I
R
(
?
)
2
3 2
-
8/13/2019 A Comparison of Selection Schemes Used in Genetic Algorithms
35/67
V
R
(
?
) =
?
p
2
Z
1
? 1
f
2
e
?
f
2
2
d f
+
1 ?
?
Z
1
? 1
f
2
e
?
f
2
2
Z
f
? 1
e
?
y
2
2
d y d f
? I
R
(
?
)
2
U s i n g t h e r e l a t i o n s B . 7