a turbo codes ryan)
TRANSCRIPT
-
8/6/2019 A Turbo Codes Ryan)
1/9
A T u r b o C o d e T u t o r i a l
W i l l i a m E . R y a n
N e w M e x i c o S t a t e U n i v e r s i t y
B o x 3 0 0 0 1 D e p t . 3 - O , L a s C r u c e s , N M 8 8 0 0 3
w r y a n @ n m s u . e d u
A b s t r a c t
|
W e g i v e a t u t o r i a l e x p o s i t i o n o f t u r b o
c o d e s a n d t h e a s s o c i a t e d a l g o r i t h m s . I n c l u d e d a r e a
s i m p l e d e r i v a t i o n f o r t h e p e r f o r m a n c e o f t u r b o c o d e s ,
a n d a s t r a i g h t f o r w a r d p r e s e n t a t i o n o f t h e i t e r a t i v e d e -
c o d i n g a l g o r i t h m . T h e d e r i v a t i o n s o f b o t h t h e p e r -
f o r m a n c e e s t i m a t e a n d t h e m o d i e d B C J R d e c o d i n g
a l g o r i t h m a r e n o v e l . T h e t r e a t m e n t i s i n t e n d e d t o b e
a l a u n c h i n g p o i n t f o r f u r t h e r s t u d y i n t h e e l d a n d ,
s i g n i c a n t l y , t o p r o v i d e s u c i e n t i n f o r m a t i o n f o r t h e
d e s i g n o f c o m p u t e r s i m u l a t i o n s .
I . I n t r o d u c t i o n
T u r b o c o d e s , r s t p r e s e n t e d t o t h e c o d i n g c o m m u n i t y i n
1 9 9 3 [ 1 ] , r e p r e s e n t t h e m o s t i m p o r t a n t b r e a k t h r o u g h i n
c o d i n g s i n c e U n g e r b o e c k i n t r o d u c e d t r e l l i s c o d e s i n 1 9 8 2
[ 2 ] . W h e r e a s U n g e r b o e c k ' s w o r k e v e n t u a l l y l e d t o c o d e d
m o d u l a t i o n s c h e m e s c a p a b l e o f o p e r a t i o n n e a r c a p a c i t y
o n b a n d l i m i t e d c h a n n e l s [ 3 ] , t h e o r i g i n a l t u r b o c o d e s o f -
f e r n e a r - c a p a c i t y p e r f o r m a n c e f o r d e e p s p a c e a n d s a t e l l i t e
c h a n n e l s . T h e i n v e n t i o n o f t u r b o c o d e s i n v o l v e d r e v i v -
i n g s o m e d o r m a n t c o n c e p t s a n d a l g o r i t h m s , a n d c o m b i n i n g
t h e m w i t h s o m e c l e v e r n e w i d e a s . B e c a u s e t h e p r i n c i p l e s
s u r r o u n d i n g t u r b o c o d e s a r e b o t h u n c o m m o n a n d n o v e l , i t
h a s b e e n d i c u l t f o r t h e i n i t i a t e t o e n t e r i n t o t h e s t u d y o f
t h e s e c o d e s . C o m p l i c a t i n g m a t t e r s f u r t h e r i s t h e f a c t t h a t
t h e r e e x i s t n o w n u m e r o u s p a p e r s o n t h e t o p i c s o t h a t t h e r e
i s n o c l e a r p l a c e t o b e g i n s t u d y o f t h e s e c o d e s .
I n t h i s p a p e r , w e h o p e t o a d d r e s s t h i s p r o b l e m b y i n -
c l u d i n g i n o n e p a p e r a n i n t r o d u c t i o n t o t h e s t u d y o f t u r b o
c o d e s . W e g i v e a d e t a i l e d d e s c r i p t i o n o f t h e e n c o d e r a n d
p r e s e n t a s i m p l e d e r i v a t i o n o f i t s p e r f o r m a n c e i n a d d i t i v e
w h i t e G a u s s i a n n o i s e ( A W G N ) . P a r t i c u l a r l y d i c u l t f o r
t h e n o v i c e h a s b e e n t h e u n d e r s t a n d i n g a n d s i m u l a t i o n o f
t h e i t e r a t i v e d e c o d i n g a l g o r i t h m , a n d s o w e g i v e a t h o r o u g h
d e s c r i p t i o n o f t h e a l g o r i t h m h e r e . T h i s p a p e r b o r r o w s f r o m
s o m e o f t h e m o s t p r o m i n e n t p u b l i c a t i o n s i n t h e e l d [ 4 ] -
[ 9 ] , s o m e t i m e s a d d i n g d e t a i l s t h a t w e r e o m i t t e d i n t h o s e
w o r k s . H o w e v e r , t h e g e n e r a l p r e s e n t a t i o n a n d s o m e o f t h e
d e r i v a t i o n s a r e n o v e l . O u r g o a l i s a s e l f - c o n t a i n e d , s i m p l e
i n t r o d u c t i o n t o t u r b o c o d e s f o r t h o s e a l r e a d y k n o w l e d g e -
a b l e i n t h e e l d s o f a l g e b r a i c a n d t r e l l i s c o d e s .
T h e p a p e r i s o r g a n i z e d a s f o l l o w s . I n t h e n e x t s e c t i o n w e
p r e s e n t t h e s t r u c t u r e o f t h e e n c o d e r , w h i c h l e a d s t o a n e s t i -
m a t e o f i t s p e r f o r m a n c e . T h e s u b s e q u e n t s e c t i o n t h e n d e -
s c r i b e s t h e i t e r a t i v e a l g o r i t h m u s e d t o d e c o d e t h e s e c o d e s .
T h e t r e a t m e n t i n e a c h o f t h e s e s e c t i o n s i s m e a n t t o b e
s u c i e n t l y d e t a i l e d s o t h a t o n e m a y w i t h r e a s o n a b l e e a s e
d e s i g n a c o m p u t e r s i m u l a t i o n o f t h e e n c o d e r a n d d e c o d e r .
I I . T h e E n c o d e r a n d I t s P e r f o r m a n c e
F i g . 1 d e p i c t s a s t a n d a r d t u r b o e n c o d e r . A s s e e n i n t h e
g u r e , a t u r b o e n c o d e r i s c o n s i s t s o f t w o b i n a r y r a t e 1 / 2
c o n v o l u t i o n a l e n c o d e r s s e p a r a t e d b y a n N - b i t i n t e r l e a v e r
o r p e r m u t e r , t o g e t h e r w i t h a n o p t i o n a l p u n c t u r i n g m e c h -
a n i s m . C l e a r l y , w i t h o u t t h e p u n c t u r e r , t h e e n c o d e r i s r a t e
1 / 3 , m a p p i n g N d a t a b i t s t o 3 N c o d e b i t s . W e o b s e r v e
t h a t t h e e n c o d e r s a r e c o n g u r e d i n a m a n n e r r e m i n i s c e n t o f
c l a s s i c a l c o n c a t e n a t e d c o d e s . H o w e v e r , i n s t e a d o f c a s c a d -
i n g t h e e n c o d e r s i n t h e u s u a l
s e r i a l
f a s h i o n , t h e e n c o d e r s
a r e a r r a n g e d i n a s o - c a l l e d
p a r a l l e l
c o n c a t e n a t i o n . O b s e r v e
a l s o t h a t t h e c o n s i t u e n t c o n v o l u t i o n a l e n c o d e r s a r e o f t h e
r e c u r s i v e s y s t e m a t i c v a r i e t y . B e c a u s e a n y n o n - r e c u r s i v e
( i . e . , f e e d f o r w a r d ) n o n - c a t a s t r o p h i c c o n v o l u t i o n a l e n c o d e r
i s e q u i v a l e n t t o a r e c u r s i v e s y s t e m a t i c e n c o d e r i n t h a t t h e y
p o s s e s s t h a t s a m e s e t o f c o d e s e q u e n c e s , t h e r e w a s n o c o m -
p e l l i n g r e a s o n i n t h e p a s t f o r f a v o r i n g r e c u r s i v e e n c o d e r s .
H o w e v e r , a s w i l l b e a r g u e d b e l o w , r e c u r s i v e e n c o d e r s a r e
n e c e s s a r y t o a t t a i n t h e e x c e p t i o n a l p e r f o r m a n c e p r o v i d e d
b y t u r b o c o d e s . W i t h o u t a n y e s s e n t i a l l o s s o f g e n e r a l i t y ,
w e a s s u m e t h a t t h e c o n s t i t u e n t c o d e s a r e i d e n t i c a l . B e -
f o r e d e s c r i b i n g f u r t h e r d e t a i l s o f t h e t u r b o e n c o d e r i n i t s
e n t i r e t y , w e s h a l l r s t d i s c u s s i t s i n d i v i d u a l c o m p o n e n t s .
A . T h e R e c u r s i v e S y s t e m a t i c E n c o d e r s
W h e r e a s t h e g e n e r a t o r m a t r i x f o r a r a t e 1 / 2 n o n -
r e c u r s i v e c o n v o l u t i o n a l c o d e h a s t h e f o r m G
N R
( D ) =
[ g
1
( D ) g
2
( D ) ] ; t h e e q u i v a l e n t r e c u r s i v e s y s t e m a t i c e n -
c o d e r h a s t h e g e n e r a t o r m a t r i x
G
R
( D ) =
1
g
2
( D )
g
1
( D )
:
O b s e r v e t h a t t h e c o d e s e q u e n c e c o r r e s p o n d i n g t o t h e e n -
c o d e r i n p u t u ( D ) f o r t h e f o r m e r c o d e i s u ( D ) G
N R
( D ) =
[ u ( D ) g
1
( D ) u ( D ) g
2
( D ) ] ; a n d t h a t t h e i d e n t i c a l c o d e s e -
q u e n c e i s p r o d u c e d i n t h e r e c u r s i v e c o d e b y t h e s e q u e n c e
u
0
( D ) = u ( D ) g
1
( D ) ; s i n c e i n t h i s c a s e t h e c o d e s e q u e n c e i s
u ( D ) g
1
( D ) G
R
( D ) = u ( D ) G
N R
( D ) : H e r e , w e l o o s e l y c a l l
t h e p a i r o f p o l y n o m i a l s u ( D ) G
N R
( D ) a c o d e s e q u e n c e , a l -
t h o u g h t h e a c t u a l c o d e s e q u e n c e i s d e r i v e d f r o m t h i s p o l y -
n o m i a l p a i r i n t h e u s u a l w a y .
O b s e r v e t h a t , f o r t h e r e c u r s i v e e n c o d e r , t h e c o d e s e -
q u e n c e w i l l b e o f n i t e w e i g h t i f a n d o n l y i f t h e i n p u t
s e q u e n c e i s d i v i s i b l e b y g
1
( D ) : W e h a v e t h e f o l l o w i n g i m -
m e d i a t e c o r o l l a r i e s o f t h i s f a c t w h i c h w e s h a l l u s e l a t e r .
-
8/6/2019 A Turbo Codes Ryan)
2/9
C o r o l l a r y 1 .
A w e i g h t - o n e i n p u t w i l l p r o d u c e a n i n n i t e
w e i g h t o u t p u t ( f o r s u c h a n i n p u t i s n e v e r d i v i s i b l e b y a
p o l y n o m i a l g
1
( D ) ) .
C o r o l l a r y 2 .
F o r a n y n o n - t r i v i a l g
1
( D ) ; t h e r e e x i s t s a
f a m i l y o f w e i g h t - t w o i n p u t s o f t h e f o r m D
j
( 1 + D
q 1
) ,
j 0 ; w h i c h p r o d u c e n i t e w e i g h t o u t p u t s , i . e . , w h i c h a r e
d i v i s i b l e b y g
1
( D ) : W h e n g
1
( D ) i s a p r i m i t i v e p o l y n o m i a l
o f d e g r e e m , t h e n q = 2
m
; m o r e g e n e r a l l y , q 1 i s t h e
l e n g t h o f t h e p s e u d o r a n d o m s e q u e n c e g e n e r a t e d b y g
1
( D ) :
I n t h e c o n t e x t o f t h e c o d e ' s t r e l l i s , C o r o l l a r y 1 s a y s t h a t
a w e i g h t - o n e i n p u t w i l l c r e a t e a p a t h t h a t d i v e r g e s f r o m
t h e a l l - z e r o s p a t h , b u t n e v e r r e m e r g e s . C o r o l l a r y 2 s a y s
t h a t t h e r e w i l l a l w a y s e x i s t a t r e l l i s p a t h t h a t d i v e r g e s
a n d r e m e r g e s l a t e r w h i c h c o r r e s p o n d s t o a w e i g h t - t w o d a t a
s e q u e n c e .
E x a m p l e 1 .
C o n s i d e r t h e c o d e w i t h g e n e r a t o r m a t r i x
G
R
( D ) =
1
1 + D
2
+ D
3
+ D
4
1 + D + D
4
:
T h u s , g
1
( D ) = 1 + D + D
4
a n d g
2
( D ) = 1 + D
2
+ D
3
+ D
4
o r , i n o c t a l f o r m , ( g
1
; g
2
) = ( 3 1 ; 2 7 ) : O b s e r v e t h a t g
1
( D )
i s p r i m i t i v e s o t h a t , f o r e x a m p l e , u ( D ) = 1 + D
1 5
p r o d u c e s
t h e n i t e - l e n g t h c o d e s e q u e n c e ( 1 + D
1 5
; 1 + D + D
2
+ D
3
+
D
5
+ D
7
+ D
8
+ D
1 1
) . O f c o u r s e , a n y d e l a y e d v e r s i o n o f
t h i s i n p u t , s a y , D
7
( 1 + D
1 5
) ; w i l l s i m p l y p r o d u c e a d e l a y e d
v e r s i o n o f t h i s c o d e s e q u e n c e . F i g . 2 g i v e s o n e e n c o d e r
r e a l i z a t i o n f o r t h i s c o d e . W e r e m a r k t h a t , i n a d d i t i o n t o
e l a b o r a t i n g o n C o r o l l a r y 2 , t h i s e x a m p l e s e r v e s t o d e m o n -
s t r a t e t h e c o n v e n t i o n s g e n e r a l l y u s e d i n t h e l i t e r a t u r e f o r
s p e c i f y i n g s u c h e n c o d e r s .
B . T h e P e r m u t e r
A s t h e n a m e i m p l i e s , t h e f u n c t i o n o f t h e p e r m u t e r i s
t o t a k e e a c h i n c o m i n g b l o c k o f N d a t a b i t s a n d r e a r r a n g e
t h e m i n a p s e u d o - r a n d o m f a s h i o n p r i o r t o e n c o d i n g b y t h e
s e c o n d e n c o d e r . U n l i k e t h e c l a s s i c a l i n t e r l e a v e r ( e . g . , b l o c k
o r c o n v o l u t i o n a l i n t e r l e a v e r ) , w h i c h r e a r r a n g e s t h e b i t s i n
s o m e s y s t e m a t i c f a s h i o n , i t i s i m p o r t a n t t h a t t h e p e r m u t e r
s o r t t h e b i t s i n a m a n n e r t h a t l a c k s a n y a p p a r e n t o r d e r , a l -
t h o u g h i t m i g h t b e t a i l o r e d i n a c e r t a i n w a y f o r w e i g h t - t w o
a n d w e i g h t - t h r e e i n p u t s a s e x p l a i n e d i n E x a m p l e 2 b e l o w .
A l s o i m p o r t a n t i s t h a t N b e s e l e c t e d q u i t e l a r g e a n d w e
s h a l l a s s u m e N 1 0 0 0 h e r e a f t e r . T h e i m p o r t a n c e o f t h e s e
t w o r e q u i r e m e n t s w i l l b e i l l u m i n a t e d b e l o w . W e p o i n t o u t
a l s o t h a t o n e p s e u d o - r a n d o m p e r m u t e r w i l l p e r f o r m a b o u t
a s w e l l a s a n y o t h e r p r o v i d e d N i s l a r g e .
C . T h e P u n c t u r e r
W h i l e f o r d e e p s p a c e a p p l i c a t i o n s l o w - r a t e c o d e s a r e a p -
p r o p r i a t e , i n o t h e r s i t u a t i o n s s u c h a s s a t e l l i t e c o m m u n i -
c a t i o n s , a r a t e o f 1 / 2 o r h i g h e r i s p r e f e r r e d . T h e r o l e o f
t h e t u r b o c o d e p u n c t u r e r i s i d e n t i c a l t o t h a t o f i t s c o n v o l u -
t i o n a l c o d e c o u n t e r p a r t , t o p e r i o d i c a l l y d e l e t e s e l e c t e d b i t s
t o r e d u c e c o d i n g o v e r h e a d . F o r t h e c a s e o f i t e r a t i v e d e c o d -
i n g t o b e d i s c u s s e d b e l o w , i t i s p r e f e r r a b l e t o d e l e t e o n l y
p a r i t y b i t s a s i n d i c a t e d i n F i g . 1 , b u t t h e r e i s n o g u a r a n t e e
t h a t t h i s w i l l m a x i m i z e t h e m i n i m u m c o d e w o r d d i s t a n c e .
F o r e x a m p l e , t o a c h i e v e a r a t e o f 1 / 2 , o n e m i g h t d e l e t e a l l
e v e n p a r i t y b i t s f r o m t h e t o p e n c o d e r a n d a l l o d d p a r i t y
b i t s f r o m t h e b o t t o m o n e .
D . T h e T u r b o E n c o d e r a n d I t s P e r f o r m a n c e
A s w i l l b e e l a b o r a t e d u p o n i n t h e n e x t s e c t i o n , a
m a x i m u m - l i k e h o o d ( M L ) s e q u e n c e d e c o d e r w o u l d b e f a r
t o o c o m p l e x f o r a t u r b o c o d e d u e t o t h e p r e s e n c e o f t h e
p e r m u t e r . H o w e v e r , t h e s u b o p t i m u m i t e r a t i v e d e c o d i n g a l -
g o r i t h m t o b e d e s c r i b e d t h e r e o e r s n e a r - M L p e r f o r m a n c e .
H e n c e , w e s h a l l n o w e s t i m a t e t h e p e r f o r m a n c e o f a n M L
d e c o d e r ( a n a l y s i s o f t h e i t e r a t i v e d e c o d e r i s m u c h m o r e
d i c u l t ) .
A r m e d w i t h t h e a b o v e d e s c r i p t i o n s o f t h e c o m p o n e n t s o f
t h e t u r b o e n c o d e r o f F i g . 1 , i t i s e a s y t o c o n c l u d e t h a t i t
i s l i n e a r s i n c e i t s c o m p o n e n t s a r e l i n e a r . T h e c o n s t i t u e n t
c o d e s a r e c e r t a i n l y l i n e a r , a n d t h e p e r m u t e r i s l i n e a r s i n c e
i t m a y b e m o d e l e d b y a p e r m u t a t i o n m a t r i x . F u r t h e r ,
t h e p u n c t u r e r d o e s n o t a e c t l i n e a r i t y s i n c e a l l c o d e w o r d s
s h a r e t h e s a m e p u n c t u r e l o c a t i o n s . A s u s u a l , t h e i m p o r -
t a n c e o f l i n e a r i t y i s t h a t , i n c o n s i d e r i n g t h e p e r f o r m a n c e
o f a c o d e , o n e m a y c h o o s e t h e a l l - z e r o s s e q u e n c e a s a r e f -
e r e n c e . T h u s , h e r e a f t e r w e s h a l l a s s u m e t h a t t h e a l l - z e r o s
c o d e w o r d w a s t r a n s m i t t e d .
N o w c o n s i d e r t h e a l l - z e r o s c o d e w o r d ( t h e 0
t h
c o d e w o r d )
a n d t h e k
t h
c o d e w o r d , f o r s o m e k 2 f 1 ; 2 ; : : : ; 2
N
1 g . T h e
M L d e c o d e r w i l l c h o o s e t h e k
t h
c o d e w o r d o v e r t h e 0
t h
c o d e -
w o r d w i t h p r o b a b i l i t y Q
p
2 d
k
r E
b
= N
0
w h e r e r i s t h e
c o d e r a t e a n d d
k
i s t h e w e i g h t o f t h e k
t h
c o d e w o r d . T h e
b i t e r r o r r a t e f o r t h i s t w o - c o d e w o r d s i t u a t i o n w o u l d t h e n
b e
P
b
( k j 0 ) = w
k
( b i t e r r o r s / c w e r r o r )
1
N
( c w / d a t a b i t s )
Q
p
2 r d
k
E
b
= N
0
( c w e r r o r s / c w )
=
w
k
N
Q
r
2 r d
k
E
b
N
0
!
( b i t e r r o r s / d a t a b i t )
w h e r e w
k
i s t h e w e i g h t o f t h e k
t h
d a t a w o r d . N o w i n c l u d i n g
a l l o f t h e c o d e w o r d s a n d i n v o k i n g t h e u s u a l u n i o n b o u n d i n g
a r g u m e n t , w e m a y w r i t e
P
b
= P
b
( c h o o s e a n y k 2 f 1 ; 2 ; : : : ; 2
N
1 g j 0 )
2
N
1
X
k = 1
P
b
( k j 0 )
=
2
N
1
X
k = 1
w
k
N
Q
r
2 r d
k
E
b
N
0
!
.
N o t e t h a t e v e r y n o n - z e r o c o d e w o r d i s i n c l u d e d i n t h e a b o v e
s u m m a t i o n . L e t u s n o w r e o r g a n i z e t h e s u m m a t i o n a s
P
b
N
X
w = 1
(
N
w
)
X
v = 1
w
N
Q
r
2 r d
w v
E
b
N
0
!
( 1 )
-
8/6/2019 A Turbo Codes Ryan)
3/9
w h e r e t h e r s t s u m i s o v e r t h e w e i g h t - w i n p u t s , t h e s e c o n d
s u m i s o v e r t h e
N
w
d i e r e n t w e i g h t - w i n p u t s , a n d d
w v
i s
t h e w e i g h t o f t h e v
t h
c o d e w o r d p r o d u c e d b y a w e i g h t - w
i n p u t .
C o n s i d e r n o w t h e r s t f e w t e r m s i n t h e o u t e r s u m m a t i o n
o f ( 1 ) .
w = 1 : F r o m C o r o l l a r y 1 a n d a s s o c i a t e d d i s c u s s i o n
a b o v e , w e i g h t - o n e i n p u t s w i l l p r o d u c e o n l y l a r g e w e i g h t
c o d e w o r d s a t b o t h c o n s t i t u e n t e n c o d e r o u t p u t s s i n c e t h e
t r e l l i s p a t h s c r e a t e d n e v e r r e m e r g e w i t h t h e a l l - z e r o s p a t h .
T h u s , e a c h d
1 v
i s s i g n i c a n t l y g r e a t e r t h a n t h e m i n i m u m
c o d e w o r d w e i g h t s o t h a t t h e w = 1 t e r m s i n ( 1 ) w i l l b e
n e g l i g i b l e .
w = 2 : O f t h e
N
2
w e i g h t - t w o e n c o d e r i n p u t s , o n l y a
f r a c t i o n w i l l b e d i v i s i b l e b y g
1
( D ) ( i . e . , y i e l d r e m e r g e n t
p a t h s ) a n d , o f t h e s e , o n l y c e r t a i n o n e s w i l l y i e l d t h e s m a l l -
e s t w e i g h t , d
C C
2 ; m i n
; a t a c o n s t i t u e n t e n c o d e r o u t p u t ( h e r e ,
C C d e n o t e s \ c o n s t i t u e n t c o d e " ) . F u r t h e r , w i t h t h e p e r -
m u t e r p r e s e n t , i f a n i n p u t u ( D ) o f w e i g h t - t w o y i e l d s a
w e i g h t - d
C C
2 ; m i n
c o d e w o r d a t t h e r s t e n c o d e r ' s o u t p u t , i t i s
u n l i k e l y t h a t t h e p e r m u t e d i n p u t , u
0
( D ) , s e e n b y t h e s e c -
o n d e n c o d e r w i l l a l s o c o r r e s p o n d t o a w e i g h t - d
C C
2 ; m i n
c o d e -
w o r d ( m u c h l e s s , b e d i v i s i b l e b y g
1
( D ) ) . W e c a n b e s u r e ,
h o w e v e r , t h a t t h e r e w i l l b e s o m e m i n i m u m - w e i g h t t u r b o
c o d e w o r d p r o d u c e d b y a w = 2 i n p u t , a n d t h a t t h i s m i n i -
m u m w e i g h t c a n b e b o u n d e d a s
d
T C
2 ; m i n
2 d
C C
2 ; m i n
2 ;
w i t h e q u a l i t y w h e n b o t h o f t h e c o n s t i t u e n t e n c o d e r s p r o -
d u c e w e i g h t - d
C C
2 ; m i n
c o d e w o r d s ( m i n u s 2 f o r t h e b o t t o m e n -
c o d e r ) . T h e e x a c t v a l u e o f d
T C
2 ; m i n
i s p e r m u t e r d e p e n d e n t .
W e w i l l d e n o t e t h e n u m b e r o f w e i g h t - t w o i n p u t s w h i c h
p r o d u c e w e i g h t - d
T C
2 ; m i n
t u r b o c o d e w o r d s b y n
2
s o t h a t , f o r
w = 2 , t h e i n n e r s u m i n ( 1 ) m a y b e a p p r o x i m a t e d a s
(
N
2
)
X
v = 1
2
N
Q
r
2 r d
2 v
E
b
N
0
!
'
2 n
2
N
Q
0
@
s
2 r d
T C
2 ; m i n
E
b
N
0
1
A
: ( 2 )
w = 3 : F o l l o w i n g a n a r g u m e n t s i m i l a r t o t h e w = 2 c a s e ,
w e c a n a p p r o x i m a t e t h e i n n e r s u m i n ( 1 ) f o r w = 3 a s
(
N
3
)
X
v = 1
3
N
Q
r
2 r d
3 v
E
b
N
0
!
'
3 n
3
N
Q
0
@
s
2 r d
T C
3 ; m i n
E
b
N
0
1
A
; ( 3 )
w h e r e n
3
a n d d
T C
3 ; m i n
a r e o b v i o u s l y d e n e d . W h i l e n
3
i s
c l e a r l y d e p e n d e n t o n t h e i n t e r l e a v e r , w e c a n m a k e s o m e
c o m m e n t s o n i t s s i z e r e l a t i v e t o n
2
f o r a \ r a n d o m l y g e n e r -
a t e d " i n t e r l e a v e r . A l t h o u g h t h e r e a r e ( N 2 ) = 3 t i m e s a s
m a n y w = 3 t e r m s i n t h e i n n e r s u m m a t i o n o f ( 1 ) a s t h e r e
a r e w = 2 t e r m s , w e c a n e x p e c t t h e n u m b e r o f w e i g h t - t h r e e
t e r m s d i v i s i b l e b y g
1
( D ) t o b e o f t h e o r d e r o f t h e n u m b e r
o f w e i g h t - t w o t e r m s d i v i s i b l e b y g
1
( D ) : T h u s , m o s t o f t h e
N
3
t e r m s i n ( 1 ) c a n b e r e m o v e d f r o m c o n s i d e r a t i o n f o r
t h i s r e a s o n . M o r e o v e r , g i v e n a w e i g h t - t h r e e e n c o d e r i n p u t
u ( D ) d i v i s i b l e b y g
1
( D ) ( e . g . , g
1
( D ) i t s e l f i n t h e a b o v e e x -
a m p l e ) , i t b e c o m e s v e r y u n l i k e l y t h a t t h e p e r m u t e d i n p u t
u
0
( D ) s e e n b y t h e s e c o n d e n c o d e r w i l l a l s o b e d i v i s i b l e b y
g
1
( D ) . F o r e x a m p l e , s u p p o s e u ( D ) = g
1
( D ) = 1 + D + D
4
:
T h e n t h e p e r m u t e r o u t p u t w i l l b e a m u l t i p l e o f g
1
( D ) i f
t h e t h r e e i n p u t
1
' s b e c o m e t h e j
t h
; ( j + 1 )
t h
; a n d ( j + 4 )
t h
b i t s o u t o f t h e p e r m u t e r , f o r s o m e j . I f w e i m a g i n e t h a t t h e
p e r m u t e r a c t s i n a p u r e l y r a n d o m f a s h i o n s o t h a t t h e p r o b -
a b i l i t y t h a t o n e o f t h e
1
' s l a n d s a g i v e n p o s i t i o n i s 1 = N , t h e
p e r m u t e r o u t p u t w i l l b e D
j
g
1
( D ) = D
j
1 + D + D
4
w i t h
p r o b a b i l i l i t y 3 ! = N
3
:
1
F o r c o m p a r i s o n , f o r w = 2 i n p u t s ,
a g i v e n p e r m u t e r o u t p u t p a t t e r n o c c u r s w i t h p r o b a b i l i t y
2 ! = N
2
. T h u s , w e w o u l d e x p e c t t h e n u m b e r o f w e i g h t - t h r e e
i n p u t s , n
3
; r e s u l t i n g i n r e m e r g e n t p a t h s i n b o t h e n c o d e r s
t o b e m u c h l e s s t h a n n
2
,
n
3
< < n
2
;
w i t h t h e r e s u l t b e i n g t h a t t h e i n n e r s u m i n ( 1 ) f o r w = 3
i s n e g l i g i b l e r e l a t i v e t o t h a t f o r w = 2 .
2
w 4 : A g a i n w e c a n a p p r o x i m a t e t h e i n n e r s u m i n ( 1 )
f o r w = 4 i n t h e s a m e m a n n e r a s i n ( 2 ) a n d ( 3 ) . S t i l l
w e w o u l d l i k e t o m a k e s o m e c o m m e n t s o n i t s s i z e f o r t h e
\ r a n d o m " i n t e r l e a v e r . A w e i g h t - f o u r i n p u t m i g h t a p p e a r
t o t h e r s t e n c o d e r a s a w e i g h t - t h r e e i n p u t c o n c a t e n a t e d
s o m e t i m e l a t e r w i t h a w e i g h t - o n e i n p u t , l e a d i n g t o a n o n -
r e m e r g e n t p a t h i n t h e t r e l l i s a n d , h e n c e , a n e g l i g i b l e t e r m
i n t h e i n n e r s u m i n ( 1 ) . I t m i g h t a l s o a p p e a r a s a c o n c a t e -
n a t i o n o f t w o w e i g h t - t w o i n p u t s , i n w h i c h c a s e t h e t u r b o
c o d e w o r d w e i g h t i s a t l e a s t 2 d
T C
2 ; m i n
; a g a i n l e a d i n g t o a n e g -
l i g i b l e t e r m i n ( 1 ) . F i n a l l y , i f i t h a p p e n s t o b e s o m e o t h e r
p a t t e r n d i v i s i b l e b y g
1
( D ) a t t h e r s t e n c o d e r , w i t h p r o b -
a b i l i t y o n t h e o r d e r o f 1 = N
3
i t w i l l b e s i m u l t a n e o u s l y d i -
v i s i b l e b y g
1
( D ) a t t h e s e c o n d e n c o d e r .
3
T h u s , w e m a y
e x p e c t n
4
< < n
2
s o t h a t t h e w 4 t e r m s a r e n e g l i g i b l e i n
( 1 ) . T h e c a s e s f o r w > 4 a r e a r g u e d s i m i l a r l y .
T o s u m m a r i z e , t h e b o u n d i n ( 1 ) c a n b e a p p r o x i m a t e d a s
P
b
' m a x
w 2
8
-
8/6/2019 A Turbo Codes Ryan)
4/9
w e o b s e r v e t h a t P
b
d e c r e a s e s w i t h N , s o t h a t t h e e r r o r r a t e
c a n b e r e d u c e d s i m p l y b y i n c r e a s i n g t h e i n t e r l e a v e r l e n g t h .
T h i s e e c t i s c a l l e d
i n t e r l e a v e r g a i n
( o r p e r m u t e r g a i n ) a n d
d e m o n s t r a t e s t h e n e c e s s i t y o f l a r g e p e r m u t e r s . F i n a l l y , w e
n o t e t h a t r e c u r s i v e e n c o d e r s a r e c r u c i a l e l e m e n t s o f a t u r b o
c o d e s i n c e , f o r n o n - r e c u r s i v e e n c o d e r s , d i v i s i o n b y g
1
( D )
( n o n - r e m e r g e n t t r e l l i s p a t h s ) w o u l d n o t b e a n i s s u e a n d
( 4 ) w o u l d n o t h o l d ( a l t h o u g h ( 1 ) s t i l l w o u l d ) .
E x a m p l e 2
. W e c o n s i d e r t h e p e r f o r m a n c e o f a r a t e 1 / 2 ,
( 3 1 , 3 3 ) t u r b o c o d e f o r t w o d i e r e n t i n t e r l e a v e r s o f s i z e
N = 1 0 0 0 . W e s t a r t r s t w i t h a n i n t e r l e a v e r t h a t w a s
r a n d o m l y g e n e r a t e d . W e f o u n d f o r t h i s p a r t i c u l a r i n t e r -
l e a v e r , n
2
= 0 a n d n
3
= 1 , w i t h d
T C
3 ; m i n
= 9 , s o t h a t t h e
w = 3 t e r m d o m i n a t e s i n ( 4 ) . I n t e r e s t i n g l y , t h e i n t e r -
l e a v e r i n p u t c o r r e s p o n d i n g t o t h i s d o m i n a n t e r r o r e v e n t
w a s D
1 6 8
( 1 + D
5
+ D
1 0
) w h i c h p r o d u c e s t h e i n t e r l e a v e r
o u t p u t D
8 8
( 1 + D
1 5
+ D
8 4 8
) , w h e r e o f c o u r s e b o t h p o l y -
n o m i a l s a r e d i v i s i b l e b y g
1
( D ) = 1 + D + D
4
. F i g u r e 3
g i v e s t h e s i m u l a t e d p e r f o r m a n c e o f o f t h i s c o d e f o r 1 5 i t e r -
a t i o n s o f t h e i t e r a t i v e d e c o d i n g a l g o r i t h m d e t a i l e d i n t h e
n e x t s e c t i o n . A l s o i n c l u d e d i n F i g . 3 i s t h e e s t i m a t e o f ( 4 )
f o r t h e s a m e i n t e r l e a v e r w h i c h i s o b s e r v e d t o b e v e r y c l o s e
t o t h e s i m u l a t e d v a l u e s . T h e i n t e r l e a v e r w a s t h e n m o d i e d
b y h a n d t o i m p r o v e t h e w e i g h t s p e c t r u m o f t h e c o d e . I t
w a s a s i m p l e m a t t e r t o a t t a i n n
2
= 1 w i t h d
T C
2 ; m i n
= 1 2 a n d
n
3
= 4 w i t h d
T C
3 ; m i n
= 1 5 f o r t h i s s e c o n d i n t e r l e a v e r s o t h a t
t h e w = 2 t e r m n o w d o m i n a t e s i n ( 4 ) . T h e s i m u l a t e d a n d
e s t i m a t e d p e r f o r m a n c e c u r v e s f o r t h i s s e c o n d i n t e r l e a v e r
a r e a l s o i n c l u d e d i n F i g . 3 .
I n a d d i t i o n t o i l l u s t r a t i n g t h e u s e o f t h e e s t i m a t e ( 4 ) ,
t h i s e x a m p l e h e l p s e x p l a i n t h e u n u s u a l s h a p e o f t h e e r r o r
r a t e c u r v e : i t m a y b e i n t e r p r e t e d a s t h e u s u a l Q - f u n c t i o n
s h a p e f o r a s i g n a l i n g s c h e m e w i t h a m o d e s t d
m i n
; \ p u s h e d
d o w n " b y t h e i n t e r l e a v e r g a i n w
n
w
= N , w h e r e w
i s t h e
m a x i m i z i n g v a l u e o f w i n ( 4 ) .
I I I . T h e D e c o d e r
C o n s i d e r r s t a n M L d e c o d e r f o r a r a t e 1 / 2 c o n v o l u t i o n a l
c o d e ( r e c u r s i v e o r n o t ) , a n d a s s u m e a d a t a w o r d o f l e n g t h
N , N 1 0 0 0 s a y . I g n o r i n g t h e s t r u c t u r e o f t h e c o d e , a
n a i v e M L d e c o d e r w o u l d h a v e t o c o m p a r e ( c o r r e l a t e ) 2
N
c o d e s e q u e n c e s t o t h e n o i s y r e c e i v e d s e q u e n c e , c h o o s i n g
i n f a v o r o f t h e c o d e w o r d w i t h t h e b e s t c o r r e l a t i o n m e t -
r i c . C l e a r l y , t h e c o m p l e x i t y o f s u c h a n a l g o r i t h m i s e x o r b i -
t a n t . F o r t u n a t e l y , a s w e k n o w , s u c h a b r u t e f o r c e a p p r o a c h
i s s i m p l i e d g r e a t l y b y V i t e r b i ' s a l g o r i t h m w h i c h p e r m i t s
a s y s t e m a t i c e l i m i n a t i o n o f c a n d i d a t e c o d e s e q u e n c e s ( i n
t h e r s t s t e p , 2
N 1
a r e e l i m i n a t e d , t h e n a n o t h e r 2
N 2
a r e
e l i m i n a t e d o n t h e s e c o n d s t e p , a n d s o o n ) . U n f o r t u n a t e l y ,
w e h a v e n o s u c h l u c k w i t h t u r b o c o d e s , f o r t h e p r e s e n c e
o f t h e p e r m u t e r i m m e n s e l y c o m p l i c a t e s t h e s t r u c t u r e o f a
t u r b o c o d e t r e l l i s , m a k i n g t h e s e c o d e s l o o k m o r e l i k e b l o c k
c o d e s .
J u s t p r i o r t o t h e d i s c o v e r y o f t u r b o c o d e s , t h e r e w a s
m u c h i n t e r e s t i n t h e c o d i n g c o m m u n i t y i n s u b o p t i m a l d e -
c o d i n g s t r a t e g i e s f o r c o n c a t e n a t e d c o d e s , i n v o l v i n g m u l -
t i p l e ( u s u a l l y t w o ) d e c o d e r s o p e r a t i n g c o o p e r a t i v e l y a n d
i t e r a t i v e l y . M o s t o f t h e f o c u s w a s o n a t y p e o f V i t e r b i d e -
c o d e r w h i c h p r o v i d e s s o f t - o u t p u t ( o r r e l i a b i l i t y ) i n f o r m a -
t i o n t o a c o m p a n i o n s o f t - o u t p u t V i t e r b i d e c o d e r f o r u s e i n
a s u b s e q u e n t d e c o d i n g [ 1 0 ] . A l s o r e c e i v i n g s o m e a t t e n t i o n
w a s t h e s y m b o l - b y - s y m b o l m a x i m u m
a p o s t e r i o r i
( M A P )
a l g o r i t h m o f B a h l ,
e t a l
[ 1 1 ] , p u b l i s h e d o v e r 2 0 y e a r s a g o .
I t w a s t h i s l a t t e r a l g o r i t h m , o f t e n c a l l e d t h e B C J R a l g o -
r i t h m , t h a t B e r r o u ,
e t a l
[ 1 ] , u t i l i z e d i n t h e i t e r a t i v e d e -
c o d i n g o f t u r b o c o d e s . W e w i l l d i s c u s s i n t h i s s e c t i o n t h e
B C J R a l g o r i t h m e m p l o y e d b y e a c h c o n s t i t u e n t d e c o d e r ,
b u t w e r e f e r t h e r e a d e r t o [ 1 1 ] f o r t h e d e r i v a t i o n s o f s o m e
o f t h e r e s u l t s .
W e r s t d i s c u s s a m o d i e d v e r s i o n o f t h e B C J R a l g o -
r i t h m f o r p e r f o r m i n g s y m b o l - b y - s y m b o l M A P d e c o d i n g .
W e t h e n s h o w h o w t h i s a l g o r i t h m i s i n c o r p o r a t e d i n t o a n
i t e r a t i v e d e c o d e r e m p l o y i n g t w o B C J R - M A P d e c o d e r s . W e
s h a l l r e q u i r e t h e f o l l o w i n g d e n i t i o n s :
- E 1 i s a n o t a t i o n f o r e n c o d e r 1
- E 2 i s a n o t a t i o n f o r e n c o d e r 2
- D 1 i s a n o t a t i o n f o r d e c o d e r 1
- D 2 i s a n o t a t i o n f o r d e c o d e r 2
- m i s t h e c o n s t i t u e n t e n c o d e r m e m o r y
- S i s t h e s e t o f a l l 2
m
c o n s t i t u e n t e n c o d e r s t a t e s
-
x
s
= ( x
s
1
; x
s
2
; : : : ; x
s
N
) = ( u
1
; u
2
; : : : ; u
N
) i s t h e e n c o d e r
i n p u t w o r d
-
x
p
= ( x
p
1
; x
p
2
; : : : ; x
p
N
) i s t h e p a r i t y w o r d g e n e r a t e d b y
a c o n s t i t u e n t e n c o d e r
- y
k
= ( y
s
k
; y
p
k
) i s a n o i s y ( A W G N ) v e r s i o n o f ( x
s
k
; x
p
k
)
-
y
b
a
= ( y
a
; y
a + 1
; : : : ; y
b
)
-
y
=
y
N
1
= ( y
1
; y
2
; : : : ; y
N
) i s t h e n o i s y r e c e i v e d c o d e -
w o r d
A . T h e M o d i e d B C J R A l g o r i t h m
I n t h e s y m b o l - b y - s y m b o l M A P d e c o d e r , t h e d e c o d e r d e -
c i d e s u
k
= + 1 i f P ( u
k
= + 1 j
y
) > P ( u
k
= 1 j
y
) , a n d i t
d e c i d e s u
k
= 1 o t h e r w i s e . M o r e s u c c i n c t l y , t h e d e c i s i o n
u
k
i s g i v e n b y
u
k
= s i g n [ L ( u
k
) ]
w h e r e L ( u
k
) i s t h e l o g
a p o s t e r i o r i
p r o b a b i l i t y ( L A P P )
r a t i o d e n e d a s
L ( u
k
)
,
l o g
P ( u
k
= + 1 j
y
)
P ( u
k
= 1 j
y
)
:
I n c o r p o r a t i n g t h e c o d e ' s t r e l l i s , t h i s m a y b e w r i t t e n a s
L ( u
k
) = l o g
0
@
P
S
+
p ( s
k 1
= s
0
; s
k
= s ;
y
) = p (
y
)
P
S
p ( s
k 1
= s
0
; s
k
= s ;
y
) = p (
y
)
1
A
( 5 )
-
8/6/2019 A Turbo Codes Ryan)
5/9
w h e r e s
k
2 S i s t h e s t a t e o f t h e e n c o d e r a t t i m e k , S
+
i s
t h e s e t o f o r d e r e d p a i r s ( s
0
; s ) c o r r e s p o n d i n g t o a l l s t a t e
t r a n s i t i o n s ( s
k 1
= s
0
) ! ( s
k
= s ) c a u s e d b y d a t a i n p u t
u
k
= + 1 , a n d S
i s s i m i l a r l y d e n e d f o r u
k
= 1 .
O b s e r v e w e m a y c a n c e l p (
y
) i n ( 5 ) w h i c h m e a n s w e
r e q u i r e o n l y a n a l g o r i t h m f o r c o m p u t i n g p ( s
0
; s ;
y
) =
p ( s
k 1
= s
0
; s
k
= s ;
y
) : T h e B C J R a l g o r i t h m [ 1 1 ] f o r d o i n g
t h i s i s
p ( s
0
; s ;
y
) =
k 1
( s
0
)
k
( s
0
; s )
k
( s ) ( 6 )
w h e r e
k
( s )
,
p ( s
k
= s ;
y
k
1
) i s c o m p u t e d r e c u r s i v e l y a s
k
( s ) =
X
s
0
2 S
k 1
( s
0
)
k
( s
0
; s ) ( 7 )
w i t h i n i t i a l c o n d i t i o n s
0
( 0 ) = 1 a n d
0
( s 6= 0 ) = 0 : ( 8 )
( T h e s e c o n d i t i o n s s t a t e t h a t t h e e n c o d e r i s e x p e c t e d t o
s t a r t i n s t a t e 0 . ) T h e p r o b a b i l i t y
k
( s
0
; s ) i n ( 7 ) i s d e n e d
a s
k
( s
0
; s )
,
p ( s
k
= s ; y
k
j s
k 1
= s
0
) ( 9 )
a n d w i l l b e d i s c u s s e d f u r t h e r b e l o w . T h e p r o b a b i l i t i e s
k
( s )
,
p (
y
N
k + 1
j s
k
= s ) i n ( 6 ) a r e c o m p u t e d i n a \ b a c k -
w a r d " r e c u r s i o n a s
k 1
( s
0
) =
X
s 2 S
k
( s )
k
( s
0
; s ) ( 1 0 )
w i t h b o u n d a r y c o n d i t i o n s
N
( 0 ) = 1 a n d
N
( s 6= 0 ) = 0 : ( 1 1 )
( T h e e n c o d e r i s e x p e c t e d t o e n d i n s t a t e 0 a f t e r N i n p u t
b i t s , i m p l y i n g t h a t t h e l a s t m i n p u t b i t s , c a l l e d
t e r m i n a t i o n
b i t s
, a r e s o s e l e c t e d . )
U n f o r t u n a t e l y , c a n c e l l i n g t h e d i v i s o r p (
y
) i n ( 5 ) l e a d s
t o a n u m e r i c a l l y u n s t a b l e a l g o r i t h m . W e c a n i n c l u d e d i -
v i s i o n b y p (
y
) = p ( y
k
) i n t h e B C J R a l g o r i t h m
4
b y d e n i n g
m o d i e d p r o b a b i l i t i e s
~
k
( s ) =
k
( s ) = p (
y
k
1
)
a n d
~
k
( s ) =
k
( s ) = p (
y
N
k + 1
j
y
k
1
) :
D i v i d i n g ( 6 ) b y p (
y
) = p ( y
k
) = p (
y
k 1
1
) p (
y
N
k + 1
j
y
k
1
) , w e
o b t a i n
p ( s
0
; s j
y
) p ( y
k
) = ~
k 1
( s
0
)
k
( s
0
; s )
~
k
( s ) : ( 1 2 )
N o t e s i n c e p (
y
k
1
) =
P
s 2 S
k
( s ) ; t h e v a l u e s ~
k
( s ) m a y b e
c o m p u t e d f r o m f
k
( s ) : s 2 S g v i a
~
k
( s ) =
k
( s ) =
X
s 2 S
k
( s ) : ( 1 3 )
"
U n f o r t u n a t e l y , d i v i d i n g b y s i m p l y p ( O ) t o o b t a i n p ( s
; s j O ) a l s o
l e a d s t o a n u n s t a b l e a l g o r i t h m . O b t a i n i n g p ( s
; s j O ) p ( y
k
) i n s t e a d
o f t h e A P P p ( s
; s j O ) p r e s e n t s n o p r o b l e m s i n c e a n A P P r a t i o i s
c o m p u t e d s o t h a t t h e u n w a n t e d f a c t o r p ( y
k
) c a n c e l s ; s e e e q u a t i o n
( 1 6 ) b e l o w .
B u t s i n c e w e w o u l d l i k e t o a v o i d s t o r i n g b o t h f
k
( s ) g a n d
f ~
k
( s ) g , w e c a n u s e ( 7 ) i n ( 1 3 ) t o o b t a i n a r e c u r s i o n i n -
v o l v i n g o n l y f ~
k
( s ) g ,
~
k
( s ) =
P
s
0
k 1
( s
0
)
k
( s
0
; s )
P
s
P
s
0
k 1
( s
0
)
k
( s
0
; s )
=
P
s
0
~
k 1
( s
0
)
k
( s
0
; s )
P
s
P
s
0
~
k 1
( s
0
)
k
( s
0
; s )
; ( 1 4 )
w h e r e t h e s e c o n d e q u a l i t y f o l l o w s b y d i v i d i n g t h e n u m e r a -
t o r a n d t h e d e n o m i n a t o r b y p (
y
k 1
1
) .
T h e r e c u r s i o n f o r
~
k
( s ) c a n b e o b t a i n e d b y n o t i c i n g t h a t
p (
y
N
k
j
y
k 1
1
) = p (
y
k
1
)
p (
y
N
k + 1
j
y
k
1
)
p (
y
k 1
1
)
=
X
s
X
s
0
k 1
( s
0
)
k
( s
0
; s )
p (
y
N
k + 1
j
y
k
1
)
p (
y
k 1
1
)
=
X
s
X
s
0
~
k 1
( s
0
)
k
( s
0
; s ) p (
y
N
k + 1
j
y
k
1
)
s o t h a t d i v i d i n g ( 1 0 ) b y t h i s e q u a t i o n y i e l d s
~
k 1
( s
0
) =
P
s
~
k
( s )
k
( s
0
; s )
P
s
P
s
0
~
k 1
( s
0
)
k
( s
0
; s )
: ( 1 5 )
I n s u m m a r y , t h e m o d i e d B C J R - M A P a l g o r i t h m i n -
v o l v e s c o m p u t i n g t h e L A P P r a t i o L ( u
k
) b y c o m b i n i n g ( 5 )
a n d ( 1 2 ) t o o b t a i n
L ( u
k
) = l o g
0
B
@
P
S
+
~
k 1
( s
0
)
k
( s
0
; s )
~
k
( s )
P
S
~
k 1
( s
0
)
k
( s
0
; s )
~
k
( s )
1
C
A
( 1 6 )
w h e r e t h e ~ ' s a n d
~
' s a r e c o m p u t e d r e c u r s i v e l y v i a ( 1 4 )
a n d ( 1 5 ) , r e s p e c t i v e l y . C l e a r l y t h e f ~
k
( s ) g a n d f
~
k
( s ) g
s h a r e t h e s a m e b o u n d a r y c o n d i t i o n s a s t h e i r c o u n t e r p a r t s
a s g i v e n i n ( 8 ) a n d ( 1 1 ) . C o m p u t a t i o n o f t h e p r o b a b i l i t i e s
k
( s
0
; s ) w i l l b e d i s c u s s e d s h o r t l y .
O n t h e t o p i c o f s t a b i l i t y , w e s h o u l d p o i n t o u t a l s o t h a t
t h e a l g o r i t h m g i v e n h e r e w o r k s i n s o f t w a r e , b u t a h a r d -
w a r e i m p l e m e n t a t i o n w o u l d e m p l o y t h e \ l o g - M A P " a l g o -
r i t h m [ 1 2 ] , [ 1 4 ] . I n f a c t , m o s t s o f t w a r e i m p l e m e n t a t i o n s
t h e s e d a y s u s e t h e l o g - M A P , a l t h o u g h t h e y c a n b e s l o w e r
t h a n t h e a l g o r i t h m p r e s e n t e d h e r e i f n o t d o n e c a r e f u l l y .
T h e a l g o r i t h m p r e s e n t e d h e r e i s c l o s e t o t h e e a r l i e r t u r b o
d e c o d i n g a l g o r i t h m s [ 1 ] , [ 1 3 ] , [ 4 ] .
B . I t e r a t i v e M A P D e c o d i n g
F r o m B a y e s ' r u l e , t h e L A P P r a t i o f o r a n a r b i t r a r y M A P
d e c o d e r c a n b e w r i t t e n a s
L ( u
k
) = l o g
P (
y
j u
k
= + 1 )
P (
y
j u
k
= 1 )
+ l o g
P ( u
k
= + 1 )
P ( u
k
= 1 )
w i t h t h e s e c o n d t e r m r e p r e s e n t i n g
a p r i o r i
i n f o r m a t i o n .
S i n c e P ( u
k
= + 1 ) = P ( u
k
= 1 ) t y p i c a l l y , t h e
a p r i -
o r i
t e r m i s u s u a l l y z e r o f o r c o n v e n t i o n a l d e c o d e r s . H o w -
e v e r , f o r
i t e r a t i v e
d e c o d e r s , D 1 r e c e i v e s
e x t r i n s i c
o r
s o f t
-
8/6/2019 A Turbo Codes Ryan)
6/9
i n f o r m a t i o n f o r e a c h u
k
f r o m D 2 w h i c h s e r v e s a s
a p r i -
o r i
i n f o r m a t i o n . S i m i l a r l y , D 2 r e c e i v e s e x t r i n s i c i n f o r -
m a t i o n f r o m D 1 a n d t h e d e c o d i n g i t e r a t i o n p r o c e e d s a s
D 1 ! D 2 ! D 1 ! D 2 ! . . . , w i t h t h e p r e v i o u s d e c o d e r p a s s i n g
s o f t i n f o r m a t i o n a l o n g t o t h e n e x t d e c o d e r a t e a c h h a l f -
i t e r a t i o n e x c e p t f o r t h e r s t . T h e i d e a b e h i n d e x t r i n s i c
i n f o r m a t i o n i s t h a t D 2 p r o v i d e s s o f t i n f o r m a t i o n t o D 1 f o r
e a c h u
k
, u s i n g o n l y i n f o r m a t i o n n o t a v a i l a b l e t o D 1 ( i . e . ,
E 2 p a r i t y ) ; D 1 d o e s l i k e w i s e f o r D 2 .
A n i t e r a t i v e d e c o d e r u s i n g c o m p o n e n t B C J R - M A P d e -
c o d e r s i s s h o w n i n F i g . 4 . O b s e r v e h o w p e r m u t e r s a n d
d e - p e r m u t e r s a r e i n v o l v e d i n a r r a n g i n g s y s t e m a t i c , p a r i t y ,
a n d e x t r i n s i c i n f o r m a t i o n i n t h e p r o p e r s e q u e n c e f o r e a c h
d e c o d e r .
W e n o w s h o w h o w e x t r i n s i c i n f o r m a t i o n i s e x t r a c t e d
f r o m t h e m o d i e d - B C J R v e r s i o n o f t h e L A P P r a t i o e m b o d -
i e d i n ( 1 6 ) . W e r s t o b s e r v e t h a t
k
( s
0
; s ) m a y b e w r i t t e n
a s ( c f . e q u a t i o n ( 9 ) )
k
( s
0
; s ) = P ( s j s
0
) p ( y
k
j s
0
; s )
= P ( u
k
) p ( y
k
j u
k
)
w h e r e t h e e v e n t u
k
c o r r e s p o n d s t o t h e e v e n t s
0
! s . D e n -
i n g
L
e
( u
k
)
,
l o g
P ( u
k
= + 1 )
P ( u
k
= 1 )
;
o b s e r v e t h a t w e m a y w r i t e
P ( u
k
) =
e x p [ L
e
( u
k
) = 2 ]
1 + e x p [ L
e
( u
k
) ]
e x p [ u
k
L
e
( u
k
) = 2 ]
= A
k
e x p [ u
k
L
e
( u
k
) = 2 ] ( 1 7 )
w h e r e t h e r s t e q u a l i t y f o l l o w s s i n c e i t e q u a l s
p
P
= P
+
1 + P
= P
+
!
p
P
+
= P
= P
+
w h e n u
k
= + 1 a n d
p
P
= P
+
1 + P
= P
+
!
p
P
= P
+
= P
w h e n u
k
= 1 :
w h e r e w e h a v e d e n e d P
+
,
P ( u
k
= + 1 ) a n d P
,
P ( u
k
= 1 ) f o r c o n v e n i e n c e . A s f o r p ( y
k
j u
k
) ; w e m a y
w r i t e ( r e c a l l y
k
= ( y
s
k
; y
p
k
) a n d x
k
= ( x
s
k
; x
p
k
) = ( u
k
; x
p
k
) )
p ( y
k
j u
k
) / e x p
( y
s
k
u
k
)
2
2
2
( y
p
k
x
p
k
)
2
2
2
= e x p
"
y
s 2
k
+ u
2
k
+ y
p 2
k
+ x
p 2
k
2
2
#
e x p
u
k
y
s
k
+ x
p
k
y
p
k
2
= B
k
e x p
y
s
k
u
k
+ y
p
k
x
p
k
2
s o t h a t
k
( s
0
; s ) / A
k
B
k
e x p [ u
k
L
e
( u
k
) = 2 ] e x p
u
k
y
s
k
+ x
p
k
y
p
k
2
:
( 1 8 )
N o w s i n c e
k
( s
0
; s ) a p p e a r s i n t h e n u m e r a t o r ( w h e r e
u
k
= + 1 ) a n d d e n o m i n a t o r ( w h e r e u
k
= 1 ) o f ( 1 6 ) , t h e
f a c t o r A
k
B
k
w i l l c a n c e l a s i t i s i n d e p e n d e n t o f u
k
. A l s o ,
s i n c e w e a s s u m e t r a n s m i s s i o n o f t h e s y m b o l s 1 o v e r t h e
c h a n n e l ,
E
c
N
0
= 2
=
1
2
s o t h a t
2
= N
0
= 2 E
c
w h e r e E
c
= r E
b
i s t h e e n e r g y p e r c h a n n e l b i t . F r o m ( 1 8 ) , w e t h e n h a v e
k
( s
0
; s ) e x p
1
2
u
k
( L
e
( u
k
) + L
c
y
s
k
) +
1
2
L
c
y
p
k
x
p
k
= e x p
1
2
u
k
( L
e
( u
k
) + L
c
y
s
k
)
e
k
( s
0
; s ) ( 1 9 )
w h e r e L
c
,
4 E
c
N
0
a n d w h e r e
e
k
( s
0
; s )
,
e x p
1
2
L
c
y
p
k
x
p
k
:
C o m b i n i n g ( 1 9 ) w i t h ( 1 6 ) w e o b t a i n
L ( u
k
) = l o g
0
B
@
P
S
+
~
k 1
( s
0
)
e
k
( s
0
; s )
~
k
( s ) C
k
P
S
~
k 1
( s
0
)
e
k
( s
0
; s )
~
k
( s ) C
k
1
C
A
= L
c
y
s
k
+ L
e
( u
k
) ( 2 0 )
+ l o g
0
B
@
P
S
+
~
k 1
( s
0
)
e
k
( s
0
; s )
~
k
( s )
P
S
~
k 1
( s
0
)
e
k
( s
0
; s )
~
k
( s )
1
C
A
:
w h e r e C
k
,
e x p
1
2
u
k
( L
e
( u
k
) + L
c
y
s
k
)
: T h e s e c o n d e q u a l -
i t y f o l l o w s s i n c e C
k
( u
k
= + 1 ) a n d C
k
( u
k
= 1 ) c a n b e
f a c t o r e d o u t o f t h e s u m m a t i o n s i n t h e n u m e r a t o r a n d d e -
n o m i n a t o r , r e s p e c t i v e l y . T h e r s t t e r m i n ( 2 0 ) i s s o m e -
t i m e s c a l l e d t h e
c h a n n e l v a l u e ,
t h e s e c o n d t e r m r e p r e s e n t s
a n y
a p r i o r i
i n f o r m a t i o n a b o u t u
k
p r o v i d e d b y a p r e v i o u s
d e c o d e r , a n d t h e t h i r d t e r m r e p r e s e n t s
e x t r i n s i c i n f o r m a -
t i o n
t h a t c a n b e p a s s e d o n t o a s u b s e q u e n t d e c o d e r . T h u s ,
f o r e x a m p l e , o n a n y g i v e n i t e r a t i o n , D 1 c o m p u t e s
L
1
( u
k
) = L
c
y
s
k
+ L
e
2 1
( u
k
) + L
e
1 2
( u
k
)
w h e r e L
e
2 1
( u
k
) i s e x t r i n s i c i n f o r m a t i o n p a s s e d f r o m D 2 t o
D 1 , a n d L
e
1 2
( u
k
) i s t h e t h i r d t e r m i n ( 2 0 ) w h i c h i s t o b e
u s e d a s e x t r i n s i c i n f o r m a t i o n f r o m D 1 t o D 2 .
C . P s e u d o - C o d e f o r t h e I t e r a t i v e D e c o d e r
W e d o n o t g i v e p s e u d o - c o d e f o r t h e e n c o d e r h e r e s i n c e
t h i s i s m u c h m o r e s t r a i g h t f o r w a r d . H o w e v e r , i t m u s t b e
e m p h a s i z e d t h a t a t l e a s t E 1 m u s t b e t e r m i n a t e d c o r r e c t l y
t o a v o i d s e r i o u s d e g r a d a t i o n . T h a t i s , t h e l a s t m b i t s o f
t h e N - b i t i n f o r m a t i o n w o r d t o b e e n c o d e d m u s t f o r c e E 1
t o t h e z e r o s t a t e b y t h e N
t h
b i t .
T h e p s e u d o - c o d e g i v e n b e l o w f o r i t e r a t i v e d e c o d i n g o f
a t u r b o c o d e f o l l o w s d i r e c t l y f r o m t h e d e v e l o p m e n t a b o v e .
I m p l i c i t i s t h e f a c t t h a t e a c h d e c o d e r m u s t h a v e f u l l k n o w l -
e d g e o f t h e t r e l l i s o f t h e c o n s t i t u e n t e n c o d e r s . F o r e x a m p l e ,
e a c h d e c o d e r m u s t h a v e a t a b l e ( a r r a y ) c o n t a i n i n g t h e i n -
p u t b i t s a n d p a r i t y b i t s f o r a l l p o s s i b l e s t a t e t r a n s i t i o n s
s
0
! s : A l s o r e q u i r e d a r e p e r m u t a t i o n a n d d e - p e r m u t a t i o n
-
8/6/2019 A Turbo Codes Ryan)
7/9
f u n c t i o n s ( a r r a y s ) s i n c e D 1 a n d D 2 w i l l b e s h a r i n g r e l i a -
b i l i t y i n f o r m a t i o n a b o u t e a c h u
k
, b u t D 2 ' s i n f o r m a t i o n i s
p e m u t e d r e l a t i v e t o D 1 . W e d e n o t e t h e s e a r r a y s b y P [ ]
a n d P i n v [ ] , r e s p e c t i v e l y . F o r e x a m p l e , t h e p e r m u t e d w o r d
u
0
i s o b t a i n e d f r o m t h e o r i g i n a l w o r d
u
v i a t h e p s e u d o - c o d e
s t a t e m e n t : f o r k = 1 : N , u
0
k
= u
P [ k ]
, e n d . W e n e x t p o i n t
o u t t h a t d u e t o t h e p r e s e n c e o f L
c
i n L ( u
k
) , k n o w l e d g e o f
t h e n o i s e v a r i a n c e N
0
= 2 b y e a c h M A P d e c o d e r i s n e c e s -
s a r y . F i n a l l y , w e m e n t i o n t h a t a s i m p l e w a y t o s i m u l a t e
p u n c t u r i n g i s , i n t h e c o m p u t a t i o n o f
k
( s
0
; s ) , t o s e t t o
z e r o t h e r e c e i v e d p a r i t y s a m p l e s , y
1 p
k
o r y
2 p
k
; c o r r e s p o n d i n g
t o t h e p u n c t u r e d p a r i t y b i t s , x
1 p
k
o r x
2 p
k
: T h u s , p u n c t u r i n g
n e e d n o t b e p e r f o r m e d a t t h e e n c o d e r .
= = = = = I n i t i a l i z a t i o n = = = = =
D 1 :
-
~
( 1 )
0
( s ) = 1 f o r s = 0
= 0 f o r s 6= 0
-
~
( 1 )
N
( s ) = 1 f o r s = 0
= 0 f o r s 6= 0
- L
e
2 1
( u
k
) = 0 f o r k = 1 ; 2 ; : : : ; N
D 2 :
-
~
( 2 )
0
( s ) = 1 f o r s = 0
= 0 f o r s 6= 0
-
~
( 2 )
N
( s ) = ~
( 2 )
N
( s ) f o r a l l s ( s e t a f t e r c o m p u t a t i o n o f
f ~
( 2 )
N
( s ) g i n t h e r s t i t e r a t i o n )
5
- L
e
1 2
( u
k
) i s t o b e d e t e r m i n e d f r o m D 1 a f t e r t h e r s t
h a l f - i t e r a t i o n a n d s o n e e d n o t b e i n i t i a l i z e d
= = = = = = = = = = = = = = = = = = = = = = =
= = = = = T h e n
t h
i n t e r a t i o n = = = = =
D 1 :
f o r k = 1 : N
- g e t y
k
= ( y
s
k
; y
1 p
k
) w h e r e y
1 p
k
i s a n o i s y v e r s i o n o f E 1
p a r i t y
- c o m p u t e
k
( s
0
; s ) f r o m ( 1 9 ) f o r a l l a l l o w a b l e s t a t e
t r a n s i t i o n s s
0
! s ( u
k
i n ( 1 9 ) i s s e t t o t h e v a l u e o f
t h e e n c o d e r i n p u t w h i c h c a u s e d t h e t r a n s i t i o n s
0
! s ;
L
e
( u
k
) i s i n t h i s c a s e L
e
2 1
( u
P i n v [ k ]
) , t h e d e - p e r m u t e d
e x t r i n s i c i n f o r m a t o n f r o m t h e p r e v i o u s D 2 i t e r a t i o n )
#
N o t e e n c o d e r 2 c a n n o t b e s i m p l y t e r m i n a t e d d u e t o t h e p r e s e n c e
o f t h e i n t e r l e a v e r . T h e s t r a t e g y i m p l i e d h e r e l e a d s t o a n e g l i g i b l e
l o s s i n p e r f o r m a n c e . O t h e r t e r m i n a t i o n s t r a t e g i e s c a n b e f o u n d i n
t h e l i t e r a t u r e ( e . g . , [ 1 5 ] ) .
- c o m p u t e ~
( 1 )
k
( s ) f o r a l l s u s i n g ( 1 4 )
e n d
f o r k = N : 1 : 2
- c o m p u t e
~
( 1 )
k 1
( s ) f o r a l l s u s i n g ( 1 5 )
e n d
f o r k = 1 : N
- c o m p u t e L
e
1 2
( u
k
) u s i n g
L
e
1 2
( u
k
) = l o g
0
B
@
P
S
+
~
( 1 )
k 1
( s
0
)
e
k
( s
0
; s )
~
( 1 )
k
( s )
P
S
~
( 1 )
k 1
( s
0
)
e
k
( s
0
; s )
~
( 1 )
k
( s )
1
C
A
e n d
D 2 :
f o r k = 1 : N
- g e t y
k
= ( y
s
P [ k ]
; y
2 p
k
)
- c o m p u t e
k
( s
0
; s ) f r o m ( 1 9 ) f o r a l l a l l o w a b l e s t a t e
t r a n s i t i o n s s
0
! s ( u
k
i n ( 1 9 ) i s s e t t o t h e v a l u e o f
t h e e n c o d e r i n p u t w h i c h c a u s e d t h e t r a n s i t i o n s
0
! s ;
L
e
( u
k
) i s L
e
1 2
( u
P [ k ]
) , t h e p e r m u t e d e x t r i n s i c i n f o r -
m a t o n f r o m t h e p r e v i o u s D 1 i t e r a t i o n ; y
s
k
i s t h e p e r -
m u t e d s y s t e m a t i c v a l u e , y
s
P [ k ]
)
- c o m p u t e ~
( 2 )
k
( s ) f o r a l l s u s i n g ( 1 4 )
e n d
f o r k = N : 1 : 2
- c o m p u t e
~
( 2 )
k 1
( s ) f o r a l l s u s i n g ( 1 5 )
e n d
f o r k = 1 : N
- c o m p u t e L
e
2 1
( u
k
) u s i n g
L
e
2 1
( u
k
) = l o g
0
B
@
P
S
+
~
( 2 )
k 1
( s
0
)
e
k
( s
0
; s )
~
( 2 )
k
( s )
P
S
~
( 2 )
k 1
( s
0
)
e
k
( s
0
; s )
~
( 2 )
k
( s )
1
C
A
e n d
= = = = = = = = = = = = = = = = = = = = = = = = = =
= = = = = A f t e r t h e l a s t i t e r a t i o n = = = = =
f o r k = 1 : N
- c o m p u t e
L
1
( u
k
) = L
c
y
s
k
+ L
e
2 1
( u
P i n v [ k ]
) + L
e
1 2
( u
k
)
- i f L
1
( u
k
) > 0
d e c i d e u
k
= + 1
-
8/6/2019 A Turbo Codes Ryan)
8/9
e l s e
d e c i d e u
k
= 1
e n d
= = = = = = = = = = = = = = = = = = = = = = = = = =
A c k n o w l e d g m e n t
T h e a u t h o r w o u l d l i k e t o t h a n k O m e r A c i k e l o f N e w
M e x i c o S t a t e U n i v e r s i t y f o r h e l p w i t h E x a m p l e 2 , a n d E s k o
N i e m i n e n o f N o k i a a n d P r o f . S t e v e W i l s o n o f t h e U n i v e r -
s i t y o f V i r g i n i a f o r h e l p f u l s u g g e s t i o n s .
R e f e r e n c e s
[ 1 ] C . B e r r o u , A . G l a v i e u x , a n d P . T h i t i m a j s h i m a , \ N e a r
S h a n n o n l i m i t e r r o r - c o r r e c t i n g c o d i n g a n d d e c o d i n g :
T u r b o c o d e s , "
P r o c . 1 9 9 3 I n t . C o n f . C o m m .
, p p .
1 0 6 4 - 1 0 7 0 .
[ 2 ] G . U n g e r b o e c k , \ C h a n n e l c o d i n g w i t h m u l t i -
l e v e l / p h a s e s i g n a l s , "
I E E E T r a n s . I n f . T h e o r y
, p p .
5 5 - 6 7 , J a n . 1 9 8 2 .
[ 3 ] M . E y u b o g l u , G . D . F o r n e y , P . D o n g , G . L o n g ,
\ A d v a n c e d m o d u l a t i o n t e c h n i q u e s f o r V . F a s t , "
E u r .
T r a n s . o n T e l e c o m .
, p p . 2 4 3 - 2 5 6 , M a y 1 9 9 3 .
[ 4 ] P . R o b e r t s o n , \ I l l u m i n a t i n g t h e s t r u c t u r e o f c o d e a n d
d e c o d e r o f p a r a l l e l c o n c a t e n a t e d r e c u r s i v e s y s t e m a t i c
( t u r b o ) c o d e s , "
P r o c . G l o b e C o m 1 9 9 4
, p p . 1 2 9 8 - 1 3 0 3 .
[ 5 ] S . B e n e d e t t o a n d G . M o n t o r s i , \ U n v e i l i n g t u r b o
c o d e s : S o m e r e s u l t s o n p a r a l l e l c o n c a t e n a t e d c o d i n g
s c h e m e s , "
I E E E T r a n s . I n f . T h e o r y
, p p . 4 0 9 - 4 2 8 ,
M a r . 1 9 9 6 .
[ 6 ] S . B e n e d e t t o a n d G . M o n t o r s i , \ D e s i g n o f p a r a l l e l c o n -
c a t e n a t e d c o d e s , "
I E E E T r a n s . C o m m
. , p p . 5 9 1 - 6 0 0 ,
M a y 1 9 9 6 .
[ 7 ] J . H a g e n a u e r , E . O e r , a n d L . P a p k e , \ I t e r a t i v e
d e c o d i n g o f b i n a r y b l o c k a n d c o n v o l u t i o n a l c o d e s , "
I E E E T r a n s . I n f . T h e o r y
, p p . 4 2 9 - 4 4 5 , M a r . 1 9 9 6 .
[ 8 ] D . A r n o l d a n d G . M e y e r h a n s , \ T h e r e a l i z a t i o n o f
t h e t u r b o - c o d i n g s y s t e m , " S e m e s t e r P r o j e c t R e p o r t ,
S w i s s F e d . I n s t . o f T e c h . , Z u r i c h , S w i t z e r l a n d , J u l y ,
1 9 9 5 .
[ 9 ] L . P e r e z , J . S e g h e r s , a n d D . C o s t e l l o , \ A d i s t a n c e
s p e c t r u m i n t e r p r e t a t i o n o f t u r b o c o d e s , "
I E E E T r a n s .
I n f . T h e o r y
, p p . 1 6 9 8 - 1 7 0 9 , N o v . 1 9 9 6 .
[ 1 0 ] J . H a g e n a u e r a n d P . H o e h e r , \ A V i t e r b i a l g o r i t h m
w i t h s o f t - d e c i s i o n o u t p u t s a n d i t s a p p l i c a t i o n s , "
P r o c .
G l o b e C o m 1 9 8 9
, p p . 1 6 8 0 - 1 6 8 6 .
[ 1 1 ] L . B a h l , J . C o c k e , F . J e l i n e k , a n d J . R a v i v , \ O p t i m a l
d e c o d i n g o f l i n e a r c o d e s f o r m i n i m i z i n g s y m b o l e r r o r
r a t e , "
I E E E T r a n s . I n f . T h e o r y
, p p . 2 8 4 - 2 8 7 , M a r .
1 9 7 4 .
[ 1 2 ] P . R o b e r t s o n , E . V i l l e b r u n , a n d P . H o e h e r , \ A c o m -
p a r i s o n o f o p t i m a l a n d s u b o p t i m a l M A P d e c o d i n g a l -
g o r i t h m s o p e r a t i n g i n t h e l o g d o m a i n , "
P r o c . 1 9 9 5
I n t . C o n f . o n C o m m
. , p p . 1 0 0 9 - 1 0 1 3 .
[ 1 3 ] C . B e r r o u a n d A . G l a v i e u x , \ N e a r o p t i m u m e r r o r
c o r r e c t i n g c o d i n g a n d d e c o d i n g : t u r b o - c o d e s , "
I E E E
T r a n s . C o m m .
, p p . 1 2 6 1 - 1 2 7 1 , O c t . 1 9 9 6 .
-
8/6/2019 A Turbo Codes Ryan)
9/9
[ 1 4 ] A . V i t e r b i , \ A n i n t u i t i v e j u s t i c a t i o n a n d a s i m p l i e d
i m p l e m e n t a t i o n o f t h e M A P d e c o d e r f o r c o n v o l u t i o n a l
c o d e s , "
I E E E J S A C
, p p . 2 6 0 - 2 6 4 , F e b . 1 9 9 8 .
[ 1 5 ] D . D i v s a l a r a n d F . P o l l a r a , \ T u r b o c o d e s f o r P C S
a p p l i c a t i o n s , "
P r o c . 1 9 9 5 I n t . C o n f . C o m m
. , p p .
5 4 - 5 9 .
x1p, x
2pN-bitInterleaver Puncturing
Mechanism
x1p
x2p
u=xs
RSC 1
RSC 2
u
g D
g D
2
1
( )
( )
g D
g D
2
1
( )
( )
F i g . 1 .
D i a g r a m o f a s t a n d a r d t u r b o e n c o d e r w i t h t w o
i d e n t i c a l r e c u r s i v e s y s t e m a t i c e n c o d e r s ( R S C ' s ) .
g22
uk
+
pk
+
g21=0 g23g20 g24
g11 g12=0
uk
g13=0 g14
F i g . 2 .
R e c u r s i v e s y s t e m a t i c e n c o d e r f o r c o d e g e n e r a t o r s
( g
1
; g
2
) = ( 3 1 , 2 7 ) .
0.5 1 1.5 2 2.5 310
8
107
106
105
104
103
102
101
(31,33) Turbo Code Comparison
Eb/No
Pb
N = 1000
r = 1/2 (even parity punctured)
15 iterations
bnd for intlvr1
bnd for intlvr2
F i g . 3 .
S i m u l a t e d p e r f o r m a n c e o f t h e r a t e 1 / 2 ( 3 1 , 3 3 )
t u r b o c o d e f o r t w o d i e r e n t i n t e r l e a v e r s ( N = 1 0 0 0 )
t o g e t h e r w i t h t h e a s y m p t o t i c p e r f o r m a n c e o f e a c h
p r e d i c t e d b y ( 4 ) .
MAPDecoder 1 MAP
Decoder 2
N-bitIntrlver
N-bitIntrlver
N-bitDe-Intrlver
y1p
y2p
ys
Le12
Le21
F i g . 4 .
D i a g r a m o f i t e r a t i v e ( t u r b o ) d e c o d e r w h i c h u s e s
t w o M A P d e c o d e r s o p e r a t i n g c o o p e r a t i v e l y . L
e
1 2
i s \ s o f t "
o r e x t r i n s i c i n f o r m a t i o n f r o m D 1 t o D 2 , a n d L
e
2 1
i s
d e n e d s i m i l a r l y . T h e n a l d e c i s i o n s m a y c o m e f r o m
e i t h e r D 1 o r D 2 .