book chapter pinks ton
TRANSCRIPT
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 1/47
1 3
D e a d l o c k C h a r a c t e r i z a t i o n a n d
R e s o l u t i o n i n I n t e r c o n n e c t i o n
N e t w o r k s
T i m o t h y M a r k P i n k s t o n
U n i v e r s i t y o f S o u t h e r n C a l i f o r n i a , L o s A n g e l e s , C A , U S A .
T h i s c h a p t e r d e s c r i b e s t h r e e i m p o r t a n t c l a s s e s o f d e a d l o c k i n g b e h a v i o r t h a t
c a n o c c u r i n i n t e r c o n n e c t i o n n e t w o r k s u s e d i n c o m p u t e r s y s t e m s a n d d i s c u s s e s
v a r i o u s t e c h n i q u e s t h a t c a n b e u s e d t o h a n d l e t h e m . N e t w o r k a t t r i b u t e s a n d
p h e n o m e n a t h a t i n u e n c e t h e f o r m a t i o n o f n e t w o r k d e a d l o c k s a r e i d e n t i e d . W a y s
i n w h i c h a n e t w o r k ' s s u s c e p t i b i l i t y t o d e a d l o c k c a n b e r e d u c e d a r e p r e s e n t e d .
A d v a n t a g e s a n d d i s a d v a n t a g e s o f v a r i o u s p r o p o s e d a p p r o a c h e s a r e h i g h l i g h t e d ,
a n d p r a c t i c a l u s a g e o f c e r t a i n t e c h n i q u e s i n e x p e r i m e n t a l a n d c o m m e r c i a l s y s t e m s
i s a l s o g i v e n .
1 3 . 1 I N T R O D U C T I O N
H i g h - p e r f o r m a n c e i n t e r c o n n e c t i o n n e t w o r k s c o m p r i s e t h e c o m m u n i c a t i o n
b a c k b o n e i n d i g i t a l s y s t e m s a t s e v e r a l s y s t e m l e v e l s . A t t h e h i g h e r s y s t e m l e v e l s ,
l o c a l - a r e a n e t w o r k s ( L A N s ) [ 1 ] a r e u s e d i n c l u s t e r s o f P C s , n e t w o r k s o f w o r k s t a -
t i o n s a n d o t h e r d i s t r i b u t e d p r o c e s s i n g s y s t e m s w h i c h s e r v e a s c o s t / p e r f o r m a n c e -
e f f e c t i v e a l t e r n a t i v e s t o t i g h t l y - c o u p l e d m a s s i v e l y p a r a l l e l p r o c e s s i n g s y s t e m s .
S y s t e m - a r e a n e t w o r k s ( S A N s ) [ 2 ] a r e u s e d f o r i n t e r c o n n e c t i n g p r o c e s s o r s , m e m -
o r i e s , a n d I / O d e v i c e s i n s y s t e m s w i t h t h e p r i m a r y g o a l o f i n c r e a s i n g r e l i a b i l i t y i n
t h e p r e s e n c e o f l i n k / r o u t e r f a i l u r e s ( o f t e n a t t h e e x p e n s e o f d u p l i c a t i n g p h y s i c a l
r e s o u r c e s ) . S t o r a g e - a r e a n e t w o r k s ( S T A N s ) [ 3 ] a r e u s e d t o i n c r e a s e p e r f o r m a n c e
a n d r e l i a b i l i t y o f l a r g e d i s k a r r a y s b y o f f e r i n g a c c e s s t o s t o r e d d a t a b y p r o c e s s o r s
4 4 5
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 2/47
4 4 6 T . M . P i n k s t o n
t h r o u g h m u l t i p l e p a t h s , t h u s p r o v i d i n g c o n t i n u e d s e r v i c e i n t h e p r e s e n c e o f p r o -
c e s s o r f a i l u r e . I n t e r n e t p r o t o c o l r o u t e r f a b r i c ( I P R F ) n e t w o r k s [ 4 ] a r e u s e d w i t h i n
I P r o u t e r s t o h a n d l e I P t r a f c a t h i g h ( m u l t i g i g a b i t ) s u s t a i n e d l i n e r a t e s . S e r v e r I / O
( S I O ) a n d i n t e r p r o c e s s o r c o m m u n i c a t i o n ( I P C ) n e t w o r k s [ 5 , 6 ] a r e u s e d t o o v e r -
c o m e m a n y o f t h e s c a l a b i l i t y l i m i t a t i o n s o f m u l t i c h i p b u s - b a s e d s y s t e m s , a l l o w i n g
h i g h - s p e e d i n t e r c o n n e c t i o n s b e t w e e n m e m o r y c o n t r o l l e r s a n d I / O d e v i c e s , d i r e c t
a c c e s s t o d i s k f r o m L A N a d a p t e r s , a n d c o n c u r r e n t c o m m u n i c a t i o n b e t w e e n p r o -
c e s s o r s , m e m o r i e s a n d I / O d e v i c e s i n m u l t i p r o c e s s o r s . L i k e w i s e , a t l o w e r l e v e l s ,
n e t w o r k s - o n - c h i p ( N O C s ) [ 7 9 ] a r e u s e d t o o v e r c o m e m a n y o f t h e p e r f o r m a n c e
l i m i t a t i o n s o f b u s - b a s e d s y s t e m s a t t h e c h i p l e v e l .
P a r a l l e l c o m p u t i n g a n d c o m m u n i c a t i o n s y s t e m s b u i l t f r o m t h e a b o v e n e t -
w o r k s r e q u i r e h i g h - p e r f o r m a n c e c o m m u n i c a t i o n s e r v i c e s w i t h h i g h r e l i a b i l i t y ,
a v a i l a b i l i t y a n d d e p e n d a b i l i t y c o l l e c t i v e l y , h i g h r o b u s t n e s s . T h e p e r f o r m a n c e
o f t h e i n t e r c o n n e c t i o n n e t w o r k i s m e a s u r e d , i n p a r t , b y p a c k e t d e l i v e r y t i m e f r o m
s o u r c e t o d e s t i n a t i o n ( i . e . , l a t e n c y ) a n d b y t h e n u m b e r o f p a c k e t s d e l i v e r e d p e r
u n i t t i m e ( i . e . , t h r o u g h p u t ) . I n e s s e n c e , a h i g h - p e r f o r m a n c e n e t w o r k a l l o w s t h e
m a x i m u m n u m b e r o f p a c k e t s t o m a k e f o r w a r d p r o g r e s s t o t h e i r d e s t i n a t i o n s i n
m i n i m a l t i m e , p r e f e r a b l y a l o n g s h o r t e s t p a t h s t o p r e s e r v e n e t w o r k b a n d w i d t h .
L i k e w i s e , t h e r e l i a b i l i t y , a v a i l a b i l i t y a n d d e p e n d a b i l i t y o f a n e t w o r k e q u a l l y i m -
p a c t t h e o v e r a l l g o o d n e s s q u a l i t y o f a s y s t e m . T h e s e a t t r i b u t e s a r e m e a s u r e d ,
i n p a r t , b y t h e n e t w o r k ' s a b i l i t y t o r e m a i n u p a n d r u n n i n g a t n e a r n o r m a l l e v e l s
e v e n w h e n e v e n t s o c c u r w h i c h c h a n g e i t s c o n g u r a t i o n , p o s s i b l y d u e t o c h a n g e s
i n u s e r s ' n e e d s a n d / o r s y s t e m s t a t e . S u c h r e c o n g u r a t i o n e v e n t s m a y i n c l u d e ,
f o r e x a m p l e , h o t - s w a p p i n g o f c o m p o n e n t s , f a i l u r e o r a d d i t i o n o f l i n k s / n o d e s , a c -
t i v a t i o n o r d e a c t i v a t i o n o f h o s t s / r o u t e r s , e t c . , i n a L A N e n v i r o n m e n t d e p i c t e d i n
F i g u r e 1 3 . 1 . I r r e s p e c t i v e o f t h e s y s t e m , a l l o f t h e a b o v e m e n t i o n e d a t t r i b u t e s h a v e
s i g n i c a n t i m p o r t a n c e w i t h t h e e m e r g e n c e o f b a n d w i d t h - h u n g r y a p p l i c a t i o n s s u c h
a s h i g h - d e n i t i o n v i d e o / a u d i o - o n - d e m a n d p r o c e s s i n g , d i s t r i b u t e d o n - l i n e t r a n s a c -
t i o n p r o c e s s i n g , d a t a b a s e / d e c i s i o n s u p p o r t s y s t e m s , g r i d a n d I n t e r n e t a p p l i c a t i o n s .
S u c h a p p l i c a t i o n s i m p o s e a g r e a t d e m a n d o n t h e c o m m u n i c a t i o n s u b s y s t e m n o t
o n l y t o b e o f h i g h p e r f o r m a n c e b u t a l s o t o b e h i g h l y r o b u s t .
I n t h e p a s t , r e s e a r c h c o n c e n t r a t e d o n i m p r o v i n g t o p o l o g i c a l a s p e c t s o f i n -
t e r c o n n e c t i o n n e t w o r k s , b u t i n r e c e n t y e a r s , r e s e a r c h e f f o r t s h a v e f o c u s e d o n
i m p r o v i n g t h e r o u t e r a s t h e p r i m a r y m e a n s o f i n c r e a s i n g n e t w o r k p e r f o r m a n c e .
T h i s i n c l u d e s e f f o r t s i n s u c h d i v e r s e a r e a s a s i m p r o v i n g r o u t e r s w i t c h i n g , s c h e d u l -
i n g , i n j e c t i o n l i m i t a t i o n , o w c o n t r o l , a n d t h e r o u t i n g a l g o r i t h m . A m o n g t h e s e ,
s o m e o f t h e m o r e s i g n i c a n t c o n t r i b u t i o n s h a v e a r i s e n f r o m t h e n o t i o n o f v i r t u a l
c u t - t h r o u g h s w i t c h i n g [ 1 0 ] , c o n g e s t i o n c o n t r o l [ 1 1 , 1 2 ] , v i r t u a l c h a n n e l o w c o n -
t r o l [ 1 3 , 1 4 ] , v i r t u a l o u t p u t q u e u i n g [ 1 5 ] a n d a d a p t i v e r o u t i n g [ 1 6 1 8 ] . F i g u r e 1 3 . 2
s h o w s a s i m p l e r o u t e r m o d e l w h i c h a l l o w s t h e i m p l e m e n t a t i o n o f m a n y o f t h e s e
t e c h n i q u e s . V i r t u a l c u t - t h r o u g h s w i t c h i n g a l l o w s p i p e l i n e d t r a n s m i s s i o n o f p a c k e t s
a c r o s s m u l t i p l e r o u t e r s a n d l i n k s w i t h o u t o c c u p y i n g m u l t i p l e r o u t e r s / l i n k s w h e n a
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 3/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 4 7
Subnet
( a )
Subnet
Node
Node
Node
Node
Node
Router
Router
Router
Router
NI
NI
NI
NI
NIRouter
Node
NI
( b )
F i g u r e 1 3 . 1 . A n i l l u s t r a t i o n o f a s w i t c h e d - L A N s u b n e t w o r k : ( a ) i t s a c t u a l c o m p o -
n e n t s , a n d ( b ) a h i g h - l e v e l c o n c e p t u a l m o d e l o f t h e n e t w o r k c o m p o n e n t s , w h e r e N I
i s t h e n e t w o r k i n t e r f a c e .
p a c k e t b l o c k s , w h i c h i s t h e c a s e w i t h w o r m h o l e s w i t c h i n g [ 1 9 ] . C o n g e s t i o n c o n -
t r o l l i m i t s t h e n u m b e r o f p a c k e t s i n j e c t e d i n t o t h e n e t w o r k w h e n t h e n e t w o r k l o a d
i s c o n s i d e r e d t o b e t o o h i g h ( e . g . , n e a r i n g s a t u r a t i o n ) . T h i s r e d u c e s t h e c h a n c e s o f
t h e n e t w o r k b e c o m i n g o v e r l y c o n g e s t e d a n d s a t u r a t e d . V i r t u a l c h a n n e l s a n d v i r -
t u a l o u t p u t q u e u i n g m i t i g a t e h e a d - o f - l i n e b l o c k i n g o f p a c k e t s t e m p o r a r i l y s t o r e d
i n c h a n n e l s ( i . e . , e d g e a n d / o r c e n t r a l q u e u e s ) d u r i n g t r a n s m i s s i o n . T h e y p r o v i d e
l o g i c a l l y i n d e p e n d e n t m u l t i p l e c o m m u n i c a t i o n p a t h s t o p a c k e t s m u l t i p l e x e d a c r o s s
e a c h n e t w o r k l i n k a n d / o r t h e r o u t e r c r o s s b a r . A d a p t i v e r o u t i n g i n c r e a s e s t h e d e g r e e
o f e x i b i l i t y i n r o u t i n g a l l o w e d b y p a c k e t s a s t h e y t r a v e r s e t h e n e t w o r k t o t h e i r
d e s t i n a t i o n s . T h i s a l l o w s p a c k e t s t h e o p t i o n o f c h o o s i n g b e t w e e n m u l t i p l e p a t h s
i n t h e n e t w o r k a c c o r d i n g t o p r e v a i l i n g b l o c k a g e c o n d i t i o n s .
B e c a u s e n e t w o r k r e s o u r c e s a r e n i t e a n d , u l t i m a t e l y , a r e c o n t e n d e d f o r ,
s t r u c t u r a l h a z a r d s o n t h o s e r e s o u r c e s a r e i n e v i t a b l e w h i c h d e l a y o r p r e v e n t p a c k e t
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 4/47
4 4 8 T . M . P i n k s t o n
LC LC
Routing and
Arbitration
Crossbar
m u x
m u x
m u x
m u x
mux
Injection
channel
Delivery
channel
P h y s i c a l i n p u t c h a n n e l s
P h y s i c a l o u t p u t c h a n n e l sLC
LC
LC
LC
Edge queue(s)
Central queue(s)
m u x
m u x
m u x
m u x
mux
Input buffersOutput buffers
m u x
mux
LC
LC
LC
LC
F i g u r e 1 3 . 2 . A s i m p l e m o d e l o f a g e n e r i c n e t w o r k r o u t e r . E a c h p h y s i c a l c h a n n e l m a y
h a v e o n e o r m o r e v i r t u a l c h a n n e l s a s s o c i a t e d w i t h i t , i m p l e m e n t e d a s e d g e q u e u e ( s ) .
C e n t r a l q u e u e ( s ) m a y a l s o a c c e p t i t s a n d b e a s s i g n e d p h y s i c a l c h a n n e l b a n d w i d t h .
F l o w o v e r t h e c h a n n e l s i s c o n t r o l l e d b y l i n k c o n t r o l l e r s ( L C s ) , a n d m u l t i p l e x e d
a c c e s s ( m u x ) t o t h e i n t e r n a l c r o s s b a r p o r t s a n d o t h e r s h a r e d r e s o u r c e s o f t h e r o u t e r
i s d e t e r m i n e d b y t h e r o u t i n g a n d a r b i t r a t i o n u n i t . ( F r o m R e f . 1 8
c 2 0 0 3 I E E E . )
t r a n s m i s s i o n i n t h e n e t w o r k . T h i s o c c u r s e v e n i n n e t w o r k s t h a t f e a t u r e a d v a n c e d
r o u t e r a r c h i t e c t u r e s . S u c h h a z a r d s c a u s e p a c k e t s t o b l o c k w h i c h , e v e n t u a l l y , c a n
l e a d t o n e t w o r k c o n g e s t i o n a n d , p o s s i b l y , d e a d l o c k . O n e o f t h e m o r e c r i t i c a l
p r o b l e m s t o b e a d d r e s s e d i n o r d e r t o a c h i e v e h i g h n e t w o r k p e r f o r m a n c e a n d
r o b u s t n e s s i s t h a t o f e f c i e n t l y h a n d l i n g d e a d l o c k a n o m a l i e s . D e a d l o c k o c c u r s
w h e n t h e r e i s a c i r c u l a r h o l d - a n d - w a i t d e p e n d e n c y r e l a t i o n o n n e t w o r k r e s o u r c e s
b y i n - i g h t p a c k e t s s u c h t h a t p r o g r e s s i n r o u t i n g t h o s e p a c k e t s i s i n d e n i t e l y
i n h i b i t e d . T h a t i s , p a c k e t s w o u l d b l o c k i n t h e n e t w o r k f o r e v e r u n l e s s s o m e a c t i o n
t o r e s o l v e t h e d e a d l o c k s i t u a t i o n w e r e t a k e n . T h i s p h e n o m e n o n c a n r e s u l t i n
t h e e n t i r e n e t w o r k ( a n d s y s t e m ) c o m i n g t o a c o m p l e t e s t a n d - s t i l l , c o n s e q u e n t l y
d e g r a d i n g s y s t e m r e l i a b i l i t y , a v a i l a b i l i t y , a n d d e p e n d a b i l i t y c o n s i d e r a b l y . T h u s ,
i t i s v i t a l l y i m p o r t a n t t o g u a r d a g a i n s t d e a d l o c k i n s u c h a w a y a s n o t t o i m p o s e
o v e r l y r e s t r i c t i v e m e a s u r e s t h a t u n d e r - u t i l i z e n e t w o r k r e s o u r c e s .
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 5/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 4 9
D e a d l o c k s i n i n t e r c o n n e c t i o n n e t w o r k s a r e c l a s s i e d i n t o t h r e e b a s i c c a t e -
g o r i e s , d e p e n d i n g o n t h e c i r c u m s t a n c e s u n d e r w h i c h t h e y f o r m . R o u t i n g - i n d u c e d
d e a d l o c k s a r e t h o s e c a u s e d b y i n t e r a c t i o n s a n d d e p e n d e n c i e s c r e a t e d w i t h i n t h e
n e t w o r k b e t w e e n n e t w o r k e n d p o i n t s b y t h e r o u t i n g f u n c t i o n w h i c h p r e v e n t s
p a c k e t s f r o m r e a c h i n g t h e i r d e s t i n a t i o n s . T h e r o u t i n g f u n c t i o n s u p p l i e s t h e p o s s i -
b l e p a t h s p a c k e t s a r e a l l o w e d t o t a k e i n t h e n e t w o r k t o r e a c h t h e i r d e s t i n a t i o n s f r o m
t h e i r c u r r e n t l o c a t i o n s . M e s s a g e - i n d u c e d d e a d l o c k s ( a l s o c a l l e d p r o t o c o l - i n d u c e d
d e a d l o c k s ) a r e t h o s e c a u s e d b y i n t e r a c t i o n s a n d d e p e n d e n c i e s c r e a t e d a t t h e n e t -
w o r k e n d p o i n t s a m o n g d i f f e r e n t m e s s a g e t y p e s ( i . e . , r e q u e s t s , r e p l i e s , e t c . ) , w h i c h
p r e v e n t p a c k e t s f r o m s i n k i n g u p o n a r r i v a l a t t h e i r d e s t i n a t i o n s . R e c o n g u r a t i o n -
i n d u c e d d e a d l o c k s a r e t h o s e c a u s e d b y t h e i n t e r a c t i o n s a n d d e p e n d e n c i e s c r e a t e d
t h r o u g h t i m e ( d y n a m i c a l l y ) i n a n e t w o r k t h a t u n d e r g o e s r e c o n g u r a t i o n , w h i c h
p r e v e n t s p a c k e t s f r o m r e a c h i n g t h e i r d e s t i n a t i o n s d u e t o b e i n g r o u t e d u n d e r t h e
i n u e n c e o f m u l t i p l e a c t i v e r o u t i n g f u n c t i o n s . T h i s c a n o c c u r e v e n i f e a c h o f t h o s e
r o u t i n g f u n c t i o n s i s i n d e p e n d e n t l y d e a d l o c k - f r e e u n d e r s t a t i c c o n d i t i o n s . N o t e t h a t
w e e x c l u d e f r o m o u r d e a d l o c k c a t e g o r i z a t i o n i n d e n i t e b l o c k i n g s i t u a t i o n s w h i c h
a p p e a r t o b e d e a d l o c k e d b u t r e a l l y a r e n o t , s u c h a s t h o s e a r i s i n g f r o m n e t w o r k d i s -
c o n n e c t i v i t y , i . e . , f a u l t - i n d u c e d i n d e n i t e b l o c k i n g [ 2 0 ] . S u c h b l o c k i n g s i t u a t i o n s
a r e e x c l u d e d f r o m t h o s e t e r m e d a s d e a d l o c k s i n c e , i n f a c t , n o c y c l i c h o l d - a n d - w a i t
d e p e n d e n c y r e l a t i o n o n n e t w o r k r e s o u r c e s e x i s t s .
G i v e n t h i s b r i e f i n t r o d u c t i o n , t h e r e m a i n d e r o f t h i s c h a p t e r i s o r g a n i z e d a s
f o l l o w s . T h e n e x t s e c t i o n d e s c r i b e s w a y s i n w h i c h d e a d l o c k s i n i n t e r c o n n e c t i o n
n e t w o r k s c a n b e d e p i c t e d . T h i s i s f o l l o w e d b y a s e c t i o n t h a t p r e s e n t s t h e b a s i c
a p p r o a c h e s f o r h a n d l i n g i n t e r c o n n e c t i o n n e t w o r k d e a d l o c k s . W h i l e e a c h o f t h e s e
a p p r o a c h e s a r e a p p l i c a b l e t o a l l t h r e e f o r m s o f d e a d l o c k , s p e c i c e x a m p l e s f o r e a c h
c l a s s o f d e a d l o c k a r e g i v e n . T h i s c h a p t e r e n d s w i t h a f e w c o n c l u d i n g r e m a r k s ,
s o m e b i b l i o g r a p h i c n o t e s , a c k n o w l e d g e m e n t s , a n d r e f e r e n c e s .
1 3 . 2 D E P I C T I N G D E A D L O C K S I N I N T E R C O N N E C T I O N N E T W O R K S
T h e r e a r e a n u m b e r o f d i f f e r e n t w a y s i n w h i c h a n e t w o r k ' s d e a d l o c k i n g
p r o p e r t i e s c a n b e d e p i c t e d . T w o o f t h e m o r e c o m m o n w a y s a r e t o u s e c h a n n e l
d e p e n d e n c y g r a p h s ( C D G s ) o r c h a n n e l w a i t i n g ( o r w a i t - f o r ) g r a p h s ( C W G ) . B o t h
a r e d i r e c t e d g r a p h s i n w h i c h t h e v e r t i c e s r e p r e s e n t t h e c h a n n e l s ( e i t h e r p h y s i c a l
o r v i r t u a l ) o f t h e i n t e r c o n n e c t i o n n e t w o r k . H o w e v e r , t h e a r c s o r e d g e s b e t w e e n
t w o c h a n n e l s ( ci , cj ) i n C D G s d e n o t e a p o s s i b l e c h a n n e l d e p e n d e n c y f r o m ci t o cja l l o w e d b y t h e r o u t i n g f u n c t i o n w h e r e a s i n C W G s t h e y d e n o t e t h e n e x t c h a n n e l cjr e s e r v e d a n d b e i n g w a i t e d f o r b y a p a c k e t i n ci . T h u s , C D G s a r e s t a t i c a n d d e p i c t a l l
p o s s i b l e c h a n n e l d e p e n d e n c i e s a l l o w e d b y a r o u t i n g f u n c t i o n ( w h e t h e r c u r r e n t l y
u s e d o r n o t ) ; C W G s a r e d y n a m i c a n d r e p r e s e n t a c t u a l r e s o u r c e a l l o c a t i o n s a n d
r e q u e s t s e x i s t i n g i n a n e t w o r k a t a g i v e n i n s t a n c e i n t i m e . I t f o l l o w s t h a t t h e C W G
p r o v i d e s a c r i t i c a l s u b s e t o f a l l o w e d d e p e n d e n c i e s r e p r e s e n t e d b y a n e t w o r k ' s
C D G .
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 6/47
4 5 0 T . M . P i n k s t o n
C h a n n e l d e p e n d e n c y g r a p h s a n d c h a n n e l w a i t - f o r g r a p h s c a n b e u s e d t o
d e p i c t t h e d e a d l o c k i n g p r o p e r t i e s o f a n e t w o r k s i m p l y b y n o t i n g t h e e x i s t e n c e a n d
m a k e - u p o f c y c l e s t h a t m a y b e p r e s e n t . I f n o c y c l e s a r e p r e s e n t , t h e r e c a n b e
n o d e a d l o c k a s c y c l e s a r e a n e c e s s a r y c o n d i t i o n f o r d e a d l o c k , b u t t h e y a r e n o t
s u f c i e n t f o r d e a d l o c k t o o c c u r . I f c y c l e s a r e p r e s e n t i n e i t h e r o f t h e g r a p h s , t h e
p o t e n t i a l f o r d e a d l o c k e x i s t s , b u t w h e t h e r o r n o t d e a d l o c k a c t u a l l y e x i s t s f o r a
g i v e n c o n g u r a t i o n o f p a c k e t s m u s t b e d e t e r m i n e d b y e x a m i n i n g t h e r e a c h o f
d e p e n d e n c i e s i n v o l v e d i n t h e c y c l i c r e l a t i o n . N o d e a d l o c k e x i s t s a s l o n g a s t h e
r e a c h o f d e p e n d e n c i e s e x t e n d s b e y o n d t h e s c o p e o f c y c l i c a l l y r e l a t e d r e s o u r c e s .
M o r e f o r m a l l y , t h e r e a c h a b l e s e t o f a v e r t e x i n a C W G i s t h e s e t o f v e r t i c e s
c o m p r i s i n g a l l p a t h s s t a r t i n g f r o m t h a t v e r t e x . I f t h e r e a c h a b l e s e t i s l a r g e r t h a n
t h e s e t o f v e r t i c e s i n v o l v e d i n t h e c y c l e , a w a y o f e s c a p e f o r p a c k e t s i n v o l v e d i n
t h e c y c l i c d e p e n d e n c y i s p r o v i d e d . I f , h o w e v e r , t h e r e a c h a b l e s e t o f a l l v e r t i c e s i n
t h e c y c l e i s t h e s e t i t s e l f , t h e r e w o u l d b e n o w a y o f e s c a p e . A s e t o f v e r t i c e s t h a t
h a s t h i s p r o p e r t y i s r e f e r r e d t o a s a d e a d l o c k s e t , a n d i t f o r m s a k n o t [ 2 1 , 2 2 ] . A
k n o t c o m p r i s e s t h e s e t o f r e s o u r c e s i n v o l v e d i n c y c l i c d e p e n d e n c y f o r w h i c h t h e r e
i s n o a l t e r n a t i v e r e a c h a b l e r e s o u r c e t h a t c a n b e u s e d t o e s c a p e f r o m d e a d l o c k . A s
a r e s u l t , o n c e a l l r e s o u r c e s c o m p r i s i n g t h e k n o t b e c o m e f u l l , d e a d l o c k a b o u n d s .
B e l o w , t h e c i r c u m s t a n c e s u n d e r w h i c h t h e t h r e e c l a s s e s o f d e a d l o c k f o r m a n d h o w
d e a d l o c k s m a y b e d e p i c t e d u s i n g C D G s a n d C W G s a r e p r e s e n t e d .
1 3 . 2 . 1 R o u t i n g - I n d u c e d D e a d l o c k s
A s n o t e d t o e a r l i e r , t h e r o u t i n g f u n c t i o n i s r e s p o n s i b l e f o r s u p p l y i n g a t l e a s t o n e
o u t p u t c h a n n e l o r d e l i v e r y c h a n n e l t o a p a c k e t a r r i v i n g o n a g i v e n i n p u t c h a n n e l
o r i n j e c t i o n c h a n n e l a t e a c h r o u t e r . T h e a g g r e g a t i o n o f t h e s e r o u t i n g - i n d u c e d
c h a n n e l d e p e n d e n c e r e l a t i o n s f o r a l l p o s s i b l e p a c k e t c o n g u r a t i o n s o f a n e t w o r k
i s c a p t u r e d b y t h e n e t w o r k ' s C D G . A c c o r d i n g l y , e a c h c h a n n e l u s e d b y a p a c k e t
h a s a d e p e n d e n c e r e l a t i o n o n t h e n e x t c h a n n e l ( s ) s u p p l i e d b y t h e r o u t i n g f u n c t i o n ,
c r e a t i n g a c h a i n o r p a t h o f d e p e n d e n c i e s c a p t u r e d b y t h e C W G . A s s u c h , r o u t i n g -
i n d u c e d d e p e n d e n c i e s t a k e i n t o a c c o u n t o n l y t h o s e d e p e n d e n c i e s o n c h a n n e l a n d
q u e u e r e s o u r c e s s h o w n i n F i g u r e 1 3 . 2 ; s p e c i c a l l y , i n j e c t i o n a n d d e l i v e r y c h a n n e l s ,
e d g e q u e u e s , a n d / o r c e n t r a l q u e u e s . I n t e r a c t i o n s o c c u r r i n g a t n e t w o r k e n d p o i n t s
a r e e x c l u d e d f r o m t h i s s e t , m e a n i n g t h a t p a c k e t s a r e a s s u m e d a l w a y s t o s i n k u p o n
r e a c h i n g t h e i r d e s t i n a t i o n s . I f k n o t t e d c y c l e s a p p e a r a l o n g a f u l l y o c c u p i e d s e t o f
t h e s e r e s o u r c e s , r o u t i n g - i n d u c e d d e a d l o c k i s s a i d t o f o r m .
T h e l i k e l i h o o d o f r o u t i n g - i n d u c e d d e a d l o c k o c c u r r i n g i s l a r g e l y i n u e n c e d
b y t h r e e k e y i n t e r r e l a t e d f a c t o r s : t h e r o u t i n g f r e e d o m o f t h e r o u t i n g a l g o r i t h m ,
t h e n u m b e r o f b l o c k e d p a c k e t s w i t h i n t h e n e t w o r k , a n d t h e n u m b e r o f r e s o u r c e
d e p e n d e n c y c y c l e s a s d e p i c t e d i n t h e c h a n n e l w a i t - f o r g r a p h [ 2 2 ] . R o u t i n g f r e e d o m
c o r r e s p o n d s t o t h e n u m b e r o f r o u t i n g o p t i o n s a v a i l a b l e t o a p a c k e t b e i n g r o u t e d
a t a g i v e n n o d e w i t h i n t h e n e t w o r k . R o u t i n g f r e e d o m i s r e e c t e d i n t h e C W G b y
t h e f a n - o u t o f v e r t i c e s , w h i c h c a n b e l o c a t i o n d e p e n d e n t f o r p a c k e t s e n r o u t e i n
t h e n e t w o r k : s m a l l e r f a n - o u t t h a n t h a t w h i c h i s m a x i m a l l y a l l o w e d b y t h e r o u t i n g
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 7/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 5 1
f u n c t i o n m a y b e t h e r e s u l t i f a d a p t i v i t y i s e x h a u s t e d . B l o c k e d p a c k e t s a r e t h o s e
p a c k e t s i n t h e n e t w o r k t h a t c a n n o t a c q u i r e a n y o f t h e a l t e r n a t i v e c h a n n e l s r e q u i r e d
t o m a k e p r o g r e s s a t a g i v e n p o i n t i n t i m e d u e t o t h o s e c h a n n e l s b e i n g f u l l y o c c u p i e d
b y o t h e r p a c k e t s . C o r r e l a t e d p a c k e t b l o c k i n g c a n r e s u l t i n w a i t - f o r d e p e n d e n c y
c y c l e s o n r e s o u r c e s , p o s s i b l y l e a d i n g t o d e a d l o c k .
O n t h e o n e h a n d , r o u t i n g f r e e d o m c a n c o n s i d e r a b l y i n c r e a s e t h e p o t e n t i a l
n u m b e r o f c y c l e s t h a t c a n f o r m o n c e p a c k e t s b l o c k , i . e . , a t n e t w o r k s a t u r a t i o n .
T h i s i s d u e t o t h e c o m p o u n d i n g e f f e c t s o f r o u t i n g f r e e d o m w i t h t h e n u m b e r
o f n e t w o r k h o p s e x p e r i e n c e d b y p a c k e t s a n d t h e n u m b e r o f b l o c k e d p a c k e t s i n
t h e n e t w o r k . F o r e x a m p l e , g i v e n a n a v e r a g e d i s t a n c e o f
hh o p s e a c h a l l o w i n g a
r o u t i n g f r e e d o m o f
F c h a n n e l o p t i o n s a t e a c h r o u t e r , t h e t h e o r e t i c a l u p p e r b o u n d o n
r o u t i n g f r e e d o m o f a p a c k e t f r o m s o u r c e t o d e s t i n a t i o n i s F h ( i . e . , r o u t i n g a p a c k e t
d i a g o n a l l y o v e r a n n - d i m e n s i o n a l s p a c e ) , w h e r e a s b l o c k i n g o p p o r t u n i t y i s o n l y h.
T h i s u p p e r b o u n d o n r o u t i n g f r e e d o m m a y n o t b e r e a c h e d i f F d e c r e a s e s a s h o p s
a r e t a k e n ( i . e . , r o u t i n g a p a c k e t m i n i m a l l y o v e r t h e p e r i p h e r y o f a n n - d i m e n s i o n a l
s p a c e ) . G i v e n a t o t a l o f B b l o c k e d p a c k e t s e a c h w i t h a r o u t i n g f r e e d o m o f F , t h e
t h e o r e t i c a l u p p e r b o u n d o n t h e n u m b e r o f u n i q u e c y c l e s w h i c h c a n f o r m i s F B .
T h i s u p p e r b o u n d m a y n o t b e r e a c h e d d u e t o l i m i t a t i o n s o n p o s s i b l e t o p o l o g i c a l
c o n n e c t i o n s a l l o w e d . N e v e r t h e l e s s , a s t h e n u m b e r o f b l o c k e d p a c k e t s i n c r e a s e s
d u e t o a n e x h a u s t i o n o f r o u t i n g f r e e d o m a n d / o r t h e n e t w o r k r e a c h i n g s a t u r a t i o n ,
t h e p o t e n t i a l f o r c y c l e f o r m a t i o n i n c r e a s e s c o n s i d e r a b l y , w h i c h c a n i n c r e a s e t h e
p r o b a b i l i t y o f d e a d l o c k .
O n t h e o t h e r h a n d , r o u t i n g f r e e d o m h a s a n o p p o s i t e a n d m o r e i n u e n t i a l
e f f e c t o n d e a d l o c k p r o b a b i l i t y t h a n i t d o e s o n t h e c r e a t i o n o f c y c l e s . A s r o u t i n g
f r e e d o m i s i n c r e a s e d , t h e n u m b e r o f b l o c k e d p a c k e t s d e c r e a s e s s u b s t a n t i a l l y . M o r e
i m p o r t a n t l y , t h e d e g r e e o f c o r r e l a t i o n r e q u i r e d a m o n g b l o c k e d p a c k e t s t o f o r m a
k n o t a l s o i n c r e a s e s s u b s t a n t i a l l y . T h i s g r e a t l y d e c r e a s e s t h e l i k e l i h o o d o f t h e
o c c u r r e n c e o f d e a d l o c k . G i v e n e n o u g h r o u t i n g f r e e d o m , t h i s c o r r e l a t i o n f a c t o r
o f f s e t s t h e o p p o s i n g e f f e c t o n d e a d l o c k p r o b a b i l i t y c a u s e d b y t h e p o t e n t i a l i n c r e a s e
i n t h e n u m b e r o f c y c l e s . N e t w o r k s w i t h m i n i m a l r o u t i n g f r e e d o m m a y n o t o f f s e t t h e
o p p o s i n g e f f e c t s a s t h e r e m a y e x i s t a o n e - t o - o n e c o r r e s p o n d e n c e b e t w e e n c y c l e s
a n d d e a d l o c k s , e . g . , s i n g l e - c y c l e d e a d l o c k s . H o w e v e r , n e t w o r k s w i t h g r e a t e r
r o u t i n g f r e e d o m m a y o f f s e t t h e o p p o s i n g e f f e c t s a s a l a r g e n u m b e r o f c y c l e s c a n
e x i s t w i t h o u t d e a d l o c k f o r m a t i o n , e . g . , c y c l i c n o n - d e a d l o c k s .
C o n s i d e r , f o r e x a m p l e , t h e 2×4 t o r u s n e t w o r k s h o w n i n t h e l e f t - h a n d s i d e o f
F i g u r e 1 3 . 3 . I f t h e n e t w o r k ' s r o u t i n g f u n c t i o n s u p p l i e s a l l p o s s i b l e c h a n n e l s a l o n g
m i n i m a l p a t h s t o p a c k e t s ' d e s t i n a t i o n s f r o m t h e i r c u r r e n t p o s i t i o n s ( i . e . , a d a p t i v e
m i n i m a l r o u t i n g i s u s e d ) , t h e C D G s h o w n o n t h e r i g h t - h a n d s i d e o f t h e g u r e
i s f o r m e d . C l e a r l y , c y c l e s e x i s t i n t h i s g r a p h , i n d i c a t i n g t h a t d e a d l o c k m a y b e
p o s s i b l e f o r s o m e c o n g u r a t i o n s o f p a c k e t s r o u t i n g i n t h e n e t w o r k . T h e C W G
( s h o w n i n t h e m i d d l e ) f o r p a c k e t c o n g u r a t i o n p1 , p2 , a n d p3 r o u t i n g i n t h i s n e t w o r k
d e p i c t t h e c r i t i c a l s u b s e t o f a l l o w e d d e p e n d e n c i e s a l i v e i n t h e n e t w o r k , a s s u m i n g
w o r m h o l e s w i t c h i n g . T h e c h a n n e l s c u r r e n t l y o c c u p i e d ( p o s s i b l y o n l y p a r t i a l l y )
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 8/47
4 5 2 T . M . P i n k s t o n
d 2
s2,3d 3
d 1
owned by p 2
owned by p 1
c 0 c 1 c 2 c 3
s1
owned by p 3
c 0
c 4 c 5 c 6 c 7 c 4
c 12 c 13 c 14 c 15
c 8 c 9 c 10 c 11
c 8 c 9 c 10 c 11
c 14 c 3c 0
c 6 c 7 c 5c 4
p 2 p 2
p 1
owns(p 1) = { c 5 , c 6 }, requests(p 1) = { c 7, c 14 }owns(p 2) = { c 14, c 3, c 0 }, requests(p 2) = {}
owns(p 3) = { c 7, c 4 }, requests(p 3) = { c 5 }
p 1 p 3
p 3
p 1
( a )
C
10C
9C
C8
C15
14C
12C
4C
C3
1C
0
C
13C
7C
C2 6C
5C
11
( b )
F i g u r e 1 3 . 3 . ( a ) T h e n e t w o r k g r a p h a n d c h a n n e l w a i t - f o r g r a p h , a n d ( b ) t h e c h a n n e l
d e p e n d e n c y g r a p h . T h e s e a r e f o r p a c k e t s r o u t e d a d a p t i v e l y w i t h i n a 2 × 4 t o r u s
n e t w o r k ( t h e l i n k s o n t h e p e r i p h e r y a r e w r a p - a r o u n d l i n k s ) . A l t h o u g h c y c l e s e x i s t i n
t h e C W G a n d C D G , t h i s p a c k e t c o n g u r a t i o n i s n o t d e a d l o c k e d .
b y p a c k e t pi a r e r e p r e s e n t e d b y t h e s e t owns( pi) s h o w n a s s o l i d a r c s a n d c h a n n e l s
s u p p l i e d b y t h e r o u t i n g f u n c t i o n f o r t h e p a c k e t t o c o n t i n u e r o u t i n g i s r e p r e s e n t e d
b y t h e s e t
requests( pi) s h o w n a s d o t t e d a r c s . T h e a d d e d r o u t i n g f r e e d o m g i v e n b y
a d a p t i v e m i n i m a l r o u t i n g i s r e e c t e d i n t h e r e q u e s t s e t f o r s o m e b l o c k e d p a c k e t s
h a v i n g a c a r d i n a l i t y g r e a t e r t h a n o n e ( i . e . , |requests( p1)| = 2 ) . A s s h o w n , a c y c l e
f o r t h i s p a c k e t c o n g u r a t i o n e x i s t s c o n s i s t i n g o f t h e s e t o f v e r t i c e s {c4, c5, c6, c7}.
H o w e v e r , t h e r e i s n o d e a d l o c k a s t h e r e a c h o f d e p e n d e n c i e s e x t e n d s b e y o n d t h e
s e t o f r e s o u r c e s i n v o l v e d i n t h i s c y c l e o f d e p e n d e n c y .
T h i s c y c l i c n o n - d e a d l o c k s i t u a t i o n i s e a s i l y v e r i e d b y e x a m i n i n g t h e r e a c h -
a b l e s e t f o r e a c h v e r t e x . T h e r e a c h a b l e s e t f o r v e r t e x
c14 i s {c3, c0}; f o r
c3 i s {c0};
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 9/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 5 3
!
F i g u r e 1 3 . 4 . O r d e r i n g a m o n g m e s s a g e t y p e s a l l o w e d b y a t y p i c a l c a c h e c o h e r e n c e
p r o t o c o l , w h e r e R Q a n d R P a r e r e q u e s t a n d r e p l y m e s s a g e t y p e s , r e s p e c t i v e l y , a n d
a r r o w s i n d i c a t e a m e s s a g e d e p e n d e n c y f r o m o n e m e s s a g e t y p e t o a n o t h e r .
f o r
c0 i s {}; a n d f o r v e r t i c e s
c4 ,
c5 ,
c6 a n d
c7 w h i c h a r e i n v o l v e d i n t h e c y c l e , t h e
r e a c h a b l e s e t i s {c4, c5, c6, c7, c14, c3, c0}. C l e a r l y , t h e r e a c h a b l e s e t i s l a r g e r t h a n
t h e s e t o f v e r t i c e s i n v o l v e d i n t h e c y c l e , t h u s p r o v i d i n g a w a y o f e s c a p e f o r p a c k e t s
i n v o l v e d i n t h e c y c l i c d e p e n d e n c y . I f , h o w e v e r , t h e d e s t i n a t i o n f o r p1 w e r e i n t h e
b o t t o m r o w i n s t e a d o f t h e t o p r o w o f t h e s a m e c o l u m n , t h e r e a c h a b l e s e t o f a l l
v e r t i c e s i n t h e c y c l e w o u l d b e i d e n t i c a l t o t h e s e t i t s e l f , i . e . , {c4, c5, c6, c7}, a s
t h e r e w o u l d b e n o e s c a p e t h r o u g h c h a n n e l c14 f o r p a c k e t p1 . G i v e n p a c k e t p1 ' s
c u r r e n t p o s i t i o n r e l a t i v e t o t h e n e w d e s t i n a t i o n , r o u t i n g f r e e d o m i s d e c r e a s e d a s
t h e r o u t i n g f u n c t i o n s u p p l i e s o n l y c h a n n e l c7 . I n e s s e n c e , a l l p a c k e t s i n v o l v e d i n
t h e c y c l e h a v e e x h a u s t e d t h e i r a d a p t i v i t y . T h i s r e s o u r c e s e t , t h e r e f o r e , c o m p r i s e s
a d e a d l o c k s e t o n w h i c h a k n o t f o r m s w h i c h , i n t h i s c a s e , i s c o m p o s e d o f o n l y
a s i n g l e c y c l e . A d a p t i v e r o u t i n g f u n c t i o n s t y p i c a l l y h a v e k n o t s c o m p o s e d o f a
l a r g e n u m b e r o f c y c l e s i n m o s t c a s e s , i . e . , m u l t i c y c l e d e a d l o c k s . N o m a t t e r t h e
c a s e , r o u t i n g - i n d u c e d d e a d l o c k o c c u r s o n c e a l l c h a n n e l s c o m p r i s i n g t h e d e a d l o c k
s e t b e c o m e f u l l y o c c u p i e d . T h e o c c u r r e n c e o f s u c h d e a d l o c k s , h o w e v e r , h a v e
b e e n s h o w n t o b e v e r y r a r e a n d m a y n e v e r o c c u r i n p r a c t i c e w h e n m u l t i p l e v i r t u a l
c h a n n e l s a r e u s e d w i t h m a x i m u m r o u t i n g f r e e d o m [ 2 2 , 2 3 ] .
1 3 . 2 . 2 M e s s a g e - I n d u c e d D e a d l o c k s
T h e e x c h a n g e o f v a r i o u s t y p e s o f m e s s a g e s i s p e r v a s i v e i n c o m p u t e r s y s t e m s i n
w h i c h i n t e r c o n n e c t i o n n e t w o r k s a r e e m p l o y e d . M a n y m e s s a g e t y p e s a s d e n e d
b y t h e c o m m u n i c a t i o n p r o t o c o l o f t h e s y s t e m m a y b e u s e d t o c o m p l e t e d a t a -
i n t e r c h a n g e t r a n s a c t i o n s . F o r i n s t a n c e , c a c h e c o h e r e n c e p r o t o c o l s m a y p e r m i t d a t a
t r a n s a c t i o n s t o b e c o m p o s e d o f c e r t a i n c o m b i n a t i o n s o f r e q u e s t , f o r w a r d e d - r e q u e s t ,
r e p l y - t o - f o r w a r d e d - r e q u e s t , a n d r e p l y m e s s a g e t y p e s , a s s h o w n i n F i g u r e 1 3 . 4 . A t
a n y g i v e n e n d - n o d e i n t h e s y s t e m , t h e r e c a n b e a c o u p l i n g b e t w e e n t h e t w o m e s s a g e
t y p e s : t h e g e n e r a t i o n o f o n e m e s s a g e t y p e , e . g . , t h e r e p l y m e s s a g e g e n e r a t e d b y
t h e d e s t i n a t i o n , i s d i r e c t l y c o u p l e d t o t h e r e c e p t i o n o f a n o t h e r m e s s a g e t y p e , e . g . ,
t h e r e q u e s t m e s s a g e r e c e i v e d b y t h e d e s t i n a t i o n . A s t h e c o u p l i n g b e t w e e n m e s s a g e
t y p e s i s t r a n s f e r r e d t o n e t w o r k r e s o u r c e s d u e t o t h e n i t e n e s s o f r e s o u r c e s a l o n g t h e
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 10/47
4 5 4 T . M . P i n k s t o n
blocked blocked
a
a
a b
b
b b
b
b a
a
a
Node BNode A
(a)
IQ: input message queue
OQ: output message queue
a: request message
b: request message
sent by Node A
sent by Node B
Deadlock-free Network
A A B BOQ IQ OQ IQ
IQB
IQA
OQA
OQB
(b)
F i g u r e 1 3 . 5 . ( a ) A s i m p l e e x a m p l e o f m e s s a g e - i n d u c e d d e a d l o c k o c c u r r i n g b e t w e e n
t w o n o d e s c o n n e c t e d b y a n e t w o r k f r e e o f r o u t i n g - i n d u c e d d e a d l o c k . ( b ) T h e c o r r e -
s p o n d i n g d e p e n d e n c y g r a p h f o r r e s o u r c e s a t n e t w o r k e n d p o i n t s , w h e r e d e p e n d e n c i e s
f o r m a c y c l i c ( a n d k n o t t e d ) w a i t - f o r r e l a t i o n s h i p .
m e s s a g e p a t h i n s i d e e a c h n o d e ( a t n e t w o r k e n d p o i n t s ) , a d d i t i o n a l d e p e n d e n c i e s o n
n e t w o r k r e s o u r c e s a r e c r e a t e d , r e f e r r e d t o a s m e s s a g e o r p r o t o c o l d e p e n d e n c i e s .
A d i s t i n c t c l a s s o f m e s s a g e d e p e n d e n c y i s c r e a t e d f o r e a c h p a i r o f m e s s a g e
t y p e s f o r w h i c h a d i r e c t c o u p l i n g e x i s t s a n d i s t r a n s f e r r e d t o n e t w o r k r e s o u r c e s .
E a c h c o m b i n a t i o n m a y p r e s e n t d i f f e r e n t k i n d s o f m e s s a g e d e p e n d e n c i e s a n d a
c o r r e s p o n d i n g m e s s a g e d e p e n d e n c y c h a i n , w h i c h i s a s e r i e s o f m e s s a g e t y p e s u s e d
t o c o m p l e t e a t r a n s a c t i o n o n n e t w o r k r e s o u r c e s . S i n c e m e s s a g e d e p e n d e n c i e s
m a y p r e v e n t m e s s a g e s f r o m s i n k i n g a t t h e i r d e s t i n a t i o n s , t h e y m u s t b e a d d e d t o
t h e c o m p l e t e s e t o f r e s o u r c e d e p e n d e n c i e s . I f k n o t t e d c y c l e s f o r m a l o n g a s e t o f
r e s o u r c e s w h e n r e s o u r c e s a t t h e n e t w o r k e n d p o i n t s a r e a l s o t a k e n i n t o a c c o u n t ,
a t y p e o f d e a d l o c k c a l l e d m e s s a g e - i n d u c e d o r p r o t o c o l - i n d u c e d d e a d l o c k f o r m s
o n c e a l l r e s o u r c e s c o m p r i s i n g t h e k n o t b e c o m e f u l l .
A m e s s a g e d e p e n d e n c y c h a i n r e p r e s e n t s a n o r d e r e d l i s t o f m e s s a g e d e p e n -
d e n c i e s a l l o w e d b y t h e c o m m u n i c a t i o n p r o t o c o l . W e d e n e t h e p a r t i a l o r d e r
r e l a t i o n b e t w e e n t w o m e s s a g e t y p e s
m1 a n d
m2 b y t h e f o l l o w i n g :
m1 m2
i f a n d o n l y i f m2 c a n b e g e n e r a t e d b y a n o d e r e c e i v i n g m1 f o r s o m e d a t a t r a n s -
a c t i o n . M e s s a g e t y p e m2 i s s a i d t o b e s u b o r d i n a t e t o m1 , a n d a l l m e s s a g e t y p e s
s u b o r d i n a t e t o m2 a r e a l s o s u b o r d i n a t e t o m1 . T h e n a l m e s s a g e t y p e a t t h e e n d
o f t h e m e s s a g e d e p e n d e n c y c h a i n i s s a i d t o b e a t e r m i n a t i n g m e s s a g e t y p e . T h e
n u m b e r o f m e s s a g e t y p e s a l l o w e d w i t h i n a m e s s a g e d e p e n d e n c y c h a i n i s r e f e r r e d
t o a s t h e c h a i n l e n g t h . F o r e x a m p l e , i f t h e s y s t e m d e n e s o n l y t w o m e s s a g e t y p e s ,
r e q u e s t a n d r e p l y , f o r a l l d a t a t r a n s a c t i o n s a n d t h e m e s s a g e t y p e s e s t a b l i s h t h e
d e p e n d e n c y r e l a t i o n r e q u e s t r e p l y , t h e n t h e c h a i n l e n g t h i s t w o .
C o n s i d e r t h e f o l l o w i n g e x a m p l e o f q u e u e r e s o u r c e s h a r i n g a t n e t w o r k e n d -
p o i n t s b y m e s s a g e s o f t w o d i f f e r e n t t y p e s ( r e q u e s t r e p l y ) , s h o w n i n F i g u r e 1 3 . 5 .
D e p i c t e d i n t h e g u r e i s a s i m p l e m e s s a g e - i n d u c e d d e a d l o c k r e p r e s e n t e d b y a
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 11/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 5 5
R0
R1
R3
R2
CH3
CL3
CL1
CH1
CH0
CL0
CL2
CH2
Routing Function:
When nodei routes a message
heading for node j, it
1. uses CHi
, ifi < j2. uses C
Li, if i> j
3. stores, if i= j
Memory/Cache Controller
OQRQ
OQRP
IQRQ
IQRP
Crossbar
Router
Network Interface
CH(i-1)
CL(i-1)
CLi
CHi
CH0
CL3
CL2
CL1
CH1
CH2
Message Dependency
CLi
Low virtual channel from node i
CHi High virtual channel from node i
OQRQ
Output Queue for RQ messages
OQRP
Output Queue for RP messages
IQRQ
Input Queue for RQ messages
IQRP
Input Queue for RP messages
(a) (b) (c)
CR3
F i g u r e 1 3 . 6 . ( a ) A f o u r n o d e s y s t e m i n t e r c o n n e c t e d b y a u n i d i r e c t i o n a l r i n g n e t w o r k
u s i n g t w o v i r t u a l c h a n n e l s t o a v o i d r o u t i n g d e a d l o c k s , a s d e s c r i b e d i n S e c t i o n 1 3 . 3 . 1 .
( b ) M e s s a g e d e p e n d e n c i e s o c c u r r i n g i n s i d e n e t w o r k i n t e r f a c e s . ( c ) T h e c o r r e s p o n d -
i n g r e s o u r c e d e p e n d e n c y g r a p h c o n s i s t i n g o f n e t w o r k c h a n n e l s ( i . e . , C
Hja n d C
Lj)
a n d q u e u e r e s o u r c e s a t N o d e
R3 ( i . e . ,
C R3 ) . ( F r o m R e f . 6 1
c 2 0 0 3 I E E E . )
r e s o u r c e d e p e n d e n c y g r a p h i n w h i c h t w o n o d e s , N o d e A a n d N o d e B , a r e e a c h
s e n d i n g r e q u e s t m e s s a g e s t o o n e a n o t h e r a n d e x p e c t i n g t o r e c e i v e r e p l y m e s s a g e s
o v e r a n e t w o r k f r e e f r o m r o u t i n g - i n d u c e d d e a d l o c k . E a c h n o d e ' s n e t w o r k i n t e r f a c e
h a s a n o u t p u t m e s s a g e q u e u e a n d a n i n p u t m e s s a g e q u e u e , w h i c h a r e u s e d t o b u f f e r
m e s s a g e s o f a n y t y p e b e i n g i n j e c t e d i n t o o r r e c e i v e d f r o m t h e n e t w o r k . I f n o b u f f e r
s p a c e i s a v a i l a b l e i n t h e o u t p u t q u e u e , n o m e s s a g e i n t h e i n p u t q u e u e t h a t g e n e r a t e s
a s u b o r d i n a t e m e s s a g e t y p e i s s e r v i c e d . O t h e r w i s e , t h e m e s s a g e g e n e r a t e d b y t h e
s e r v i c e d m e s s a g e w o u l d c a u s e o v e r o w i n t h e o u t p u t q u e u e o r i n d e n i t e l y s t a l l
t h e n e t w o r k i n t e r f a c e f r o m s e r v i c i n g o t h e r m e s s a g e s . T h e s e a r e s i t u a t i o n s w h i c h
a r e a v o i d e d t o e n s u r e c o r r e c t e x e c u t i o n . I f t h e a r r i v a l r a t e o f r e q u e s t m e s s a g e s
e x c e e d s t h e c o n s u m p t i o n r a t e , a b a c k l o g s t a r t s t o f o r m a t t h e i n p u t m e s s a g e q u e u e
I Q A a t N o d e A . A f t e r a w h i l e , t h e b a c k l o g p r o p a g a t e s b a c k w a r d i n t h e d i r e c t i o n
o f m e s s a g e i n j e c t i o n a t t h e o u t p u t m e s s a g e q u e u e O Q B a t N o d e B . T h e b a c k l o g
e v e n t u a l l y r e a c h e s t h e i n p u t m e s s a g e q u e u e I Q B a t N o d e B , a n d , f u r t h e r , t o t h e
o u t p u t m e s s a g e q u e u e O Q A a t N o d e A . A t t h i s p o i n t , a d e a d l o c k f o r m s a s n o b u f f e r
s p a c e c a n b e f r e e d f o r r e p l y m e s s a g e s n e e d e d b y b o t h n o d e s t o c o n t i n u e e x e c u t i o n .
C o n s i d e r n e x t h o w t h e s h a r i n g o f c h a n n e l r e s o u r c e s b e t w e e n n e t w o r k e n d -
p o i n t s ( i . e . , w i t h i n t h e n e t w o r k ) a m o n g m e s s a g e s o f t w o d i f f e r e n t t y p e s ( r e q u e s t r e p l y ) c a n c a u s e m e s s a g e - i n d u c e d d e a d l o c k s . S h o w n i n F i g u r e 1 3 . 6 i s a s i m p l e
f o u r n o d e s y s t e m i n t e r c o n n e c t e d b y a u n i d i r e c t i o n a l r i n g n e t w o r k c o n s i s t i n g o f t w o
v i r t u a l c h a n n e l s u s e d i n s u c h a w a y a s t o a v o i d r o u t i n g - i n d u c e d d e a d l o c k b e t w e e n
n e t w o r k e n d p o i n t s ( r e f e r t o S e c t i o n 1 3 . 3 . 1 t o u n d e r s t a n d t h e r o u t i n g f u n c t i o n g i v e n
i n F i g u r e 1 3 . 6 ( a ) ) . A p r o c e s s o r - m e m o r y n o d e i s c o n n e c t e d t o e a c h r o u t e r v i a t h e
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 12/47
4 5 6 T . M . P i n k s t o n
n o d e ' s n e t w o r k i n t e r f a c e w h i c h t r a n s m i t s a n d r e c e i v e s m e s s a g e s t o / f r o m t h e n e t -
w o r k t h r o u g h i t s o u t p u t a n d i n p u t q u e u e s , r e s p e c t i v e l y . F i g u r e 1 3 . 6 ( b ) d e p i c t s
t h e m e s s a g e d e p e n d e n c y t h a t c a n o c c u r a t t h e n e t w o r k e n d p o i n t . T h e c h a n n e l d e -
p e n d e n c y g r a p h f o r t h e r o u t i n g a l g o r i t h m i s s h o w n a s s o l i d a r c s i n F i g u r e 1 3 . 6 ( c )
a n d i s c y c l e - f r e e b e t w e e n e n d p o i n t s . H o w e v e r , w h e n n o d e
R1 s e n d s a r e q u e s t
m e s s a g e t o R3 w h i c h r e s p o n d s b a c k t o t h e r e q u e s t b y s e n d i n g a r e p l y m e s s a g e
t o R1 , a m e s s a g e d e p e n d e n c y f r o m C H 2 t o C L3 e x i s t s i n t h e n e t w o r k ( s h o w n a s
d o t t e d a r c s i n t h e g u r e f o r n o d e R3 o n l y ) t h r o u g h t h e n e t w o r k i n t e r f a c e c h a n n e l
r e p r e s e n t e d b y C R3 a t R3 . T h i s c o m p l e t e s t h e c y c l e i n t h e c h a n n e l d e p e n d e n c y
g r a p h , m a k i n g m e s s a g e - i n d u c e d d e a d l o c k s p o s s i b l e .
1 3 . 2 . 3 R e c o n g u r a t i o n - I n d u c e d D e a d l o c k s
W h e n a c h a n g e i n n e t w o r k t o p o l o g y o r r o u t i n g a r i s e s t h r o u g h t i m e , i t m a y b e
n e c e s s a r y t o r e c o n g u r e t h e r o u t i n g f u n c t i o n i n o r d e r t o r e m a p a n d / o r r e c o n n e c t
r o u t i n g p a t h s b e t w e e n n o d e s i n t h e s y s t e m . R e c o n g u r i n g a n e t w o r k ' s r o u t i n g
f u n c t i o n c a n c a u s e a d d i t i o n a l d e p e n d e n c i e s a m o n g n e t w o r k r e s o u r c e s b o t h d u r i n g
a n d a f t e r t h e r e c o n g u r a t i o n p r o c e s s t h a t a r e n o t i n d e p e n d e n t l y a l l o w e d b y e i t h e r
t h e o l d o r n e w r o u t i n g f u n c t i o n s . T h e p a t h s o f c h a n n e l s o c c u p i e d b y s o m e u n -
d e l i v e r e d p a c k e t s r o u t e d w i t h t h e o l d r o u t i n g f u n c t i o n ( i . e . , t h e i r c o n g u r a t i o n )
c o u l d b e i l l e g a l u n d e r t h e n e w r o u t i n g f u n c t i o n . A s a r e s u l t , t w o a d j a c e n t u n i t s
o f s u c h p a c k e t s ( c a l l e d i t s
1
) c o u l d b e s t o r e d i n t w o d i f f e r e n t c h a n n e l s o n e a l -
l o w e d o n l y b y t h e o l d r o u t i n g f u n c t i o n a n d t h e o t h e r a l l o w e d o n l y b y t h e n e w
r o u t i n g f u n c t i o n . T h i s c a n c r e a t e a s e t o f r e s i d u a l d e p e n d e n c i e s , r e f e r r e d t o a s
g h o s t d e p e n d e n c i e s [ 2 4 ] , t h a t m u s t b e t a k e n i n t o a c c o u n t i n t h e t o t a l s e t o f r e -
s o u r c e d e p e n d e n c i e s w h e n d e t e r m i n i n g t h e n e t w o r k ' s d e a d l o c k p r o p e r t i e s . G h o s t
d e p e n d e n c i e s c a n i n t e r a c t w i t h d e p e n d e n c i e s a l l o w e d b y t h e n e w r o u t i n g f u n c t i o n
t o c l o s e d e p e n d e n c y c y c l e s o n r e s o u r c e s u s e d t o e s c a p e f r o m d e a d l o c k , c a u s i n g
r e c o n g u r a t i o n - i n d u c e d d e a d l o c k .
F i g u r e 1 3 . 7 i l l u s t r a t e s h o w g h o s t d e p e n d e n c i e s b r o u g h t o n b y u n d e l i v e r e d
p a c k e t s i n a w o r m h o l e n e t w o r k u n d e r g o i n g r e c o n g u r a t i o n c a n c a u s e r e c o n g u r a -
t i o n - i n d u c e d d e a d l o c k . T h e a r r o w s i n t h e g u r e s i n d i c a t e t h e u p d i r e c t i o n s a s -
s i g n e d t o t h e l i n k s f o r u p * / d o w n * r o u t i n g [ 2 5 ] , a r o u t i n g t e c h n i q u e t h a t i s f r e e
f r o m r o u t i n g - i n d u c e d d e a d l o c k s ( s e e S e c t i o n 1 3 . 3 . 1 ) . U p * / d o w n * r o u t i n g a l l o w s
p a c k e t s t o f o l l o w a n y p a t h l e a d i n g t o t h e i r d e s t i n a t i o n w h i c h i s c o m p r i s e d o n l y o f
z e r o o r m o r e u p l i n k s f o l l o w e d b y z e r o o r m o r e d o w n l i n k s . T h i s a v o i d s c y c l e s
f r o m f o r m i n g , w h i c h m a k e s t h e r o u t i n g a l g o r i t h m d e a d l o c k - f r e e i n t h e c a s e o f n o
r e c o n g u r a t i o n . I n t h e e x a m p l e s h o w n , t h e n e t w o r k u n d e r g o e s r e c o n g u r a t i o n
i n r e s p o n s e t o t h e o l d r o o t n o d e b e i n g r e m o v e d . L i n k d i r e c t i o n s a r e a l t e r e d f o r
s o m e l i n k s i n o r d e r f o r a n e w r o o t n o d e t o b e e s t a b l i s h e d f o r t h e n e w u p * / d o w n *
r o u t i n g f u n c t i o n . R e c o n g u r a t i o n - i n d u c e d d e a d l o c k m a y b e c a u s e d b y t h e g h o s t
1
A i t i s t h e s m a l l e s t u n i t o f a p a c k e t o n w h i c h o w c o n t r o l i s p e r f o r m e d . T h e i t s i z e c a n
b e l e s s t h a n t h e p a c k e t s i z e w h e n w o r m h o l e s w i t c h i n g i s u s e d ; i t i s e q u a l t o t h e p a c k e t s i z e
w h e n v i r t u a l c u t - t h r o u g h s w i t c h i n g i s u s e d .
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 13/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 5 7
old root
(b)(a)
LEGEND:
skylinenew dependency
ghost dependencyold dependency
new root
F i g u r e 1 3 . 7 . ( a ) R e c o n g u r a t i o n o f a n e t w o r k t h a t u s e s U p * / D o w n * R o u t i n g w h i c h i s
f r e e f r o m r o u t i n g - i n d u c e d d e a d l o c k ( s e e S e c t i o n 1 3 . 3 . 1 ) . I n i t , p a c k e t s r o u t e t o w a r d
t h e i r d e s t i n a t i o n s o v e r p a t h s c o n s i s t i n g o f z e r o o r m o r e u p l i n k s f o l l o w e d b y z e r o
o r m o r e d o w n l i n k s . T h e u p d i r e c t i o n f o r e a c h l i n k i n t h e g u r e i s i n d i c a t e d b y
t h e d i r e c t i o n o f t h e a r r o w h e a d s ( a n d i s a l s o i m p l i e d b y t h e r e l a t i v e v e r t i c a l p o s i t i o n s
o f t h e n o d e s ) . I n ( b ) , t h e o l d r o o t n o d e i s r e m o v e d , w h i c h t r i g g e r s a n e w r o o t n o d e
t o b e d i s c o v e r e d w i t h i n t h e s k y l i n e o f t h e n e t w o r k ( e n c l o s e d b y d o t t e d l i n e s ) , w h e r e
t h e t h i c k e r l i n e s i n d i c a t e l i n k s w h i c h r e v e r s e t h e i r d i r e c t i o n s a f t e r r e c o n g u r a t i o n
c o m p l e t e s . G h o s t d e p e n d e n c i e s ( d a s h e d a r c ) c a r r i e d f r o m t h e o l d r o u t i n g f u n c t i o n
c a n f o r m a d e p e n d e n c y c y c l e w i t h n e w d e p e n d e n c i e s ( s o l i d a r c ) f r o m t h e n e w r o u t i n g
f u n c t i o n , t h u s c r e a t i n g t h e p o t e n t i a l f o r d e a d l o c k .
d e p e n d e n c y b e t w e e n c h a n n e l s , s h o w n a s a d a s h e d a r c . T h i s d e p e n d e n c y i s n o t
a m o n g t h e n o r m a l d e p e n d e n c i e s a l l o w e d b y t h e n e w r o u t i n g f u n c t i o n , y e t i t p e r -
s i s t s e v e n a f t e r r e c o n g u r a t i o n i s c o m p l e t e d i f a p a c k e t t h a t w a s r o u t e d u s i n g t h e
o l d r o u t i n g f u n c t i o n r e m a i n s i n t h e n e t w o r k a n d h o l d s r e s o u r c e s t h a t w e r e s u p p l i e d
b y t h e o l d r o u t i n g f u n c t i o n . I t s e x i s t e n c e c l o s e s t h e c h a n n e l d e p e n d e n c y c y c l e a s
s h o w n , p r e v e n t i n g e s c a p e f r o m d e a d l o c k o n c e a l l a f f e c t e d r e s o u r c e s b e c o m e f u l l y
o c c u p i e d .
1 3 . 3 A P P R O A C H E S F O R H A N D L I N G D E A D L O C K S
A p p r o a c h e s f o r h a n d l i n g d e a d l o c k i n i n t e r c o n n e c t i o n n e t w o r k s a r e m a i n l y
b a s e d e i t h e r o n a p p l y i n g r e s t r i c t i o n s t o a v o i d t h e m ( i . e . , a v o i d a n c e - b a s e d ) o r o n
l i f t i n g r e s t r i c t i o n s b u t s u p p l y i n g n o m i n a l r e s o u r c e s t o d e t e c t a n d r e s o l v e t h e m ( i . e . ,
r e c o v e r y - b a s e d ) . A t h i r d a p p r o a c h i s b a s e d o n r e s e r v i n g a l l n e e d e d r e s o u r c e s p r i o r
t o t r a n s m i s s i o n . T h i s w a y , d e a d l o c k i s a l t o g e t h e r p r e v e n t e d a s n o b l o c k a g e o f a n y
k i n d i s e n c o u n t e r e d . H o w e v e r , s i n c e t h i s s t r a t e g y i s t y p i c a l l y u s e d o n l y i n l e g a c y
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 14/47
4 5 8 T . M . P i n k s t o n
c i r c u i t s w i t c h e d n e t w o r k s , i t w i l l n o t b e d i s c u s s e d f u r t h e r i n t h i s c h a p t e r a s w e
f o c u s o n t e c h n i q u e s f o r p a c k e t s w i t c h e d n e t w o r k s .
F r o m a n i m p l e m e n t a t i o n p o i n t o f v i e w , t h e p r i m a r y d i s t i n c t i o n b e t w e e n
a v o i d a n c e a n d r e c o v e r y a p p r o a c h e s l i e s i n t h e t r a d e o f f m a d e b e t w e e n i n c r e a s i n g
t h e r o u t i n g f r e e d o m a n d r e d u c i n g t h e p o t e n t i a l f o r d e a d l o c k f o r m a t i o n . R o u t i n g
f r e e d o m c a n b e i n c r e a s e d b y a d d i n g p h y s i c a l c h a n n e l s , i . e . , i n c r e a s i n g t h e n u m -
b e r o f a l t e r n a t i v e p a t h s a v a i l a b l e a c r o s s d i f f e r e n t d i r e c t i o n s a n d d i m e n s i o n s o f
t h e n e t w o r k b y u s i n g b i d i r e c t i o n a l a n d h i g h - d e g r e e ( r i c h ) t o p o l o g i e s . I t c a n a l s o
b e i n c r e a s e d b y a d d i n g m o r e v i r t u a l c h a n n e l s p e r p h y s i c a l c h a n n e l , i . e . , i n c r e a s -
i n g t h e n u m b e r o f l o g i c a l r o u t i n g o p t i o n s a v a i l a b l e w i t h i n e a c h d i m e n s i o n / l i n k .
I n c r e a s i n g t h e a d a p t i v i t y o f t h e r o u t i n g f u n c t i o n a l s o i n c r e a s e s r o u t i n g f r e e d o m
a s t h e n u m b e r o f r o u t i n g o p t i o n s a l l o w e d w i t h i n a n d a c r o s s e a c h d i m e n s i o n i s
i n c r e a s e d . H o w e v e r , a s p r e v i o u s l y d i s c u s s e d i n S e c t i o n 1 3 . 2 . 1 , i n c r e a s i n g t h e
r o u t i n g f r e e d o m i n c r e a s e s t h e p o t e n t i a l n u m b e r o f c y c l e s a n d , l i k e w i s e , a f f e c t s t h e
p r o b a b i l i t y o f k n o t f o r m a t i o n . H e n c e , t h e a d v a n t a g e s o f t e c h n i q u e s b a s e d e i t h e r o n
d e a d l o c k a v o i d a n c e o r d e a d l o c k r e c o v e r y d e p e n d o n h o w i n f r e q u e n t l y d e a d l o c k s
m i g h t o c c u r i f r o u t i n g f r e e d o m i s m a x i m i z e d a n d h o w e f c i e n t l y p a c k e t s c a n b e
r o u t e d t h r o u g h t h e n e t w o r k i f r o u t i n g f r e e d o m i s r e s t r i c t e d s u c h t h a t d e a d l o c k s a r e
c o m p l e t e l y a v o i d e d .
L e t u s r s t c o n s i d e r d e a d l o c k a v o i d a n c e a p p r o a c h e s . T h e s i m p l e s t w a y
o f a v o i d i n g d e a d l o c k i s t o d i s a l l o w t h e a p p e a r a n c e o f c y c l e s i n t h e n e t w o r k ' s
C D G [ 1 9 ] . A s c y c l i c r e s o u r c e d e p e n d e n c y i s n e c e s s a r y f o r d e a d l o c k , t h e l a c k o f
c y c l e s p r e c l u d e s d e a d l o c k . W e c a n t h i n k o f t h i s a s d e a d l o c k a v o i d a n c e i n t h e s t r i c t
s e n s e s i n c e t h e p h e n o m e n a t h a t p r e c i p i t a t e d e a d l o c k , i . e . , c y c l i c d e p e n d e n c i e s ,
c a n n o t e x i s t a n y w h e r e i n t h e n e t w o r k . A n a l t e r n a t i v e w a y o f a v o i d i n g d e a d l o c k i s
t o a l l o w c y c l e s i n t h e n e t w o r k ' s C D G b u t t o e n f o r c e r o u t i n g r e s t r i c t i o n s o n l y o n
a s u b s e t o f n e t w o r k r e s o u r c e s u s e d t o e s c a p e d e a d l o c k s u c h t h a t a l l d e p e n d e n c i e s
o n t h o s e r e s o u r c e s ( a s g i v e n b y a n e x t e n d e d C D G ) a r e a c y c l i c [ 1 6 ] . T h i s i s t h e
s i t u a t i o n i n w h i c h t h e r e a c h o f a l l p o s s i b l e c y c l i c d e p e n d e n c i e s a r e g u a r a n t e e d
a t a l l t i m e s t o e x t e n d o u t s i d e t h e s c o p e o f c y c l i c a l l y r e l a t e d r e s o u r c e s . W e c a n
t h i n k o f t h i s a s d e a d l o c k a v o i d a n c e i n t h e w i d e s e n s e s i n c e c y c l i c d e p e n d e n c i e s
w h i c h p r e c i p i t a t e d e a d l o c k a t c e r t a i n p o i n t s i n t h e n e t w o r k a r e p r e v e n t e d f r o m
e s c a l a t i n g i n t o k n o t t e d d e p e n d e n c i e s d u e t o t h e c o n s t a n t a v a i l a b i l i t y o f e s c a p e
r e s o u r c e s n e t w o r k - w i d e . Y e t a t h i r d a l t e r n a t i v e f o r a v o i d i n g d e a d l o c k i n t h e w e a k
s e n s e i s t o a l l o w c y c l e s i n t h e n e t w o r k ' s C D G a n d e x t e n d e d C D G , a n d e v e n t o
a l l o w k n o t s t o f o r m , b u t t o r e q u i r e a t l e a s t s o m e s u b s e t o f e s c a p e r e s o u r c e s ( i . e . ,
t h o s e i n t h e e x t e n d e d C D G ) t o b e l a r g e e n o u g h s u c h t h a t t h e y n e v e r b e c o m e f u l l y
o c c u p i e d [ 2 6 ] . T h i s g u a r a n t e e s t h a t p a c k e t s a l o n g k n o t t e d r e s o u r c e s e v e n t u a l l y
a r e a b l e t o m a k e f o r w a r d p r o g r e s s , a l b e i t s l o w l y .
D e a d l o c k r e c o v e r y a p p r o a c h e s , o n t h e o t h e r h a n d , r e q u i r e c o r r e c t d e t e c t i o n
a n d r e s o l u t i o n o f a l l p o t e n t i a l d e a d l o c k s t h a t m a y o c c u r i n a n e t w o r k . P r e c i s e l y
d e t e c t i n g t h e o c c u r r e n c e o f a p o t e n t i a l d e a d l o c k s i t u a t i o n i n i n t e r c o n n e c t i o n n e t -
w o r k s r e q u i r e s a n e x c e s s i v e a m o u n t o f d i s t r i b u t e d r e s o u r c e s c o n t r o l l e d u n d e r a
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 15/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 5 9
c o m p l e x m a n a g e m e n t m e c h a n i s m . T o r e d u c e c o s t s , l e s s a c c u r a t e h e u r i s t i c t e c h -
n i q u e s t h a t d e t e c t a l l t r u e p o t e n t i a l d e a d l o c k s i t u a t i o n s b u t , c o n s e q u e n t l y , a l s o
s o m e o c c a s i o n a l f a l s e o n e s a r e t y p i c a l l y u s e d , s u c h a s t i m e - o u t o r o w - c o n t r o l
b a s e d m e c h a n i s m s [ 2 7 ] . O n c e d e t e c t e d , d e a d l o c k c a n b e r e s o l v e d e i t h e r i n t h e
w i d e s e n s e o r i n t h e w e a k s e n s e .
T h e s i m p l e s t w a y o f r e s o l v i n g p o t e n t i a l d e a d l o c k i s t o r e m o v e f r o m t h e
n e t w o r k o n e o r m o r e p a c k e t s i n t h e d e a d l o c k s e t [ 2 0 ] , i . e . , b y k i l l i n g a n d l a t e r r e -
i n j e c t i n g i t f o r s u b s e q u e n t d e l i v e r y a f t e r s o m e r a n d o m d e l a y . W e c a n t h i n k o f t h i s
a s r e g r e s s i v e d e a d l o c k r e c o v e r y s i n c e t h e a b o r t - a n d - r e t r y p r o c e s s , i n e f f e c t , m a k e s
p a c k e t s r e g r e s s b a c k t o t h e i r s o u r c e i n o r d e r t o r e s o l v e d e a d l o c k . A l t e r n a t i v e l y ,
d e a d l o c k c a n b e r e s o l v e d b y e n s u r i n g t h a t a t l e a s t o n e p a c k e t i n t h e d e a d l o c k s e t
n o l o n g e r w a i t s o n l y f o r r e s o u r c e s o c c u p i e d b y o t h e r p a c k e t s i n t h e a g g r e g a t i o n
o f a l l d e a d l o c k s e t s i n t h e n e t w o r k [ 2 0 ] . T h i s c a n b e d o n e e i t h e r d e e c t i v e l y o r
p r o g r e s s i v e l y , d e p e n d i n g u p o n w h e t h e r r e c o v e r i n g p a c k e t s m a k e p r o g r e s s t o w a r d
t h e i r d e s t i n a t i o n o r a r e s i m p l y d e e c t e d o u t o f t h e p o t e n t i a l d e a d l o c k s i t u a t i o n
o b l i v i o u s l y w i t h r e g a r d t o t h e i r u l t i m a t e d e s t i n a t i o n .
B e l o w , s o m e w e l l - k n o w n a s w e l l a s s o m e r e c e n t l y p r o p o s e d a p p r o a c h e s f o r
h a n d l i n g t h e t h r e e t y p e s o f d e a d l o c k s t h a t c a n o c c u r i n i n t e r c o n n e c t i o n n e t w o r k s
a r e d e s c r i b e d . A s m e c h a n i s m s f o r h a n d l i n g e a c h i s d i s c u s s e d s e p a r a t e l y , i t i s
a s s u m e d t h a t o t h e r m e c h a n i s m s a r e i n p l a c e t o s u f c i e n t l y h a n d l e t h e o t h e r t w o
t y p e s o f d e a d l o c k s , i . e . , u s i n g t h e a v o i d a n c e o r r e c o v e r y t e c h n i q u e s d i s c u s s e d i n
t h e o t h e r s e c t i o n s g i v e n b e l o w .
1 3 . 3 . 1 H a n d l i n g R o u t i n g - I n d u c e d D e a d l o c k s
A . R o u t i n g - I n d u c e d D e a d l o c k A v o i d a n c e i n t h e S t r i c t S e n s e
P r i o r t o t h e p a s t d e c a d e , r o u t i n g - i n d u c e d d e a d l o c k w a s h a n d l e d p r i m a r i l y b y
a v o i d i n g i t i n t h e s t r i c t s e n s e . C y c l i c - w a i t s i t u a t i o n s w e r e c o m p l e t e l y a v o i d e d
b y i m p o s i n g s e v e r e r e s t r i c t i o n s o n t h e o r d e r i n w h i c h a l l n e t w o r k c h a n n e l q u e u e s
w e r e a l l o c a t e d t o p a c k e t s . T e c h n i q u e s f o r a c c o m p l i s h i n g t h i s c a n b e c l a s s i e d a s
b e i n g p a t h - b a s e d , q u e u e - b a s e d , o r s o m e h y b r i d c o m b i n a t i o n o f t h e t w o . Q u e u e -
b a s e d t e c h n i q u e s m a y b e s u b d i v i d e d i n t o c h a n n e l - b a s e d s c h e m e s a n d b u f f e r -
b a s e d s c h e m e s . T h e i d e a b e h i n d p a t h - b a s e d s c h e m e s i s t o a v o i d c y c l i c - w a i t
d e p e n d e n c i e s o n r e s o u r c e s b y r e s t r i c t i n g t h e p o s s i b l e p a t h s p a c k e t s c a n t a k e f r o m
s o u r c e t o d e s t i n a t i o n , a s s u p p l i e d b y t h e r o u t i n g f u n c t i o n . B y p r o h i b i t i n g c e r t a i n
t u r n s i n r o u t i n g w h i l e m a i n t a i n i n g n e t w o r k c o n n e c t i v i t y , i t i s p o s s i b l e t o e l i m i n a t e
s o m e c r i t i c a l r e s o u r c e d e p e n d e n c i e s t h a t m i g h t o t h e r w i s e c l o s e d e p e n d e n c y c y c l e s .
T h i s e f f e c t i v e l y l e a d s t o s o m e t o t a l o r d e r i n g b e i n g i m p o s e d o n t h e u s e o f n e t w o r k
r e s o u r c e s . S i m i l a r l y , q u e u e - b a s e d s c h e m e s a c c o m p l i s h t h e s a m e b y r e s t r i c t i n g t h e
p o s s i b l e q u e u e s ( v i r t u a l c h a n n e l s f o r c h a n n e l - b a s e d s c h e m e s o r q u e u e b u f f e r s f o r
b u f f e r - b a s e d s c h e m e s ) u s e d b y p a c k e t s t o t h e i r d e s t i n a t i o n s , a s s u p p l i e d b y t h e
r o u t i n g f u n c t i o n .
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 16/47
4 6 0 T . M . P i n k s t o n
!
"
#
$
%
&
'
(
Fully Adaptive Routing
West First TM Routing
(b)
XY Routing
F i g u r e 1 3 . 8 . ( a ) A 3× 3 b i d i r e c t i o n a l m e s h n e t w o r k w i t h i t s c o r r e s p o n d i n g a c y c l i c
C D G s h o w n f o r X Y d i m e n s i o n - o r d e r r o u t i n g ( i . e . , c h a n n e l
Ciji s t h e c h a n n e l f r o m
n o d e
it o n o d e
j) . ( b ) I n t e r - d i m e n s i o n a l t u r n s a l l o w e d f o r r o u t i n g f u n c t i o n s w i t h
h i g h e r ( t o p ) t o l o w e r ( b o t t o m ) r o u t i n g f r e e d o m , w h e r e d a s h e d a r c s i n d i c a t e t u r n s
d i s a l l o w e d b y t h e r o u t i n g f u n c t i o n .
A n u m b e r o f p a t h - b a s e d s c h e m e s h a v e b e e n p r o p o s e d a n d m a n y i m p l e m e n t e d
i n m u l t i p r o c e s s o r , n e t w o r k - b a s e d , a n d s u p e r c o m p u t e r s y s t e m s . D i m e n s i o n - O r d e r
R o u t i n g ( D O R ) , u s e d i n t h e C r a y T 3 D [ 2 8 ] a n d S G I O r i g i n 2 0 0 0 [ 2 9 ] f o r e x a m p l e ,
c o n s t r a i n s p a c k e t s t o d e t e r m i n i s t i c a l l y r o u t e m i n i m a l l y t o t h e i r d e s t i n a t i o n s i n n e t -
w o r k d i m e n s i o n o r d e r . F i g u r e 1 3 . 8 ( a ) s h o w s t h e n e t w o r k a n d c h a n n e l d e p e n d e n c y
g r a p h f o r
XY d i m e n s i o n - o r d e r r o u t i n g o n a 3×3 m e s h , w h e r e p a c k e t s m u s t r e a c h
t h e i r X d i m e n s i o n c o o r d i n a t e s r s t b e f o r e r o u t i n g i n t h e Y d i m e n s i o n . D O R i s
s i m i l a r e x c e p t t h a t r o u t i n g f r e e d o m a l o n g t h e t w o d i r e c t i o n s o f e a c h d i m e n s i o n
i s i n c r e a s e d . T u r n M o d e l ( T M ) R o u t i n g [ 3 0 ] , u s e d i n t h e R a p i d R e c o n g u r a b l e
R o u t e r ( R C u b e ) [ 3 1 ] , p r o h i b i t s t h e m i n i m u m n u m b e r o f t u r n s n e e d e d t o p r e v e n t
i n t e r - d i m e n s i o n a l c y c l e s i n a n n- d i m e n s i o n a l m e s h i n o r d e r t o f u r t h e r i n c r e a s e
r o u t i n g f r e e d o m . T h i s i s n(n− 1) o r a q u a r t e r o f t h e p o s s i b l e t u r n s i n s t e a d o f h a l f
t h e t u r n s f o r D O R , a s s h o w n i n F i g u r e 1 3 . 8 ( b ) . W e s t - r s t T u r n M o d e l r o u t i n g , f o r
e x a m p l e , r e q u i r e s a l l p a c k e t s t o b e r o u t e d n o n - a d a p t i v e l y w e s t r s t b e f o r e b e i n g
r o u t e d a d a p t i v e l y i n o t h e r d i r e c t i o n s . A l t h o u g h t h e T u r n M o d e l i n c r e a s e s r o u t i n g
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 17/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 6 1
f r e e d o m , i t s a p p l i c a b i l i t y i s l i m i t e d p r i m a r i l y t o m e s h n e t w o r k s . U p * / D o w n *
R o u t i n g , u s e d i n A u t o n e t [ 2 5 ] a n d M y r i n e t [ 1 ] f o r e x a m p l e , i s g e n e r a l l y a p p l i c a b l e
t o a r b i t r a r y n e t w o r k t o p o l o g i e s . A s s h o w n i n F i g u r e 1 3 . 7 , e a c h l i n k i s a s s i g n e d
a d i r e c t i o n , a n d p a c k e t s r o u t e t o w a r d t h e i r d e s t i n a t i o n s o v e r p a t h s c o n s i s t i n g o f
z e r o o r m o r e u p l i n k s f o l l o w e d b y z e r o o r m o r e d o w n l i n k s . T h i s f o r c e s a n
o r d e r i n g o n n e t w o r k r e s o u r c e s s u c h t h a t t u r n d e p e n d e n c i e s f r o m d o w n l i n k s t o
u p l i n k s a r e p r o h i b i t e d , t h u s d i s a l l o w i n g c y c l e s t o b e c o m p l e t e d i n t h e n e t w o r k ' s
C D G .
P a t h - b a s e d s c h e m e s h a v e t h e a d v a n t a g e o f n o t r e q u i r i n g v i r t u a l c h a n n e l s t o
s t r i c t l y a v o i d d e a d l o c k . H o w e v e r , t h e i r r o u t i n g e x i b i l i t y ( i . e . , r o u t i n g f r e e d o m )
i s s a c r i c e d a n d , m o r e i m p o r t a n t l y , t h e s e s c h e m e s m a y n o t a l w a y s p r o v i d e a c o m -
p l e t e d e a d l o c k - f r e e s o l u t i o n f o r n e t w o r k s w i t h w r a p - a r o u n d l i n k s , l i k e r i n g s a n d
t o r i , u n l e s s s o m e n e t w o r k l i n k s ( i . e . , t h e w r a p - a r o u n d l i n k s ) g o u n u s e d . T h i s i s
d e m o n s t r a t e d f o r t h e r i n g n e t w o r k s h o w n i n F i g u r e 1 3 . 9 ( a ) , w h e r e i t s c o r r e s p o n d -
i n g c y c l i c C D G i s s h o w n i n F i g u r e 1 3 . 9 ( b ) . Q u e u e - b a s e d s c h e m e s c a n e f f e c t i v e l y
d e a l w i t h n e t w o r k t o p o l o g i e s t h a t i n h e r e n t l y h a v e c y c l e s s i n c e t h e y d e c o u p l e t h e
a l l o c a t i o n o f q u e u e r e s o u r c e s ( v i r t u a l c h a n n e l s o r b u f f e r s ) f r o m t h e u s e o f p h y s i c a l
l i n k s b y p a c k e t s . B u f f e r - b a s e d s c h e m e s , s u c h a s s t r u c t u r e d b u f f e r p o o l s [ 3 2 , 3 3 ]
u s e d i n l e g a c y p a c k e t s w i t c h e d n e t w o r k s , p l a c e p a c k e t s i n t o b u f f e r c l a s s e s a s s o c i -
a t e d w i t h t h e n u m b e r o f h o p s l e f t t o r e a c h t h e i r d e s t i n a t i o n s . T h i s r e q u i r e s D + 1d i s t i n c t b u f f e r c l a s s e s
2
, w h e r e D i s t h e n e t w o r k d i a m e t e r w h i c h i s t h e m a x i m u m
n u m b e r o f h o p s ( o r d i s t a n c e ) b e t w e e n a n y t w o n o d e s a l o n g a m i n i m a l p a t h i n t h e
s y s t e m .
C h a n n e l - b a s e d s c h e m e s w h i c h u s e v i r t u a l c h a n n e l s s u c h a s [ 1 9 , 3 4 , 3 5 ] a l l o w
t h e n u m b e r o f r e q u i r e d q u e u e r e s o u r c e s t o b e i n d e p e n d e n t o f t h e n e t w o r k d i a m e t e r .
A s s h o w n i n F i g u r e 1 3 . 9 ( c ) a n d ( d ) ( a n d a l l u d e d t o e a r l i e r i n F i g u r e 1 3 . 6 ) f o r a f o u r
n o d e u n i d i r e c t i o n a l r i n g n e t w o r k , e a c h p h y s i c a l c h a n n e l c a n b e a s s o c i a t e d w i t h
t w o v i r t u a l c h a n n e l s a h i g h c h a n n e l a n d a l o w c h a n n e l a n d a n o r d e r i n g o n t h e
u s e o f t h o s e v i r t u a l c h a n n e l s c a n b e i m p o s e d e x p l i c i t l y b y t h e r o u t i n g f u n c t i o n . F o r
e x a m p l e , i n t h e g u r e , p h y s i c a l c h a n n e l
c0 f r o m r o u t e r 0 t o r o u t e r 1 i s a s s o c i a t e d
w i t h v i r t u a l c h a n n e l s
cH 0 ( h i g h ) a n d
cL0 ( l o w ) . T h e r o u t i n g f u n c t i o n s u p p l i e s t h e
h i g h c h a n n e l cHi t o a p a c k e t a t r o u t e r i d e s t i n e d t o n o d e j i f i < j ; o r i t s u p p l i e s t h e
l o w c h a n n e l cLi i f i > j ; o t h e r w i s e , i t d e l i v e r s t h e p a c k e t t o t h e n o d e a s s o c i a t e d
w i t h r o u t e r i. T h u s , d e a d l o c k i s s t r i c t l y a v o i d e d w i t h t h e u s e o f j u s t t w o v i r t u a l
c h a n n e l s p e r p h y s i c a l c h a n n e l i n d e p e n d e n t o f n e t w o r k d i a m e t e r , b u t o n l y o n e o f
t h o s e c h a n n e l s i s s u p p l i e d t o p a c k e t s a t a n y g i v e n p o i n t i n t h e n e t w o r k . T h a t i s ,
t h e r e i s a n u p p e r b o u n d o n r o u t i n g f r e e d o m a n d n e t w o r k c a p a c i t y o f o n l y 5 0 %
u t i l i z a t i o n o f v i r t u a l c h a n n e l r e s o u r c e s .
P u r e c h a n n e l - b a s e d s c h e m e s t h a t d o n o t r e s t r i c t t h e a l l o w a b l e p a t h s p a c k e t s
c a n t a k e i n r o u t i n g t o t h e i r d e s t i n a t i o n s , i . e . , t h o s e t h a t a l l o w f u l l y a d a p t i v e r o u t i n g
2
T h i s n u m b e r c a n b e h a l v e d u s i n g a n e g a t i v e h o p s c h e m e i n w h i c h a d j a c e n t n o d e s a r e
p a r t i t i o n e d i n t o d i s t i n c t p o s i t i v e a n d n e g a t i v e s u b s e t s ( i . e . , v i a g r a p h c o l o r i n g ) , a n d p a c k e t s
a r e p l a c e d i n t o a b u f f e r o f c l a s s j i f i t h a s t r a v e l e d e x a c t l y j n e g a t i v e h o p s .
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 18/47
4 6 2 T . M . P i n k s t o n
H0
R
C
3R
0R 1
(b)
3C
0C
2
(a)
(c)
H1CL3CCH3
L0
C
H2C
L1C
L2C
2R
C
H3C L0CCL3
H0C
L1C
L2C
H2C
H1C
C
11C
2C
3C
C0
2R
1R
3R
0R
(d)
F i g u r e 1 3 . 9 . ( a ) A f o u r n o d e u n i d i r e c t i o n a l r i n g n e t w o r k a n d ( b ) i t s c o r r e s p o n d i n g
c y c l i c C D G f o r u n r e s t r i c t e d r o u t i n g . ( c ) T h e s a m e f o u r n o d e u n i d i r e c t i o n a l r i n g
n e t w o r k w i t h t w o v i r t u a l c h a n n e l s p e r p h y s i c a l c h a n n e l a n d ( d ) i t s c o r r e s p o n d i n g
a c y c l i c C D G f o r a r o u t i n g f u n c t i o n w h i c h e n f o r c e s a n o r d e r i n g o n t h e u s e o f t h e
v i r t u a l c h a n n e l s .
i l l u s t r a t e d a t t h e t o p o f F i g u r e 1 3 . 8 ( b ) , s u c h a s L i n d e r a n d H a r d e n ' s s c h e m e [ 3 4 ] ,
c o n s e q u e n t l y r e q u i r e a n e x p o n e n t i a l g r o w t h
3
i n t h e n u m b e r o f v i r t u a l c h a n n e l s
n e e d e d t o p r e v e n t c y c l e s i n t h e C D G . T h i s g r o w t h c a n i n c r e a s e t h e i m p l e m e n t a t i o n
c o m p l e x i t y o f t h e r o u t e r c o n s i d e r a b l y . E v e n w i t h s u c h a l a r g e n u m b e r o f v i r t u a l
c h a n n e l s , t h e s e s c h e m e s a l l o w o n l y a s m a l l s u b s e t o f t h o s e r e s o u r c e s t o b e u s a b l e
b y e a c h p a c k e t a s v i r t u a l c h a n n e l s a r e g r o u p e d i n t o o r d e r e d l e v e l s a n d c l a s s e s .
T h i s h a s m o t i v a t e d t h e d e v e l o p m e n t o f h y b r i d s c h e m e s t h a t a r e b a s e d p a r t i a l l y
o n b o t h p a t h a n d c h a n n e l r e s t r i c t i o n s . H y b r i d p a t h / c h a n n e l s c h e m e s a r e p r e v a l e n t
i n s y s t e m s w h i c h s t r i c t l y a v o i d r e c o n g u r a t i o n - i n d u c e d d e a d l o c k , i n c l u d i n g t h e
3
T h i s g r o w t h i s b a s e d o n n e t w o r k d i m e n s i o n a l i t y , i . e . ,
2n−1(n + 1)v i r t u a l c h a n n e l s p e r
p h y s i c a l c h a n n e l a r e r e q u i r e d , w h e r e n i s t h e n u m b e r o f n e t w o r k d i m e n s i o n s .
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 19/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 6 3
S G I S p i d e r [ 3 6 ] , a n d I n t e l C a v a l l i n o [ 3 7 ] t o n a m e a f e w . A s a n e x a m p l e , P l a n a r
A d a p t i v e R o u t i n g ( P A R ) [ 3 5 ] i s a p a r t i a l l y a d a p t i v e r o u t i n g s c h e m e t h a t s t r i c t l y
a v o i d s d e a d l o c k u s i n g a c o m b i n a t i o n o f b o t h p a t h a n d c h a n n e l r e s t r i c t i o n s . T h i s
s c h e m e r e q u i r e s t h r e e v i r t u a l c h a n n e l s p e r p h y s i c a l c h a n n e l i n
n- d i m e n s i o n a l m e s h
n e t w o r k s a n d s i x i n t o r u s n e t w o r k s , o f w h i c h o n l y o n e c a n b e u s e d i n e a c h o f t h e
a l l o w e d d i m e n s i o n s b y p a c k e t s r o u t i n g i n t h e n e t w o r k . D e a d l o c k i s a v o i d e d i n
t h e s t r i c t s e n s e b y r e s t r i c t i n g t h e p o s s i b i l i t y o f r o u t i n g a d a p t i v e l y t o , a t m o s t , t w o
d i m e n s i o n s a t a t i m e a n d b y o r d e r i n g t h e t r a v e r s a l o f a d a p t i v e p l a n e s t a k e n b y
p a c k e t s . A l t h o u g h r o u t i n g f r e e d o m i s i n c r e a s e d o v e r a p u r e l y d e t e r m i n i s t i c p a t h -
b a s e d s c h e m e l i k e D O R , i t i s s t i l l v e r y m u c h l i m i t e d a s s o m e i d l e c h a n n e l s a l o n g
m i n i m a l p a t h s i n t h e n− 2 o t h e r d i m e n s i o n s o f t h e n e t w o r k ( i . e . , t h o s e n o t i n t h e
c u r r e n t a d a p t i v e p l a n e ) a r e a u t o m a t i c a l l y e x c l u d e d f r o m u s e b y b l o c k e d p a c k e t s
s i n c e t h e y l i e o u t s i d e o f t h e a d a p t i v e p l a n e .
B . R o u t i n g - I n d u c e d D e a d l o c k A v o i d a n c e i n t h e W i d e S e n s e
R o u t i n g f r e e d o m c a n b e i n c r e a s e d c o n s i d e r a b l y w h i l e s t i l l g u a r d i n g a g a i n s t r o u t i n g -
i n d u c e d d e a d l o c k u s i n g r o u t i n g s c h e m e s b a s e d o n a v o i d i n g d e a d l o c k i n t h e w i d e
s e n s e . T h i s h a s b e e n t h e t e c h n i q u e o f c h o i c e f o r m o s t s y s t e m s i m p l e m e n t e d w i t h i n
t h e p a s t d e c a d e a n d c o n t i n u e s t o b e p o p u l a r s i n c e n e t w o r k r e s o u r c e s a r e u s e d m u c h
m o r e e f c i e n t l y . T h e m o s t w e l l - k n o w n a n d w i d e l y u s e d s c h e m e i s D u a t o ' s P r o t o -
c o l [ 1 6 ] . I t i s a h y b r i d p a t h / c h a n n e l - b a s e d s c h e m e t h a t h a s s e e n w i d e s p r e a d u s e i n
r e s e a r c h a n d c o m m e r c i a l s y s t e m s , i n c l u d i n g t h e M I T R e l i a b l e R o u t e r [ 3 8 ] , C r a y
T 3 E [ 3 9 ] , A l p h a 2 1 3 6 4 [ 4 0 ] , a n d I B M B l u e G e n e / L s u p e r c o m p u t e r [ 4 1 ] . T h e i d e a
b e h i n d t h i s s c h e m e i s t o a l l o w u n r e s t r i c t e d f u l l y a d a p t i v e r o u t i n g o n t h e m a j o r i t y
o f n e t w o r k v i r t u a l c h a n n e l s w h i l e p r o v i d i n g a w a y o f e s c a p e f r o m d e a d l o c k o n a
c o n n e c t e d m i n i m a l s u b s e t o f v i r t u a l c h a n n e l s .
V i r t u a l c h a n n e l s a r e d i v i d e d i n t o t w o c l a s s e s o r s e t s : o n e s u s c e p t i b l e t o
c y c l i c d e p e n d e n c i e s , i . e . , t h o s e o n w h i c h f u l l y a d a p t i v e r o u t i n g i s p e r m i t t e d , a n d
t h e o t h e r f r e e f r o m c y c l i c d e p e n d e n c i e s , i . e . , t h o s e o n w h i c h e s c a p e r o u t i n g ( u s u a l l y
d e t e r m i n i s t i c ) i s p e r f o r m e d . T h e e s c a p e c h a n n e l s e t c a n b e m a d e d e a d l o c k - f r e e
b y u s i n g a n y o f t h e s t r i c t d e a d l o c k a v o i d a n c e t e c h n i q u e s d e s c r i b e d p r e v i o u s l y o n
t h e m . D e a d l o c k i s a v o i d e d i n t h e w i d e s e n s e a s n o r e s t r i c t i o n s a r e p l a c e d o n t h e
a d a p t i v e c h a n n e l s . T h i s c a n l e a d t o d e p e n d e n c y c y c l e s f o r m i n g o n t h e m . W h e n
p a c k e t s b l o c k ( p o s s i b l y c y c l i c a l l y ) o n a d a p t i v e c h a n n e l s , t h e y m a y u s e e s c a p e
c h a n n e l s w h i c h a r e a l w a y s s u p p l i e d b y t h e r o u t i n g f u n c t i o n . A p a c k e t c a n e i t h e r
s t a y o n t h e s e t o f e s c a p e c h a n n e l s u n t i l i t r e a c h e s i t s d e s t i n a t i o n o r i t c a n c o m e
b a c k t o a d a p t i v e c h a n n e l s , d e p e n d i n g o n w h i c h s w i t c h i n g t e c h n i q u e i s u s e d ( i . e . ,
w o r m h o l e o r v i r t u a l c u t - t h r o u g h , r e s p e c t i v e l y ) [ 1 7 ] . T h e e x i s t e n c e o f a c o h e r e n t
a n d c o n n e c t e d e s c a p e p a t h w h i c h h a s n o c y c l e s i n i t s e x t e n d e d c h a n n e l d e p e n d e n c y
g r a p h i s s u f c i e n t t o a v o i d d e a d l o c k i n t h e w i d e s e n s e .
A n u m b e r o f s c h e m e s s i m i l a r t o D u a t o ' s P r o t o c o l b a s e d o n a v o i d i n g d e a d -
l o c k i n t h e w i d e s e n s e h a v e a l s o b e e n p r o p o s e d i n t h e p a s t d e c a d e , b u t w i t h
s l i g h t d i f f e r e n c e s . T h e m o r e i n t e r e s t i n g a r e t h e * - c h a n n e l s [ 4 2 ] , S c h w i e b e r t a n d
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 20/47
4 6 4 T . M . P i n k s t o n
J a y a s i m h a ' s a l g o r i t h m [ 4 3 ] , a n d t h e D y n a m i c R o u t i n g A l g o r i t h m b y D a l l y a n d
A o k i [ 4 4 ] . A s a n e x a m p l e , d e a d l o c k s a r e a v o i d e d i n t h e w i d e s e n s e b y t h e D y n a m i c
R o u t i n g A l g o r i t h m b y n o t a l l o w i n g c y c l e s i n t h e p a c k e t w a i t - f o r g r a p h i n s t e a d o f
t h e c h a n n e l w a i t - f o r g r a p h . I n t h i s h y b r i d p a t h / c h a n n e l - b a s e d s c h e m e , e a c h p a c k e t
k e e p s t r a c k o f t h e n u m b e r o f n e t w o r k d i m e n s i o n r e v e r s a l s i t m a k e s . S i m i l a r t o
D u a t o ' s P r o t o c o l , a p a c k e t i s r o u t e d a d a p t i v e l y o n a n y c h a n n e l i n t h e a d a p t i v e c l a s s
u n t i l b l o c k e d w i t h a l l s u p p l i e d o u t p u t c h a n n e l s b e i n g u s e d b u t , i n t h i s c a s e , b y
p a c k e t s w i t h e q u a l o r l o w e r v a l u e s o f d i m e n s i o n r e v e r s a l s . U p o n t h i s c o n d i t i o n ,
t h e p a c k e t i s f o r c e d o n t o t h e d e a d l o c k - f r e e d e t e r m i n i s t i c c l a s s o f c h a n n e l s a n d
m u s t r e m a i n t h e r e u n t i l r o u t e d t o i t s d e s t i n a t i o n . A p a c k e t ' s d i m e n s i o n r e v e r s a l s
r e l a t i v e t o o t h e r p a c k e t s a t a g i v e n r o u t e r u l t i m a t e l y p l a c e s a n u p p e r b o u n d o n
a d a p t i v i t y , a n d t h e d e t e r m i n i s t i c c h a n n e l c l a s s u l t i m a t e l y b e c o m e s a p e r f o r m a n c e
b o t t l e n e c k .
H y b r i d p a t h / c h a n n e l - b a s e d r o u t i n g s c h e m e s w h i c h a v o i d d e a d l o c k i n t h e
w i d e s e n s e m a y h a v e t h e a d v a n t a g e o f r e q u i r i n g o n l y a f e w a d d i t i o n a l r e s o u r c e s ( i n
t h e f o r m o f v i r t u a l c h a n n e l s ) o v e r t h a t r e q u i r e d b y p u r e p a t h - b a s e d s c h e m e s w h i c h
a v o i d d e a d l o c k i n t h e s t r i c t s e n s e , b u t t h e y s t i l l h a v e s o m e i n e f c i e n c i e s . A l t h o u g h
a l l v i r t u a l c h a n n e l s i n t h e a d a p t i v e s e t a r e s u p p l i e d t o p a c k e t s , t y p i c a l l y o n l y o n e o f
t h e v i r t u a l c h a n n e l s c o m p o s i n g t h e e s c a p e s e t i s s u p p l i e d t o p a c k e t s a t e a c h r o u t e r .
R e s t r i c t i o n s o n e s c a p e v i r t u a l c h a n n e l s c o n s e q u e n t l y c a p t h e r o u t i n g f r e e d o m
o f s u c h s c h e m e s b e l o w t h e u p p e r b o u n d p r o v i d e d b y t r u e f u l l y a d a p t i v e r o u t i n g ,
w h e r e f u l l a d a p t i v i t y i s m a i n t a i n e d a c r o s s a l l p h y s i c a l l i n k d i m e n s i o n s o f a n e t w o r k
t o p o l o g y a s w e l l a s a c r o s s a l l v i r t u a l c h a n n e l s w i t h i n a g i v e n l i n k d i m e n s i o n ,
w i t h o u t r e s t r i c t i o n . F o r e x a m p l e , i f t h r e e v i r t u a l c h a n n e l s w e r e i m p l e m e n t e d i n a
t o r u s n e t w o r k , t h e s e s c h e m e s c o u l d u s e o n l y o n e v i r t u a l c h a n n e l f o r f u l l y a d a p t i v e
r o u t i n g a n d o n l y o n e i s s u p p l i e d f o r e s c a p e r o u t i n g w h e r e a s a l l t h r e e c o u l d b e u s e d
b y a t r u e f u l l y a d a p t i v e r o u t i n g s c h e m e . L i k e w i s e , i f o n l y t w o v i r t u a l c h a n n e l s
w e r e i m p l e m e n t e d , f u l l y a d a p t i v e r o u t i n g w o u l d n o t b e p e r m i t t e d o n e i t h e r c h a n n e l
b y t h e s e s c h e m e s , b u t i t w o u l d b e p e r m i t t e d o n b o t h w i t h a t r u e f u l l y a d a p t i v e
s c h e m e . C o n s e q u e n t l y , i t m a y b e v e r y i n e f c i e n t t o a l l o w f u l l y a d a p t i v e r o u t i n g
o n o n l y a s u b s e t o f t h e t o t a l n u m b e r o f v i r t u a l c h a n n e l s , p a r t i c u l a r l y i f k n o t t e d
d e p e n d e n c i e s w h i c h c a n l e a d t o d e a d l o c k o c c u r v e r y i n f r e q u e n t l y , a s i s s h o w n t o
b e t h e c a s e t y p i c a l l y [ 2 2 , 2 3 ] .
C . R o u t i n g - I n d u c e d D e a d l o c k A v o i d a n c e i n t h e W e a k S e n s e
R o u t i n g f r e e d o m c a n b e i n c r e a s e d f u r t h e r b y u s i n g r o u t i n g s c h e m e s w h i c h a v o i d
d e a d l o c k i n t h e w e a k s e n s e b y n e v e r a l l o w i n g k n o t t e d r e s o u r c e s t o b e c o m e f u l l y
o c c u p i e d . T h e s e a r e t y p i c a l l y h y b r i d p a t h / q u e u e - b a s e d s c h e m e s w h i c h o p e r a t e
o n t h e p r i n c i p l e s o f d e e c t i o n a n d / o r i n j e c t i o n l i m i t a t i o n . T o b e t t e r u n d e r s t a n d
t h e s e p r i n c i p l e s , c o n s i d e r c l o s e l y w h a t t a k e s p l a c e w h e n p a c k e t s m a k e f o r w a r d
m o v e m e n t i n t h e n e t w o r k . E a c h t i m e a p a c k e t m o v e s f o r w a r d , a n e m p t y b u f f e r
i n a q u e u e a s s o c i a t e d w i t h t h e n e x t r o u t e r p o r t a l o n g t h e p a t h i s c o n s u m e d b y t h e
h e a d o f t h e p a c k e t . L i k e w i s e , a n o c c u p i e d b u f f e r a s s o c i a t e d w i t h a p r i o r r o u t e r
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 21/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 6 5
p o r t i s r e l e a s e d b y t h e t a i l o f t h e p a c k e t . A s s u m i n g t h a t t h e u n i t o f a n e m p t y
b u f f e r s p a c e i s d e n e d a s a b u b b l e [ 2 6 ] , e a c h f o r w a r d m o v e m e n t o f a p a c k e t i n
o n e d i r e c t i o n i s e q u i v a l e n t t o t h e b a c k w a r d p r o p a g a t i o n o f a b u b b l e i n t h e o p p o s i t e
d i r e c t i o n . T h u s , t h e m o v e m e n t o f p a c k e t s i n a n e t w o r k c a n b e c h a r a c t e r i z e d s i m p l y
b y c o n s i d e r i n g t h e a v a i l a b i l i t y o f b u b b l e s i n r e s o u r c e s n e e d e d b y p a c k e t s a n d h o w
t h o s e b u b b l e s o w t h r o u g h t h o s e n e t w o r k r e s o u r c e s : t h e m o r e b u b b l e s o w i n g
w i t h i n n e e d e d n e t w o r k r e s o u r c e s , t h e g r e a t e r t h e n u m b e r o f p a c k e t s t h a t c a n m a k e
f o r w a r d p r o g r e s s .
A l l o f t h e t e c h n i q u e s m e n t i o n e d i n S e c t i o n 1 3 . 1 i n s o m e w a y a f f e c t t h e
a v a i l a b i l i t y a n d / o r o w o f b u b b l e s i n t h e n e t w o r k . V i r t u a l c u t - t h r o u g h s w i t c h i n g
d e n e s t h e g r a n u l a r i t y o f b u b b l e s t o b e t h e s i z e o f a p a c k e t . N e t w o r k t h r o t t l i n g o r
i n j e c t i o n l i m i t a t i o n r e g u l a t e s t h e n u m b e r o f b u b b l e s t h a t o w o u t o f t h e n e t w o r k
( o r n e t w o r k d i m e n s i o n s ) t o k e e p t h e n u m b e r o f b u b b l e s a v a i l a b l e w i t h i n t h e
n e t w o r k ( o r n e t w o r k q u e u e s ) a b o v e s o m e t h r e s h o l d . V i r t u a l c h a n n e l o w c o n t r o l
c o n n e s b u b b l e s t o o w w i t h i n l o g i c a l n e t w o r k s s o t h a t b u b b l e m o v e m e n t w i t h i n
d i f f e r e n t l o g i c a l n e t w o r k s c a n b e i n d e p e n d e n t o f o n e a n o t h e r , s u b j e c t t o t h e c h a n n e l
s c h e d u l i n g a l g o r i t h m . L i k e w i s e , v i r t u a l o u t p u t q u e u i n g c o n n e s b u b b l e s t o o w
w i t h i n s e p a r a t e n e t w o r k d i m e n s i o n s . T e c h n i q u e s f o r a v o i d i n g r o u t i n g - i n d u c e d
d e a d l o c k i n t h e s t r i c t o r w i d e s e n s e a s d i s c u s s e d i n S e c t i o n s A . a n d B . r e s t r i c t
b u b b l e o w s u c h t h a t a l l b u b b l e s i n t h e n e t w o r k a l w a y s o w t h r o u g h s o m e d e n e d
s u b s e t ( o r e n t i r e s e t ) o f n e t w o r k r e s o u r c e s i n s o m e t o t a l o r p a r t i a l o r d e r . G i v e n t h e
a b o v e f a c i l i t i e s t o m a n i p u l a t e b u b b l e s a n d t h e i r d i s p l a c e m e n t , t h e r e a l c h a l l e n g e
e s s e n t i a l l y b e c o m e s h o w t o a p p l y t h e f e w e s t r e s t r i c t i o n s o n b u b b l e o w s o a s t o
a l w a y s m a i n t a i n d e a d l o c k f r e e d o m , t h u s a v o i d i n g d e a d l o c k i n t h e w e a k s e n s e .
I n c r e a s i n g t h e r o u t i n g f r e e d o m r e l a x e s r e s t r i c t i o n s o n p a c k e t m o v e m e n t ,
w h i c h a l l o w s b u b b l e s t o o w m o r e f r e e l y a m o n g n e t w o r k r e s o u r c e s , b u t s o m e
r e s t r i c t i o n s m u s t s t i l l b e e n f o r c e d t o e n s u r e d e a d l o c k f r e e d o m . T h e i d e a b e h i n d
t e c h n i q u e s d e s i g n e d t o a v o i d d e a d l o c k i n t h e w e a k s e n s e i s t o a l l o w c o m p l e t e
f r e e d o m o f f o r w a r d p a c k e t m o v e m e n t w i t h o u t r e g a r d f o r a v o i d i n g c y c l i c o r k n o t t e d
d e p e n d e n c i e s . T h e r e s u l t i n g e x i b i l i t y i n r o u t i n g o p t i o n s p r o v i d e d b y t r u e f u l l y
a d a p t i v e r o u t i n g o n a m u l t i t u d e o f n e t w o r k r e s o u r c e s ( i . e . , v i r t u a l c h a n n e l s , v i r t u a l
o u t p u t q u e u e s , e t c . ) r e d u c e s t h e p r o b a b i l i t y t h a t c o r r e l a t e d r e s o u r c e d e p e n d e n c i e s
f o r m i n t h e r s t p l a c e , a s d i s c u s s e d i n S e c t i o n 1 3 . 2 . 1 .
I n t h e r a r e c a s e t h a t k n o t t e d d e p e n d e n c i e s d o f o r m o n a s e t o f q u e u e s ,
d e a d l o c k c a n b e a v o i d e d b y l i m i t i n g i n j e c t i o n i n t o t h a t s e t b y r e s o u r c e s e x t e r n a l t o
t h e m o n c e s o m e t h r e s h o l d o n t h e i r o c c u p a n c y i s r e a c h e d . T h i s c o n c e p t i s i l l u s t r a t e d
i n F i g u r e 1 3 . 1 0 f o r t h e c a s e o f a t h r e s h o l d e q u a l t o o n e b u f f e r s p a c e l e s s t h a n t h e
m a x i m u m a g g r e g a t e q u e u e c a p a c i t y a l o n g t h e c y c l e ( F i g u r e 1 3 . 1 0 ( a ) ) . S u c h a c y c l e
c o u l d a r i s e f r o m i n t e r - d i m e n s i o n a l t u r n s o r f r o m r o u t i n g a l o n g a r i n g ( o r w r a p -
a r o u n d l i n k s i n a t o r u s n e t w o r k ) . O n c e t h i s s t a t e i s d e t e c t e d a s b e i n g r e a c h e d , p a c k e t
E 1 i s d e n i e d a c c e s s t o Q u e u e 4 a s s h o w n i n F i g u r e 1 3 . 1 0 ( b ) ; o t h e r w i s e , k n o t t e d
r e s o u r c e s w o u l d b e c o m e f u l l y o c c u p i e d a s s h o w n i n F i g u r e 1 3 . 1 0 ( c ) . W h i l e
i n t u i t i v e a n d s t r a i g h t f o r w a r d t o c o n c e i v e o f i n t h e o r y , v e r i f y i n g t h e e x i s t e n c e o f a
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 22/47
4 6 6 T . M . P i n k s t o n
Queue 1
(a)
Queue 2
Queue 3
Queue 4 Queue 5
C4
SinkQueue
Queue 7
B1B2B3B4C1
C2C3
C4
E1E2Queue 6
C4
C 4
C 4
C4
C4
A4
A3A2
A1
D3D2D1
C 4
C4
C 4
Queue 1
(b)
Queue 2
Queue 3
Queue 4 Queue 5
SinkQueue
Queue 7
B2B3B4C1C2
C3C4
D1
E1E2Queue 6
B1
A4A3
A2
A1D3D2
Queue 1
(c)
Queue 2
Queue 3
Queue 4 Queue 5
Sink
Queue
Queue 7
B1B2B3B4C1
C2
C3
C4
E1 E2Queue 6
A4
A3
A2
A1
D3D2D1
C4
C4
C4
C4
C4
C4
C4
C4
C 4
C 4
C 4
C 4
C 4
C 4
C 4
C 4
F i g u r e 1 3 . 1 0 . I m p o r t a n c e o f c o n t r o l l i n g b u b b l e o w i n o n e o f p o s s i b l y m a n y l o g i c a l
( v i r t u a l c h a n n e l ) n e t w o r k s w i t h a d a p t i v e r o u t i n g . O n l y q u e u e r e s o u r c e s a n d d e p e n -
d e n c i e s o n t h e m b y p a c k e t s a r e s h o w n . ( a ) P a c k e t s A 1 a n d E 1 c o m p e t e f o r a b u b b l e
i n Q u e u e 4 , t h e o n l y o n e i n t h e k n o t t e d d e p e n d e n c y c y c l e c o n s i s t i n g o f Q u e u e s 1 4 .
B u b b l e s i n o t h e r q u e u e s a r e n o t a v a i l a b l e ; t h a t i s , t h e y a r e n o t s u p p l i e d b y t h e r o u t i n g
f u n c t i o n f o r A 1 , B 1 , a n d D 1 , s h o w n a s a r c s . W h e n a v a i l a b l e , a b u b b l e i n Q u e u e 6
c a n b e u s e d b y p a c k e t E 1 . ( b ) I f t h e b u b b l e i s a l l o c a t e d t o A 1 , d e a d l o c k i s p r e v e n t e d
a s t h e k n o t k e e p s t h e b u b b l e . A s s u m i n g t h e b u b b l e t r a v e r s e s t h e c y c l e , n e w h e a d
p a c k e t s e s t a b l i s h a d i f f e r e n t d e p e n d e n c y p a t t e r n , m a k i n g o t h e r b u b b l e s a v a i l a b l e ,
i . e . , p a c k e t D 2 s i n k s ; A 2 a n d B 2 h a v e a d d i t i o n a l r o u t i n g o p t i o n s ; a n d E 1 c a n u s e t h e
b u b b l e i n Q u e u e 6 . ( c ) I f a l l o c a t e d t o E 1 , t h e b u b b l e e x i t s t h e c y c l e , c a u s i n g k n o t t e d
r e s o u r c e s t o b e c o m e f u l l y o c c u p i e d a n d d e a d l o c k t o e n s u e .
s i n g l e b u b b l e w i t h i n a l l p o s s i b l e k n o t s m a y b e d i f c u l t t o i m p l e m e n t i n p r a c t i c e .
O n e p o s s i b l e m e c h a n i s m f o r i d e n t i f y i n g c y c l e s n e a r i n g f u l l o c c u p a n c y i s d e s c r i b e d
i n S e c t i o n D . .
A n e x a m p l e o f a s c h e m e b a s e d p a r t i a l l y o n t h i s t e c h n i q u e i s t h e h y b r i d
p a t h / c h a n n e l - b a s e d A d a p t i v e B u b b l e R o u t i n g s c h e m e [ 2 6 ] . I n j e c t i o n l i m i t a t i o n
i s u s e d t o i m p l e m e n t t h e e s c a p e r o u t i n g f u n c t i o n i n t h e w e a k s e n s e w i t h i n e a c h
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 23/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 6 7
d i m e n s i o n o f a t o r u s n e t w o r k , t h u s r e q u i r i n g o n l y o n e v i r t u a l c h a n n e l f o r e s -
c a p e r o u t i n g i n s t e a d o f t w o . H o w e v e r , e s c a p e r o u t i n g a c r o s s d i m e n s i o n s i s s t i l l
i m p l e m e n t e d u s i n g d i m e n s i o n o r d e r r o u t i n g , t h u s d i s a l l o w i n g t h e f o r m a t i o n o f
i n t e r - d i m e n s i o n a l k n o t s . B e c a u s e o f t h i s , t h i s s c h e m e p l a c e s s o m e r e s t r i c t i o n s o n
r o u t i n g f r e e d o m , w h i c h k e e p s i t f r o m b e i n g t r u e f u l l y a d a p t i v e . T h i s s c h e m e c a n ,
t h e r e f o r e , b e s a i d t o b e h y b r i d i n a n o t h e r r e s p e c t : i t a v o i d s d e a d l o c k i n t h e w i d e
s e n s e f o r i n t e r - d i m e n s i o n a l e s c a p e r o u t e s a n d a v o i d s d e a d l o c k i n t h e w e a k s e n s e
f o r i n t r a - d i m e n s i o n a l e s c a p e r o u t e s . A l t h o u g h p a c k e t i n j e c t i o n a n d o w i n t o e a c h
n e t w o r k d i m e n s i o n a l r i n g i s a l l o w e d , i n t h e o r y , i f a s f e w a s o n l y t w o f r e e b u f f e r s
e x i s t a l o n g t h e r i n g , g a t h e r i n g t h e g l o b a l s t a t u s i n f o r m a t i o n n e e d e d t o e n f o r c e
t h i s c o n d i t i o n m a y b e c o s t l y t o i m p l e m e n t i n p r a c t i c e ( t h e p i n g i n g m e c h a n i s m
d e s c r i b e d i n S e c t i o n D . m a y f a c i l i t a t e t h i s ) . A s a s i m p l i c a t i o n , t h e d e c i s i o n t o
i n j e c t p a c k e t s i n t o d i m e n s i o n a l r i n g s c o u l d b e m a d e l o c a l l y b y r e q u i r i n g t h a t a t
l e a s t t w o f r e e b u f f e r s e x i s t i n t h e a p p r o p r i a t e e s c a p e q u e u e a t e a c h r o u t e r i n t h e
n e t w o r k , a s i s i m p l e m e n t e d i n t h e I B M B l u e G e n e / L s u p e r c o m p u t e r [ 4 1 ] .
A n a l t e r n a t i v e w a y o f a v o i d i n g r o u t i n g - i n d u c e d d e a d l o c k i n t h e w e a k s e n s e
i s t o a l l o w t h e f u l l n e t w o r k c a p a c i t y a l w a y s t o b e s u p p l i e d t o p a c k e t s v i a c o n t r o l l e d
d e e c t i o n o f p a c k e t s o u t o f c y c l i c o r k n o t t e d d e p e n d e n c i e s , c o n s e q u e n t l y t h r o u g h
m i s r o u t i n g . T h a t i s , t h e r e i s a l w a y s a t l e a s t o n e p a c k e t i n e a c h k n o t t h a t i s s u p p l i e d
s o m e n o n m i n i m a l p a t h t o r e a c h i t s d e s t i n a t i o n a s l o n g a s t h e i n p u t d e g r e e ( # o f
p o r t s ) o f e a c h r o u t e r i s e q u a l t o t h e o u t p u t d e g r e e . T h i s i s d o n e t h r o u g h d e e c t i o n
r e r o u t i n g . S i n c e i n j e c t i o n a n d d e l i v e r y p o r t s a r e i n c l u d e d i n t h e i n p u t / o u t p u t
d e g r e e o f a r o u t e r , n o n m i n i m a l p a t h s c o u l d i n c l u d e d e l i v e r y i n t o a t t a c h e d n o d e s
t h a t a r e n o t t h e u l t i m a t e d e s t i n a t i o n o f a p a c k e t , a s i s d o n e i n t h e I n - T r a n s i t B u f f e r
s c h e m e [ 4 5 ] a n d H o t P o t a t o R o u t i n g [ 4 6 ] . T h i s w o u l d b e t h e c a s e f o r p a c k e t D1 i n
F i g u r e 1 3 . 1 0 ( c ) i f i t w e r e d e e c t e d i n t o t h e s i n k q u e u e . A l t e r n a t i v e l y , p a c k e t B1c o u l d b e d e e c t e d i n t o Q u e u e 7 , w h i c h a l s o h a p p e n s n o t t o b e a l o n g a m i n i m a l p a t h
b u t d o e s h a v e s e v e r a l b u b b l e s ( e m p t y q u e u e b u f f e r s ) a v a i l a b l e t o r o u t e p a c k e t s . A
t e c h n i q u e s i m i l a r t o t h i s i s u s e d i n t h e h y b r i d p a t h / q u e u e - b a s e d t r u e f u l l y a d a p t i v e
C h a o t i c R o u t i n g s c h e m e [ 4 7 ] i m p l e m e n t e d i n t h e C h a o s L A N [ 4 8 ] . T h e a v a i l a b i l i t y
o f b u b b l e s i s r e g u l a t e d u s i n g a p a c k e t e x c h a n g e p r o t o c o l , w h i c h a l l o w s a p a c k e t
f r o m r o u t e r i t o b e d e e c t e d t o r o u t e r j a s l o n g a s r o u t e r i h a s q u e u e s p a c e t o
r e c e i v e a p a c k e t f r o m r o u t e r j . T h i s e n s u r e s t h a t b u b b l e s a r e a l w a y s a v a i l a b l e f o r
d e e c t i n g p a c k e t s b e t w e e n n e i g h b o r i n g r o u t e r s .
W i t h b o t h t e c h n i q u e s , s o m e b u b b l e ( s ) a r e a l w a y s a v a i l a b l e t o a n y s e t o f
n e t w o r k r e s o u r c e s o n w h i c h a p a t h o f c y c l i c o r k n o t t e d d e p e n d e n c i e s c a n f o r m ,
t h u s a v e r t i n g r o u t i n g - i n d u c e d d e a d l o c k . A l l b l o c k e d p a c k e t s a l o n g r e s o u r c e d e -
p e n d e n c y c h a i n s o r c y c l e s a r e a b l e t o s h i f t f o r w a r d b y a t l e a s t o n e b u f f e r p o s i t i o n
w i t h i n q u e u e s b y c o n s u m i n g b u b b l e s . T h i s o p e r a t i o n m a y n o t i m m e d i a t e l y r e m o v e
p a c k e t s f r o m c y c l i c o r k n o t t e d d e p e n d e n c i e s , b u t i t d o e s r e d u c e t h e p r o b a b i l i t y
o f s u s t a i n i n g t h o s e d e p e n d e n c y r e l a t i o n s . T h i s i s b e c a u s e n e w r o u t i n g c a n d i d a t e s
a r i s i n g f r o m t h e s h i f t m a y s u p p l y b u b b l e s t o t h o s e p a c k e t s i n v o l v e d . T h a t i s , a f t e r
t h e s h i f t , s o m e p a c k e t s r e a c h i n g t h e h e a d o f t h e q u e u e s w h i c h n o w b e c o m e e l i g i b l e
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 24/47
4 6 8 T . M . P i n k s t o n
f o r r o u t i n g m a y t h e n b e a b l e t o u s e a l t e r n a t i v e r e s o u r c e s o r s i n k a t t h e i r d e s t i n a -
t i o n , a s i l l u s t r a t e d i n F i g u r e 1 3 . 1 0 ( b ) . T h i s d e c r e a s e s t h e c o u p l i n g a m o n g p a c k e t s
i n v o l v e d i n d e p e n d e n c y r e l a t i o n s o n c o n g e s t e d r e s o u r c e s . I n e f f e c t , t h i s p r o v i d e s
a w a y f o r p a c k e t s t o d i s p e r s e o u t o f t h o s e a r e a s , w h i c h i s t h e m a i n a d v a n t a g e s o f
m a x i m i z i n g r o u t i n g f r e e d o m .
S o m e o f t h e d i s a d v a n t a g e s o f t h e s e t e c h n i q u e s , h o w e v e r , a r e t h a t t h e y a r e
a p p l i c a b l e o n l y t o v i r t u a l c u t - t h r o u g h n e t w o r k s , n o t w o r m h o l e n e t w o r k s . A l s o ,
l i m i t i n g i n j e c t i o n i n t o s o m e r e s o u r c e s p r e v e n t s t h e n e t w o r k ' s f u l l c a p a c i t y f r o m
b e i n g u t i l i z e d , a n d i t c o u l d c a u s e s o m e p a c k e t s n e v e r t o b e g r a n t e d a c c e s s t o
n e e d e d r e s o u r c e s a s i t u a t i o n c o m m o n l y r e f e r r e d t o a s s t a r v a t i o n . F o r e x a m p l e ,
i n F i g u r e 1 3 . 1 0 ( a ) , p a c k e t E 1 m i g h t r e m a i n i n d e n i t e l y i n t h e n e t w o r k w a i t i n g
e n d l e s s l y o n Q u e u e 4 a n d Q u e u e 6 r e s o u r c e s i f p a c k e t s i n Q u e u e 1 a r e a l w a y s
g r a n t e d b u b b l e s w h i c h m a y a p p e a r i n t h o s e q u e u e s a n d o t h e r p a c k e t s a r e c o n -
t i n u o u s l y i n j e c t e d i n t o t h e c y c l e a t o t h e r q u e u e s . M o r e o v e r , n o n m i n i m a l r o u t i n g
c a n w a s t e f u l l y c o n s u m e s c a r c e n e t w o r k b a n d w i d t h o n e a c h d e e c t i o n , c a u s i n g t h e
n e t w o r k t o s a t u r a t e e a r l i e r . U n l e s s c o n t r o l l e d , d e e c t i o n r o u t i n g m i g h t a l s o r e s u l t
i n p a c k e t s c o n t i n u i n g t o b o u n c e a r o u n d i n t h e n e t w o r k i n d e n i t e l y , n e v e r r e a c h i n g
t h e i r d e s t i n a t i o n s a s i t u a t i o n c o m m o n l y r e f e r r e d t o a s l i v e l o c k . M a n y o f t h e s e
p r o b l e m s c a n b e m i t i g a t e d w i t h s o m e o f t h e r e c o v e r y - b a s e d r o u t i n g a p p r o a c h e s
d i s c u s s e d b e l o w .
D . R o u t i n g - I n d u c e d D e a d l o c k R e c o v e r y
D e a d l o c k r e c o v e r y r o u t i n g a p p r o a c h e s a i m t o o p t i m i z e r o u t i n g p e r f o r m a n c e i n
t h e a b s e n c e o f d e a d l o c k . T h i s i s a c h i e v e d b y a l l o w i n g u n r e s t r i c t e d , t r u e f u l l y -
a d a p t i v e r o u t i n g o n a l l p h y s i c a l a n d v i r t u a l c h a n n e l s a n d e f c i e n t l y h a n d l i n g
i m p e n d i n g d e a d l o c k i f i t o c c u r s u s i n g m i n i m a l r e s o u r c e s . T h i s i s i n c o n t r a s t t o
d e a d l o c k a v o i d a n c e r o u t i n g s c h e m e s w h i c h t y p i c a l l y d e v o t e a g r e a t e r n u m b e r o f
p h y s i c a l o r v i r t u a l c h a n n e l r e s o u r c e s f o r a v o i d i n g i m p r o b a b l e d e a d l o c k s i t u a t i o n s .
I n a v o i d a n c e - b a s e d s c h e m e s , a s e t o f e s c a p e r e s o u r c e s a r e a l w a y s s u p p l i e d b y t h e
r o u t i n g f u n c t i o n w h e r e a s n o m i n a l r e s o u r c e s ( i f a n y ) a r e s u p p l i e d i n r e c o v e r y - b a s e d
s c h e m e s a n d o n l y w h e n p o t e n t i a l d e a d l o c k s i t u a t i o n s a r e d e t e c t e d . A n o t h e r d i s t i n -
g u i s h i n g f a c t o r i s t h a t p h y s i c a l r e s o u r c e s ( i . e . , l i n k b a n d w i d t h ) m a y b e d e a l l o c a t e d
f r o m n o r m a l p a c k e t s i n s o m e p r o g r e s s i v e r e c o v e r y - b a s e d s c h e m e s w h e r e a s n o
s u c h d e a l l o c a t i o n o c c u r s i n a n y o f t h e a v o i d a n c e b a s e d s c h e m e s . I n g e n e r a l , t h e
v i a b i l i t y o f r e c o v e r i n g f r o m r o u t i n g - i n d u c e d d e a d l o c k d e p e n d s c r i t i c a l l y o n t h e
r e c o v e r y o v e r h e a d , w h i c h i s d e t e r m i n e d b y t h e f r e q u e n c y w i t h w h i c h d e a d l o c k i s
d e t e c t e d a n d , a s i m p o r t a n t l y , t h e c o s t s a s s o c i a t e d w i t h r e s o l v i n g d e a d l o c k .
R e g r e s s i v e r e c o v e r y r o u t i n g s c h e m e s k i l l a t l e a s t o n e p a c k e t d e t e c t e d a s p a r -
t i c i p a t i n g i n p o t e n t i a l d e a d l o c k s o a s t o c r e a t e a b u b b l e ( s ) a l o n g k n o t t e d r e s o u r c e s ,
a s d e s c r i b e d i n S e c t i o n C . e a r l i e r . F o r e x a m p l e , i n F i g u r e 1 3 . 1 0 ( c ) , i f p a c k e t E 1w e r e k i l l e d , t h e u n l l e d c y c l e s h o w n i n F i g u r e 1 3 . 1 0 ( a ) ( w i t h E 1 r e m o v e d f r o m
Q u e u e 5 a n d E 2 p u t i n i t s p l a c e ) w o u l d c o m e a b o u t , w h i c h r e s o l v e s t h e d e a d l o c k .
A g g r e s s i v e l y k i l l i n g m o r e t h a n j u s t o n e p a c k e t i n t h e c y c l e ( i . e . , a l l t h e p a c k e t s a t
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 25/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 6 9
t h e e n d o f Q u e u e s 1 4 ) r e d u c e s t h e p r o b a b i l i t y o f s u b s e q u e n t p o t e n t i a l d e a d l o c k s
o c c u r r i n g t h a t i n v o l v e t h o s e p a c k e t s r e m a i n i n g i n t h e c y c l e . I n o r d e r f o r t h e s o u r c e
n o d e t h a t g e n e r a t e d a k i l l e d p a c k e t t o k n o w i t m u s t r e - i n j e c t t h e k i l l e d p a c k e t ,
s o m e f o r m o f a t e t h e r m u s t t r a c e t h e p a c k e t ' s p r o g r e s s b a c k t o i t s s o u r c e . T h i s
c a n b e d o n e i n w o r m h o l e n e t w o r k s b y u s i n g p a c k e t p a d d i n g i t s a s i s d o n e i n
t h e C o m p r e s s i o n l e s s R o u t e r [ 4 9 ] o r , i n g e n e r a l , b y u s i n g a c o m b i n a t i o n o f e n d - t o -
e n d a c k n o w l e d g e m e n t s a n d t i m e o u t s i m p l e m e n t e d b y c o n t r o l s i g n a l s o f a h i g h e r
n e t w o r k p r o t o c o l l a y e r . T h e a d d i t i o n a l l a t e n c y , b a n d w i d t h o v e r h e a d a n d c o n t r o l
c o m p l e x i t y n e e d e d t o i m p l e m e n t t h e k i l l i n g a n d r e - i n j e c t i o n p r o c e s s i n c r e a s e c o s t
a n d r e d u c e n e t w o r k p e r f o r m a n c e .
P r o p o s e d d e e c t i v e r e c o v e r y r o u t i n g s c h e m e s o p e r a t e o n t h e s a m e p r i n c i p l e
a s d e e c t i v e a v o i d a n c e - b a s e d s c h e m e s d e s c r i b e d i n t h e p r e v i o u s s e c t i o n o n c e
p o t e n t i a l d e a d l o c k i s d e t e c t e d , b u t w i t h o n e m a j o r d i s t i n c t i o n : b u b b l e s a r e n o t
g u a r a n t e e d a l w a y s t o b e a v a i l a b l e a t a l l n e i g h b o r i n g r o u t e r s . I n s t e a d , b u b b l e
m o v e m e n t i n t h e n e t w o r k c a n b e m a d e t o b e s t o c h a s t i c ( i . e . , r a n d o m ) d u e t o
b u b b l e s b e i n g s u b j e c t e d t o c a u s a l m o t i o n : b u b b l e s a r e a l l o c a t e d r a n d o m l y t o
n o r m a l p a c k e t s w h e n m u l t i p l e p a c k e t s c o m p e t e t o c o n s u m e t h e m a t e a c h r o u t e r .
I n a d d i t i o n t o t h i s , a n y b u b b l e i n t h e v i c i n i t y o f a r o u t e r p a r t i c i p a t i n g i n t h e k n o t t e d
s e t o f r e s o u r c e s g e t s s u c k e d i n s i n c e p o t e n t i a l l y d e a d l o c k e d p a c k e t s t h a t a r e t o
b e d e e c t e d h a v e p r i o r i t y o v e r n o r m a l p a c k e t s . W i t h t h i s , b u b b l e s a r e g u a r a n t e e d
t o p r o p a g a t e r a n d o m l y t o n e e d e d a r e a s i n t h e n e t w o r k a n d b e u s e d b y p a c k e t s
i n n e e d o f d e e c t i o n e v e n t u a l l y ( i n n i t e t i m e ) t o r e s o l v e d e a d l o c k . T h i s k i n d
o f g u a r a n t e e o n t h e a r r i v a l o f b u b b l e s t o p o t e n t i a l l y d e a d l o c k e d p a c k e t s c a n b e
t h o u g h t o f a s t h e d u a l c a s e o f t h e p r o b a b i l i s t i c g u a r a n t e e o n t h e a r r i v a l o f p a c k e t s t o
t h e i r d e s t i n a t i o n s p r o v i d e d b y t h e C h a o s R o u t e r f o r r e s o l v i n g l i v e l o c k . H o l e - b a s e d
r o u t i n g [ 5 0 ] i s o n e p r o p o s e d d e e c t i v e r e c o v e r y r o u t i n g s c h e m e w h i c h f o l l o w s
t h i s a p p r o a c h . S o f t w a r e - b a s e d R e c o v e r y [ 5 1 ] i s a d e e c t i v e r e c o v e r y s c h e m e t h a t
i s l e s s d e p e n d e n t o n s t o c h a s t i c b u b b l e m o v e m e n t w i t h i n t h e n e t w o r k a n d m o r e
d e p e n d e n t o n t h e d e t e r m i n i s t i c a v a i l a b i l i t y o f b u b b l e s a t n e t w o r k e n d p o i n t s ( e . g . ,
l i k e t h e I n - T r a n s i t B u f f e r s c h e m e ) . A l t h o u g h d e e c t i v e r e c o v e r y r o u t i n g l i f t s
c e r t a i n r e q u i r e m e n t s o n p a c k e t e x c h a n g e s b e t w e e n n e i g h b o r i n g r o u t e r s , i t s u f f e r s
f r o m t h e o t h e r d i s a d v a n t a g e s c o m m o n t o d e e c t i v e a v o i d a n c e - b a s e d s c h e m e s
m e n t i o n e d p r e v i o u s l y .
I n c o n t r a s t t o r e g r e s s i v e a n d d e e c t i v e r e c o v e r y , p r o g r e s s i v e d e a d l o c k r e -
c o v e r y i s b a s e d o n t h e i d e a o f p r o v i d i n g a c c e s s t o a c o n n e c t e d , d e a d l o c k - f r e e
r e c o v e r y p a t h t h r o u g h w h i c h a n e l i g i b l e p a c k e t i s p r o g r e s s i v e l y r o u t e d o u t o f t h e
k n o t t e d c y c l i c d e p e n d e n c y t o r e s o l v e d e a d l o c k . T h e d e a d l o c k - f r e e r e c o v e r y p a t h
n e e d n o t b e i m p l e m e n t e d u s i n g p h y s i c a l p a t h s o r v i r t u a l c h a n n e l s ( e d g e q u e u e s )
d e v o t e d s p e c i c a l l y f o r t h i s p u r p o s e . I n s t e a d , a s p e c i a l d e a d l o c k b u f f e r c e n t r a l t o
e a c h r o u t e r a n d a c c e s s i b l e f r o m a l l n e i g h b o r i n g r o u t e r s c a n b e u s e d a s a o a t -
i n g i n t e r n a l c h a n n e l s h a r e d b y a l l p h y s i c a l d i m e n s i o n s o f a r o u t e r t o a c c o m p l i s h
t h e s a m e . S u c h a d e a d l o c k b u f f e r i s s h o w n i n F i g u r e 1 3 . 2 a s t h e c e n t r a l q u e u e .
T h e s i z e o f t h e b u f f e r d e p e n d s o n t h e s w i t c h i n g t e c h n i q u e u s e d , i . e . , i t - s i z e d f o r
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 26/47
4 7 0 T . M . P i n k s t o n
DB
x+
x-
y+
y-
DB
x+
x-
y+
y-
DB
x+
x-
y+
y-P1
P3
P2
P2P3
P8
P5
P4
P1active
P1active
active
P4, P5
Node
Rb
ProcNode
Ra
ProcNode
Rc
Proc
P0
inactive
P2, P3
P8
inactive
activeP1
inactiveP0
active
P4, P5
(a) (b) (c)
F i g u r e 1 3 . 1 1 . D y n a m i c r e c o v e r y p a t h f o r m a t i o n a n d p r o g r e s s i v e d e a d l o c k r e s o l u t i o n
i n
D i s h a
. P a c k e t
P 1 a t r o u t e r
Ra r e c o v e r s b y r o u t i n g t h r o u g h a r e c o v e r y l a n e c o n -
s i s t i n g o f d e a d l o c k b u f f e r s ( D B s ) a t
Ra ,
Rb , a n d n a l l y
Rc w h i c h i s i t s d e s t i n a t i o n
n o d e .
P 1p r e e m p t s p h y s i c a l c h a n n e l b a n d w i d t h f r o m
P 8, s u s p e n d i n g n o r m a l p a c k e t
r o u t i n g u n t i l d e a d l o c k i s r e c o v e r e d . ( F r o m R e f . 5 6
c 2 0 0 3 I E E E . )
w o r m h o l e s w i t c h i n g a n d p a c k e t - s i z e d f o r v i r t u a l c u t - t h r o u g h s w i t c h i n g . D e a d l o c k
b u f f e r s c a n b e u s e d t o p r o g r e s s i v e l y r e s o l v e r o u t i n g - i n d u c e d d e a d l o c k e i t h e r i n t h e
w i d e s e n s e o r i n t h e w e a k s e n s e , a s e x p l a i n e d b e l o w .
A w e l l - k n o w n p r o g r e s s i v e r e c o v e r y t e c h n i q u e i s D i s h a [ 5 2 ] u s e d i n t h e
W A R R P r o u t e r [ 5 3 ] . I n f o r m i n g a n e s c a p e r e c o v e r y p a t h s y s t e m w i d e , d e a d l o c k
b u f f e r s a r e u s e d t o r o u t e e l i g i b l e p a c k e t s m i n i m a l l y t o t h e i r d e s t i n a t i o n s . P a c k e t s i n
d e a d l o c k b u f f e r s p r e e m p t p a c k e t s i n n o r m a l r e s o u r c e s s o t h a t n e t w o r k b a n d w i d t h
i s d y n a m i c a l l y a l l o c a t e d f o r r e s o l v i n g d e a d l o c k i f i t o c c u r s o n r a r e o c c a s i o n s . A s
t h e t a i l o f a r e c o v e r i n g p a c k e t p a s s e s , n e t w o r k b a n d w i d t h i s r e a l l o c a t e d t o t h e p r e -
e m p t e d p a c k e t s . T h e r e c o v e r y p a t h i s m a d e d e a d l o c k - f r e e b y e n f o r c i n g m u t u a l l y
e x c l u s i v e a c c e s s t o i t ( i . e . , D i s h a S e q u e n t i a l [ 5 2 ] ) o r b y s t r u c t u r i n g r o u t i n g o n
i t t o e n f o r c e s o m e t o t a l o r d e r i n g o n r e s o u r c e s s u c h t h a t c y c l i c d e p e n d e n c i e s a r e
p r o h i b i t e d ( i . e . , D i s h a C o n c u r r e n t [ 5 4 ] ) . O n e w a y o f e n f o r c i n g m u t u a l e x c l u s i o n
i s t o u s e a c i r c u l a t i n g t o k e n w h i c h v i s i t s a l l r o u t e r s i n a p r e d e t e r m i n e d c y c l i c
p a t h a n d i s c a p t u r e d b y a r o u t e r p a r t i c i p a t i n g i n a p o t e n t i a l d e a d l o c k [ 5 5 ] . T h e
r o u t e r p r o g r e s s i v e l y r o u t e s a r e c o v e r i n g p a c k e t o v e r a p r e e m p t e d o u t p u t p h y s i -
c a l c h a n n e l w h i l e h a v i n g t h e c o r r e s p o n d i n g c o n t r o l l i n e s e t t o i n d i c a t e t h a t t h i s
p a c k e t s h o u l d b e d i r e c t e d t o t h e d e a d l o c k b u f f e r a t t h e n e x t r o u t e r i n s e q u e n c e ,
a s i l l u s t r a t e d i n F i g u r e 1 3 . 1 1 . A n e w t o k e n i s r e l e a s e d b y t h e d e s t i n a t i o n n o d e
o n c e t h e p a c k e t h e a d e r i s r e c e i v e d . A s t h e r e e x i s t s a t l e a s t o n e p a c k e t i n e a c h
d e a d l o c k t h a t c a n f a i r l y g a i n a c c e s s t o a n d r o u t e p r o g r e s s i v e l y o n t h e r e c o v e r y
p a t h w h i c h i s c o n n e c t e d a n d d e a d l o c k - f r e e , t h i s r o u t i n g s c h e m e s a f e l y r e c o v e r s
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 27/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 7 1
Ping
IDOrigin Valid
Input
Port #
Output
Port #
0
1
23
Ping Path(PID = 1234)
Port = 0 Port = 2
Port = 1
Port = 3
1234 extyes
0
no
no
no
Ping Table
Router
F i g u r e 1 3 . 1 2 . I l l u s t r a t i o n o f p a c k e t d e p e n d e n c y a n d p i n g m o v e m e n t f o r d e t e c t i n g
c o n g e s t i o n ( t o p ) . P o s s i b l e o r g a n i z a t i o n o f r o u t e r p i n g t a b l e f o r r e c o r d i n g p a t h
r e s e r v a t i o n i n f o r m a t i o n ( b o t t o m ) .
f r o m a l l d e a d l o c k [ 5 6 ] . T h u s , w e c a n t h i n k o f t h e D i s h a s c h e m e a s u s i n g d e a d l o c k
b u f f e r s t o p r o g r e s s i v e l y r e s o l v e r o u t i n g - i n d u c e d d e a d l o c k i n t h e w i d e s e n s e .
T h e P i n g a n d B u b b l e s c h e m e i s a m o r e r e c e n t l y p r o p o s e d p r o g r e s s i v e r e -
c o v e r y t e c h n i q u e [ 5 7 ] . T h e i d e a b e h i n d t h i s s c h e m e i s t o c o r r e c t l y t r a c e a l l c y c l i c
d e p e n d e n c i e s o n n e t w o r k r e s o u r c e s i n r e a l t i m e a n d t o d y n a m i c a l l y s u p p l y a b u b -
b l e t o t h o s e r e s o u r c e s a n d f o r c e i t t o t r a v e r s e t h e e n t i r e c y c l e . S m a l l c o n t r o l
p a c k e t s c a l l e d p i n g s a r e u s e d t o g l o b a l l y p r o b e o n l y t h o s e r e s o u r c e s s u s p e c t e d
o f p a r t i c i p a t i n g i n p o t e n t i a l d e a d l o c k o n c e d e t e c t e d a s p o s s i b l y o c c u r r i n g . T h i s
w o r k s a s f o l l o w s . A p i n g i s g e n e r a t e d b y a r o u t e r f o r a g i v e n i n p u t p o r t w h e n
c e r t a i n d e a d l o c k p r e c i p i t a t i n g c o n d i t i o n s a r e d e t e c t e d , e . g . , d u e t o i t s b u f f e r b e i n g
o c c u p i e d f o r l o n g e r t h a n s o m e t h r e s h o l d a m o u n t o f t i m e o r s o m e o t h e r c r i t e r i a . I t
i s t h e n s e n t t h r o u g h o n e o f t h e o u t p u t p o r t s r e q u e s t e d b y t h e p a c k e t a t t h e h e a d o f
t h a t i n p u t p o r t q u e u e i n o r d e r t o p r o b e t h e n e t w o r k f o r p o s s i b l e c y c l i c d e p e n d e n c y .
W h e n a p i n g a r r i v e s a t a n e i g h b o r i n g r o u t e r p o r t , i t i s f u r t h e r p r o p a g a t e d i f t h e
d e a d l o c k p r e c i p i t a t i n g c o n d i t i o n s a r e m e t t h e r e a s w e l l , a n d t h a t r o u t e r p o r t q u e u e
i s a d d e d t o a p a t h o r t r a c e o f s u c h d e p e n d e n t r e s o u r c e s . T h i s i s i l l u s t r a t e d i n
F i g u r e 1 3 . 1 2 f o r a n e x a m p l e s c e n a r i o . I n a d d i t i o n , a r e s e r v a t i o n i s m a d e i n a
p i n g t a b l e a t t h a t r o u t e r s o t h a t a n y a r r i v i n g b u b b l e w i l l b e a l l o c a t e d t o t h e p i n g e d
p o r t . T h e p i n g t a b l e a l l o w s f o r p r e c i s e c o n t r o l o v e r b u b b l e m o v e m e n t s o t h a t
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 28/47
4 7 2 T . M . P i n k s t o n
b u b b l e s r e m a i n w i t h i n r e s o u r c e s a l o n g t h e d e p e n d e n c y c y c l e a n d a r e c o e r c e d t o
p r o p a g a t e b a c k w a r d a l o n g t h e t r a c e p a t h . C o n t i n u i n g , i f t h e p i n g r e t u r n s t o t h e
s a m e r o u t e r p o r t w h i c h i n i t i a t e d i t , a c y c l e o f d e p e n d e n c y i s d e t e c t e d o n w h i c h a
s e t o f r e s o u r c e s h a v e r e s e r v e d t h e a l l o c a t i o n o f a n a r r i v i n g b u b b l e .
A l o n g w i t h t h e p i n g i n g m e c h a n i s m , t h e s p e c i a l d e a d l o c k b u f f e r i s u s e d t o
t e m p o r a r i l y s h e l t e r a c u l p r i t p a c k e t a t t h e h e a d o f t h e i n p u t p o r t q u e u e i d e n t i e d
a s c l o s i n g a d e p e n d e n c y c y c l e . T h i s r e m o v e s t h e p a c k e t f r o m t h e d e a d l o c k c y c l e ,
c r e a t i n g a n e s c a p e b u b b l e i n t h a t q u e u e w h i c h s t a r t s t o p r o p a g a t e b a c k w a r d
a l o n g t h e p i n g t r a c e . A s a t m o s t o n e r o u t e r ( t h e o n e w i t h t h e h i g h e s t r a n k i n g
p i n g ) d e t e c t s e a c h c y c l e a n d a l l n o n - o v e r l a p p i n g c y c l e s a r e d e t e c t e d , a b u b b l e i s
g u a r a n t e e d t o b e m a d e a v a i l a b l e t o r e s o u r c e s a l o n g t h e c y c l e . A l s o , s i n c e b u b b l e
m o v e m e n t i s t o t a l l y c o n t r o l l e d b y t h e p i n g t a b l e e n t r i e s i n o t h e r r o u t e r s a l o n g t h e
d e t e c t e d c y c l i c t r a c e p a t h , t h e e s c a p e b u b b l e g e n e r a t e d b y s h e l t e r i n g t h e c u l p r i t
p a c k e t i s g u a r a n t e e d t o a r r i v e b a c k a t t h a t r o u t e r i n n i t e t i m e a n d c a n b e c o n s u m e d
b y t h e p a c k e t i n t h e s p e c i a l d e a d l o c k b u f f e r . T h i s f r e e s t h e d e a d l o c k b u f f e r f o r
f u t u r e u s e . O n c e t h e r e t u r n e d b u b b l e i s a l l o c a t e d t o t h e s h e l t e r e d p a c k e t , a l l o t h e r
p a c k e t s a l o n g t h e d e p e n d e n c y c y c l e w i l l h a v e a l r e a d y b e e n s h i f t e d p r o g r e s s i v e l y
f o r w a r d b y a t l e a s t o n e p o s i t i o n , p o s s i b l y b r e a k i n g t h e c y c l e . I n t h e u n l i k e l y e v e n t
t h a t t h e s a m e c y c l e r e c u r s d u e t o n o c h a n g e i n t h e d e p e n d e n c y r e l a t i o n a m o n g n e w
r o u t i n g c a n d i d a t e s a t t h e h e a d o f t h e q u e u e s , t h e p r o c e d u r e r e p e a t s . A s p a c k e t s a r e
r o u t e d a l o n g m i n i m a l p a t h s , a t l e a s t o n e p a c k e t w i l l e v e n t u a l l y r e a c h i t s d e s t i n a t i o n
i n n i t e t i m e e v e n i f t h e d e p e n d e n c y r e l a t i o n p e r s i s t s u n t i l t h e n . T h u s , w e c a n
t h i n k o f t h e P i n g a n d B u b b l e s c h e m e a s u s i n g d e a d l o c k b u f f e r s t o p r o g r e s s i v e l y
r e s o l v e r o u t i n g - i n d u c e d d e a d l o c k i n t h e w e a k s e n s e .
O p e r a t i o n o f t h e P i n g a n d B u b b l e s c h e m e i s i l l u s t r a t e d u s i n g t h e s i m p l i s t i c
e x a m p l e g i v e n i n F i g u r e 1 3 . 1 0 ( c ) . A s s u m i n g t h a t a p o t e n t i a l d e a d l o c k i s d e t e c t e d
b y p a c k e t s a t t h e h e a d o f Q u e u e 1 a n d Q u e u e 5 . A p i n g i s g e n e r a t e d b y t h e r o u t e r
f o r e i t h e r Q u e u e 1 o r Q u e u e 5 ( a s s u m e b o t h a r e a s s o c i a t e d w i t h t h e s a m e r o u t e r )
a n d t r a n s m i t t e d t o Q u e u e 4 i n t h e n e i g h b o r i n g r o u t e r . S u b s e q u e n t l y , t h e p i n g i s
t r a n s m i t t e d t o Q u e u e 3 , t h e n Q u e u e 2 , a n d r e t u r n s b a c k t o Q u e u e 1 f o l l o w i n g
t h e p a t h s u p p l i e d b y t h e r o u t i n g f u n c t i o n f o r t h e p a c k e t s a t t h e h e a d o f t h o s e
f u l l y o c c u p i e d q u e u e s . N o m a t t e r w h e t h e r t h e p i n g w a s g e n e r a t e d b y Q u e u e 1 o r
Q u e u e 5 , Q u e u e 1 i s t h e o n e i d e n t i e d a s c l o s i n g a c y c l e o f r e s o u r c e d e p e n d e n c i e s ,
l i k e t h e c y c l i c p a t h s h o w n i n F i g u r e 1 3 . 1 2 . A l t e r n a t i v e l y , o t h e r p i n g s c o u l d
s i m u l t a n e o u s l y h a v e b e e n g e n e r a t e d b y t h e o t h e r q u e u e s i n t h e c y c l e . I f n o t
s q u a s h e d b y a n o u t r a n k i n g p i n g g e n e r a t e d b y a d i f f e r e n t q u e u e t h a t a l o n e w o u l d
d e t e c t t h e c y c l e , t h o s e p i n g s w o u l d f o l l o w t h e s a m e c y c l i c p a t h a n d r e t u r n t o t h e i r
i n i t i a t i n g r o u t e r i d e n t i f y i n g o n e o f t h o s e o t h e r q u e u e s a s c l o s i n g t h e d e p e n d e n c y
c y c l e .
P r e l i m i n a r y r e s u l t s s h o w t h a t s u b s t a n t i a l p e r f o r m a n c e g a i n s a r e p o s s i b l e . A s
s h o w n i n F i g u r e 1 3 . 1 3 , t h e p r o p o s e d P i n g a n d B u b b l e s c h e m e c a n s u s t a i n n e a r
m a x i m u m t h r o u g h p u t e v e n u n d e r h e a v i l y l o a d e d n e t w o r k c o n d i t i o n s , y i e l d i n g
t w i c e t h e t h r o u g h p u t t h a t c a n b e s u s t a i n e d b y D u a t o ' s P r o t o c o l a n d D i s h a . A l l
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 29/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 7 3
0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
Applied Network Loads (Flits/Node/Cycle)
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
T h r o u g h p u t ( F l i t s / N o d
e / C y c l e )
Duato Adaptive
Disha Recovery
Ping and Bubble
0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
Applied Network Loads (Flits/Node/Cycle)
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
T h r o u g h p u t ( F l i t s / N o
d e / C y c l e )
PB
Disha
F i g u r e 1 3 . 1 3 . N e t w o r k t h r o u g h p u t f o r a n 8 × 8 b i d i r e c t i o n a l t o r u s w i t h 4 v i r t u a l
c h a n n e l s f o r t h e p r o p o s e d P i n g a n d B u b b l e s c h e m e c o m p a r e d t o D i s h a S e q u e n t i a l a n d
D u a t o ' s P r o t o c o l ( t o p ) a n d P i n g a n d B u b b l e ( P B ) c o m p a r e d t o D i s h a f o r a n e t w o r k
w i t h a n i n c r e a s e d b r i s t l i n g f a c t o r o f 2 , i . e . , t w o i n j e c t i n g n o d e s a t t a c h e d t o e a c h r o u t e r
i n t h e n e t w o r k ( b o t t o m ) .
t h e w h i l e , r o u t i n g - i n d u c e d d e a d l o c k i s e f f e c t i v e l y r e s o l v e d . I n a d d i t i o n t o t h e
i n c r e a s e d r o u t i n g f r e e d o m i t h a s o v e r D u a t o ' s P r o t o c o l , t h e m a i n r e a s o n f o r t h e
P i n g a n d B u b b l e s c h e m e ' s i m p r o v e d p e r f o r m a n c e i s t h a t e s c a p e b u b b l e s a r e m a d e
m o r e a c c e s s i b l e t o p a c k e t s n e e d i n g t h e m m o s t u n d e r s a t u r a t e d n e t w o r k c o n d i t i o n s
( i . e . , p a c k e t s i n v o l v e d i n c y c l i c d e p e n d e n c i e s ) . W i t h D u a t o ' s P r o t o c o l a n d D i s h a ,
t h e e s c a p e a n d r e c o v e r y p a t h s c a n b e c o m e a p e r f o r m a n c e b o t t l e n e c k ; t h e r e i s n o
s u c h b o t t l e n e c k w i t h t h e P i n g a n d B u b b l e s c h e m e .
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 30/47
4 7 4 T . M . P i n k s t o n
1 3 . 3 . 2 H a n d l i n g M e s s a g e - I n d u c e d D e a d l o c k s
A . M e s s a g e - I n d u c e d D e a d l o c k A v o i d a n c e T e c h n i q u e s
M e s s a g e - i n d u c e d d e a d l o c k c a n b e a v o i d e d i n t h e w e a k s e n s e b y p r o v i d i n g e n o u g h
b u f f e r s p a c e i n e a c h n o d e ' s n e t w o r k i n t e r f a c e q u e u e s t o h o l d a t l e a s t a s m a n y
m e s s a g e s a s c a n b e s u p p l i e d , a s i s d o n e i n [ 5 8 , 5 9 ] , f o r e x a m p l e . E v e n t h o u g h
k n o t t e d d e p e n d e n c i e s o n a s e t o f r e s o u r c e s m a y e x i s t , d e a d l o c k n e v e r a c t u a l l y
o c c u r s a s t h e s e t n e v e r b e c o m e s f u l l y o c c u p i e d . T h i s g u a r a n t e e s t h a t p a c k e t s
c a n s i n k a t t h e i r d e s t i n a t i o n s e v e n t u a l l y . A l t h o u g h s i m p l e t o i m p l e m e n t , t h i s
t e c h n i q u e i s n o t v e r y s c a l a b l e s i n c e t h e s i z e o f t h e n e t w o r k i n t e r f a c e q u e u e s g r o w s
a s O(P ×M ) m e s s a g e s , w h e r e P i s t h e n u m b e r o f p r o c e s s o r n o d e s a n d M i s t h e
n u m b e r o f o u t s t a n d i n g m e s s a g e s a l l o w e d b y e a c h n o d e i n t h e s y s t e m .
A t t h e o p p o s i t e e x t r e m e , m e s s a g e - i n d u c e d d e a d l o c k c a n b e a v o i d e d i n t h e
s t r i c t s e n s e b y p r o v i d i n g l o g i c a l l y i n d e p e n d e n t c o m m u n i c a t i o n n e t w o r k s f o r e a c h
m e s s a g e t y p e ( i m p l e m e n t e d a s e i t h e r p h y s i c a l o r v i r t u a l c h a n n e l s ) a n d r e s t r i c t i n g
t h e u s e o f t h o s e n e t w o r k s b a s e d o n m e s s a g e t y p e , a s i s d o n e i n [ 2 8 , 3 7 , 3 9 , 4 0 ] ,
f o r e x a m p l e . T h e p a r t i a l o r d e r i n g o n m e s s a g e d e p e n d e n c i e s d e n e d b y t h e c o m -
m u n i c a t i o n p r o t o c o l i s t r a n s f e r r e d t o t h e l o g i c a l n e t w o r k s s u c h t h a t t h e u s a g e o f
n e t w o r k r e s o u r c e s i s a c y c l i c . T h i s r e s t r i c t i o n o n r o u t i n g f r e e d o m g u a r a n t e e s t h a t
n o d e a d l o c k c a n f o r m d u e t o m e s s a g e d e p e n d e n c i e s . F i g u r e s 1 3 . 1 4 i l l u s t r a t e s t h i s
f o r t h e f o u r n o d e r i n g s y s t e m s h o w n p r e v i o u s l y i n F i g u r e 1 3 . 6 a n d 1 3 . 9 ( c ) , b u t t h i s
t i m e w i t h f o u r v i r t u a l c h a n n e l s p e r p h y s i c a l c h a n n e l . W i t h t w o l o g i c a l n e t w o r k s
e a c h c o n s i s t i n g o f t w o v i r t u a l c h a n n e l s t o a v o i d r o u t i n g - i n d u c e d d e a d l o c k s ( s e e
S e c t i o n A . ) , t h i s n e t w o r k i s a b l e t o a v o i d m e s s a g e - i n d u c e d d e a d l o c k s f o r m e s s a g e
d e p e n d e n c y c h a i n s o f l e n g t h t w o , i . e . , r e q u e s t r e p l y , b u t n o g r e a t e r .
F o r m e s s a g e - i n d u c e d d e a d l o c k h a n d l i n g t e c h n i q u e s b a s e d o n e n f o r c i n g r o u t -
i n g r e s t r i c t i o n s , t h e s i z e o f n e t w o r k r e s o u r c e s d o e s n o t i n u e n c e d e a d l o c k p r o p e r -
t i e s , m a k i n g s u c h t e c h n i q u e s m o r e s c a l a b l e . B e c a u s e o f t h i s , t h e s e a r e t h e m o r e
c o m m o n l y u s e d , b u t t h e y s t i l l s u f f e r t h e c o s t d i s a d v a n t a g e o f r e q u i r i n g a t l e a s t a s
m a n y l o g i c a l n e t w o r k s a s t h e l e n g t h o f t h e m e s s a g e d e p e n d e n c y c h a i n . S u c h p a r -
t i t i o n i n g o f n e t w o r k r e s o u r c e s n o t o n l y i n c r e a s e s n e t w o r k c o s t b u t a l s o d e c r e a s e s
p o t e n t i a l r e s o u r c e u t i l i z a t i o n a n d o v e r a l l p e r f o r m a n c e , p a r t i c u l a r l y w h e n m e s s a g e
d e p e n d e n c i e s a r e a b u n d a n t a n d r e s o u r c e s ( i . e . , v i r t u a l c h a n n e l s ) a r e s c a r c e . F o r
e x a m p l e , t h e A l p h a 2 1 3 6 4 p r o c e s s o r / r o u t e r c h i p [ 4 0 ] u s e d i n A l p h a S e r v e r s y s t e m s
r e q u i r e s s e v e n l o g i c a l l y s e p a r a t e d n e t w o r k s t o a v o i d m e s s a g e - i n d u c e d d e a d l o c k s
o n s e v e n m e s s a g e t y p e s . F o r s i x o f t h e s e , t w o v i r t u a l c h a n n e l s a r e r e q u i r e d t o
e s c a p e f r o m r o u t i n g - i n d u c e d d e a d l o c k s i n a t o r u s n e t w o r k a n d a n a d d i t i o n a l o n e i s
u s e d f o r a d a p t i v e r o u t i n g . T h e r e f o r e , o f t h e 1 9 t o t a l v i r t u a l c h a n n e l s i m p l e m e n t e d ,
a t m o s t o n l y t w o c a n b e u s e d a t a n y g i v e n t i m e b y a n y g i v e n m e s s a g e t y p e . T h i s
i s a s e v e r e l i m i t a t i o n o n r o u t i n g f r e e d o m .
I n g e n e r a l , r o u t i n g f r e e d o m a t a n y g i v e n p o i n t i n t h e n e t w o r k i s l i m i t e d t o
(1 + (C/L − E r)) o f t h e C v i r t u a l c h a n n e l s o n a l i n k , w h e r e L i s t h e m e s s a g e
d e p e n d e n c y c h a i n l e n g t h ,
E r i s t h e m i n i m u m n u m b e r o f v i r t u a l c h a n n e l s r e q u i r e d
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 31/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 7 5
R0
Routing Function:
For each msg type,when node i routes
a message headingfor node j, it
1. uses CRxHi
if i< j
2. uses CRxLi if i> j3. sinks, if i= j
Low virtual channel i of the reply network
R1
R3
R2
CRQH0 C
RQL0
CRPH0 CRPL0
CRPH2 CRPL2
CRQH2 C
RQL2
CRPL1 CRQL1
CRPH1 CRQH1
CRPL3CRQL3
CRPH3
CRQH3
CRPLi
CRQLi
CRPHi
CRQHi
Low virtual channel i of the request networkHigh virtual channel i of the reply networkHigh virtual channel i of the request network
CRi Network interface queue inside of node i
(a)
CRQH0
CRPH0
CRPH2
CRQH2
CRQL2
CRQL1
CRPH1
CRQH1
CRPL3 C
RQL3
CR3
(b)
F i g u r e 1 3 . 1 4 . ( a ) S e p a r a t i o n o f r e q u e s t a n d r e p l y n e t w o r k s a v o i d s c y c l i c d e p e n d e n c i e s
i n t h e c h a n n e l d e p e n d e n c y g r a p h s h o w n i n ( b ) , b u t i t r e d u c e s c h a n n e l u t i l i z a t i o n .
S h o w n i n ( b ) i s t h e c a s e i n w h i c h R 1 i s t h e r e q u e s t e r a n d R 3 i s t h e r e s p o n d e r . ( F r o m
R e f . 6 1
c 2 0 0 3 I E E E . )
t o e s c a p e f r o m r o u t i n g - i n d u c e d d e a d l o c k f o r a g i v e n n e t w o r k , E m = L×E r i s t h e
m i n i m u m n u m b e r o f v i r t u a l c h a n n e l s r e q u i r e d t o e s c a p e f r o m m e s s a g e - i n d u c e d
d e a d l o c k f o r a g i v e n n e t w o r k , a n d C ≥ E m . R o u t i n g f r e e d o m c a n b e i n c r e a s e d
i f m e s s a g e - i n d u c e d d e a d l o c k i s , i n s t e a d , a v o i d e d i n t h e w i d e s e n s e b y a l l o w i n g
a l l c h a n n e l s o t h e r t h a n t h e m i n i m u m n u m b e r r e q u i r e d t o e s c a p e f r o m m e s s a g e -
i n d u c e d d e a d l o c k t o b e s h a r e d a m o n g s t a l l m e s s a g e t y p e s , a s p r o p o s e d i n [ 6 0 ] .
T h a t i s , c y c l e s a m o n g m e s s a g e - d e p e n d e n t r e s o u r c e s a r e a l l o w e d a s l o n g a s i t i s
a l w a y s p o s s i b l e t o r e a c h s o m e s e t o f e s c a p e r e s o u r c e s o n w h i c h n o c y c l i c m e s s a g e
d e p e n d e n c i e s c a n e x i s t . W i t h t h i s t e c h n i q u e , t h e u p p e r l i m i t o n v i r t u a l c h a n n e l
a v a i l a b i l i t y i s i n c r e a s e d t o (1 + (C − E m)). N e v e r t h e l e s s , r e s t r i c t i o n s e n f o r c e d
o n e s c a p e c h a n n e l s d u e t o o n l y o n e c h a n n e l b e i n g s u p p l i e d b y t h e r o u t i n g f u n c t i o n
o u t o f t h e E m c h a n n e l s a c t s t o l i m i t t h e o v e r a l l p o t e n t i a l p e r f o r m a n c e .
B . M e s s a g e - I n d u c e d D e a d l o c k R e c o v e r y T e c h n i q u e s
E v i d e n t l y , t h e m a i n d i s a d v a n t a g e o f a v o i d i n g d e a d l o c k b y d i s a l l o w i n g c y c l i c
d e p e n d e n c i e s o n e s c a p e r e s o u r c e s i s t h e n u m b e r o f p a r t i t i o n e d l o g i c a l n e t w o r k s
r e q u i r e d . I t i s p o s s i b l e t o r e d u c e t h e n u m b e r o f p a r t i t i o n s b y a l l o w i n g d i f f e r e n t
m e s s a g e t y p e s t o u s e t h e s a m e l o g i c a l n e t w o r k a n d r e m o v i n g m e s s a g e ( s ) f r o m
c y c l i c d e p e n d e n c i e s o n l y w h e n a p o t e n t i a l d e a d l o c k s i t u a t i o n i s d e t e c t e d . S i n c e
a d e t e c t i o n m e c h a n i s m a n d r e c o v e r y a c t i o n a r e r e q u i r e d t o r e s o l v e t h e p o t e n t i a l
d e a d l o c k s i t u a t i o n , t h i s t e c h n i q u e f o r h a n d l i n g m e s s a g e - i n d u c e d d e a d l o c k i s s a i d t o
b e b a s e d o n d e a d l o c k r e c o v e r y . D e t e c t e d d e a d l o c k s c a n b e r e s o l v e d b y k i l l i n g a n d
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 32/47
4 7 6 T . M . P i n k s t o n
l a t e r r e - i n j e c t i n g p a c k e t s i n n e t w o r k i n t e r f a c e q u e u e s ( i . e . , r e g r e s s i v e r e c o v e r y ) ,
d e e c t i n g p a c k e t s o u t o f r e s o u r c e s i n v o l v e d i n c y c l i c d e p e n d e n c y b y c o n v e r t i n g
t h e m f r o m a n o n t e r m i n a t i n g m e s s a g e t y p e t o a t e r m i n a t i n g m e s s a g e t y p e ( i . e . ,
d e e c t i v e r e c o v e r y ) , o r b y p r o g r e s s i v e l y r o u t i n g p a c k e t s u s i n g r e s o u r c e s a l o n g
a p a t h t h a t i s g u a r a n t e e d t o s i n k ( i . e . , p r o g r e s s i v e r e c o v e r y ) . T h e a c t i o n s t a k e n
b y r e g r e s s i v e a n d d e e c t i v e r e c o v e r y i n c r e a s e t h e n u m b e r o f m e s s a g e s n e e d e d
t o c o m p l e t e e a c h d a t a t r a n s a c t i o n , w h e r e a s p r o g r e s s i v e r e c o v e r y d o e s n o t ; a l l
p a c k e t s m a k e p r o g r e s s t o w a r d t h e i r d e s t i n a t i o n s a n d n e v e r d e g e n e r a t i v e l y r e g r e s s
o r d e e c t .
T h e d i f f e r e n c e s b e t w e e n t h e a b o v e t e c h n i q u e s a r e i l l u s t r a t e d u s i n g a n e x a m -
p l e c a c h e c o h e r e n c e p r o t o c o l t h a t c o u l d b e u s e d i n a m u l t i p r o c e s s o r s y s t e m w h i c h
p e r m i t s g e n e r i c m e s s a g e d e p e n d e n c y c h a i n s s h o w n i n F i g u r e 1 3 . 1 5 ( b ) . I n t h i s
p r o t o c o l , a n o r i g i n a l r e q u e s t m e s s a g e ( m1 = ORQ ) a r r i v i n g a t s o m e h o m e n o d e
i s f o r w a r d e d t o t h e o w n e r o r s h a r e r s a s a f o r w a r d e d - r e q u e s t m e s s a g e ( m3 = F RQ)
b e f o r e b e i n g r e s p o n d e d t o b y a t e r m i n a t i n g r e p l y m e s s a g e ( m4 = T RP ) i f t h e
h o m e n o d e i s u n a b l e t o f u l l l t h e r e q u e s t . T h u s , t h e l e n g t h o f t h e m e s s a g e
d e p e n d e n c y c h a i n f o r d a t a t r a n s a c t i o n s c a n b e t w o ( ORQ T RP ) o r t h r e e
(
ORQ F RQ T RP ) , d e p e n d i n g u p o n w h e r e t h e r e q u e s t e d d a t a i s l o c a t e d .
M e s s a g e - i n d u c e d d e a d l o c k s c a n b e a v o i d e d i n t h e s t r i c t s e n s e b y p a r t i t i o n i n g r e -
s o u r c e s i n t o t h r e e s e p a r a t e l o g i c a l n e t w o r k s , o n e f o r e a c h o f t h e s e m e s s a g e t y p e s .
H o w e v e r , t o r e d u c e t h e n u m b e r o f l o g i c a l n e t w o r k s t o t w o , b o t h ORQ a n d F RQm e s s a g e s m a y b e a l l o w e d t o u s e t h e s a m e r e q u e s t n e t w o r k a n d T RP m e s s a g e s
c a n u s e a s e p a r a t e r e p l y n e t w o r k . S i n c e m e s s a g e - i n d u c e d d e a d l o c k s c a n n o w
p o t e n t i a l l y f o r m o n t h e r e q u e s t n e t w o r k , t h e y m u s t b e r e s o l v e d o n c e d e t e c t e d .
C o n s i d e r r s t h o w r e s o l u t i o n m i g h t b e d o n e w i t h a d e e c t i v e r e c o v e r y
s c h e m e s u c h a s t h e o n e u s e d i n t h e S G I O r i g i n 2 0 0 0 m u l t i p r o c e s s o r [ 2 9 ] , s h o w n
i n F i g u r e 1 3 . 1 5 ( a ) . I f a p o t e n t i a l d e a d l o c k s i t u a t i o n i s d e t e c t e d a t a h o m e n o d e ,
t h e n o d e t a k e s ORQ m e s s a g e s t h a t w o u l d g e n e r a t e F RQ m e s s a g e s f r o m t h e
h e a d o f t h e i n p u t r e q u e s t q u e u e a n d d e e c t s b a c k t o t h e r e q u e s t e r s b a c k o f f
r e p l y m e s s a g e t y p e s ( m2 = BRP ) . T h e s e m e s s a g e s c o n t a i n o w n e r o r s h a r e r
i n f o r m a t i o n t h a t a l l o w s t h e r e q u e s t e r t o g e n e r a t e F RQ m e s s a g e ( s ) d i r e c t l y t o t h e
i n t e n d e d t a r g e t ( s ) w i t h o u t f u r t h e r i n t e r v e n t i o n f r o m t h e h o m e n o d e . T h e y a r e
a d d i t i o n a l m e s s a g e s n e e d e d t o c a r r y o u t t h e d a t a t r a n s a c t i o n . T h a t i s , w i t h t h i s
p r o t o c o l , t h e
ORQ F RQ T RP m e s s a g e d e p e n d e n c y c h a i n i s c o n v e r t e d
i n t o a ORQ BRP F RQ T RP c h a i n w h e n p o t e n t i a l m e s s a g e - i n d u c e d
d e a d l o c k i s d e t e c t e d . A l t h o u g h t h e m e s s a g e d e p e n d e n c y c h a i n l e n g t h i s i n c r e a s e d
d u r i n g r e c o v e r y , t h e n u m b e r o f l o g i c a l n e t w o r k s i m p l e m e n t e d n e e d n o t i n c r e a s e ;
i t r e m a i n s a t t w o . I n o r d e r f o r t h i s t o h a p p e n , t h e s y s t e m a l l o w s BRP m e s s a g e s
t o u s e t h e s a m e r e p l y n e t w o r k a s T RP m e s s a g e s a n d a v o i d s m e s s a g e - i n d u c e d
d e a d l o c k i n t h e w e a k s e n s e o n t h e r e p l y n e t w o r k b y d y n a m i c a l l y r e s e r v i n g ( p r e -
a l l o c a t i n g ) s u f c i e n t s p a c e i n t h e i n c o m i n g r e p l y q u e u e o f t h e r e q u e s t e r i n o r d e r
t o b e a b l e t o s i n k r e s p o n s e s f o r a l l o u t s t a n d i n g ORQ m e s s a g e s . T h i s r e s e r v a t i o n
i s m a d e b e f o r e
ORQm e s s a g e s e n t e r t h e n e t w o r k .
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 33/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 7 7
ORQ TRP
BRP FRQ
read
read exclusive
upgrade
backoff intervention
backoff invalidation
intervention
invalidation
shared response
exclusive response
nack
acknowledgement
speculative reply
Message Dependency
(a)
m1
m4
m3
m2
(b)
F i g u r e 1 3 . 1 5 . ( a ) T h e o r d e r i n g a m o n g m e s s a g e t y p e s ( s h o w n i n u p p e r c a s e ) a n d
m e s s a g e s u b t y p e s ( s h o w n i n l o w e r c a s e ) i n t h e O r i g i n 2 0 0 0 . N o t e t h a t
BRP o c c u r s
o n l y i f a m e s s a g e - i n d u c e d d e a d l o c k i s d e t e c t e d , o t h e r w i s e t h e m a x i m u m c h a i n l e n g t h
i s t h r e e . ( b ) T h e o r d e r i n g a m o n g m e s s a g e t y p e s (
mi ) f o r a g e n e r i c c a c h e c o h e r e n c e
p r o t o c o l w i t h f o u r m e s s a g e t y p e s . ( F r o m R e f . 6 1
c 2 0 0 3 I E E E . )
B y r e l a x i n g r e s t r i c t i o n s i n t h e w a y i n w h i c h n e t w o r k r e s o u r c e s a r e u s e d ,
r e s o u r c e s c a n b e u t i l i z e d m o r e e f c i e n t l y a n d p r o v i d e i n c r e a s e d n e t w o r k p e r f o r -
m a n c e . H o w e v e r , a s p o t e n t i a l d e a d l o c k s i t u a t i o n s m a i n l y o c c u r w h e n t h e s y s t e m
n e a r s a s a t u r a t e d s t a t e , r e s o l v i n g p o t e n t i a l d e a d l o c k s i t u a t i o n s b y i n c r e a s i n g t h e
n u m b e r o f m e s s a g e s r e q u i r e d t o c o m p l e t e d a t a t r a n s a c t i o n s o n l y e x a c e r b a t e s t h e
p r o b l e m . P r o g r e s s i v e r e c o v e r y t e c h n i q u e s r e s o l v e p o t e n t i a l d e a d l o c k s i t u a t i o n s
m o r e e f c i e n t l y b y u s i n g t h e s a m e n u m b e r o f m e s s a g e s a s a r e r e q u i r e d t o a v o i d
d e a d l o c k . O n e s u c h r e c e n t l y p r o p o s e d t e c h n i q u e i s d e r i v e d f r o m t h e D i s h a t e c h -
n i q u e d e s c r i b e d i n S e c t i o n D . .
T h e p r o p o s e d t e c h n i q u e , r e f e r r e d t o a s m D i s h a [ 6 1 ] , e x t e n d s t h e n o t i o n o f
D i s h a - S e q u e n t i a l r e c o v e r y p a t h s e x i s t i n g o n l y b e t w e e n n e t w o r k e n d p o i n t s t o o n e
t h a t i n c l u d e s n e t w o r k e n d p o i n t s a s w e l l , a s s h o w n i n F i g u r e 1 3 . 1 6 . H e n c e , t h e
c i r c u l a t i n g t o k e n m u s t a l s o v i s i t a l l n e t w o r k i n t e r f a c e s a t t a c h e d t o e a c h r o u t e r n o d e ,
a n d a d e a d l o c k b u f f e r ( r e f e r r e d t o a s a d e a d l o c k m e s s a g e b u f f e r o r D M B ) m u s t
a l s o b e p r o v i d e d i n e a c h n e t w o r k i n t e r f a c e . T h e s i z e o f t h e D M B i s d e t e r m i n e d b y
t h e m i n i m u m u n i t o f i n f o r m a t i o n o n w h i c h e n d - t o - e n d e r r o r d e t e c t i o n / p r o t e c t i o n
( i . e . , E C C , c h e c k s u m ) i s p e r f o r m e d . T y p i c a l l y , t h i s i s a t t h e p a c k e t l e v e l , r e q u i r i n g
t h e s e d e a d l o c k b u f f e r s t o b e a t l e a s t p a c k e t - s i z e d . T h i s i s a l s o t h e m i n i m u m s i z e
o f t h e n e t w o r k i n t e r f a c e i n p u t a n d o u t p u t q u e u e s ; h o w e v e r , l a r g e r i n p u t / o u t p u t
q u e u e s w o u l d t y p i c a l l y b e u s e d t o i n c r e a s e p e r f o r m a n c e . A l l n e t w o r k r e s o u r c e s
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 34/47
4 7 8 T . M . P i n k s t o n
DBs
DMBs
Output
Channels
Input
Channels
Message
Output
Buffer
Message
Input
Buffer
Memory / Cache Controller
End NodeOutput
Channels
Input
Channels
Message Flow Deadlock Recovery Path
DMB
Router
DMB
Crossbar
DB
(a) (b)
F i g u r e 1 3 . 1 6 . N e t w o r k i n t e r f a c e a n d r o u t e r a r c h i t e c t u r e f o r
m D i s h a
p r o g r e s s i v e
r e c o v e r y o f m e s s a g e - i n d u c e d d e a d l o c k . ( F r o m R e f . 6 1
c 2 0 0 3 I E E E . )
c a n b e c o m p l e t e l y s h a r e d , i n d e p e n d e n t o f t h e m e s s a g e t y p e s . R e l a x i n g r e s o u r c e
a l l o c a t i o n a n d r o u t i n g r e s t r i c t i o n s i n t h i s w a y m a x i m i z e s t h e u t i l i z a t i o n o f r e s o u r c e s
w h i l e a l l o w i n g f o r a l l p o t e n t i a l m e s s a g e - i n d u c e d d e a d l o c k s t o b e r e c o v e r e d o n c e
d e t e c t e d a s l o n g a s t h e s a m e t o k e n i s r e u s e d t o r e c o v e r a l l s u b o r d i n a t e m e s s a g e s
a l o n g a g i v e n m e s s a g e d e p e n d e n c y c h a i n u n t i l o n e o f t h e m s i n k s . T h e p r o g r e s s i v e
r e c o v e r y p r o c e s s i s g u a r a n t e e d t o t e r m i n a t e s i n c e e a c h m e s s a g e d e p e n d e n c y c h a i n
i s a c y c l i c a n d h a s a t e r m i n a t i n g m e s s a g e t y p e . H o w e v e r , l i k e i t s D i s h a - S e q u e n t i a l
p r e d e c e s s o r , l i m i t a t i o n s o f t h i s s c h e m e a r e i t s s i n g l e p o i n t - o f - f a i l u r e d u e t o t h e
t o k e n m e c h a n i s m a n d t h e s e q u e n t i a l n a t u r e o f r e c o v e r y , w h i c h s h o u l d n o t b e
a p r o b l e m s i n c e t h e f r e q u e n c y o f m e s s a g e - i n d u c e d d e a d l o c k s t y p i c a l l y i s l o w .
H o w e v e r , i t i s n e c e s s a r y t o h a v e a r e l i a b l e t o k e n m a n a g e m e n t m e c h a n i s m , i . e . ,
o n e t h a t c a n b e t r a n s m i t t e d a s a n i n - b a n d c o n t r o l p a c k e t m u l t i p l e x e d w i t h d a t a
p a c k e t s o v e r n e t w o r k c h a n n e l s . T h i s w a y , t h e p a t h t a k e n b y t h e t o k e n c a n b e
l o g i c a l a n d , t h u s , r e c o n g u r a b l e f o r i n c r e a s e d r e l i a b i l i t y .
1 3 . 3 . 3 H a n d l i n g R e c o n g u r a t i o n - I n d u c e d D e a d l o c k s
T r a d i t i o n a l a p p r o a c h e s f o r r e c o n g u r i n g a n e t w o r k ' s r o u t i n g f u n c t i o n a r e b a s e d
e i t h e r o n a v o i d i n g d e a d l o c k s i n t h e s t r i c t s e n s e o r o n r e g r e s s i v e l y r e c o v e r i n g f r o m
t h e m . B o t h a p p r o a c h e s r e l y m a i n l y o n d r o p p i n g p a c k e t s . S t a t i c r e c o n g u r a t i o n
t e c h n i q u e s , f o r e x a m p l e , c o n s i s t o f r s t s t o p p i n g a n d u s h i n g a l l u s e r t r a f c f r o m
t h e n e t w o r k b e f o r e c o m m e n c i n g a n d c o m p l e t i n g n e t w o r k - w i d e r e c o n g u r a t i o n [ 3 ,
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 35/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 7 9
2 5 , 6 2 ] . N e t w o r k u s h i n g i s t y p i c a l l y d o n e b y a c t i v e l y d i s c a r d i n g a l l n o n d e l i v e r e d
p a c k e t s n o t y e t r e a c h i n g t h e i r d e s t i n a t i o n n o d e s . I n a d d i t i o n t o t h i s , t h e i n j e c t i o n
o f p a c k e t s i n t o t h e n e t w o r k i s h a l t e d d u r i n g t h e e n t i r e r e c o n g u r a t i o n p r o c e s s u n t i l
i t c o m p l e t e s . T h i s a l l o w s t h e r o u t i n g f u n c t i o n t o b e u p d a t e d f r o m o l d t o n e w i n
o n e a t o m i c a c t i o n f r o m t h e p o i n t - o f - v i e w o f u s e r p a c k e t s , l e a d i n g t o t h e n o t i o n o f
s t a t i c r e c o n g u r a t i o n . A s n o p a c k e t s a r e i n t h e n e t w o r k a t t h e t i m e t h a t t h e n e w
r o u t i n g f u n c t i o n b e c o m e s a c t i v e , n o r e c o n g u r a t i o n - i n d u c e d c y c l e s c a n f o r m , t h u s
s t r i c t l y a v o i d i n g d e a d l o c k s . A l t e r n a t i v e l y , d y n a m i c r e c o n g u r a t i o n t e c h n i q u e s
a l l o w r e c o n g u r a t i o n t o c o m m e n c e w h i l e u s e r p a c k e t s r e m a i n i n t h e n e t w o r k
a n d c o n t i n u e t o b e i n j e c t e d i n t o t h e n e t w o r k . R e c o n g u r a t i o n - i n d u c e d d e a d l o c k
a r i s i n g f r o m d y n a m i c i n t e r a c t i o n s b e t w e e n p a c k e t s r o u t e d b y o l d a n d n e w r o u t i n g
f u n c t i o n s d u r i n g a n d a f t e r d y n a m i c r e c o n g u r a t i o n c a n b e r e s o l v e d r e g r e s s i v e l y
b y r e a c t i v e l y d i s c a r d i n g p a c k e t s i n t h e e v e n t t h a t b u f f e r s b e c o m e f u l l [ 1 , 3 , 6 3 ] .
T h i s s i m p l e a p p r o a c h i s m o s t a p p l i c a b l e t o s y s t e m s i m p l e m e n t i n g s o f t l i n k - l e v e l
o w c o n t r o l i n w h i c h b u f f e r o v e r o w i s s o l v e d t h r o u g h p a c k e t d r o p p i n g , s u c h a s
i n w i d e - a r e a n e t w o r k s . H o w e v e r , i t i s l e s s a p p l i c a b l e t o s y s t e m s t h a t i m p l e m e n t
h a r d l i n k - l e v e l o w c o n t r o l i n w h i c h p a c k e t o w i s r e g u l a t e d b y m e a n s o t h e r t h a n
p a c k e t d r o p p i n g , w h i c h i s t h e c a s e f o r m o s t m u l t i p r o c e s s o r i n t e r c o n n e c t s ( i n c l u d i n g
S I O , I P C , a n d N O C s ) , I P R F t e c h n o l o g i e s , a n d m a n y s w i t c h e d L A N / S A N / S T A N
t e c h n o l o g i e s .
W i t h b o t h t h e s t r i c t a v o i d a n c e a n d t h e r e g r e s s i v e r e c o v e r y - b a s e d a p p r o a c h e s ,
a c o n s i d e r a b l e n u m b e r o f p a c k e t s m a y b e d r o p p e d , p o s s i b l y r e q u i r i n g u p p e r l a y e r
p r o t o c o l s t o b e i n v o k e d a n d s y s t e m s t a t e t o b e r o l l e d b a c k t o e n s u r e c o r r e c t e x e c u -
t i o n . T h i s e x a c e r b a t e s t h e p r o b l e m o f p r o v i d i n g r e a l - t i m e a n d q u a l i t y - o f - s e r v i c e
s u p p o r t n e e d e d b y s o m e a p p l i c a t i o n s w h i c h h a v e l i m i t e d t o l e r a n c e f o r r e c u r r i n g
p e r f o r m a n c e d r o p - o f f s . M o r e o v e r , d i s a l l o w i n g p a c k e t i n j e c t i o n d u r i n g t h e r e c o n -
g u r a t i o n p r o c e s s f u r t h e r d e g r a d e s p e r f o r m a n c e . F o r e x a m p l e , t h e t r a n s m i s s i o n o f
v i d e o s t r e a m s i n a h i g h - d e n i t i o n v i d e o - o n - d e m a n d s e r v e r w o u l d b e h a l t e d d u r i n g
r e c o n g u r a t i o n , l e a d i n g t o f r o z e n f r a m e s f o r a n u n d e s i r a b l e , p e r h a p s u n a c c e p t a b l e ,
p e r i o d o f t i m e . S i m i l a r l y , w h e n a n i n t e r c o n n e c t i o n n e t w o r k i s u s e d a s t h e s w i t c h
f a b r i c w i t h i n I P R F s [ 4 ] , t y p i c a l l y n o p a c k e t d r o p p i n g i s a l l o w e d w i t h i n a r o u t e r .
A n d s i n c e t h e s e s w i t c h f a b r i c s a r e d e s i g n e d t o o p e r a t e c l o s e t o t h e i r s a t u r a t i o n
p o i n t , t h e n u m b e r o f d r o p p e d p a c k e t s u s i n g s u c h d e g e n e r a t i v e a p p r o a c h e s c o u l d
b e e x c e s s i v e l y h i g h .
W h i l e n o n e t w o r k i n g t e c h n o l o g y c a n g u a r a n t e e t h a t a l l p a c k e t s w i l l r e a c h
t h e i r d e s t i n a t i o n s u n d e r a l l c o n d i t i o n s , p a c k e t d r o p p i n g s h o u l d b e t h e e x c e p t i o n
r a t h e r t h a n t h e r u l e . M u c h r e s e a r c h i s c u r r e n t l y b e i n g d o n e o n d e s i g n i n g d y n a m i c
r e c o n g u r a t i o n t e c h n i q u e s i m p l e m e n t e d w i t h h a r d l i n k - l e v e l o w t h a t d o n o t h a l t
t h e i n j e c t i o n o f u s e r p a c k e t s i n t o t h e n e t w o r k n o r r e l y o n d r o p p i n g u s e r p a c k -
e t s f r o m t h e n e t w o r k b e f o r e , d u r i n g , o r a f t e r t h e r e c o n g u r a t i o n p r o c e s s . S u c h
s c h e m e s a i m t o m i n i m i z e r e s t r i c t i o n s o n p a c k e t i n j e c t i o n a n d d e l i v e r y t h r o u g h o u t
t h e r e c o n g u r a t i o n p r o c e s s . I n a d d i t i o n , t h e y a i m t o e x p l o i t t h e f a c t t h a t r e c o n -
g u r a t i o n s o f t e n r e q u i r e o n l y a f e w p a t h s i n t h e n e t w o r k t o b e c h a n g e d ( i . e . , o n l y
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 36/47
4 8 0 T . M . P i n k s t o n
t h o s e w i t h i n t h e s k y l i n e [ 6 4 ] , a s s h o w n i n F i g u r e 1 3 . 7 ) , t h u s a f f e c t i n g o n l y a f e w
p a c k e t s a n d r o u t e r s w i t c h e s . A f e w s u c h t e c h n i q u e s h a v e r e c e n t l y b e e n p r o p o s e d
b a s e d o n a v o i d i n g r e c o n g u r a t i o n - i n d u c e d d e a d l o c k i n t h e w i d e s e n s e . D e a d l o c k
i s a v o i d e d b y e n f o r c i n g s o m e t o t a l o r d e r i n g o n t h e u s a g e o f e s c a p e r e s o u r c e s
a n d r e m a i n s c o n s i s t e n t w h e n t a k i n g i n t o a c c o u n t t h e i n t e r a c t i o n s o f b o t h t h e o l d
a n d n e w r o u t i n g f u n c t i o n s . T h i s i s d o n e b y s o m e f o r m o f l o g i c a l s e p a r a t i o n o f
r e s o u r c e s u s e d t o e s c a p e f r o m d e a d l o c k b y p a c k e t s e x p e r i e n c i n g o l d a n d n e w
r o u t i n g f u n c t i o n s a n d i s a c c o m p a n i e d b y s o m e f o r m o f s t e p - w i s e o r p a r t i a l u p d a t e
o f t h e r o u t i n g f u n c t i o n .
A . R e c o n g u r a t i o n - I n d u c e d D e a d l o c k A v o i d a n c e i n t h e W i d e S e n s e
T h e b a s i c i d e a b e h i n d t e c h n i q u e s b a s e d o n a v o i d i n g r e c o n g u r a t i o n - i n d u c e d d e a d -
l o c k i n t h e w i d e s e n s e i s t h e f o l l o w i n g : i t i s p o s s i b l e t o c o n s i d e r t h e r e c o n g u r a t i o n
o f a r o u t i n g f u n c t i o n a s a c h a n g e f r o m a n o l d r o u t i n g f u n c t i o n
Rold t o a n e w o n e
Rnewi n a s e q u e n c e o f
ks t e p s (
Rold = R0 → R1 → ... → Rk = Rnew) t h a t c a n
b e c o m p l e t e d a n d k a s s o c i a t e d c o n d i t i o n s ( cond1, ...,condk ) t h a t c a n b e f u l l l e d .
E v e r y s t e p c o n t a i n s o n e o r m o r e u p d a t e s t o t h e r o u t i n g f u n c t i o n i n t h e p r e v i o u s
s t e p . A t e a c h r o u t e r , m u l t i p l e u p d a t e s w i t h i n e a c h s t e p m a y b e c a r r i e d o u t i n
a n y o r d e r ( o r i t c a n b e a s s u m e d t h a t a l l u p d a t e s c o m p l e t e i n o n e a t o m i c a c t i o n ) ,
b u t s t e p s a r e s e q u e n t i a l i z e d s o t h a t i n u p d a t i n g t h e r o u t i n g f u n c t i o n f r o m Ri−1 t o
Ri , stepi c a n n o t s t a r t b e f o r e stepi−1 c o m p l e t e s a n d c o n d i t i o n condi i s f u l l l e d .
N e t w o r k - w i d e , h o w e v e r , t h e c o m p l e t i o n o f s t e p s i s n o t n e c e s s a r i l y s y n c h r o n i z e d
u n l e s s s p e c i e d b y a c o n d i t i o n . S o , i t i s p o s s i b l e f o r
stepi t o b e c o m p l e t e d a t
a r o u t e r b e f o r e
stepi−1 i s c o m p l e t e d a t a n o t h e r r o u t e r i f c o n d i t i o n
condi d o e s
n o t r e q u i r e s y n c h r o n i z a t i o n . T h e c o n d i t i o n s a r e u s u a l l y r e l a t e d t o p a c k e t s i n t h e
n e t w o r k ; t h e y d e t e r m i n e i n w h a t w a y s t h e d e p e n d e n c i e s a l l o w e d b y r o u t i n g f u n c -
t i o n s o f p r e v i o u s a n d c u r r e n t s t e p s c a n i n t e r a c t w i t h t h e d e p e n d e n c i e s a l l o w e d b y
r o u t i n g f u n c t i o n s o f c u r r e n t a n d f u t u r e s t e p s . T h a t i s , c o n d i t i o n s a r e u s e d t o l t e r
o u t u n w a n t e d g h o s t d e p e n d e n c i e s o n r e s o u r c e s t h a t m a y c a u s e d e a d l o c k . F o r
e x a m p l e , i f a t s o m e s t e p , stepi : Ri−1 → Ri , t h e c o n d i t i o n s p e c i e s t h a t s o m e
s e t o f n e t w o r k r e s o u r c e s i s r e q u i r e d t o b e e m p t y b e f o r e t h e s t a r t o f t h a t s t e p , t h e n
t h e o l d d e p e n d e n c i e s ( i n p a r t i c u l a r , g h o s t d e p e n d e n c i e s ) a l l o w e d b y a l l p r e v i o u s
r o u t i n g f u n c t i o n s b e f o r e
Ri o n t h o s e r e s o u r c e s c a n s i m p l y b e i g n o r e d . T h e r e f o r e ,
i t i s p o s s i b l e t o d e n e a s e r i e s o f r e c o n g u r a t i o n s t e p s t h a t i m p o s e a m i n i m u m s e t
o f c o n d i t i o n s t o e l i m i n a t e h a r m f u l g h o s t d e p e n d e n c i e s t h o s e w h i c h c o u l d r e s u l t
i n p e r m a n e n t d e a d l o c k . I f t h e n a l s t e p i n t h e s e r i e s o f r e c o n g u r a t i o n s t e p s c a n
b e r e a c h e d a n d p r o v i d e s a r o u t i n g s u b f u n c t i o n t h a t i s c o n n e c t e d a n d d e a d l o c k - f r e e
o v e r a n e s c a p e s e t o f r e s o u r c e s t a k i n g i n t o a c c o u n t a l l r e m a i n i n g g h o s t a n d n o r -
m a l d e p e n d e n c i e s f r o m p r e v i o u s a n d c u r r e n t s t e p s , t h e r e c o n g u r a t i o n p r o t o c o l i s
p r o v a b l y d e a d l o c k - f r e e [ 2 4 ] .
O n e r e c e n t l y p r o p o s e d d y n a m i c r e c o n g u r a t i o n s c h e m e i s t h e P a r t i a l P r o -
g r e s s i v e R e c o n g u r a t i o n ( P P R ) s c h e m e [ 6 5 ] . T h e P P R s c h e m e s y s t e m a t i c a l l y
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 37/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 8 1
p e r f o r m s s e q u e n c e s o f p a r t i a l u p d a t e s t o r o u t i n g t a b l e s w h i c h i m p l e m e n t t h e r o u t -
i n g f u n c t i o n , p r o g r e s s i v e l y r e m o v i n g o l d a n d a d d i n g n e w e n t r i e s u n t i l a l l r o u t i n g
t a b l e s a r e c o m p l e t e l y u p d a t e d t o t h e n e w r o u t i n g f u n c t i o n . T h i s i s d o n e b y s e q u e n -
t i a l l y m o v i n g r o o t n o d e s ( i . e . , n o d e s t h a t o n l y h a v e l i n k s w i t h u p e n d s c o n n e c t e d
t o t h e m , a s s h o w n i n F i g u r e 1 3 . 7 ) a n d b r e a k n o d e s ( i . e . , n o d e s t h a t h a v e t w o o r
m o r e l i n k s w i t h o n l y d o w n e n d s c o n n e c t e d t o t h e m , a s s h o w n i n F i g u r e 1 3 . 7 ) o n e
r o u t e r p o s i t i o n a t a t i m e t o t h e i r n a l p o s i t i o n s b y p a r t i a l l y u p d a t i n g e n t r i e s i n t h e
r o u t i n g t a b l e s a l o n g t h e p a t h . T o a v o i d d e a d l o c k , e a c h s w i t c h m u s t s y n c h r o n i z e
w i t h s o m e o f i t s n e i g h b o r s a f t e r e a c h p a r t i a l u p d a t e o f a b r e a k n o d e m o v e m e n t
i n o r d e r t o e n s u r e t h a t n o d e p e n d e n c y c y c l e s f o r m a l o n g e s c a p e r e s o u r c e s . T h e
e x i s t e n c e o f t h e b r e a k n o d e i s w h a t g u a r a n t e e s t h a t c y c l e s c a n n o t b e c o m p l e t e d ,
i . e . , t h e y a c t t o b r e a k t h e c y c l e . T h e r e q u i r e d s y n c h r o n i z i n g s t e p s o n b r e a k n o d e
p a r t i a l u p d a t e s i n c r e a s e s i m p l e m e n t a t i o n c o m p l e x i t y , a n d s o m e l i n k c h a n g e s o n t h e
e s c a p e s e t o f r e s o u r c e s m a y r e n d e r s o m e p a c k e t s u n r o u t a b l e . U n r o u t a b l e p a c k e t s
a r e t h o s e t h a t r e a c h a p o i n t i n t h e n e t w o r k f o r w h i c h n o l e g a l r o u t e i s s u p p l i e d .
T h e s e p a c k e t s m u s t b e d i s c a r d e d i n o r d e r t o a v o i d p e r m a n e n t b l o c k i n g t h a t r e s u l t s
i n r e c o n g u r a t i o n - i n d u c e d d e a d l o c k .
A n o t h e r s e t o f r e c e n t l y p r o p o s e d d y n a m i c r e c o n g u r a t i o n s c h e m e s i s t h e
D o u b l e S c h e m e [ 2 4 ] , w h i c h a v o i d s r e c o n g u r a t i o n - i n d u c e d d e a d l o c k s i n t h e w i d e
s e n s e b y s p a t i a l l y s e p a r a t i n g r e s o u r c e a l l o c a t i o n s t h a t m a y p e r m a n e n t l y c l o s e
d e p e n d e n c y c y c l e s a l o n g e s c a p e p a t h s
4
. T h e m o s t s t r a i g h t f o r w a r d w a y o f a c -
c o m p l i s h i n g d e a d l o c k - f r e e s p a t i a l s e p a r a t i o n i s s i m p l y t o d o u b l e t h e n u m b e r o f
r e s o u r c e s u s e d b y a r o u t i n g a l g o r i t h m t o e s c a p e f r o m d e a d l o c k a n d t o a l l o w d e -
p e n d e n c i e s o n l y f r o m o n e s e t t o t h e o t h e r b u t n o t f r o m b o t h a t a n y g i v e n t i m e . T h i s
c a n b e i m p l e m e n t e d b y u s i n g t w o d i s t i n c t s e t s o f p h y s i c a l o r v i r t u a l c h a n n e l s : o n e
s e t i s u s e d b y t h e c u r r e n t r o u t i n g f u n c t i o n ( o l d w i t h r e s p e c t t o t h e n e x t r e c o n g -
u r a t i o n ) t o e s c a p e d e a d l o c k a n d t h e o t h e r s e t i s u s e d b y t h e n e x t r o u t i n g f u n c t i o n
( n e w w i t h r e s p e c t t o t h e n e x t r e c o n g u r a t i o n ) t o e s c a p e d e a d l o c k . C o n s i s t e n t w i t h
D u a t o ' s P r o t o c o l , a n e s c a p e r o u t i n g s u b f u n c t i o n i s d e n e d o n e a c h s e t o f c h a n n e l s
i n s u c h a w a y a s t o b e c o n n e c t e d a n d d e a d l o c k - f r e e f o r i t s c o r r e s p o n d i n g n e t w o r k ,
i . e . , t h e o l d n e t w o r k b e f o r e r e c o n g u r a t i o n o r t h e n e w o n e a f t e r w a r d s . O f t h e f o u r
v a r i e t i e s o f t h e D o u b l e S c h e m e m e n t i o n e d i n [ 2 4 ] , w e d i s c u s s o n l y t h e E n h a n c e d
B a s i c D o u b l e S c h e m e b e l o w .
B . T h e E n h a n c e d B a s i c D o u b l e S c h e m e
T h e E n h a n c e d B a s i c D o u b l e S c h e m e r e q u i r e s t w o s e t s o f n e t w o r k c h a n n e l s f o r
e s c a p e r o u t i n g . T h e r o u t i n g f u n c t i o n i s c o m p o s e d o f t h r e e r o u t i n g s u b f u n c t i o n s :
R = RI ◦ RE1◦ RE2
, w h e r e RE1a n d RE2
a r e t w o e s c a p e r o u t i n g s u b f u n c t i o n s
d e n e d o n
E 1 a n d
E 2 c h a n n e l s e t s , r e s p e c t i v e l y , a n d
RI i s t h e i n j e c t i o n r o u t i n g
4
A s a n a l t e r n a t i v e t o s p a t i a l s e p a r a t i o n o f r e s o u r c e a l l o c a t i o n s , t h e S i n g l e S c h e m e [ 6 6 ]
e n f o r c e s t e m p o r a l s e p a r a t i o n o n l y o n t h e o n e s e t o f e s c a p e r e s o u r c e s ( a s o p p o s e d t o s t r i c t
a v o i d a n c e s t a t i c s c h e m e s w h i c h e n f o r c e t e m p o r a l s e p a r a t i o n o n a l l r e s o u r c e s , i n c l u d i n g
n o n - e s c a p e r e s o u r c e s ) .
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 38/47
4 8 2 T . M . P i n k s t o n
Delivery Channels
Injection Channels
After Step 3
Injection Channels
Delivery Channels
After Step 1
routing sub- function isupdated.
Injection Channels
Delivery Channels
are empty. The
After Step 4
Injection Channels
Delivery Channels
After Step 5
Channels in E2
E1E2 E2 E1E2 E1
E2 E1
Injection Channels
Delivery Channels
Before Step 1
E2 E1 routing sub- function isupdated.
Injection Channels
Delivery Channels
After Step 2
are empty. TheE2 E1
Channels in E1
F i g u r e 1 3 . 1 7 . I l l u s t r a t i o n o f t h e p o s s i b l e c h a n n e l a l l o c a t i o n s o c c u r r i n g i n t h e n e t w o r k
f o r t h e
E n h a n c e d B a s i c D o u b l e S c h e m e
. T h e d a s h e d a r c s i g n i e s t h a t p a c k e t s
i n a g i v e n e s c a p e s e t m a y c o n t i n u e t o u s e t h o s e r e s o u r c e s t o d r a i n f r o m t h e n e t w o r k .
s u b f u n c t i o n . B e f o r e a n d a f t e r r e c o n g u r a t i o n , t h e r o u t i n g f u n c t i o n a l l o w s p a c k e t s
t o r o u t e u s i n g b o t h e s c a p e c h a n n e l s e t s i n t e r c h a n g e a b l y . T h a t i s , t h e d u p l i c a t e s e t
o f e s c a p e r e s o u r c e s a r e a l w a y s f u l l y a n d e f c i e n t l y u s e d o u t s i d e o f r e c o n g u r a -
t i o n , a l l o w i n g n o p e r f o r m a n c e d e g r a d a t i o n t o b e s u f f e r e d d u r i n g n o r m a l n e t w o r k
o p e r a t i o n . D u r i n g r e c o n g u r a t i o n , h o w e v e r , p a c k e t s a r e r e s t r i c t e d t o u s i n g o n l y
t h e e s c a p e c h a n n e l s e t i n t o w h i c h t h e p a c k e t i s i n j e c t e d . T h i s a l l o w s t h e r o u t i n g
s u b f u n c t i o n d e n e d o n o n e s e t t o b e r e c o n g u r e d w h i l e p a c k e t s c o n t i n u e t o b e
i n j e c t e d i n t o t h e o t h e r s e t . O n c e t h e r o u t i n g s u b f u n c t i o n s d e n e d o n b o t h s e t s
a r e r e c o n g u r e d , t h i s r e s t r i c t i o n i s r e l a x e d . T h e v e - s t e p d y n a m i c r e c o n g u r a t i o n
p r o t o c o l i m p l e m e n t e d a t e a c h r o u t e r i s d e t a i l e d b e l o w , a n d p o s s i b l e c h a n n e l a l l o -
c a t i o n s r e s u l t i n g f r o m i t a r e i l l u s t r a t e d i n F i g u r e 1 3 . 1 7 .
T H E E N H A N C E D B A S I C D O U B L E S C H E M E
C o n d i t i o n 1 : A t o p o l o g y c h a n g e i s d e t e c t e d a t t h e r o u t e r o r a r e c o n g u r a t i o n
n o t i c a t i o n i s r e c e i v e d .
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 39/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 8 3
S t e p 1 : T h e r o u t i n g f u n c t i o n i s c h a n g e d ( Rold = R0 → R1 ) l o c a l l y a t t h e r o u t e r
s u c h t h a t RI s u p p l i e s o n l y E 2 c h a n n e l s ; RE2s u p p l i e s o n l y E 2 a n d d e l i v e r y
c h a n n e l s ; a n d
RE1a n d
RE2a r e m o d i e d t o d i s c a r d o n l y t h o s e p a c k e t s
e n c o u n t e r i n g d i s c o n n e c t i v i t y ( i f a n y ) .
C o n d i t i o n 2 : A l l p a c k e t s a r e d r a i n e d f r o m E 1 c h a n n e l s , a n d a l l n e w t o p o l -
o g y / r o u t i n g i n f o r m a t i o n i s a c q u i r e d .
S t e p 2 : T h e r o u t i n g f u n c t i o n i s c h a n g e d (
R1 → R2 ) l o c a l l y a t t h e r o u t e r s u c h t h a t
RE1i s u p d a t e d t o s u p p l y o n l y
E 1 a n d d e l i v e r y c h a n n e l s f o r t h e n e w e s c a p e
r o u t i n g s u b f u n c t i o n . RE2c o n t i n u e s t o s u p p l y o n l y E 2 a n d d e l i v e r y c h a n n e l s ,
a n d i t c o n t i n u e s t o d i s c a r d o n l y t h o s e p a c k e t s e n c o u n t e r i n g d i s c o n n e c t i v i t y
( i f a n y ) .
C o n d i t i o n 3 : A l l r o u t e r s n e i g h b o r i n g t h e r o u t e r c o m p l e t e S t e p 2 .
S t e p 3 : T h e r o u t i n g f u n c t i o n i s c h a n g e d ( R2 → R3 ) l o c a l l y a t t h e r o u t e r s u c h
t h a t
RI s u p p l i e s o n l y
E 1c h a n n e l s .
C o n d i t i o n 4 : A l l p a c k e t s i n E 2 c h a n n e l s t h a t c a n r o u t e t h r o u g h t h e r o u t e r a r e
d r a i n e d .
S t e p 4 : T h e r o u t i n g f u n c t i o n i s c h a n g e d ( R3 → R4 ) l o c a l l y a t t h e r o u t e r s u c h
t h a t RE2i s u p d a t e d t o s u p p l y E 1 , E 2 , a n d d e l i v e r y c h a n n e l s f o r t h e n e w
e s c a p e r o u t i n g s u b f u n c t i o n .
C o n d i t i o n 5 : A l l r o u t e r s n e i g h b o r i n g t h e r o u t e r c o m p l e t e S t e p 4 .
S t e p 5 : T h e r o u t i n g f u n c t i o n i s c h a n g e d ( R4 → R5 = Rnew ) l o c a l l y a t t h e r o u t e r
s u c h t h a t RI s u p p l i e s E 1 a n d E 2 c h a n n e l s . A l s o , RE1i s m o d i e d t o s u p p l y
E 2 c h a n n e l s i n a d d i t i o n t o E 1 a n d d e l i v e r y c h a n n e l s f o r t h e n e w e s c a p e
r o u t i n g s u b f u n c t i o n .
R e c o n g u r a t i o n i s c o m p l e t e d o n c e a l l r o u t e r s c o m p l e t e t h i s s t e p .
L i k e a l l o f t h e D o u b l e S c h e m e s , t h e E n h a n c e d B a s i c D o u b l e S c h e m e i s
b a s e d o n t h e n o t i o n t h a t a n e m p t y s e t o f e s c a p e c h a n n e l s b e c o m e s a v a i l a b l e o n
w h i c h d e a d l o c k - f r e e r o u t i n g f o r t h e n e w n e t w o r k c a n t a k e p l a c e , b u t i t r e q u i r e s
d o u b l e t h e m i n i m u m n u m b e r o f r e s o u r c e s a s c o m p a r e d t o s t a t i c r e c o n g u r a t i o n .
I t s a d v a n t a g e , h o w e v e r , i s i t s l a c k o f n e e d t o u s h t h e e n t i r e n e t w o r k i n o r d e r
t o n u l l i f y t h e e f f e c t s o f p o t e n t i a l l y h a r m f u l g h o s t d e p e n d e n c i e s . I n s t e a d , o n l y a
s e l e c t s u b s e t o f c h a n n e l s n e e d t o b e d r a i n e d . P a c k e t s d o n o t n e e d t o b e d i s c a r d e d
i n o r d e r t o a c c o m p l i s h t h i s d r a i n a g e . A l l p a c k e t s n o t e n c o u n t e r i n g f a u l t - i n d u c e d
d i s c o n n e c t i v i t y a r e a l l o w e d t o r o u t e n o r m a l l y i n t h e n e t w o r k u n t i l d r a i n i n g a t t h e i r
d e s t i n a t i o n s . T h a t i s , n o r e c o n g u r a t i o n - i n d u c e d p a c k e t d r o p p i n g i s n e c e s s a r y
( a s m a y b e t h e c a s e w i t h P P R ) a s n o p a c k e t s b e c o m e u n r o u t a b l e o n a c c o u n t o f
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 40/47
4 8 4 T . M . P i n k s t o n
t h e r e c o n g u r a t i o n a l g o r i t h m . A s i n j e c t i o n o f n e w p a c k e t s i n t o t h e n e t w o r k i s
a l l o w e d t o c o n t i n u e d u r i n g e a c h r e c o n g u r a t i o n s t e p , t h e r e c o n g u r a t i o n p r o c e s s
i s d y n a m i c . F u r t h e r m o r e , a s a l l f u t u r e s t e p s a r e r e a c h a b l e f r o m e a c h r e c o n g u -
r a t i o n s t e p a n d t h e r o u t i n g f u n c t i o n i n t h e l a s t s t e p i s d e a d l o c k - f r e e , t h e d y n a m i c
r e c o n g u r a t i o n p r o t o c o l i s p r o v a b l y d e a d l o c k - f r e e .
1 3 . 4 C O N C L U S I O N
T h r e e i m p o r t a n t c l a s s e s o f d e a d l o c k i n i n t e r c o n n e c t i o n n e t w o r k s h a v e b e e n
d e s c r i b e d i n t h i s c h a p t e r . R o u t i n g - i n d u c e d d e a d l o c k h a s t r a d i t i o n a l l y b e e n t h e m o s t
w i d e l y s t u d i e d o f t h e t h r e e , b u t m e s s a g e - i n d u c e d d e a d l o c k a n d r e c o n g u r a t i o n -
i n d u c e d d e a d l o c k h a v e e q u a l l y d e v a s t a t i n g e f f e c t s o n s y s t e m p e r f o r m a n c e a n d
r o b u s t n e s s . C o m m o n t o a l l t h r e e c l a s s e s i s t h e p r o p e r t y o f p a c k e t s h o l d i n g o n t o
a s e t o f n e t w o r k r e s o u r c e s i n a c y c l i c m a n n e r w h i l e w a i t i n g e n d l e s s l y f o r s o m e
r e s o u r c e ( s ) w i t h i n t h a t s e t t o b e c o m e a v a i l a b l e . U n l e s s s o m e h o w a v o i d e d o r
r e s o l v e d o n c e i t o c c u r s i n t h e i n t e r c o n n e c t i o n n e t w o r k s u b s y s t e m , d e a d l o c k h a s
t h e p o t e n t i a l t o b r i n g a n e n t i r e c o m p u t e r s y s t e m d o w n t o a s c r e e c h i n g h a l t .
A l s o p r e s e n t e d i n t h i s c h a p t e r a r e a n u m b e r o f i n t e r e s t i n g t e c h n i q u e s f o r
h a n d l i n g a l l t h r e e c l a s s e s o f i n t e r c o n n e c t i o n n e t w o r k d e a d l o c k s . T h e t e c h n i q u e s
p r e s e n t e d a r e b a s e d e i t h e r o n d e a d l o c k a v o i d a n c e o r o n d e a d l o c k r e c o v e r y . D e a d -
l o c k c a n b e a v o i d e d i n t h e s t r i c t s e n s e , i n t h e w i d e s e n s e , i n t h e w e a k s e n s e , o r b y a
c o m b i n a t i o n o f t h e s e a p p r o a c h e s . W h a t d i s t i n g u i s h e s o n e a p p r o a c h f r o m a n o t h e r
m a i n l y h a s t o d o w i t h t h e a l l o w e d d e g r e e o f r o u t i n g f r e e d o m a n d t h e p o s s i b l e
m a n i f e s t a t i o n s o f r e s o u r c e d e p e n d e n c i e s : t h e m o r e r o u t i n g f r e e d o m a l l o w e d , t h e
m o r e c o m p l e x t h e r e s o u r c e d e p e n d e n c i e s a r e t h a t c a n b e m a n i f e s t e d . T h e s a m e t w o
f a c t o r s a l s o d i s t i n g u i s h d e a d l o c k a v o i d a n c e a p p r o a c h e s f r o m d e a d l o c k r e c o v e r y
a p p r o a c h e s . B y a l l o w i n g m a x i m u m r o u t i n g f r e e d o m o n n o r m a l n e t w o r k r e s o u r c e s ,
k n o t t e d d e p e n d e n c i e s o n f u l l y o c c u p i e d r e s o u r c e s c a n f o r m , f r o m w h i c h t h e r e i s
n o w a y o f e s c a p e . T h e o u t c o m e o f t h i s i s d e a d l o c k w h i c h m u s t b e r e c o v e r e d f r o m .
D e a d l o c k s c a n b e r e s o l v e d r e g r e s s i v e l y , d e e c t i v e l y , o r p r o g r e s s i v e l y , d e p e n d i n g
o n h o w d e a d l o c k r e s o l v i n g r e s o u r c e s a r e s u p p l i e d t o r e c o v e r i n g p a c k e t s .
S i n c e t h e s a m e b l o c k i n g p r o p e r t y i s i n h e r e n t t o a l l d e a d l o c k s , f u n d a m e n t a l
a s p e c t s o f m o s t d e a d l o c k h a n d l i n g a p p r o a c h e s a r e u n i v e r s a l l y a p p l i c a b l e t o a l l
c l a s s e s . E v e n t h o u g h t h i s m a y b e t h e c a s e , s o m e a p p r o a c h e s m a y b e b e t t e r s u i t e d
t o h a n d l e c e r t a i n d e a d l o c k c l a s s e s a n d l e s s s u i t e d t o h a n d l e o t h e r s . T h i s l a r g e l y
d e p e n d s o n t h e r e q u i r e m e n t s o f t h e a p p l i c a t i o n s r u n n i n g o n t h e s y s t e m a n d o n
s y s t e m r e s o u r c e s . I n t e r m s o f d e s i g n c o m p l e x i t y , t h e b e s t s t r a t e g y i s t o h a v e a
u n i e d s o l u t i o n t h a t c a n s y n e r g i s t i c a l l y h a n d l e a l l f o r m s o f d e a d l o c k e f c i e n t l y .
F r o m a p r a c t i c a l p o i n t - o f - v i e w , s o l u t i o n s t h a t a r e n o t b a s e d o n p r o b a b i l i s t i c e v e n t s
o r h a v e n o s i n g l e p o i n t s - o f - f a i l u r e a r e m o r e e a s i l y v e r i a b l e a n d d e p e n d a b l e . F o r
t h e s e a n d p e r h a p s o t h e r r e a s o n s , t e c h n i q u e s b a s e d m a i n l y o n a v o i d i n g d e a d l o c k
i n t h e s t r i c t o r w i d e s e n s e t y p i c a l l y a r e t h e s o l u t i o n s o f c h o i c e f o r i n t e r c o n n e c t i o n
n e t w o r k s i m p l e m e n t e d i n c o m m e r c i a l s y s t e m s . O t h e r p r o p o s e d s o l u t i o n s , w h i l e
i n t r i g u i n g , h a v e l a r g e l y b e e n r e l e g a t e d t o e x p e r i m e n t a l s y s t e m s u p t o t h i s p o i n t
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 41/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 8 5
w i t h a f e w e x c e p t i o n s . H o w e v e r , a s t r e n d s i n d e s i g n p h i l o s o p h y c o n t i n u e t o
a d v a n c e t o w a r d t h a t o f d e s i g n i n g m o r e e f c i e n t s y s t e m s c a p a b l e o f r e c o v e r i n g
f r o m r a r e a n o m a l o u s b e h a v i o r i n c l u d i n g d e a d l o c k , a p p r o a c h e s b a s e d o n d e a d l o c k
r e c o v e r y m a y s o m e d a y g a i n g r e a t e r p r o m i n e n c e .
1 3 . 5 B i b l i o g r a p h i c N o t e s
T h i s c h a p t e r t o u c h e s o n l y o n t h e t i p o f t h e i c e b e r g o f t h e c o m p e n d i u m
o f c o n c e p t s a n d t e c h n i q u e s p r o p o s e d i n t h e l i t e r a t u r e f o r h a n d l i n g d e a d l o c k s i n
i n t e r c o n n e c t i o n n e t w o r k s . M u c h o f w h a t i s d i s c u s s e d h e r e c a n b e u n d e r s t o o d i n
m u c h g r e a t e r d e t a i l b y r e a d i n g t h e o r i g i n a l p a p e r s t h a t i n t r o d u c e a n d a n a l y z e t h e s e
t e c h n i q u e s . Q u a n t i t a t i v e c o m p a r i s o n s c a n t h e n b e m a d e t o b e t t e r h e l p o n e a r r i v e a t
t h e b e s t d e a d l o c k h a n d l i n g t e c h n i q u e f o r h i s / h e r p a r t i c u l a r i n t e r c o n n e c t i o n n e t w o r k
s u b s y s t e m . I n a d d i t i o n t o r e v i e w i n g t h e j o u r n a l r e f e r e n c e s c i t e d i n t h i s c h a p t e r a n d
l i s t e d b e l o w , t h e i n t e r e s t e d r e a d e r i s a l s o e n c o u r a g e d t o s e e k o u t o t h e r t e x t s t h a t
t r e a t t h i s s u b j e c t w e l l . T h e s e w o u l d i n c l u d e a r e c e n t t e x t b y D u a t o , Y a l a m a n c h i l i
a n d N i e n t i t l e d , I n t e r c o n n e c t i o n N e t w o r k s : A n E n g i n e e r i n g A p p r o a c h , a n d a n e w
t e x t b y D a l l y a n d T o w l e s e n t i t l e d , P r i n c i p l e s a n d P r a c t i c e s o f I n t e r c o n n e c t i o n
N e t w o r k s , b o t h p u b l i s h e d b y M o r g a n - K a u f m a n n P u b l i s h e r s .
1 3 . 6 A c k n o w l e d g e m e n t s
M a n y o f t h e o r i g i n a l i d e a s p r e s e n t e d i n t h i s c h a p t e r h a v e c o m e a b o u t t h r o u g h
t h e c o l l a b o r a t i v e e f f o r t s o f m a n y o f m y f o r m e r g r a d u a t e s t u d e n t r e s e a r c h e r s a n d
o t h e r r e s e a r c h c o l l e a g u e s . I a c k n o w l e d g e t h e o v e r a l l c o n t r i b u t i o n s m a d e b y a l l
c u r r e n t a n d f o r m e r m e m b e r s o f t h e S M A R T I n t e r c o n n e c t s g r o u p a t U S C a n d , i n
p a r t i c u l a r , s p e c i c c o n t r i b u t i o n s m a d e b y t h e f o l l o w i n g i n d i v i d u a l s : W a i H o n g
H o , R u o m i n g P a n g , D r . Y o n g h o S o n g , A n j a n V e n k a t r a m a n i , a n d D r . S u g a t h
W a r n a k u l a s u r i y a . I a l s o o w e s p e c i a l t h a n k s t o P r o f e s s o r J o s é D u a t o f o r h i s p a r -
t i c i p a t i o n i n s o m e o f t h e r e s e a r c h p r o j e c t s t h a t h a v e c o n t r i b u t e d t o t h e c o n t e n t s o f
t h i s c h a p t e r a n d f o r h i s h e l p f u l r e v i e w c o m m e n t s .
R e f e r e n c e s
1 . N . J . B o d e n , D . C o h e n , R . E . F e l d e r m a n , A . E . D u l a w i k , C . L . S e i t z , J . S e i z o v i c ,
a n d W . S u . M y r i n e t - A g i g a b i t p e r s e c o n d l o c a l a r e a n e t w o r k . I n I E E E M i c r o ,
p a g e s 2 9 3 6 . I E E E C o m p u t e r S o c i e t y , F e b r u a r y 1 9 9 5 .
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 42/47
4 8 6 T . M . P i n k s t o n
2 . R . H o r s t . S e r v e r N e t d e a d l o c k a v o i d a n c e a n d f r a c t a h e d r a l t o p o l o g i e s . I n
P r o c e e d i n g s o f t h e I n t e r n a t i o n a l P a r a l l e l P r o c e s s i n g S y m p o s i u m , p a g e s 2 7 5
2 8 0 . I E E E C o m p u t e r S o c i e t y , A p r i l 1 9 9 6 .
3 . K . M a l a v a l l i , e t a l . F i b r e C h a n n e l S w i t c h F a b r i c - 2 ( F C - S W - 2 ) . N C I T S 3 2 1 -
2 0 0 x T 1 1 / P r o j e c t 1 3 0 5 - D / R e v 4 . 3 S p e c i c a t i o n , p a g e s 5 7 7 4 , M a r c h 2 0 0 0 .
4 . W . D a l l y , P . C a r v e y , a n d L . D e n n i s o n . T h e A v i c i T e r a b i t S w i t c h / R o u t e r . I n
P r o c e e d i n g s o f t h e H o t I n t e r c o n n e c t s V I S y m p o s i u m , p a g e s 4 1 5 0 , A u g u s t
1 9 9 8 .
5 . F . P e t r i n i , W . C . F e n g , A . H o i s i e , S . C o l l , a n d E . F r a c h t e n b e r g . T h e Q u a d r i c s
N e t w o r k : H i g h - P e r f o r m a n c e C l u s t e r i n g T e c h n o l o g y . I E E E M i c r o , 2 2 ( 1 ) : 2
1 3 , J a n u a r y - F e b r u a r y 2 0 0 2 .
6 . T . M . P i n k s t o n , A . F . B e n n e r , M . K r a u s e , I . M . R o b i n s o n , a n d T . S t e r l i n g .
I n n i B a n d : T h e D e F a c t o F u t u r e S t a n d a r d f o r S y s t e m a n d L o c a l A r e a
N e t w o r k s o r J u s t a S c a l a b l e R e p l a c e m e n t f o r P C I B u s e s ? C l u s t e r C o m p u t i n g ,
6 ( 2 ) : 9 5 1 0 4 , A p r i l 2 0 0 3 .
7 . W . D a l l y a n d B . T o w l e s . R o u t e P a c k e t s , N o t W i r e s : O n - C h i p I n t e r c o n n e c t i o n
N e t w o r k s . I n P r o c e e d i n g s o f t h e D e s i g n A u t o m a t i o n C o n f e r e n c e ( D A C ) ,
p a g e s 6 8 4 6 8 9 . A C M , J u n e 2 0 0 1 .
8 . M . B . T a y l o r , W . L e e , S . A m a r a s i n g h e , a n d A . A g a r w a l . S c a l a r O p e r a n d
N e t w o r k s : O n - C h i p I n t e r c o n n e c t f o r I L P i n P a r t i t i o n e d A r c h i t e c t u r e s . I n
P r o c e e d i n g s o f t h e 9 t h I n t e r n a t i o n a l S y m p o s i u m o n H i g h - P e r f o r m a n c e C o m -
p u t e r A r c h i t e c t u r e , p a g e s 3 4 1 3 5 3 . I E E E C o m p u t e r S o c i e t y P r e s s , F e b r u a r y
2 0 0 3 .
9 . W . H . H o a n d T . M . P i n k s t o n . A M e t h o d o l o g y f o r D e s i g n i n g E f c i e n t O n - C h i p
I n t e r c o n n e c t s o n W e l l - B e h a v e d C o m m u n i c a t i o n P a t t e r n s . I n P r o c e e d i n g s o f
t h e 9 t h I n t e r n a t i o n a l S y m p o s i u m o n H i g h - P e r f o r m a n c e C o m p u t e r A r c h i t e c -
t u r e , p a g e s 3 7 7 3 8 8 . I E E E C o m p u t e r S o c i e t y P r e s s , F e b r u a r y 2 0 0 3 .
1 0 . P . K e r m a n i a n d L . K l e i n r o c k . V i r t u a l c u t - t h r o u g h : A n e w c o m p u t e r c o m m u -
n i c a t i o n s w i t c h i n g t e c h n i q u e . C o m p u t e r N e t w o r k s , p a g e s 2 6 7 2 8 6 , 1 9 7 9 .
1 1 . E . B a y d a l , P . L o p e z , a n d J . D u a t o . A S i m p l e a n d E f c i e n t M e c h a n i s m t o
P r e v e n t S a t u r a t i o n i n W o r m h o l e N e t w o r k s . I n P r o c e e d i n g s o f t h e 1 4 t h I n -
t e r n a t i o n a l P a r a l l e l a n d D i s t r i b u t e d P r o c e s s i n g S y m p o s i u m , p a g e s 6 1 7 6 2 2 ,
2 0 0 0 .
1 2 . M . T h o t t e t h o d i , A . R . L e b e c k , a n d S . S . M u k h e r j e e . S e l f - T u n e d C o n g e s t i o n
C o n t r o l f o r M u l t i p r o c e s s o r N e t w o r k s . I n P r o c e e d i n g s o f t h e 7 t h I n t e r n a t i o n a l
S y m p o s i u m o n H i g h P e r f o r m a n c e C o m p u t e r A r c h i t e c t u r e , J a n u a r y 2 0 0 1 .
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 43/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 8 7
1 3 . W . D a l l y . V i r t u a l C h a n n e l F l o w C o n t r o l . I E E E T r a n s a c t i o n s o n P a r a l l e l a n d
D i s t r i b u t e d S y s t e m s , 3 ( 2 ) : 1 9 4 2 0 5 , M a r c h 1 9 9 2 .
1 4 . L . - S . P e h a n d W . D a l l y . F l i t - R e s e r v a t i o n F l o w C o n t r o l . I n P r o c e e d i n g s o f t h e
6 t h I n t e r n a t i o n a l S y m p o s i u m o n H i g h P e r f o r m a n c e C o m p u t e r A r c h i t e c t u r e ,
p a g e s 7 3 8 4 . I E E E C o m p u t e r S o c i e t y P r e s s , J a n u a r y 2 0 0 0 .
1 5 . Y . T a m i r a n d G . F r a z i e r . D y n a m i c a l l y - A l l o c a t e d M u l t i - Q u e u e B u f f e r s
f o r V L S I C o m m u n i c a t i o n S w i t c h e s . I E E E T r a n s a c t i o n s o n C o m p u t e r s ,
4 1 ( 6 ) : 7 2 5 7 3 4 , J u n e 1 9 9 2 .
1 6 . J . D u a t o . A N e w T h e o r y o f D e a d l o c k - f r e e A d a p t i v e R o u t i n g i n W o r m -
h o l e N e t w o r k s . I E E E T r a n s a c t i o n s o n P a r a l l e l a n d D i s t r i b u t e d S y s t e m s ,
4 ( 1 2 ) : 1 3 2 0 1 3 3 1 , D e c e m b e r 1 9 9 3 .
1 7 . J . D u a t o . A N e c e s s a r y a n d S u f c i e n t C o n d i t i o n f o r D e a d l o c k - f r e e A d a p -
t i v e R o u t i n g i n W o r m h o l e N e t w o r k s . I E E E T r a n s a c t i o n s o n P a r a l l e l a n d
D i s t r i b u t e d S y s t e m s , 6 ( 1 0 ) : 1 0 5 5 1 0 6 7 , O c t o b e r 1 9 9 5 .
1 8 . J . D u a t o a n d T . M . P i n k s t o n . A G e n e r a l T h e o r y f o r D e a d l o c k - F r e e A d a p t i v e
R o u t i n g U s i n g a M i x e d S e t o f R e s o u r c e s . I E E E T r a n s a c t i o n s o n P a r a l l e l a n d
D i s t r i b u t e d S y s t e m s , 1 2 ( 1 2 ) : 1 2 1 9 1 2 3 5 , D e c e m b e r 2 0 0 1 .
1 9 . W . D a l l y a n d C . S e i t z . D e a d l o c k - f r e e M e s s a g e R o u t i n g i n M u l t i p r o c e s s o r
I n t e r c o n n e c t i o n N e t w o r k s . I E E E T r a n s a c t i o n s o n C o m p u t e r s , 3 6 ( 5 ) : 5 4 7
5 5 3 , M a y 1 9 8 7 .
2 0 . S . W a r n a k u l a s u r i y a a n d T . M . P i n k s t o n . A F o r m a l M o d e l o f M e s s a g e B l o c k i n g
a n d D e a d l o c k R e s o l u t i o n i n I n t e r c o n n e c t i o n N e t w o r k s . I E E E T r a n s a c t i o n s
o n P a r a l l e l a n d D i s t r i b u t e d S y s t e m s , 1 1 ( 2 ) : 2 1 2 2 2 9 , M a r c h 2 0 0 0 .
2 1 . R . C . H o l t . S o m e D e a d l o c k P r o p e r t i e s o n C o m p u t e r S y s t e m s . A C M C o m p u t e r
S u r v e y s , 4 ( 3 ) : 1 7 9 1 9 6 , S e p t e m b e r 1 9 7 2 .
2 2 . S . W a r n a k u l a s u r i y a a n d T . M . P i n k s t o n . C h a r a c t e r i z a t i o n o f D e a d l o c k s i n
k - a r y n- c u b e N e t w o r k s . I E E E T r a n s a c t i o n s o n P a r a l l e l a n d D i s t r i b u t e d
S y s t e m s , 1 0 ( 9 ) : 9 0 4 9 2 1 , S e p t e m b e r 1 9 9 9 .
2 3 . S . W a r n a k u l a s u r i y a a n d T . M . P i n k s t o n . C h a r a c t e r i z a t i o n o f D e a d l o c k s i n I r -
r e g u l a r N e t w o r k s . J o u r n a l o f P a r a l l e l a n d D i s t r i b u t e d C o m p u t i n g , 6 2 ( 1 ) : 6 1
8 4 , J a n u a r y 2 0 0 2 .
2 4 . T . M . P i n k s t o n , R . P a n g , a n d J . D u a t o . D e a d l o c k - F r e e D y n a m i c R e c o n g u -
r a t i o n S c h e m e s f o r I n c r e a s e d N e t w o r k D e p e n d a b i l i t y . I E E E T r a n s a c t i o n s o n
P a r a l l e l a n d D i s t r i b u t e d S y s t e m s , 1 4 ( 8 ) : 7 8 0 7 9 4 , A u g u s t 2 0 0 3 .
2 5 . M . D . S c h r o e d e r e t a l . A u t o n e t : A H i g h - S p e e d , S e l f - C o n g u r i n g L o c a l A r e a
N e t w o r k U s i n g P o i n t - t o - P o i n t L i n k s . I E E E J o u r n a l o n S e l e c t e d A r e a s i n
C o m m u n i c a t i o n , 9 ( 8 ) : 1 3 1 8 1 3 3 5 , O c t o b e r 1 9 9 1 .
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 44/47
4 8 8 T . M . P i n k s t o n
2 6 . V . P u e n t e , R . B e i v i d e , J . A . G r e g o r i o , J . M . P r e l l e z o , J . D u a t o , a n d C . I z u .
A d a p t i v e b u b b l e r o u t e r : A d e s i g n t o i m p r o v e p e r f o r m a n c e i n t o r u s n e t w o r k s .
I n P r o c e e d i n g s o f t h e 2 8 t h I n t e r n a t i o n a l C o n f e r e n c e o n P a r a l l e l P r o c e s s -
i n g ( 2 8 t h I C P P ' 9 9 ) , A i z u - W a k a m a t s u , F u k u s h i m a , J a p a n , S e p t e m b e r 1 9 9 9 .
U n i v e r s i t y o f A i z u .
2 7 . J . M . M a r t i n e z , P . L o p e z , a n d J . D u a t o . F C 3 D : F l o w C o n t r o l B a s e d D i s t r i b u t e d
D e a d l o c k D e t e c t i o n M e c h a n i s m f o r T r u e F u l l y A d a p t i v e R o u t i n g i n W o r m -
h o l e N e t w o r k s . I E E E T r a n s a c t i o n s o n P a r a l l e l a n d D i s t r i b u t e d S y s t e m s ,
1 4 ( 8 ) : 7 6 5 7 7 9 , A u g u s t 2 0 0 3 .
2 8 . S . S c o t t a n d G . T h o r s o n . O p t i m i z e d R o u t i n g i n t h e C r a y T 3 D . I n P r o c e e d i n g s
o f t h e W o r k s h o p o n P a r a l l e l C o m p u t e r R o u t i n g a n d C o m m u n i c a t i o n , p a g e s
2 8 1 2 9 4 , M a y 1 9 9 4 .
2 9 . J . L a u d o n a n d D . L e n o s k i . T h e S G I O r i g i n : A c c N U M A H i g h l y S c a l a b l e
S e r v e r . I n P r o c e e d i n g s o f t h e 2 4 t h I n t e r n a t i o n a l S y m p o s i u m o n C o m p u t e r
A r c h i t e c t u r e , p a g e s 2 4 1 2 5 1 . I E E E C o m p u t e r S o c i e t y , J u n e 1 9 9 7 .
3 0 . L . N i a n d C . G l a s s . T h e T u r n M o d e l f o r A d a p t i v e R o u t i n g . I n P r o c e e d i n g s
o f t h e 1 9 t h S y m p o s i u m o n C o m p u t e r A r c h i t e c t u r e , p a g e s 2 7 8 2 8 7 . I E E E
C o m p u t e r S o c i e t y , M a y 1 9 9 2 .
3 1 . B . Z e r r o u k , V . R e i b a l d i , F . P o t t e r , A . G r e i n e r , a n d A . D e r i e u x . R C u b e : A
G i g a b i t S e r i a l L i n k s L o w L a t e n c y A d a p t i v e R o u t e r . I n P r o c e e d i n g s o f t h e
S y m p o s i u m o n H o t I n t e r c o n n e c t s I V , p a g e s 1 3 1 7 . I E E E C o m p u t e r S o c i e t y ,
A u g u s t 1 9 9 6 .
3 2 . K . D . G u n t h e r . P r e v e n t i o n o f D e a d l o c k s i n P a c k e t - s w i t c h e d D a t a T r a n s p o r t
S y s t e m s . I E E E T r a n s a c t i o n s o n C o m m u n i c a t i o n s , ( 4 ) : 5 1 2 5 2 4 , A p r i l 1 9 8 1 .
3 3 . D . G u n t h e r . A D A G - B a s e d A l g o r i t h m f o r P r e v e n t i o n o f S t o r e - a n d - F o r w a r d
D e a d l o c k i n P a c k e t N e t w o r k s . I E E E T r a n s a c t i o n s o n C o m p u t e r s , ( 1 0 ) : 7 0 9
7 1 5 , O c t o b e r 1 9 8 1 .
3 4 . D . L i n d e r a n d J . H a r d e n . A n A d a p t i v e a n d F a u l t T o l e r a n t W o r m h o l e R o u t i n g
S t r a t e g y f o r k - a r y n - c u b e s . I E E E T r a n s a c t i o n s o n C o m p u t e r s , 4 0 ( 1 ) : 2 1 2 ,
J a n u a r y 1 9 9 1 .
3 5 . A . A . C h i e n a n d J . H . K i m . P l a n a r - A d a p t i v e R o u t i n g : L o w - C o s t A d a p t i v e
N e t w o r k s f o r M u l t i p r o c e s s o r s . I n P r o c e e d i n g s o f t h e 1 9 t h I n t e r n a t i o n a l S y m -
p o s i u m o n C o m p u t e r A r c h i t e c t u r e , p a g e s 2 6 8 2 7 7 . I E E E C o m p u t e r S o c i e t y ,
M a y 1 9 9 2 .
3 6 . M . G a l l e s . S p i d e r : A H i g h S p e e d N e t w o r k I n t e r c o n n e c t . I n P r o c e e d i n g s
o f t h e S y m p o s i u m o n H o t I n t e r c o n n e c t s I V , p a g e s 1 4 1 1 4 6 . I E E E C o m p u t e r
S o c i e t y , A u g u s t 1 9 9 6 .
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 45/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 8 9
3 7 . J . C a r b o n a r o . C a v a l l i n o : T h e T e r a o p s R o u t e r a n d N I C . I n P r o c e e d i n g s
o f t h e S y m p o s i u m o n H o t I n t e r c o n n e c t s I V , p a g e s 1 5 7 1 6 0 . I E E E C o m p u t e r
S o c i e t y , A u g u s t 1 9 9 6 .
3 8 . W . D a l l y , L . D e n n i s o n , D . H a r r i s , K . K a n , a n d T . Z a n t h o p o u l o s . A r c h i t e c -
t u r e a n d I m p l e m e n t a t i o n o f t h e R e l i a b l e R o u t e r . I n P r o c e e d i n g s o f t h e H o t
I n t e r c o n n e c t s I I S y m p o s i u m , A u g u s t 1 9 9 4 .
3 9 . S . L . S c o t t a n d G . M . T h o r s o n . T h e C r a y T 3 E N e t w o r k : A d a p t i v e R o u t i n g
i n a H i g h P e r f o r m a n c e 3 D T o r u s . I n P r o c e e d i n g s o f t h e S y m p o s i u m o n H o t
I n t e r c o n n e c t s I V , p a g e s 1 4 7 1 5 6 . I E E E C o m p u t e r S o c i e t y , A u g u s t 1 9 9 6 .
4 0 . S . S . M u k h e r j e e , P . B a n n o n , S . L a n g , A . S p i n k , a n d D . W e b b . T h e A l p h a 2 1 3 6 4
N e t w o r k A r c h i t e c t u r e . I n S y m p o s i u m o n H i g h P e r f o r m a n c e I n t e r c o n n e c t s
( H O T I n t e r c o n n e c t s 9 ) , p a g e s 1 1 3 1 1 7 . I E E E C o m p u t e r S o c i e t y P r e s s , A u g u s t
2 0 0 1 .
4 1 . W . B a r r e t t e t a l . A n O v e r v i e w o f t h e B l u e - G e n e / L S u p e r c o m p u t e r . I n P r o -
c e e d i n g s o f t h e 2 0 0 2 A C M / I E E E C o n f e r e n c e o n S u p e r c o m p u t i n g , C D R O M ,
N o v e m b e r 2 0 0 2 .
4 2 . L . G r a v a n o , G . P i f a r r e , P . B e r m a n , a n d J . S a n z . A d a p t i v e D e a d l o c k - a n d
L i v e l o c k - F r e e R o u t i n g W i t h a l l M i n i m a l P a t h s i n T o r u s N e t w o r k s . I E E E
T r a n s a c t i o n s o n P a r a l l e l a n d D i s t r i b u t e d S y s t e m s , 5 ( 1 2 ) : 1 2 3 3 1 2 5 1 , D e c e m -
b e r 1 9 9 4 .
4 3 . L . S c h w i e b e r t a n d D . N . J a y a s i m h a . A N e c e s s a r y a n d S u f c i e n t C o n d i t i o n
f o r D e a d l o c k - f r e e W o r m h o l e R o u t i n g . J o u r n a l o f P a r a l l e l a n d D i s t r i b u t e d
C o m p u t i n g , 3 2 ( 1 ) : 1 0 3 1 1 7 , J a n u a r y 1 9 9 6 .
4 4 . W . D a l l y a n d H . A o k i . D e a d l o c k - f r e e A d a p t i v e R o u t i n g i n M u l t i c o m p u t e r
N e t w o r k s u s i n g V i r t u a l C h a n n e l s . I E E E T r a n s a c t i o n s o n P a r a l l e l a n d D i s -
t r i b u t e d S y s t e m s , 4 ( 4 ) : 4 6 6 4 7 5 , A p r i l 1 9 9 3 .
4 5 . J . F l i c h , P . L o p e z , M . P . M a l u m b r e s , a n d J . D u a t o . B o o s t i n g t h e P e r f o r m a n c e o f
M y r i n e t N e t w o r k s . I E E E T r a n s a c t i o n s o n P a r a l l e l a n d D i s t r i b u t e d S y s t e m s ,
1 3 ( 7 ) : 6 9 3 7 0 9 , J u l y 2 0 0 2 .
4 6 . A . G . G r e e n b e r g a n d B . H a j e k . D e e c t i o n R o u t i n g i n H y p e r c u b e N e t w o r k s .
I E E E T r a n s a c t i o n s o n C o m m u n i c a t i o n s , C O M - 4 0 ( 6 ) : 1 0 7 0 1 0 8 1 , J u n e 1 9 9 2 .
4 7 . S . K o n s t a n t i n i d o u a n d L . S n y d e r . C h a o s R o u t e r : A r c h i t e c t u r e a n d P e r f o r -
m a n c e . I n P r o c e e d i n g s o f t h e 1 8 t h I n t e r n a t i o n a l S y m p o s i u m o n C o m p u t e r
A r c h i t e c t u r e , p a g e s 2 1 2 2 2 1 . I E E E C o m p u t e r S o c i e t y , M a y 1 9 9 1 .
4 8 . N . M c K e n z i e , K . B o l d i n g , C . E b e l i n g , a n d L . S n y d e r . C h a o s L A N : D e s i g n a n d
I m p l e m e n t a t i o n o f a G i g a b i t L A N U s i n g C h a o t i c R o u t i n g . I n P r o c e e d i n g s o f
t h e 2 n d P C R C W , p a g e s 2 1 1 2 2 3 . S p r i n g e r - V e r l a g , J u n e 1 9 9 7 .
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 46/47
4 9 0 T . M . P i n k s t o n
4 9 . J . K i m , Z . L i u , a n d A . C h i e n . C o m p r e s s i o n l e s s R o u t i n g : A F r a m e w o r k f o r
A d a p t i v e a n d F a u l t - t o l e r a n t R o u t i n g . I E E E T r a n s a c t i o n s o n P a r a l l e l a n d
D i s t r i b u t e d S y s t e m s , 8 ( 3 ) : 2 2 9 2 4 4 , M a r c h 1 9 9 7 .
5 0 . M . C o l i a n d P . P a l a z z a r i . A n A d a p t i v e D e a d l o c k a n d L i v e l o c k F r e e R o u t i n g
A l g o r i t h m . I n 3 r d E u r o m i c r o W o r k s h o p o n P a r a l l e l a n d D i s t r i b u t e d P r o c e s s -
i n g , p a g e s 2 8 8 2 9 5 . S a n R e m o , I t a l y , J a n u a r y 1 9 9 5 .
5 1 . J . M . M a r t i n e z , P . L o p e z , J . D u a t o , a n d T . M . P i n k s t o n . S o f t w a r e - b a s e d D e a d -
l o c k R e c o v e r y f o r T r u e F u l l y A d a p t i v e R o u t i n g i n W o r m h o l e N e t w o r k s . I n
P r o c e e d i n g o f t h e 1 9 9 7 I n t e r n a t i o n a l C o n f e r e n c e o n P a r a l l e l P r o c e s s i n g ,
p a g e s 1 8 2 1 8 9 . I E E E C o m p u t e r S o c i e t y , A u g u s t 1 9 9 7 .
5 2 . K . V . A n j a n a n d T . M . P i n k s t o n . A n E f c i e n t , F u l l y A d a p t i v e D e a d l o c k R e c o v -
e r y S c h e m e : D I S H A . I n P r o c e e d i n g s o f t h e 2 2 n d I n t e r n a t i o n a l S y m p o s i u m o n
C o m p u t e r A r c h i t e c t u r e , p a g e s 2 0 1 2 1 0 . I E E E C o m p u t e r S o c i e t y , J u n e 1 9 9 5 .
5 3 . T . M . P i n k s t o n , Y . C h o i , a n d M . R a k s a p a t c h a r a w o n g . A r c h i t e c t u r e a n d O p t o -
e l e c t r o n i c I m p l e m e n t a t i o n o f t h e W A R R P R o u t e r . I n P r o c e e d i n g s o f t h e 5 t h
S y m p o s i u m o n H o t I n t e r c o n n e c t s , p a g e s 1 8 1 1 8 9 . I E E E C o m p u t e r S o c i e t y ,
A u g u s t 1 9 9 7 .
5 4 . K . V . A n j a n , T . M . P i n k s t o n , a n d J . D u a t o . G e n e r a l i z e d T h e o r y f o r D e a d l o c k -
F r e e A d a p t i v e W o r m h o l e R o u t i n g a n d i t s A p p l i c a t i o n t o D i s h a C o n c u r r e n t . I n
P r o c e e d i n g s o f t h e 1 0 t h I n t e r n a t i o n a l P a r a l l e l P r o c e s s i n g S y m p o s i u m , p a g e s
8 1 5 8 2 1 . I E E E C o m p u t e r S o c i e t y , A p r i l 1 9 9 6 .
5 5 . K . V . A n j a n a n d T . M . P i n k s t o n . D I S H A : A D e a d l o c k R e c o v e r y S c h e m e f o r
F u l l y A d a p t i v e R o u t i n g . I n P r o c e e d i n g s o f t h e 9 t h I n t e r n a t i o n a l P a r a l l e l
P r o c e s s i n g S y m p o s i u m , p a g e s 5 3 7 5 4 3 . I E E E C o m p u t e r S o c i e t y , A p r i l 1 9 9 5 .
5 6 . T . M . P i n k s t o n . F l e x i b l e a n d E f c i e n t R o u t i n g B a s e d o n P r o g r e s s i v e D e a d l o c k
R e c o v e r y . I E E E T r a n s a c t i o n s o n C o m p u t e r s , 4 8 ( 7 ) : 6 4 9 6 6 9 , J u l y 1 9 9 9 .
5 7 . Y . H . S o n g a n d T . M . P i n k s t o n . A N e w M e c h a n i s m f o r C o n g e s t i o n a n d D e a d -
l o c k R e s o l u t i o n . I n T h e 2 0 0 2 I n t e r n a t i o n a l C o n f e r e n c e o n P a r a l l e l P r o c e s s -
i n g , p a g e s 8 1 9 0 . I E E E C o m p u t e r S o c i e t y , A u g u s t 2 0 0 2 .
5 8 . C . B . S t u n k e l e t a l . T h e S P 2 h i g h - p e r f o r m a n c e s w i t c h . I B M S y s t e m s J o u r n a l ,
3 4 ( 2 ) : 1 8 5 2 0 4 , 1 9 9 5 .
5 9 . A . A g a r w a l , R . B i a n c h i n i , D . C h a i k e n , K . J o h n s o n , D . K r a n z , J . K u b i a t o w -
i c z , B - H . L i m , K . M a c k e n z i e , a n d D . Y e u n g . T h e M I T a l e w i f e m a c h i n e :
A r c h i t e c t u r e a n d p e r f o r m a n c e . I n P r o c . o f t h e 2 2 n d A n n u a l I n t ' l S y m p . o n
C o m p u t e r A r c h i t e c t u r e ( I S C A ' 9 5 ) , p a g e s 2 1 3 , J u n e 1 9 9 5 .
8/3/2019 Book Chapter Pinks Ton
http://slidepdf.com/reader/full/book-chapter-pinks-ton 47/47
D e a d l o c k C h a r a c t e r i z a t i o n a n d R e s o l u t i o n i n I n t . N e t w o r k s 4 9 1
6 0 . J . F . M a r t i n e z , J . T o r r e l l a s , a n d J . D u a t o . I m p r o v i n g t h e P e r f o r m a n c e o f
B r i s t l e d C C - N U M A S y s t e m s U s i n g V i r t u a l C h a n n e l s a n d A d a p t i v i t y . I n
P r o c e e d i n g s o f 1 3 t h I n t e r n a t i o n a l C o n f e r e n c e o n S u p e r c o m p u t i n g , J u n e 1 9 9 9 .
6 1 . Y . H . S o n g a n d T . M . P i n k s t o n . A P r o g r e s s i v e A p p r o a c h t o H a n d l i n g M e s s a g e -
D e p e n d e n t D e a d l o c k i n P a r a l l e l C o m p u t e r S y s t e m s . I E E E T r a n s a c t i o n s o n
P a r a l l e l a n d D i s t r i b u t e d S y s t e m s , 1 4 ( 3 ) : 2 5 9 2 7 5 , M a r c h 2 0 0 3 .
6 2 . D . T e o d o s i u , J . B a x t e r , K . G o v i l , J . C h a p i n , M . R o s e n b l u m , a n d M . H o r o w i t z .
H a r d w a r e F a u l t C o n t a i n m e n t i n S c a l a b l e S h a r e d - M e m o r y M u l t i p r o c e s s o r s . I n
P r o c e e d i n g s o f t h e 2 4 t h I n t e r n a t i o n a l S y m p o s i u m o n C o m p u t e r A r c h i t e c t u r e ,
p a g e s 7 3 8 4 . I E E E C o m p u t e r S o c i e t y P r e s s , J u n e 1 9 9 7 .
6 3 . I n n i B a n d
T M
A r c h i t e c t u r e S p e c i c a t i o n V o l u m e 1 . I n n i B a n d T r a d e A s s o c i -
a t i o n , O c t o b e r 2 4 , 2 0 0 0 .
6 4 . O . L y s n e a n d J . D u a t o . F a s t D y n a m i c R e c o n g u r a t i o n i n I r r e g u l a r N e t w o r k s .
I n T h e 2 0 0 0 I n t e r n a t i o n a l C o n f e r e n c e o n P a r a l l e l P r o c e s s i n g , p a g e s 4 4 9 4 5 8 .
I E E E C o m p u t e r S o c i e t y , A u g u s t 2 0 0 0 .
6 5 . F . J . Q u i l e s , J . L . S a n c h e z , R . C a s a d o , A . B e r m u d e z a n d J . D u a t o . A p r o t o c o l
f o r d e a d l o c k - f r e e d y n a m i c r e c o n g u r a t i o n i n h i g h - s p e e d l o c a l a r e a n e t w o r k s .
S p e c i a l I s s u e o n D e p e n d a b l e N e t w o r k C o m p u t i n g . I E E E T r a n s a c t i o n s o n
P a r a l l e l a n d D i s t r i b u t e d S y s t e m s , 1 2 ( 2 ) : 1 1 5 1 3 2 , F e b r u a r y 2 0 0 1 .
6 6 . R . P a n g , T . M . P i n k s t o n a n d J . D u a t o . D y n a m i c R e c o n g u r a t i o n o f N e t w o r k s
w i t h D i s t r i b u t e d R o u t i n g : T h e S i n g l e S c h e m e . I n P r o c e e d i n g s o f t h e I n t e r -
n a t i o n a l C o n f e r e n c e o n P a r a l l e l a n d D i s t r i b u t e d P r o c e s s i n g T e c h n i q u e s a n d
A p p l i c a t i o n s ( P D P T A ) , p a g e s 2 0 4 2 2 0 4 8 , J u n e 2 0 0 1 .