n a t i onal e n o g r a u sity f o c h i c v m v l k w g q fjzhang/cs621/tutorial4.pdfa = b b ? b '...
TRANSCRIPT
-
������� � �� � � � ����������� ��� ���� �����
� ������ � ����A
RG
ON
NE
NATIONAL LABORA
TOR
Y
UN
IVERSITY OF CHI
CAG
O
•
•
���� ��� �!" �#$ %���&� � '! � #! (�) �" �� #* �+� ## ,�� �� #� � -�.������/
* �+� ## 0 1- 23456+ �� ��7�!" 8�#�8+�)
9
:;? @
-
��� � �
* �� &" $ �� � #� $��� £� � �!� ��¡ ��A��= BB? B '�� �� ��� �� #" � # $ �� � #�
$��� 8 * �"� !� �� $ '1�(�� '�� ���+ ��� 0 $ �� � #� $������� (�� � #� ���+ ���" 0 $ �� � #� $���'�( �#$ �1�( �� "" #� �� ��/ � � "�� . !�&" �#/ �1�( !�# . ��$ '�('1�( �" � �"� &�)� � #� 0 .&� �# � � ""���!� �!� � " #" 8�1 �" ��������/ £� � '�(��1�(8 �� �"� # ¢���� �£ � '1�( �#� �£�! 8
�
� � � � ����
(��� �&"� . ¢!��#+ $ �� � �� � � ��¡ �"
%��� ��� �) � � �� ���� � " �+ � ��� ��#"£ � $���
# " �$ $ � �# ��¡ � � �£� ��"� ��#"£ � �£ $���
�
� �
� ""�+ ��"" �#+ �" �# ������!� ���� ��¡ "� � ¢! ��#+ �£ $��� !�� � ��� �) 8(��� �&"� .��� . ¢ ���! �� �/ " #� �#$� ! �) $ 8* # �$)�#��+ �" � ��� �#/ !��#+ �# � � ���� ���� �� � ���/ �" ��$ �� � � � � ! �) � �"���� �! ���� �� # 8
SEND( data )
Process 0 Process 1
RECV( data )
�
!� "" �
# " �$ $ �� ��� �� #" . � # ���� �� ���� ! "" " �#! �&$ � ��� � ���/ � �$" �#$ ��� " 8* # �$)�#��+ �" � ��� $��� !�# . �!! "" $ �� �� &� � �� �#+ £� � �#��� � ��� ! ""
Process 0 Process 1
Process 0 Process 1
(Memory)
PUT( data )
(Memory)
GET( data )
#
-
�� ��
]GIR G UGO L^ UGUR Kf � QJL KWV bT � [ NWV WG QW�R _ WV b V bRNMT`R K L^ NR WJ b`L K\ dL M bG�RE SLTUMVR G�R KGJR L^ dL MK NR WJ b`L K�\ �G QMR\ GNO
\M`V KGHV ^ KLT dL MK �G QMR f ZGIR V bGV dL MK NR_�G QMR f
E cRURGV MNV WQ OL NR� MR\V WL N\� f L_ OL dL M JRV �G QMR\ ^ KLT dLMK NR WJ b`L K\
� f � bWH b \VRU L K WVR KGV WL N OL V bRd HL KKR\ UL NO VL
L dL M INL_ L dL M HGKR
� f L_ OL dL M ORH WOR _ bRN dL M GKR OL NR
�
�"� " �
� �� ) �� &" ¢���� ���&"� ��� " � � ���$�� ��$ �" ./ �� $��� �" ¢! ��#+ $���#+ ��¡ �" 8
(�"� ��.&� $ � ���/ � 8+ 80 ���+�#0 1��'¢ 0 ��¡"��� �� # # ���¡�
'��� $ � ���/ � 8+ 80 '�1 � �%�� �� #+ 0 % ��/ 5( �
� �� � � ��/ . &" $ �� � '1�( �� �1�("�£��� ��$ �" 8k � �� � ����� �� � �� �������� �
9�
� � !"#
E � zowwmv o$mww quv rqtpmpy w oqmnq{u% TR\\GJR& UG\\ WNJ TLOR Q% NLV G HLTUWQR K \ URH W' HGV WL N% NLV G \ URH W' H UKLO MHV
E aL K UGKG QQR Q HLTUMVR K\ ( H QM\VR K\ ( GNO bRVR KLJRNRL M\NRV_LKI\
E aMQQ&^RGV MKROE R\ WJ NRO VL UR KT WV )MNQRG\ b* V bR OR�R QL UTRNV L^
UGKG QQR Q \L^V_GKR QW`KGKWR\E R\ WJ NRO VL UKL� WOR GHHR\\ VL GO�GNHRO UGKG QQR Q
bGKO_GKR ^L K% RNO M\R K\% QW`KGKd _ KWVR K\% VLL Q OR�R QL UR K\
99
!� � +� ,�
E ZR\\GJR PG\\ WNJ NL_ TGV MKR G\ UKLJ KGTTWNJUGKGO WJT% _R QQ MNOR K\VLLO% R- H WR NV TGVHb VL bGKO_GKR% TGNd GUUQWHGV WL N\
E .RNOL K \d\VRT\ NLV UL KVG`QRE PL KVG`QR \d\VRT\ GKR TL\V Qd KR\RGKH b UKLg RHV\% WNHLTUQRVR% QGH I �RNOL K \ MUUL KV% NLV GV TL\V R- H WR NV QR�R Q
9
-
!� �� ��
aR_ \d\VRT\ L� R K V bR ^ M QQ KGNJR L^ OR\ WKRO ^RGV MKR\ fE TLOMQGKWVd )^L K QW`KGKWR\ *E GHHR\\ VL URGI UR K^L KTGNHRE UL KVG`WQWVdE bRVR KLJRNR WVdE \ M`J KL MU\E VL UL QLJ WR\E UR K^L KTGNHR TRG\ MKRTRNV VLL Q\
9
�� !" ���
E FRJGN GV � WQQWGT\`MKJ � L KI\ bL U WN � UKWQ( ����
E � KJGNW�RO GV Y MUR KHLTUMV WNJ ��� )�L�RT`R K*E aL QQL_RO Pa ^L KTGV GNO UKL HR\\E ZRV R�R Kd \ W� _RRI\ ^L K V_L OGd\E ��VRN\ W�R ( L URN RTGWQ O W\HM\\ WL N\E KG^V\ ( KRGO WNJ\ ( �LVR\E PKR&' NG Q O KG^V O W\V KW`MVRO GV Y MUR KHLTUMV WNJ ���
E ]_L&TLNVb UM`QWH HLTTRNV UR KWL OE aWNG Q �R K\ WL N L^ O KG^V WN ZGd( ���
E � WOR Qd G�G WQG `QR NL_ LN VbR � R` ( ^V U \ WVR\ ( NRV QW`)��� ����� ���� ���� ������� ������� ���� *
E PM`QWH WT UQRTRNVGV WL N\ G�G WQG` QRE .RNOL K WT UQRTRNVGV WL N\ HLT WNJ \LL N
9¤
� ,� " !"#
E FKLGO UGKV WH WUGV WL NE .RNOL K\% [ FZ ( [ NVR Q( ]ZS ( ZRWIL ( SKGd( SL N�R� ( �HM`R
E eW`KGKd _ KWVR K\% P.Z ( U ( � WUHLOR ( ] SXZYX ( SbGTR QRL N (
�� UKR\\ ( eWNOGE � UUQWHGV WL N \ URH WG QW\V\ GNO HL N\MQVGNV\
� !"#$%&' (#) *#+ *%&' ,$%-&*' %+ %&'. /�0 .1( ,� 2#$+# 3#*)#*#� $-&4 567 28*#9:'& ,�*#8 /&' (.1( 6%9;% =$'+=$+& ? 10.. , @ 1&A 6&4 %9 B.= 12C 6%'' D 2+#+& , D6&%E 0 /1( , @ 2 :+;#!"+ $1.5 F1( , @ � ? *#> $�,3G 2#$> %# H# ?& ,F#*#2 @+ 272� , @ I&$$&''&&2;& ?? 2 /� , @ 6#*8 ?#$>I6� J&'+& *$ 6%9; ,
, @ G> %$):*
-
K� � !" �� ��
E � UUQWHGV WL N&L KWR NVRO UKL HR\\ VL UL QLJ WR\% FMWQV& WN \ MUUL KV ^L K J KWO\ GNO J KGUb\ )M\R\J KL MU\ *
E PKL' QWNJ% LL I\ G QQL_ M\R K\ VL WNVR KHR UV ZP[ HG QQ\ VLWN\VG QQ V bR WK L_ N VLL Q\
E �N� WKL NTRNVG Q% WN�MWKd% R KKL K HL NV KL Q
9�
K� !"
E �L N&TR\\GJR& UG\\ WNJ HL NHRUV\ NLV WNH QMORO �% UKL HR\\ TGNGJRTRNV% KRTLVR TRTLKd V KGN\^R K\% GHV W�R TR\\GJR\% V bKRGO\% � WKV MG Q \ bGKRO TRTLKd
E ZP[ OL R\ NLV GOO KR\\ V bR\R W\\ MR\ ( `MV bG\ V KWRO VLKRTG WN HLTUGV W` QR _ WV b V bR\R WORG\ )R fJ f V bKRGO\G^RVd G\ G JLG Q( WNVR KHLTTMNWHGVL K\ *
9#
"� !" � �#
E ZP[ W\ QGKJR )��� ^ MNHV WL N\ *% ZP[ �\ R�VR N\ W�R ^ MNHV WL NG QWVd KR� MWKR\ TGNd
^ MNHV WL N\% �MT`R K L^ ^ MNHV WL N\ NLV NRHR\\GKWQd G TRG\MKR
L^ HLTUQR� WVdE ZP[ W\ \TG QQ )� ^ MNHV WL N\ *% ZGNd UGKG QQR Q UKLJ KGT\ HGN `R _ KWVVR N _ WV b g M\V
� `G\ WH ^ MNHV WL N\ fE ZP[ W\ g M\V KWJ bV% � NR HGN GHHR\\ � R� W`WQWVd _ bRN WV W\ KR� MWKRO f% � NR NRRO NLV TG\VR K G QQ UGKV\ L^ ZP[ VL M\R WV f
9�
� � !"#
�� & # $ � �����.� ���� �� � ���+ ���
�� & �� ��� �#+ � ���� �� � ��.���/ �� & ��) ��� + &��� � � $/ #�� �! $���
� ��� �� #"���" � ��� $� #�� �� � $������� �� � ��$ �
� � � �� � �� &" �1
�� & !�# &" �� �� � ���� �� � ���� ��# 63
�� & $� # �� # $ ���� �� ��"� �� � ��
�� & !�# &" ��.���� " � ��! � ��/ . ���� # �# �1�
�
-
�� !"#
����.�
�¢ �� "" �)
���$ �/ �� � ��# �.� &� "&.� � �"" & " �#���� �� � !���&� �#+
9
�?AA CD >A=A?
E � KWV WNJ ZP[ UKLJ KGT\E SLTUWQWNJ GNO QWNIWNJE cMNNWNJ ZP[ UKLJ KGT\E ZLKR WN^L KTGV WL N
� �w quv l�� `d � WQQWGT XKL UU ( �_ WNJ eM\ I (GNO � NVbL Nd Y Ig R QQMT (
� ] bR e�Z HLTUGNWL N VL hi\ WNJ ZP[ fffj `d�O� W\ QG_ ZRJ QWH IW
� �ow qv uquv mu} �� qr} quv �mpmrro r � p{v pmzw `d[GN aL\VR Kf
� � ]MVL KWG Q�i\R K�\ XMWOR ^L K ZP[ `d PRVR KPGHbRHL)^V U ���TGVbfM\^HG fRO M�UM`�ZP[�TUWfJ MWOR fU\ *
� ] bR ZP[ \VGNOGKO GNO LV bR K WN^L KTGV WL N W\G�G WQG`QR GV ��� ����� �� �� ���� ������� � f � Q\LV bR \L MKHR ^L K \R�R KG Q WT UQRTRNVGV WL N\ f
!" �
� ���� ��� �� � � ���� ����� ���
�� � �� � ���� � ��� !
�� ��� � "���� ##��� "$%& '('� � � )��� � � )��� ! "�� ��* � �+�
� ,���-� � ! "%& '(. ��/� �! "������ 0 "1
�
� ���� ��� �� � ���) �$ " .�" �! �1$ � #�� �� #" �#$ �/ � "
%& '('� � "����" �1
%& '(. ��/� ¢ ��" �1
,�� ���� � �� #� #�1 �� &� �# " �� �� !� �2� �&" � � �� ��* � � # �!� ��� ! ""
¤
-
" �
��� " ���� ���+ ���" 0 " � ! �� � !����� �!����#$" !�# . &" $ 8 ��� ���+ ���� !�" 0�� �" . "� �� &" � "��#$��$ ��¡ � � 8 � �1%� �� �� � #��� �� # ���) �$ "� � !����#$" �� �� �#$ �� *���" �� �" �%���*
� � ¢���� " �#��� ��������� ���������%���*
� �� �
�
�� � �"�
] bR HLTTGNO\�� ��� �� � ��� � ��� ���� ��
�� � ���� � ���� ��TGd `R M\RO VL `MWQO \ WTUQR UKLJ KGT\ _ bRN M\ WNJZP[S f] bR\R UKL� WOR \ URH WG Q L UV WL N\ V bGV R� UQL WV V bR UKL' QWNJ^RGV MKR\ L^ ZP[! XRNR KGVR QLJ ' QR\ L^ ZP[ HG QQ\!� ]KGHR R�RHMV WL N L^ ZP[ HG QQ\! cRG Q&V WTR GNWTGV WL N L^ ZP[ )NLV G�G WQG` QR
L N G QQ \d\VRT\ *
] bR KR GKR \ URH W' H VL V bR ZP[S WTUQRTRNVGV WL N �LVbR K WTUQRTRNVGV WL N\ TGd UKL� WOR \ WT WQGK HLTTGNO\)R fJ f( ���� GNO ����� L N [FZ YP� * f
�
�� !� �
� � � �%���*
� �� � �" � ���� �� �� ��¡ � � 8 � ���+ ��� �"! ���� � ��� �����* � � � ��#" ��� "� ��" �� � ��¡ � � £� � � ���� �! &��� "/"� � 8 ��" � ��� " /�& �� &" � � "�� ��¡ � � £� �� # ���¡ �£ ��¡"��� �� #" �#$ � ��"" �) �/���� �� � !���&� �0 ) # � # � � / &" $ �� � #� !����� �" 0 ��.���� " 0 �#$ ��#¡ �� �� �� #" 8�� �����*� %���*
�,�� ���� /�& �&"� ��) ��� �����*� � �#/� &� &��+ 8
�
� !� �
����� ���� ���������� � �!"���� �����
#$%& ' (#$%&(%)** ' (%)**(+,-.#//01 +$ ' (+,-.#//01 +$(%% ' (%%(233 ' (233(%/+,45$ ' (%/+,45$(2/+,45$ ' (2/+,45$()6.2/#7- ' ()6.2/#7-(�/+806#.& ' 9/: ;+,-.#//01 +$
-
� !� � �� ��
%2/#7- ' (%2/#7-( : ;)6.2/#7-< : ;+,%/�1501 +$ < 91*6+0: ;#$%& <22/#7- ' (22/#7-( : ;+,%/�1501 +$ < : ;)6.2/#7-</+8- ' : ;/+806#.& < : ;/+80/+-. <2/+8- ' : ;2/+806#.& < : ;/+80/+-. <5�5%- ' �� �>���� " � �� �� � : ;5�5%-<�� � � �� � �� : ;+,-.#//01 +$ �=�!� ��
: ;%/+,45$ < : ;)6.2/#7-< 9� �� � �� � �� �: ;/+806#.& < : ;/+80/ +-.< 9 �
� ��� �=���=�� 9� � �� �� 6+� : ;5�5%-<
�� �� �: ;%%< : ;%2/#7-< 9� :� ��
�� �� �: ;233< : ;22/#7-< 9� :� ��
�
!" �
�� ��� �� � ��
���� ��� � �" #�� ���� �£ � � "��#$��$ 0 .&�"�� ) �" �� # �£ �� �" !����# �� � " ) �� ��1 ���� � #��� �� #" 8 � ) �" �� # "�� #� � �" £�� � � �1%� �� �� � #��� �� # �£�1 8k ��� � �� ������ �� �� �� � �� ����� ���
������ ���� ���� ��� � ������ � ��� �� �� �� ��� ����� ��� ��� ���� ���� ��� � �������k ��� �� ���� � ����� ��� �������� ��� ��� ��� ����� �� ����� � ��� ��� �� � �� �� ����� ��� ��� �� ��� � ����� ���� ���� �� ������ ��� � ��� �� ���� ��� ����� � �� �� ������� �� ��� �
�
K " � � �
� �£ � � � �"� & "� �� #" �" ¡ $ �# � ���� �� ����+ ��� �� �� ��#/ ���! "" " �� � � � ��#$ � �� �� 1��� ��#/ �" �#" � $ �� � %& '(���� (�/��#$ �� �� 1 �" �#" � $ �� � %& '(���� (���� 8 � ��#¡ �" � #&�. � . � # � �� �#$�/� � 8
9
� �
����!�� "�� � � " ����!�� #��� �� �$
��� � ��� % ��� & ��� '��� ��� (�� ))��� (*��� ��+ & ��,� (-. /0/� �� % 1��� & 1��� ' (-. /02���0��+ % -. /023--043567 & 1��+ ' (-. /02���0��,� % -. /023--043567 & 1��,� ' (� ���� % "8���� ���� 9 / :� ;� �� ;�
-
��
k ����� ���� �� ���� ���� �� �� ���� ��� ��� � ��� �� �� � ��� ���� �� ����� ��� ��� � � ����� ������ ��� �� ������� �� � � �� ���� ��� ��� � ���� ��� ���� �� �� ��� ���� � ��� ������ ����� � ��� �� ������ �� �� ��� � �
��� � ! � �"
.� !� �) - ��# �� �� ��+ �# 0 ��� 0!����� 0 �#$ � � " ���� �1 ���+ ��� 8� �� �� ��� ���$� ���+ ���" 8 �/ ��$ �� � #� ���� �� � !���&� �" 8 � ��� $� " � � � &��&� ��� ¡ ��¡ �
¤
?D CD D �?? C� CD �?>>?>
Process 0 Process 1
A:
B:
Send Recv
& "� �� #"
� ��� �" $��� " #��
� ��� �" " #��
�� $� " � � � ! �) � �$ #� �£/ ���
�
!�� !��
E � Vd UWHG Q ` QL HIWNJ \RNO QLL I\ QWIR���� % ���� & ��� & ������ & ����� '
_ bR KR% ���� W\ GN WNVRJR K WOR NV W' R K KRUKR\R NV WNJ V bRUKL HR\\ VL KRHR W�R V bR TR\\GJR f% ��� W\ G NL NNRJGV W�R WNVRJR K V bGV V bROR\V WNGV WL N HGN M\R VL \R QRHV W�R Qd \H KRRN
TR\\GJR\ f% )������ & ����� * OR\H KW`R\ G HL NV WJ ML M\ GKRG WN
TRTLKd HL NVG WNWNJ V bR TR\\GJR VL `R \RNV fGNO
E � Vd UWHG Q J QL `G Q L UR KGV WL N QLL I\ QWIR ��������� % ��� & ������ & ����� '
E � QQ L^ V bR\R \ URH W' HGV WL N\ GKR G JLLO TGVHb VLbGKO_GKR ( RG\d VL MNOR K\VGNO ( `MV VLL WN� R� W` QR f
�
-
�� ��
YRNO WNJ GNO KRHR W� WNJ L NQd G HL NV WJ ML M\ GKKGd L^`dVR\ �E bWOR\ V bR KRG Q OGVG \V KMHV MKR ^ KLT bGKO_GKR _ bWH b
T WJbV `R G`QR VL bGNO QR WV O WKRHV QdE KR�MWKR\ UKR& UGHIWNJ O W\ UR K\RO OGVG% KL_ \ L^ G TGV KW� \VL KRO HL QMTN_ W\R% JRNR KG Q HL QQRHV WL N\ L^ \V KMHV MKR\
E UKR�RNV\ HLTTMNWHGV WL N\ `RV_RRN TGHbWNR\ _ WV bO W� R KR NV KR UKR\RNVGV WL N\ )R�RN QR NJV b\ * ^L K \GTROGVG Vd UR
�
� � � �� ,��
E Y URH W' RO WN ZP[ `d w nmpnquv m}}poww ( }mnmny o ( GNO{�un ( _ bR KR OGVGVd UR W\ �% R QRTRNVGKd )G QQ S GNO aLKV KGN OGVGVd UR\ *% HL NV WJ ML M\ GKKGd L^ OGVGVd UR\% \V KWORO `QL HI\ L^ OGVGVd UR\% WNOR�RO GKKGd L^ ` QL HI\ L^ OGVGVd UR\% JRNR KG Q \V KMHV MKR
E GVGVd UR\ GKR HL N\V KMHVRO KRHMK\ W�R QdfE Y URH W' HGV WL N\ L^ R QRTRNVGKd OGVGVd UR\ G QQL_\
bRVR KLJRNRL M\ HLTTMNWHGV WL NfE � QWT WNGV WL N L^ QR NJV b WN ^G�L K L^ HL MNV W\ H QRGKR KfE Y URH W^d WNJ GUUQWHGV WL N&L KWRNVRO QGdL MV L^ OGVG
G QQL_\ TG� WTG Q M\R L^ \ URH WG Q bGKO_GKR f
#
� � � ��
E � \ WNJ QR Vd UR ' R QO W\ VLL HL N\V KG WNWNJ f � ^VRNL�R KQLGORO VL UKL� WOR NRRORO � R� W` WQWVdf
E PKL `QRT\ �% MNOR K M\R K HL NV KL Q% _ WQO HGKO\ G QQL_RO )-. /0���0��� *% QW`KGKd M\R HL N� WHV\ _ WV b M\R K GNO _ WV b LV bR KQW`KGKWR\
�
� � ��� �
�!� GNO �!� GKR ^ KLT O W� R KRNV QW`KGKWR\ f�!� %' (�!� %' (�!� � GNO �!� � GKR ^ KLT V bR \GTR QW`KGKd�!� � %' (�!� %' (�!� � %' (
] bGNI\ VL ZGKH Y NWK ^L K V bR ^L QQL_ WNJ ^L MK R�GTUQR\
¤�
-
� ��� � � �� �
Process 0 Process 1 Process 2
recv(any) send(1)
recv(any) send(0)
recv(1) send(0)
recv(2) send(1)
send(2) recv(0)
Sub1
Sub2
¤9
"�� ��� � � �� �
Process 0 Process 1 Process 2
recv(any) send(1)
recv(any) send(0)
recv(1) send(0)
recv(2) send(1)
send(2) recv(0)
Sub1
Sub2
¤
� ��� � ��� � � � " � �
Process 0 Process 1 Process 2
recv(any) send(1)
send(0)
send(0)
recv(0)
recv(any)
send(1)
send(2) recv(1)
recv(2)
Sub1a
Sub2
Sub1b
¤
"�� ��� � � �� � � � " �
Process 0 Process 1 Process 2
recv(any) send(1)
send(0)
send(0)
recv(0)
recv(any)
send(1)
send(2) recv(1)
recv(2)
Sub1a
Sub2
Sub1b
¤¤
-
� � � �
E � \RUGKGVR HLTTMNWHGV WL N {u no� n ^L K RGHb ^GT WQdL^ TR\\GJR\ ( M\RO ^L K �MRMR WNJ GNO TGVHbWNJ f)] bW\ bG\ L^VR N `RRN \ WT MQGVRO WN V bR UG\V `dL�R KQLGO WNJ V bR VGJ ' R QO f*
E �L _ WQO HGKO\ G QQL_RO ( ^L K \RH MKWVdE � QQL HGVRO `d V bR \d\VRT ( ^L K \RH MKWVdE ]d UR\ )nmvw ( WN ZP[* KRVG WNRO ^L K NL KTG Q M\R )_ WQO
HGKO\ �� *
¤�
, �� � �
E YRUGKGVR J KL MU\ L^ UKL HR\\R\ _LKIWNJ L N\ M`UKL `QRT\% ZRKJ WNJ L^ UKL HR\\ NGTR \ UGHR WNVR K^R KR\ _ WV bTLOMQGKWVd% heLHG Qj UKL HR\\ WOR NV W' R K\ OR\ WKG` QR
E PGKG QQR Q WN�LHGV WL N L^ UGKG QQR Q QW`KGKWR\% ZR\\GJR\ ^ KLT GUUQWHGV WL N TM\V `R IRUV\RUGKGVR ^ KLT TR\\GJR\ WNVR KNG Q VL QW`KGKdf% �NL_ QROJR L^ QW`KGKd TR\\GJR Vd UR\ WNVR K^R KR\_ WV b TLOMQGKWVdf% Yd NHbKL NW� WNJ `R^L KR GNO G^VR K QW`KGKd HG QQ\ W\MNOR\ WKG` QR f
¤�
� � � ��� ""
E SL QQRHV W�R L UR KGV WL N\ Vd UWHG QQd L UR KGVRO L N G QQUKL HR\\R\ )G QV bL MJ b \LTR \d\VRT\ UKL� WOR\ M`J KL MU\ * f
E ] bW\ W\ VLL KR\V KWHV W�R )R fJ f( NRRO T WNWT MT L�R K GHL QMTN LK G \ MT GH KL\\ G KL_ ( L^ UKL HR\\R\ *
E ZP[ UKL� WOR\ v p{�w L^ UKL HR\\R\% WN WV WG Q hG QQj J KL MU% J KL MU TGNGJRTRNV KL MV WNR\ )`MWQO ( OR QRVRJ KL MU\ *
E � QQ HLTTMNWHGV WL N )NLV g M\V HL QQRHV W�R L UR KGV WL N\ *VG IR\ U QGHR WN J KL MU\ f
E � J KL MU GNO G HL NVR�V GKR HLT`WNRO WN G{zz �uqm n{pfE YL MKHR�OR\V WNGV WL N WN \R NO� KRHR W�R L UR KGV WL N\ KR^R K
VL pmu WN J KL MU G\\L H WGVRO _ WV b G J W�RNHLTTMNWHGVL Kf -. /0���0�3�52� UR KT WVVRO WN GKRHR W�R f
¤�
!" �� � �"�� �
] bM\ V bR `G\ WH )`QL H IWNJ * \RNO bG\ `RHLTR �-. /0���� % ���� & ��!�� & ������� & ���� & ��� &
���� 'GNO V bR KRHR W�R �
-. /05��� %���� & ��!�� & ������� & ��!�� & ��� &���� & ����!�'
] bR \L MKHR ( VGJ ( GNO HL MNV L^ V bR TR\\GJR GHV MG QQdKRHR W�RO HGN `R KRV KWR�RO ^ KLT ����!� f]_L \ WT UQR HL QQRHV W�R L UR KGV WL N\ �
-. /0����� %���� & ��!�� & ������� & ��� & ���� '-. /05��!�� %���� & ��!�� & ��!�� & ������� &
����� ��� & ��� & ���� '
¤#
-
� � � ��
-. /0����! � ����! � (-. /05��� % ���& 1����!� ' (��� ����!� �-./0��� (��� ����!� �-./0�3�52� (-. /0���0��!�� % 1����!� & ������� & 1��!�� ' (-. /0��� GNO -. /0�3�52� UKWTGKWQd L^ M\R _ bRN-. /0���0��� GNO�L K -. /0���0�3�52� WN V bR KRHR W�R f-. /0���0��!�� TGd `R M\RO VL ORVR KT WNR bL_ TMHbOGVG L^ G UGKV WHM QGK Vd UR _G\ KRHR W�RO f
¤�
� K �
!������ ������ � �>� ��!�� �� ���"���� ���� � ���� � "� � ���� � "�� � ����" � � � ������"���� ��� � >��"��"���� �"0���� �� � �"0"�� � �"0����"��"���� �"�"�� ;*6 +0-.#.�-0-+�5<>��� � !�������� >�"� ;��� <�� *6+0+, +. ; ���� <�� *6+0%)**0$#,4 ; *6+0%)**0�)$/1 � ���� � ���� <�� *6+0%)**0- +�5 ; *6+0%)**0�)$/1 � ���� � ���� <!���" � � �6������ �� ���� � � �� �� ���� � � �� � ��� �>��" ' ���� 9 ���� ' �
%�� ;���� �� � ���< "���
"� ' >��"����" ' ��"�� ' ���>� �� �'� � ��
�� >�"� ;�< ' ��� *6+0-5,1 ; >�"� � ����" � *6+01)�8/506$5% +-+), � "� �
� "�� � *6+0%)**0�)$/1 � ���� <� �� �� ;���� �� � >��" < "���
"�� ' *6+0#,�0.#7����" ' ������ ' *6+0#,�0-)�$%5�� *6+0$5% ;>�"� � ����" � *6+01)�8/506$5%+-+), � ���� �
� "�� � *6+0%)**0�)$/1 � �"�"�� � ���� <
��
� K � �� ��
�� *6+075.0%)�,. ; �"�"�� � *6+01)�8/506$5% +-+), �� �"0����" � ���� <
�"0������ ' �"�"�� ;*6+0-)�$%5<�"0"�� ' �"�"�� ;*6+0.#7 <
%!���" � � �-"�"�� ���� � ������ ' �� �"0������ �
� � "�� ' �� �"0"�� � � ����" ' �� �"0����"!���" � � ���� � � �������> �� ;>�"� ;�< ��' � ��� <
��>���� *6+02+,#/+�5 ; ���� <��>
�9
� � K� !"
�1 �" ) �/ " ���� 8 � " " �¢ £ !� �� #" � ���/�& �� ��� ��#/ ���+ ���" �� �DCA�� � CD BC�?�� :;�� > C�?�� :;�� = D�� ?D�� �?�
�
-
� � � � � �
� £� ��� �#+ ¢���� " " �� � % �#$���� ��# ) �" �� # �£ � � "�� ���+ ��� 8 ��" ���+ ��� !���&� " 1 � �� � � ) �/" ���� � � ��$ � .&� $� " #�� &" %& '(�����#$ %& '(��� 8 1 #"� �$ 0 �� &" " ������ ����� � ��� �� #" �� " #$ $��� �� �#$ £ ��� � �� �£� � �#�#+ ��� ! "" " 8 ��" + �) " � � ������ �" �¢£ !� �� # �1 " � �� �DCA�� � CD BC�?�� :;�� > C�?�� :;�� = D�� >A�� �?�<>��� � !�������� ��!� � !� � � � ��� � � � � ���"���� � � ���> � ���!���� � � � ��
� ��� �"��� "� ��"����"�� ;�< ' � �>� = ;� �>� � ���<�� *6+0+, +. ; ���� <�� *6+0%)**0$#,4 ; *6+0%)**0�)$/1 � ���> � ���� <�� *6+0%)**0- +�5 ; *6+0%)**0�)$/1 � ���!���� � ���� <
�� �� ; ���> �� � � < "������"� ; �� <
� �����" ;�5�"�� "�� ������ �� ��"���� � � ;� ��"�< �<���> ;� �< �
�����" ;��� <��>���� *6+08%#-. ;� �� �*6 +0+,.575$ �� �*6+0%)**0�)$/1 ����� <
��
K � �� ��
� ����� ��� ��" ����� �� ; � � � � � < ��"� ��
� �� �� �"� "�� ��"���� ����� ' � ��>�=���� ' � ��>�>� � � ' ���>�� � � � ���!����
' � � ;>� � ;�< 9 � ��>�<��� ' ��� � � ;<
� ���"������!� ' � � ���
� �� ��" � "�� !��"�� ��� ��� *6+0$51�%5 ;��!� �! � �� �*6 +01)�8/506$5% +-+), �*6 +0-�* �� �
: *6+0%)**0�)$/1 ����� <� ��>� � !���"� "�� ������ �
�� ;���> �� � �< "������"� ; � 3< !� � ��� ;!� 9 6+�1.<
3 �����" ; � !� �� �!!�����"� � � �� 2�� �� �� � 5���� �� � �� 2�� ��<��>����"� ��
�� �� *6+02+,#/ +�5 ;��<�"�!��>
��
-
� � "
��� � �>� ��!� �� ���� � �>� ���"� �����" ���� ;���� ����� <��" ���� ����� ����� �� ��
��" >��� ' � � � � ���> � ���!���� � � � �� �>��� � 6+�1. ' � �����
����3����
�� �>��� � ��!� � !� � � � ��� � � � �*6+0+��" ;���� � ������ < �*6+0%���0���� ;*6+0%)**0�)$/1 �����!����< �*6+0%���0���� ;*6+0%)**0�)$/1 �����>< �
��
� �� ��
��� � ; �>��� '' �< �
!���"� ;�5�"�� "�� ������ �� ��"���� � � ;� ��"�< �< ������ ;��> � ��� < �
*6+08 ���" ;�� � � � *6+0+,. � � � *6+0%)**0�)$/1 < ��� ;� '' �< ����� �� ' � �� = ;>��� �< � ���� ' � �� ���� ;� ' ���> � � � � �' � � � �' ���!����< �
' � � ;;>��� �� �� ;���! � � �!� � � � *6+01)�8/5 � *6+0-�* � � �
*6+0%)**0�)$/1 < ��� ;���> '' �<
!���"� ;�! � �� �!!�����"� � � ��� � 5���� �� � ����� � �!� � ���� ;!� 9 6+�1.
-
�;�; B; C?>
�1 ���) �$ " �� &� �# " �� ���) �$ "� �&!� &� ��!� �� !� �� #" �£ ��� ! "" " ��" � ��" �� �#" � � � & "� �� # � �; =? �� D? C��;=>�
�9
� � �
* %��� " ��# �� �� ��+/ �" � � "��¢���� �£ 5 � 4 %��� " �� # � "� �� � ���� "�� �#� �#+ �� � � ���� � # �+ �.��"
(0,0) (1,0) (2,0) (3,0)
(0,1) (1,1) (2,1) (3,1)
(0,2) (1,2) (2,2) (3,2)
�
, � � �
] bR KL MV WNR -. /02��0����� H KRGVR\ G SGKVR\ WGNORHLTUL\ WV WL N L^ V bR UKL HR\\R\ ( _ WV b V bR NMT`R K L^O WTRN\ WL N\ J W�RN `d V bR �� �� GKJMTRNV f
� �� � %' � �� �� � %' � �� ���� %' � ������ ��� ���� %' � ������ ����� � ��!� ��� �� �
���� -. /02�5�025���� % -. /023--043567 & �� �� & � �� � &
�� ���� & ���� & ����� & �� '
�
K " ���
-. /02��0����� H KRGVR\ G NR_ {zz �uqmn{p _ WV b V bR\GTR UKL HR\\R\ G\ V bR WNUMV HLTTMNWHGVL K( `MV _ WV bV bR \ URH W' RO VL UL QLJdf] bR �MR\V WL N ( � bL GKR Td NR WJ b`L K\ ( HGN NL_ `RGN\_R KRO _ WV b -. /02��0� ��� ����� -. /02�5�0�8 /=� % ����� & > & &
������ & �� ��� & �� '���� -. /02�5�0�8 /=� % ����� & & &
�������� & ����� & �� '
] bR �G QMR\ KRV MKNRO GKR V bR KGNI\ ( WN V bRHLTTMNWHGVL K ���� � ( L^ V bR NR WJ b`L K\ \ bW^VRO `d � �WN V bR V_L O WTRN\ WL N\ f
�¤
-
� "#
%�# . �#" � $ �� ������� ����� %'���� -. /023--05��� % ���� � & ���+ & �� '���� -. /02�5�023357� % ���� � & ���+ & &
����� & �� '
cRVMKN\ V bR SGKVR\ WGN HLL KO WNGVR\ L^ V bR HG QQWNJUKL HR\\ WN ����� f
��
� bRN H KRGV WNJ G SGKVR\ WGN VL UL QLJd( L NR � MR\V WL N W\h� bGV W\ G JLLO HbL WHR ^L K V bR ORHLTUL\ WV WL N L^ V bRUKL HR\\L K\j] bW\ � MR\V WL N HGN `R GN\_R KRO _ WV b -. /07 �� �0����� �
������ � �� � %'� �� � %' � >� �� � %' � >���� -. /023--0�/�� % -. /023--043567 & ��,� & �� '���� -. /07 /-�025���� % ��,� & & � �� � & �� '
��
� � � �
�1 !�#�� �#" �� &� �# " �� � ��#" ��� . � #%��� " �� # !���$ �#�� " �#$ ��#¡" �# �!����!����0 �#$ �� �!! "" � � ��� � �� � "�£ � %��� " �� # �� �� ��+/8 � �� &� �# %& '(�����(������ � ���" � � ! � �� �� # �£ � + # �� � + ���� �� �� ��+/8
��
�� �� � !"#
1 # ��#/ ���� �� � !���&� � �#� �!� ## !�" 0"�� ���! ""��" �� ! ��" � �� � ��#��� �" 8 � " �� &� �# " � ��� �� �1���� � #��� �� # �� ���) �$ �# ��$ ��#+ �£��� ! "" " �# � �� �� ��+/ � ��� ��¡ " ��+ �!� �# �+ �.��" ! ��" �# � � ��/" �!� � �#� �!� ## !� 8k ��� � ���� ��� � ���� ���� ��� ��� ��� �������� ������� ��� ��� ����� ��� � ��� � �� ����� �� � ��� ����� �� � � ��� �� ��� ��������� � ��� ������ �� ���� � ��� �� � � � ��������� � ���� ��� ��� ���� �� �� � ������ ��� ��������� �� � ���� � ��� ������ �� �� ������ �� �� �� ����� � � ���� ��������� ��� ������ �� � ��� ��� � � ����� �������� ������� ���� ���� �� ���� ���� � � ��������� ����� ����� � ��� ������� ��� �� �� � ���� �� �� ������ � ��� ��� � �������� �
�#
-
�� "�
� �� �� �/ # �+ �.��" �£ 1 �� �� � � $+ �£� %��� " �� # � "��
?
��
" � � "�
Y URH W^d V bW\ WN -. /02��0����� _ WV b� �� � %' � �� �� � %' � �� ���� %' � ��5�� ��� ���� %' � ��5�� ����� � ��!� ��� �� �
���� -. /02�5�025���� % -. /023--043567 & �� �� & � �� � &
�� ���� & ���� & ����� & �� '
��
+" � � "�
1 # � � #� #� ���$ �! !�" 0 � # �+ �.�� ��/#�� ¢ �"� 8 ��" �" �#$ �!�� $ ./ � ��#¡ �£%& '(&���(���� 8 ��" ��#¡ ��� �� �� �� �# " #$ �#$ � ! �) !� ��" �# �1 8 � �!� �� # �# .�� � !�" " �" �" �£� � !� �� �" #�� ��$ 8
�9
:; BB?A C�? :;�� CD ��
E SLTTMNWHGV WL N W\ HLL KO WNGVRO GTL NJ G J KL MU L^UKL HR\\R\ f
E X KL MU\ HGN `R HL N\V KMHVRO h`d bGNOj _ WV b ZP[J KL MU&TGNWUMQGV WL N KL MV WNR\ L K `d M\ WNJ ZP[VL UL QLJd&OR' NWV WL N KL MV WNR\ f
E ZR\\GJR VGJ\ GKR NLV M\RO f W� R KR NVHLTTMNWHGVL K\ GKR M\RO WN\VRGO f
E �L NL N& `QL HIWNJ HL QQRHV W�R L UR KGV WL N\ fE ] bKRR H QG\\R\ L^ HL QQRHV W�R L UR KGV WL N\ �% \d NHbKL NW�GV WL N% OGVG TL�RTRNV% HL QQRHV W�R HLTUMVGV WL N
�
-
�����
%& '(���� �� ����� ! �!� �� # .�� !¡" � ��� � �� ��� ! "" " �#
���� !� �� �� 8
�
�� � � � �
P0
P1
P2
P3
P0
P1
P2
P3
P0
P1
P2
P3
P0
P1
P2
P3
P0
P1
P2
P3
P0
P1
P2
P3
P0
P1
P2
P3
P0
P1
P2
P3
A A
A
A
A
A B C D A
B
C
D
A
B
C
D
A B C D
A B C D
A B C D
A B C D
A0 A1 A2 A3
B0 B1 B2 B3
C0 C1 C2 C3
D0 D1 D2 D3
A0 B0 C0 D0
A1 B1 C1 D1
A2 B2 C2 D2
A3 B3 C3 D3
All to All
All gather
Scatter
Gather
Broadcast
'!� ��� �! � �� " #��� �� # �£ !� �� !� �) $�����) � #� �# �1
�¤
�� � � � �
ABC
ABCD
AB
A
ABCD
Reduce
Scan
P3
P3
P0
P1
P2
P0
P1
P2
A
B
C
DP3
A
B
C
DP3
P0
P1
P2
P0
P1
P2
'!� ��� �! � �� " #��� �� # �£ !� �� !� �) $�����) � #� �# �1
��
!" �� �
E ZGNd KL MV WNR\ �� QQJGV bR K � QQJGV bR K� � QQKROMHR� QQVLG QQ � QQVLG QQ� FHG\VXGVbR K XGVbR K� cROMHRcRO MHRYHGVVR K YHGN YHGVVR KYHGVVR K�
E ��� �R K\ WL N\ OR QW�R K KR\ MQV\ VL G QQ UGKV WH WUGV WNJUKL HR\\R\ f
E � �R K\ WL N\ G QQL_ V bR HbMNI\ VL bG�R O W� R KRNV \ W�R\ fE � QQKROMHR ( cROMHR ( cROMHRYHGVVR K( GNO YHGN VG IR
`LV b `MWQV& WN G NO M\R K&OR' NRO HLT`WNGV WL N^ MNHV WL N\ f
��
-
�! � � �
ZP[ �GTR � UR KGV WL N-. / -�� ZG� WT MT-. / - /� ZWNWT MT-. / .537 PKLO MHV-. / ��- Y MT-. / 6��7 eLJ WHG Q G NO-. / 635 eLJ WHG Q L K-. / 6�35 eLJ WHG Q R�H QM\ W�R L K )�L K*-. / ���7 FWV_ W\R GNO-. / �35 FWV_ W\R L K-. / ��35 FWV_ W\R �L K-. / -��632 ZG� WT MT �G QMR GNO QL HGV WL N-. / - /�632 ZWNWT MT �G QMR GNO QL HGV WL N
��
, � � � � �
-. /03�0����� %!��0�!� �� ��� & ����!�� & �� '-. /03�0��� %�� '
! ��0�!������ %����� & ���!���� & ��� & �������'] bR M\R K ^ MNHV WL N \ bL MQO UR K^L KT���!���� ��� � ����� ��� �� ���!���� ��� (^L K � ^ KLT > VL ���� f
! ��0�!������ HGN `R NL N&HLTTMVGV W�R )R fJ f( TGV KW�TMQV WUQd * f
�#
� � ��
aLK R�GTUQR ( VL H KRGVR GN L UR KGV WL N V bGV bG\ V bR\GTR R� RHV G\ -. /0��- L N aLKV KGN OL M`QR UKRH W\ WL N�G QMR\ ( M\R
�!��!� ��� ��!� � % ����� & ���!���� & ��� & ������� '������ ��� & ���������!��� �������� ����� %��� ' & ���!���� %��� '������ ��� > �� &���
> ���!���� %�' � ����� %�' � ���!���� %�'��!����
]L M\R ( g M\V������ ������� -. /03�0����� % ��!�� & ��!� �& ��� & �� '���� -. /05��!�� % � & � & & -. /073��6�0.5�2 /�3� & ��� & ��� '
] bR KL MV WNR -. /03�0��� OR\V KLd\ M\R K&^ MNHV WL N\ _ bRNV bRd GKR NL QL NJR K NRRORO f
��
, �
* �� �1 !����!�� �� # �" � ��� �) �� ������� ��� ��� ��! � !�#�� �#" � ��� ��� ��#$ � � ���� 8 � + �� &� �" � &"� � " � �£��� ! "" " 8
#�
-
��" � " ��
] bR RG\ WR\V _Gd VL H KRGVR HLTTMNWHGVL K\ _ WV b NR_J KL MU\ W\ _ WV b -. /023--0�.6/� faL K R�GTUQR ( VL ^L KT J KL MU\ L^ KL_\ L^ UKL HR\\R\
1
2
0
0 1 2 3 4Column
Row
M\R-. /02���0����� % ������� & �� & > & 1������� ' (]L TGWNVG WN V bR L KOR K `d KGNI ( M\R-. /02���0��+ % ������� & 1��+ ' (-. /02���0����� % ������� & �� & ��+ & 1������� ' (
#9
��" � " �� � �
Y WT WQGKQd( VL ^L KT J KL MU\ L^ HL QMTN\ (
1
2
0
0 1 2 3 4Column
Row
M\R-. /02���0����� % ������� & ���!�� & > & 1������� ' (]L TGWNVG WN V bR L KOR K `d KGNI ( M\R-. /02���0��+ % ������� & 1��+ ' (-. /02���0����� % ������� & ���!�� & ��+ & 1������� ' (
#
! � �
� NLV bR K _Gd VL H KRGVR G HLTTMNWHGVL K _ WV b \ URH W' HTRT`R K\ W\ VL M\R -. /02���0����� f-. /02���0����� % ������� & ��!� & 1������� ' (
] bR J KL MU HGN `R H KRGVRO WN TGNd _Gd\ �
#
� �
� QQ J KL MU H KRGV WL N KL MV WNR\ H KRGVR G J KL MU `d\ URH W^d WNJ V bR TRT`R K\ VL VG IR ^ KLT GN R� W\V WNJJ KL MUf
E -. /0��!�0���� \ URH W' R\ \ URH W' H TRT`R K\E -. /0��!�0���� R�H QMOR\ \ URH W' H TRT`R K\E -. /0��!�0����0���� GNO -. /0��!�0����0����
M\R KGNJR\ L^ TRT`R K\E -. /0��!�0!� ��� GNO -. /0��!�0�������� ���
H KRGVR\ G NR_ J KL MU ^ KLT V_L R� W\V WNJ J KL MU\ f]L JRV GN R� W\V WNJ J KL MU ( M\R-. /02���0��!� % ������� & 1��!� ' (aKRR G J KL MU _ WV b-. /0��!�0��� % 1��!� ' (
#¤
-
>
� � � $� " $��� +� � # /� & " #$ ��� # ��"" �.����/ �"
Local Buffer
Local Buffer
A:
B:
Process 1 Process 2
The Network
#�
� ��
��" �" #�� ) �/ � ! � #� 8 � � �� � �� !� �� " �# �$$ �� �� # �� � � ¢!��#+ �£ $���. � # ��� ! "" " 8 � �� £ �
B:
A:
Process 1 Process 2
�&� � ��" � &�� " � ��� �� � � � ��� %& '(����#�� � � &�# � �� � � $��� ��" . # $ ��) � $�� � ��� � ��� � " #$ �� ��� �� # �� � � &�#. £� � !���� � �#+ �� � ��#"£ �8 1# � ��" !�" 0 # $ �� � "� £� � !���� � �� # ��� �8
#�
� �� " +!� �� ��
E YL ^GK _R bG�R M\RO ����+ ��� HLTTMNWHGV WL N �% -. / ���� OLR\ NLV HLTUQRVR MNV WQ `M� R K W\ RTUVd)G�G WQG` QR ^L K KR M\R * f
% -. / 5��� OLR\ NLV HLTUQRVR MNV WQ `M� R K W\ ^ M QQ)G�G WQG` QR ^L K M\R * f
E Y WTUQR ( `MV HGN `R hMN\G^Rj �PKLHR\\ � PKLHR\\ �YRNO )�* YRNO )� *cRH� )�* cRH� )� *
SLTUQRV WL N ORURNO\ WN JRNR KG Q L N \ W�R L^ TR\\GJRGNO GTL MNV L^ \d\VRT `M� R KWNJ f
k � ou} x{pw �{p wz mrr ou{�v s zoww mv ow t�n �mqrwxsou z oww mv ow v on n{{ rmpv o �{{ rmpv o pmuv ow �p{z� op{ ty now n{ ��� w { � lovmty now
#�
� � � � ��� �
E � KOR K V bR L UR KGV WL N\ TLKR HGKR^ MQQd �PKLHR\\ � PKLHR\\ �YRNO )�* cRH� )� *cRH� )�* YRNO )� *
E Y MUUQd KRHR W�R `M� R K GV \GTR V WTR G\ \R NO ( _ WV b-. / ������� �
PKLHR\\ � PKLHR\\ �YRNO KRH� )�* YRNO KRH� )� *
E i\R NL N& `QL H IWNJ L UR KGV WL N\ �PKLHR\\ � PKLHR\\ �[\R NO )�* [\R NO )� *[ KRH� )�* [ KRH� )� *� G WVG QQ � G WVG QQ
E i\R -. /0�����
##
-
!" �� +!� �� �
�L N&`QL H IWNJ L UR KGV WL N\ KRV MKN ) WTTRO WGVR Qd *hKR� MR\V bGNO QR\j V bGV HGN `R _G WVRO L N GNO �MR KWRO �E -. / /���� %���� & ��!�� & ������� & ���� & ��� & ���� &
��!��� '
E -. / /��� %���� & ��!�� & ������� & ���� & ��� & ���� &��!��� '
E -. / 4��� %��!��� & ����! �'
� NR HGN G Q\L VR\V _ WV bL MV _G WV WNJ � -. /0���� % ��!��� &���� & ����!�'
#�
! � �
[V W\ L^VR N OR\ WKG` QR VL _G WV L N TMQV WU QR KR� MR\V\ f � NR�GTUQR W\ G TG\VR K�\ QG�R UKLJ KGT ( _ bR KR V bR TG\VR K_G WV\ ^L K L NR L K TL KR \ QG�R\ VL \RNO WV G TR\\GJR fE -. / 4������ %��!�� & �� �� ��!���� &
�� �� ����! ���'
E -. / 4����� %��!�� & �� �� ��!���� & ����� &����!�'
E -. / 4������� %����!�� & �� �� ��!���� & �!���!�� &�� �� ��� ���� & �� �� ����! ���'
] bR KR GKR HL KKR\ UL NO WNJ �R K\ WL N\ L^ VR\V ^L K RGHb L^V bR\R f
k �so -. / 4� /��3-� mu} -. / �����3-� zmy to �w o} n{qz rozoun zmw nop�w rm ~o m rv{pqnszw nsmn p{~q}o �mqpmoww n{ nso zmw nop ty nso w rm~ow
��
K ��
J ;#+ ;#""&$' A %+; +;%' "* < *#! ���� � �>� ��!� �� ���� � �>� ��">�� �����" ���� ;���� � ���� <��" ���� ����� ������ ����" ���� � ���� � � � ��� ��� �*6+0-"�"� � �"�"�� �*6+0+��" ; ����� � ����� < �*6+0%���0���� ; *6+0%)**0�)$/1 � ����� < �*6+0%���0���� ; *6+0%)**0�)$/1 � ����� < ��� ;���� '' �< �
��� ;�'� � ������ ;����9�< � ���< �*6+0$��� ; ��� � � � *6+0+,. � *6+0#,�0-)�$%5 �
*6+0#,�0.#7 � *6+0%)**0�)$/1 � ��"�"�� < �!���"� ; �*�� ���� �> ��"� "�� �>�� � �
�"�"�� �*6 +0-)�$%5 � �"�"�� �*6 +0.#7 < �
� �� �
��� ;�'� � ����� � ���<*6+0-��> ; ��� � � � *6+0+,. � � � � � *6+0%)**0�)$/1 < �
*6+02��� ��� ;< ���"��� � �
�9
K �� �� !��
* # ���� �� � � �+���� �� �" �� �� �£ #� ��� ! ""�" � !� �) �/ �+ #�� $ 8 1# � � �� ! $ �#+���+ ��� 0 ��� ! "" " �� � �� ��#¡ � ��¡ ��� ! "" � �� � ��/ . �� �#�/ � # ��" � ""�+ " �� � ! �) $ 8�1 ��¡ " #� + &�� #� " �.�&� £� ��# "" 8�� ) �0 �1 ��¡ " �� ��"" �. � �� ��� � ! � #� 0 £� �� ���+ ���" 8
�
-
� " K ��
# � �� �#�� �) �"�>����� ���� ��*6+0$����" �����" � � ����� �*6+0-"�"� � �"�"���� � ����� ���" ��>���� � ����� ���" ��� � ����� ���� ;�'� � ������ � ���<
*6+0+���� ; ����� � � � *6+0+,. � � �*6+0#,�0.#7 � *6+0%)**0�)$/1 � ������" � ��9�� < �
��� � ;��" >���< �*6+0���"��� � ; ����9� � �����" � � ��>��� � ��>���� � �"�"���� < ���� ;�'� � ���>��� � ���< �
� ' ��>���� ��� �!���"� ; �*�� ���� �> ��"� "�� �>�� � �
�"�"���� ��� �*6+0-)�$%5 ��"�"���� ��� �*6+0.#7 < �
*6+0+���� ; ����� � � � *6+0+,. � � �*6+0#,�0.#7 � *6+0%)**0� )$/1 � ������" � ��� < �
�
� " K �� �K �
� NR G QVR KNGV W�R W\!�����"�� ; ���� ' �� <��"���� �����"� ; ����< ���"���� �"�"���� ;*6+0-.#.�-0-+�5 � ����< ���"���� ��>���� ; ����< ���"���� ��� ; ����< � ����� >���>� �� � ' � �����9�
�� �� *6+0+���� ; ��� ;�< � � � *6+0+,.575$ � � �� *6+0#,�0.#7 � *6+0%)**0�)$/1 � �����"� ;�< � ���� <
� �� ; ���" � >���< "����� *6+0���" ���� ; ����9� � �����"� � �>��� �
��>���� � �"�"���� � ���� <>� �� �'� � �>���
� ' ��>���� ;�<!���" � � �*�� ���� �� �"�"���� ;*6+0-)�$%5 ��< � � ��"� "�� ��� �"�"���� ;*6+0.#7 ��<�� *6+0+���� ; ��� ;�< � � � *6+0+,.575$ � � �
*6+0#,�0.#7 � *6+0%)**0� )$/1 � �����"� ;�< � ���� <>��� ' ���
�� ���"������"� ���>��
�¤
��� � ! K ��
.� !� �) �" #�#.�� !¡�#+ !����!�� �� #"%���� � � � ���+ ��� £ ��+� #� � #����) �$ �#+ £� ��# ""� 8 ��¡ "&� � ��� /�&� �) #� !���� � $ � & "�" 8 �� �&�$/�& � "� /� &� ���+ ����
��
! � �� ��
[N GUUQWHGV WL N\ _ bR KR V bR V WTR VL \RNO OGVG `RV_RRNUKL HR\\R\ W\ QGKJR ( WV W\ L^VRN bR QU^ M Q VL HGM\RHLTTMNWHGV WL N GNO HLTUMVGV WL N VL L�R KQGU f ] bW\ HGNRG\ WQd `R OL NR _ WV b ZP[ �\ NL N& `QL HIWNJ KL MV WNR\ faL K R�GTUQR ( WN G �& ' NWVR O W� R KR NHR TR\b ( TL� WNJOGVG NRRORO ^L K V bR `L MNOGKWR\ HGN `R OL NR GV V bR\GTR V WTR G\ HLTUMVGV WL N L N V bR WNVR KWL Kf-. /0/��� % ��� ��� ���� ���� ��� ' (-. /0/���� % ��� ���� �� ��� ���� ���� ��� ' (��� ����!�� �� ���� ��� ��� %�� ��� ���� !� ��������� ��!����' *
-. /04����� % ��� ��!���� ��� '�� %��!��� �� � ������'
��� ����!�� �� ��� ���� ���?
�LVR V bGV _R HG QQ -. /04����� \R�R KG Q V WTR\ f ] bW\R� UQL WV\ V bR ^GHV V bGV G^VR K G KR� MR\V W\ \GV W\' RO ( WVW\ \RV VL -. /05������0��66 ( GNO V bGV V bW\ W\ G �G QWOKR�MR\V L g̀ RHV VL V bR _G WV G NO VR\V KL MV WNR\ f
��
-
� !"�
ZP[ UKL� WOR\ TMQWV U QR z{}ow ^L K \R NO WNJ TR\\GJR\ �E Yd NHbKL NL M\ TLOR )-. / ����� * � V bR \RNO OLR\ NLV
HLTUQRVR MNV WQ G TGVHbWNJ KRHR W�R bG\ `RJ MN f)iN\G^R UKLJ KGT\ `RHLTR WNHL KKRHV GNO M\ MG QQdORGO QL H I _ WV bWN GN -. /0����� f*
E FM� R KRO TLOR )-. / ����� *� V bR M\R K \ MUUQWR\ V bR`M� R K VL \d\VRT ^L K WV\ M\R f )i\R K \ MUUQWR\ R NL MJbTRTLKd VL TGIR MN\G^R UKLJ KGT \G^R * f
E cRGOd TLOR )-. / 5���� *� M\R K JMGKGNVRR\ V bGVTGVHbWNJ KRHR W�R bG\ `RRN UL\VRO f% G QQL_\ GHHR\\ VL ^G\V UKLVL HL Q\% MNOR' NRO `RbG� WL K W^ V bR TGVHbWNJ KRHR W�R W\ NLVUL\VRO
�L N&`QL H IWNJ �R K\ WL N\ �-. / /����� ( -. / /���� ( -. / /������LVR V bGV GN -. /05��� TGd KRHR W�R TR\\GJR\ \R NV _ WV bmuy \RNO TLOR f
��
��" �"
ZP[ UKL� WOR\ G \RNO KL MV WNR V bGV TGd `R M\RO _ bRN-. /0/���� W\ G_ I_GKO VL M\R )R fJ f( QLV\ L^ \TG QQTR\\GJR\ * f-. /0����� TGIR\ M\R L^ G �w op$p{~q}o} `M� R K VL \G�RGNd TR\\GJR\ V bGV HGN NLV `R WTTRO WGVR Qd \R NV f��� �!���,� (�� )�!� � ������ %�!���,�' (-. /0�!���0����� % �!� & �!���,� ' (���-. /0����� % ��� ���� �� -. /0���� ��� ' (���-. /0�!���0����� % 1�!� & 1�!���,� ' (] bR -. /0�!���0����� HG QQ OL R\ NLV HLTUQRVR MNV WQ G QQTR\\GJR\ GKR \R NV f
k �so op�{pzmuo { � -. / ����� }o ou}w {u nsoqz rozounmnq{u { � l�� mu} zmy mrw{ }o ou} {unso w q� o { � nso zowwmv o �{p o� mz ro� zmquv mz oww mv o {uo ty no r{uv op z my m�w o m w qv u qmun }p{qu op�{pzmuo
�#
� � � ��
SL N\ WOR K G QLL U-. /0�!���0����� % �!� & �!���,� ' (� ��� %9����' *
���-. /0����� % ��� ' (?
_ bR KR V bR �!� W\ QGKJR RNL MJ b VL bL QO V bR TR\\GJR WNV bR -. /0����� f ] bW\ HLOR TGd �mqr `RHGM\R V bR*���� )�!� ( ��� �!���,� (-. /0�!���0����� % 1�!� & 1�!���,� ' (-. /0�!���0����� % �!� & �!���,� ' (?
��
@A�? = ; CDA�A;� ; CDA �?A
%& '(�������� 0 %& '(��������(��&����
%& '(������
�" �"� #� !����!�� �� # � & "�"
9��
-
�AA��?> D �?A? =;?DCA�
�1 $����/ � " ��) �� �� �# �&���" "
� � ��+ #��/ � ���� �� � ���+ ���". � # $ �� � #� ��� ! ""��"
,�#!�#� �+ &� &" $��� � "� �&!� &� " 0) !���" �� � #�# �� "� ��$ 0 �! 8
��" �! $����/ � 0 !��� " ��#$ �#+ �� � � $ ��/ �#+ ��#+&�+ 0 �� �� $ � # $ 8 � &" � !�# !�#"� �&!� # $����/ � " �� �� �� 2 � � " �� !� �� $ ������� �� �� �� � �� 8
9�9
,�� !"
� B?�?DA=� � -�#+&�+ $ � # $ �/ � " � 8+ 80%& '('�� �� %& '(������(&��� '�'�� �
�?A;= � ' ����� $ ./ !� #"��#� �"� ��$ �:;DA C
-
���
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31 32 33 34 35
� "� ! �£/ � ��" �� ��# % ��$ �� 0 !�# &" -. /0���0����� % ��!�� & ����+��� & �� ��� & ������ &
1������ ' (-. /0���0���� �� % 1������ ' (] bR R�GHV HLOR ^L K V bW\ W\-. /0���0����� % � & & & -. /073��6� & 1������ ' (-. /0���0���� �� % 1������ ' (
9��
� ��
YV KMHV MKR\ GKR OR\H KW`RO `d GKKGd\ L^E NMT`R K L^ R QRTRNV\ )��0��0��� *E O W\ UQGHRTRNV L K QL HGV WL N )��0��0� ����� *E OGVGVd UR )��0��0����*
-. /0���0��!��!� % ��!�� & ��0��0��� &��0��0������ &��0��0���� & 1������ ' (
9��
�� � � ��
�"�� �" ����� >��! �� ���� � =� ,��� �� >��! �� �=��" ���"�� � =� �� � �� �"���"���� �=>��� � � �� � �� �� � =� ���� ��" ������ �� ���"��� � �=>��� � �� � ��� � =� �!!�� ����" ������ �=��" ��>"� � =� �� >��! �� �� !�� � �=��" �����" � =� �� >��! �� �� !�� � �=
��> ��� �=� ��" �! � � ���� �=��" � ��� ����" � ��� ' ��� �� �� � �*6+01�"�"�! � "�!�� ��� �*6+0#��" >��! � ��� �*6+01�"�"�! � ��>"�!� �=� ���"�� ��� "�!�� ��> >��! � ��"� �>>������ �� �"�� � �=*6+0#>>���� ; ���> ��� �>��! �� � �>��! � ��� < �*6+0#>>���� ; ���> ��� �� ��"�� � �>��! � ��� < �*6+0#>>���� ; ���> ��� �� �� � �>��! � �� < �*6+0#>>���� ; ���> ��� �� �>"� � �>��! � ��� < �"�!�� ��� ' *6+0%$ �"�!�� ��� ' *6+0+,. �"�!�� �� ' *6+01)�8/5 �"�!�� ��� ' *6+0+,. ���� ;� ' � � � �' � � �99<
>��! � ��� 9' >��! � ��� �*6+0.�!�0�"�� �" ; � � � ��� ����"� � >��! � � "�!�� � ���>"�!� < �*6+0.�!�0���� �" ; ���>"�!� < �
9��
� "�
� ¢� #� �£ � $����/ � �" �#���� ��/ � � � $ �"��#! . � # � � � �"� �#$ ��"� � �. �8
LB UB
EXTENT
Memory locations specified by datatype
��& !�# " � �# ��� ��! �� � ¢� #� ./ &" �#+%& '(�� �#$ %& '(�� �# %& '(����(���� �� 8
9�#
-
��� � � "
��" !�$ ! � �� " � $����/ � £� � �# ��.�� ���/#&�. � �£ � � #� �# � �� �£ �# ����/"��� $ �# ���� ��# ��$ � �!� �&�# � �"� � 8��� ����� �� & � ����� �� (-. /07������ ���� �� & ����� (���� � �>� � (���� � �� � (� ����� �>� � > (� ����� �� � �!���0��0���!�� ) ��,��� %��!���' (���� �>� � -. /073��6� (���� �� � -. /0�� (-. /0���0��!�� % & ����� & � ����� & ���� & 1����� ' (-. /0���0���� �� % 1����� ' (]L \RNO � R QRTRNV\ ( dL M HGN M\R-. /0���� % �!� & � & ����� & ��� ' (
9��
� �� � � "
� bRN \RNO WNJ GN GKKGd L^ G \V KMHV MKR ( WV W\ WT UL KVGNVVL RN\ MKR V bGV ZP[ GNO V bR S HLTUWQR K bG�R V bR\GTR �G QMR ^L K V bR \ W�R L^ RGHb \V KMHV MKR f ] bR TL\VUL KVG`QR _Gd VL OL V bW\ W\ VL GOO GN -. /0�� VL V bR\V KMHV MKR OR' NWV WL N ^L K V bR RNO L^ V bR \V KMHV MKR f [NV bR UKR� WL M\ R�GTUQR ( V bW\ W\=� ���"�� ��� "�!�� ��> >��! � ��"� �>>������ �� �"�� � �=*6+0#>>���� ; ���> ��� �>��! �� � �>��! � ��� < �*6+0#>>���� ; ���> ��� �� ��"�� � �>��! � ��� < �*6+0#>>���� ; ���> ��� �� �� � �>��! � �� < �*6+0#>>���� ; ���> ��� �� �>"� � �>��! � ��� < �*6+0#>>���� ; ���> ����� � �>��! � ��� < �"�!�� ��� ' *6+0%$ �"�!�� ��� ' *6+0+,. �"�!�� �� ' *6+01)�8/5 �"�!�� ��� ' *6+0+,. �"�!�� ��� ' *6+0�8 ���� ;� ' � � � �' � � �99<
>��! � ��� 9' >��! � ��� �*6+0.�!�0�"�� �" ; � � � ��� ����"� � >��! � � "�!�� � ���>"�!� < �*6+0.�!�0���� �" ; ���>"�!� < �
99�
" � "
�/ ��) �#+ �� �� �#" �$ � � $��� 0 /� & !�#�#� �� �) $��� 8%� #" �$ � � � ��� ��¢
01234567
89101112
1415
1617181920212223
2425262728293031
3233343536373839
13
� �"� �� " #$ 35 0� �� 0�2 �6 0 �#$ �4���� ��� ! "" 3 0 4� 0�� �� 0�3�5 0 �#$ ��5 � ����� ! "" � 0 �! 8 �� !�# $� � ��" �� �%& '(������� �
999
� �" "�
-. /0���0����� % � & � & � & -. /073��6� & 1��� ' (OR' NR\ G `QL HI L^ V bW\ TGV KW� f���� � �>� � ( ����� �� � (���� �>� � ��� ( ���� �� � -. /0�� (� ����� �>� � > ( � ����� �� � ��,��� %��!���' (-. /0���0��!�� % & ����� & � ����� & ���� & 1����+ ' (
OR' NR\ G `QL HI _ bL\R R�VR NV W\ g M\V � RNV KWR\ f
99
-
�� !�
� R \RV V bR O W\ UQGHRTRNV\ ^L K RGHb `QL H I G\ V bRQL HGV WL N L^ V bR ' K\V R QRTRNV WN V bR `QL H If ] bW\ _L KI\`RHGM\R -. /0������� M\R\ V bR R�VRNV\ VL ORVR KT WNRV bR \VGKV L^ RGHb UWRHR VL \R NO f��� ����� �>� � > (��� ����� �� � � (��� ����� �� � (��� ����� �� � � (-. /0������� % �����!� & ������!��� & ��� ����� & ����+ &
����!� & �� ) � & -. /073��6� & > &-. /023--043567 ' (
k �{x x{� r} �w o �w o nso n{ {r{vy p{�nquow n{ zmons qw z{po v ouopmr�
99
��� �� ! "��
� g̀ RHV W�R � eRGKN G`L MV OGVGVd UR\� f � KWVR G UKLJ KGT VL \RNO KL_\ L^ G TGV KW� )\VL KRO
WN HL QMTN&TGg LK ^L KT * VL V bR LV bR K UKL HR\\L K\ feRV UKL HR\\L K � bG�R V bR RNV WKR TGV KW� ( _ bWHb bG\G\ TGNd KL_\ G\ UKL HR\\L K\ fPKL HR\\L K � \R NO\ KL_ W VL UKL HR\\L K WfPKL HR\\L K W KRGO\ V bGV KL_ WNVL G QL HG Q GKKGd V bGVbL QO\ L NQd V bGV KL_ f ] bGV W\ ( UKL HR\\L K � bG\ GTGV KW� � )� � � * _ bWQR V bR LV bR K UKL HR\\L K\ bG�R GKL_ � )� * f)G * � KWVR V bR UKLJ KGT VL bGNO QR V bR HG\R _ bR KR
V bR TGV KW� W\ \� MGKR f)`* � KWVR V bR UKLJ KGT VL bGNO QR G NMT`R K L^
HL QMTN\ KRGO ^ KLT VbR VR KT WNG QfS UKLJ KGTTRK\ TGd \RNO HL QMTN\ L^ G TGV KW�\VL KRO WN KL_ &TGg L K ^L KT W^ V bRd UKR^R Kf[^ dL M bG�R V WTR ( V Kd L NR L^ V bR ^L QQL_ WNJ f [^ dL MOL N �V bG�R V WTR ( V bWNI G`L MV bL_ dL M _L MQOUKLJ KGT VbR\R f
� f � KWVR G UKLJ KGT VL V KGN\ UL\R G TGV KW� ( _ bR KRRGHb UKL HR\\L K bG\ G UGKV L^ V bR TGV KW� f i\RVL UL QLJ WR\ VL OR' NR G �& WTRN\ WL NG Q UGKV WV WL NWNJ
99¤
L^ V bR TGV KW� GH KL\\ V bR UKL HR\\L K\ ( GNO G\\ MTRVbGV G QQ UKL HR\\L K\ bG�R V bR \GTR \ W�R \ M`TGV KW� f)G * i\R -. /0���� GNO -. /05��� VL \RNO V bR `QL H I (
V bR V KGN\ UL\R V bR `QL HIf)`* i\R -. /0������� WN\VRGO f)H * SKRGVR G OGVGVd UR V bGV G QQL_\ dL M VL KRHR W�R
V bR `QL H I G QKRGOd V KG N\ UL\RO f� f � KWVR G UKLJ KGT VL \RNO V bR jJbL\V UL WNV\j L^ G�& WTRN\ WL NG Q TR\ b VL V bR NR WJ b`L KWNJ
UKL HR\\L K\ f � \\ MTR VbGV RGHb UKL HR\\L K bG\ V bR\GTR \ W�R \ M``QL HI f)G * i\R VL UL QLJ WR\ VL ' NO VbR NR WJ b`L K\)`* R' NR G OGVGVd UR ^L K V bR hKL_\j)H * i\R -. /0������� L K -. /0/5��� GNO -. /0����
_ WV b -. /04������ f)O * i\R -. /0/���� GNO -. /0/��� VL \VGKV V bR
HLTTMNWHGV WL N ( OL \LTR HLTUMVGV WL N L N V bRWNVR KWL K( GNO V bRN M\R -. /04����� VL UKL HR\\V bR `L MNOGKWR\ G\ V bRd GKKW�R
] bR \GTR GUUKLGHb _LKI\ ^L K JRNR KG QOGVG\V KMHV MKR\ ( \ MHb G\ MN\V KMHV MKRO TR\ bR\ f
f L � ( `MV ^L K �& WTRN\ WL NG Q TR\ bR\ f �L M _ WQQNRRO -. /0���08����� f
�;; B> ;= =CA CD BC�==C?>
�1 �" " � ! ��!� ��/ $ " �+ # $ �� ��¡ �� �" � ��� ��� � ""�+ ��"" �#+ ��.���� "
%����!����" "� �) ��+�"� &�! ��$!��$ ��� .� �
*�� ��.&� " ���) �$ � �/ �� ����!��#£� ���� �� # �� � !����!����
99�
-
� ���
# �£ � � � �"� � ��#+ ���� � ��.���/ " ��&�$#���� ��/ $� �" ! � �� ���)�� !����!����8 ��" � ��� " �� ��.���/ �� " #$ �#$ � ! �) � ""�+ " � ��� �� ¡#� # �#�/ �� �� ��.���/8%& '(���� (��� � ��(���� � )��,(���� ! "
99�
���
*�� ��.&� " �� $��� � ��� !�# . ����!� $ ��� # �� ��� !����!����" 8*�� ��.&� " �� � £ � #! $ ./ ��� �� �8 � /)� �"�� ! � �� $ �� � %& '(�����(������ 8*�� ��.&� " �� ����!� $ �� � !����!���� �� � %& '(����(��� �#$ � � �� )� �& " �!! "" $./ %& '(����(��� 8k �� ��� ����� ��� ������ ��� ��� � ���� ����� �� � �������� ���� �� �� ��� ��� ��� ���� ������� ������ ��� ��� ���� ��� ����� �� �� �� ������ �� �� ���� � ������ ��� ���� ���� ���¡ /)� � �� � ��� ����
99�
� � �#
1 # % 0 �# ��� ��.&� �" � �� �#� � �£ �/ � �� # 8��& �&"� � ��� !�� "����+ £� � � � ��� ��.&� �� �� �#� �� ���¡ "&� � ��� /� & $�# �� &" � � �$$ � "" �£ � �� !� � )���� .� � 81 # ���� ��# 0 �� �" � " �#+ � '������ 8
99#
��� � � ��
���! �#+ " & #� �� � � � ��� �� #
��#�+ �#+ ��+"
99�
-
�� �� ���� � �>� ��!� �� ���� � �>� ��"> �� ����"�"�� ��" *650-�0����� ' *6+045�#/0+,#/ +1 �=�(
*650-�0����� 9 8����� � �����" �� ���"��� �� ��>� �+�!�" 6�����"��� �
� ���� 9 %��������"�� "� �����" �� ��� �� �� 9 ,����� �� ����! � .��� ���� !�������� ��� � ���>"� ����"�
�" "�� ���� "��� � ���� � ��� �(�=���> *650-�0����� ; ���� � �� <*6+0%��� ���� ���" �� ����" �> � �! ���" � �� �*6+0%��� ��� 0���� �*6+0-"�"� � �"�"�� �=� 7�" "�� !����"� ���������" �� ��� "�� �����"�� �!���"��� � �=�� ;*650-�0����� '' *6+045�#/0+,#/+1 < �
*6+04���� 0����"� ; *6+0,�//0%)6�02, �*6+0,�//015/5.502, ��*650-�0����� � ,�// < �
9�
�� �� � " "
*6+0#""�0��" ; ���� � *650-�0����� � ;���> ��! ; ���� � � ��� 0 ���� < �*6+0#""�0!�" ; ���� � *650-�0����� �
;���> �< ��� 0���� < �
*6+0%���0���� ; ���� � � �> < �*6+0%���0���� ; ���� � ��! < ��� ; �> �' �< �
*6+0$��� ; ,�// � � � *6+0+,. � �>9� � � � ��� 0���� ���"�"�� < �
=� -��> "� "�� ��" !������ �� "�� ����! �� ��� ��
��� "�� ��" !������ �� "�� !�������� ��" �=�� ; ; �> � ��< � �� 9 � �� �> �' �! 9 �< �
*6+0-��> ; ,�// � � � *6+0+,. � �> � � � � � ��� 0���� < �
99
�� �� � " " "=�(
*650-�0��> 9 5�>� � �����" �� ���"��� �� ��>� �+�!�" 6�����"��� �
� ���� 9 %��������"�� "� �����" �� ��� �� �� 9 ,����� �� ����! �(�=���> *650-�0��> ; ���� � �� <*6+0%��� ���� ���" �� ����" �> � �! � � �� �*6+0-"�"� � �"�"�� �*6+0%��� ��� 0���� �*6+0%���0���� ; ���� � � �> < �*6+0%���0���� ; ���� � ��! < �*6+0#""�0��" ; ���� � *650-�0����� � ;���> �
-
�� � ! �
��.� � * ��.���/ !�#�� �#" ��#/ �.� !�"� ��� # $ �� !����!�� �# �/" � ��� �� #�� ¡#� # � �� �� �� 8� ""�+ " . � # � .� !�" �� ¡ �� " ����� ./ &" �#+ $ �� � #� � ""�+ ��+" 8 �� �� � � " ��+" ! ��" #�
�#"�£ �� &" !����� � �� )� �& "
�&"� � ��� !�� ��+ )� �& " �� �� �� '� �&� �� # �" � ���)�� !����!���� �#$ &" �#��� ��.&� �� ¡ � � ��!¡ �£ �)� ��� .� ��+" �#� ��� !����!����8
9¤
�� � ��
��� � �>� ��!� �� ��"�"�� ��" *650.��0����� ' *6+045�#/0+,#/ +1 �=�
6����"� ���"��� "� >� �"� ��"���� �"����� ���� ����������"�� �� ����> ��=
��" *6501� .�� ; ���� � ����� � �""�0�� � �"��0�"�"� <*6+0%��� ����� ���" ������ ����> ��""�0�� � ��"��0�"�" � ������ ; �""�0�� < ���"��� *6+0-�%%5-- �
9�
�� � �� " "
=�(*6507�".��� 9 $�"���� "��� "��" ��� �� ���> ��
���������"��� ��"� ����������"��+�!�" 6�����"��� �
� ����0�� 9 +�!�" ���������"��� �"��� 9 ,����� �� "���
)�"!�" 6�����"��� �� ����0��" 9 )�"!�" ���������"�� � *�� �� �����0�� ��� ����"0"�� 9 2���" "�� ���� �� �(�=��" *6507�".��� ; ����0�� � �"��� � ����0��" � ����"0"�� <*6+0%��� ����0�� � �����0��" ���" �"��� � �����"0"�� ����" �!�0����� ' *6+0-�%%5-- ���" "���� � �"���� ! � ����� � � �� ��� ;*650.��0����� '' *6+045�#/0+,#/+1 < �
*6+04���� 0����"� ; *6+0,�//0%)6�02, � *6501� .�� ��*650.��0����� � ;���> ��! �" ��> ��"�! "�� ����" �� �� �=*6+0%���0>�! ; ����0�� � ����0��" < �����0�� ' �����0��" �*6+0#""�0��" ; *6+0%)**0�)$/1 � *6+0.#70�8 � ����� �
�� �� < �"���� ! ' ;��" �>���� ��� � � "���� ! < ��� ; �"���� ! < ��"��� *6+05$$05��-.51 �"���� ! ' �� ��� �*6+0#""�0!�" ; ����0�� � *650.��0����� � "���� ! < ���"��� *6+0-�%%5-- �
9�
-
�� � �� "�
�����0��" ' ����0�� ��� ;�"���� ! � �"���< �
=� 5���� � ��" �� "��� � #��"��� �� �"��� ��� > �� "� >��� *6+0%���0>�! � �=
��"��� *6+05$$0+,.5$, �
�����"0"�� ' �"���� ! 9 �"��� ��"���� ! ' �����"0" �� ���"��� *6+0-�%%5-- �
9#
�� � �� �
=�(*650$�"���.��� 9 $�"���� "��� � ���"�> ��"� *6507�".��� �+�!�" 6�����"��� �
� ���� 9 %��������" �� "� ��"��� "��� "�� ����"0"�� 9 2���" �� "�� "��� "� ��"���� �"��� 9 ,����� �� "��� "� ��"��� �(�=��" *650$�"���.��� ; ���� � ����"0"�� � �"��� <*6+0%��� ���� ���" ����"0"�� � �"��� ����" �"���� ! � � �� � �!�0����� ��� ;�!�0����� ' *6+0#""�0��" ; ���� � *650.��0����� ��"���� ! � �� �� ��� ��" ���" �� "��� ���������"���=
��"��� *6+05$$0).&5$ �
�� ;�"���� ! '' ����"0"�� <�"���� ! ' ����"0"�� � �"��� �
��"��� *6+0-�%%5-- �
9�
�� � �� � "
=�(*650.���5�> 9 $�"���� "�� !����"� ����� �
(�=��" *650.���5�> ;<�*6+04���� 0���� ; �*650.��0����� < �*650.��0����� ' *6+045�#/0+,#/ +1 �
9�
�
�" %& '(�����('���� '� �� $ � !� � #¡ /)� � �&"� . ! � �� $
�" *�� � � &�# £ ��� %& '(����(��� ��$ � !� � # � !����!���� # $" �� . �#�� �� ��� $
99
-
��� � ! ��
� g̀ RHV W�R � i\R UKW�GVR HLTTMNWHGVL K\ GNO GVV KW`MVR\� KWVR G KL MV WNR VL H WKHM QGVR OGVG VL V bR NR�V UKL HR\\ (M\ WNJ G NL N`QL H IWNJ \RNO GNO KRHR W�R L UR KGV WL Nf���� /� ��0� ��� % ���� '���� /����0� ��� % ���� & �!� �� & ��� & ������� & �!��!� '���� 4���0� ��� % ���� '� Vd UWHG Q M\R W\/� ��0� ��� % -. /023--043567 '�� %��> ( �#� ( ���' *
/����0� ��� % ���� & �!� �� & ��� & ������� & �!��!� ' (7�04�+ % �!� �� & ��� ' (4���0� ��� % ���� ' (� � �!� �� ( �!� �� � �!��!� ( �!��!� � � (?
� bGV bGUURN\ W^ 7�04�+ HG QQ\ ZP[ KL MV WNR\
k �smn }{ y{� uoo} n{ }{ n{ romu � /� �� � ��� �
k �{x mu y{� �w o m �w op$}ouo} n{ {r{vy n{}onopz quo nso uo� n p{ oww � �� qu n� w oo -. / ���� ����mu} -. / 2��� �� ��� �
9
�� @ �� ?A>
k ��� ��� � ����� �� � � ��� �� ��������� ��� ���� � � ����� � �� �� ��� �� � � �� ����� � ��� �� ���� ��� ��� ��� ���� �� � �� ��� �� ���� � �� ���� �� ��� ��� �� � � ����� �� �� ������ ��� ����� �� ���� �k �� �� �� ���� ���� ��� ��� �� �� ��� �� ����� ������ �
9
�� !" �� ��
%& ' ������� ��#$ � £� � #� #.�� !¡�#+!����!�� �� # 0 #���� ��/ £ � $ ./ �1 �#� � "� � � � ��
%& ' �������� �1 $����/ � 8 �� �� �%& '(����(*��� 8
%& ' �� �" �$ � # $ �� ��� �� # 8 �� �� �%& '(��(*��� 8
%& ' ���� %����!����8 �� �� �%& '(���� (*��� 8
%& ' ����� ���&� �£ ��� ! "" " 8 �� �� �%& '(�����(*��� 8
%& ' ��������� �1 ������#$ � �8 �� �� �%& '(���������(*��� 8
9¤
� ��" �� �� � �"#
SL N\ WOR K V bW\ HLOR-. /0���0����� % � & & �� & -. /073��6� & 1���� ' (-. /0���0����� % �, & & ��)�)��,��� %��!���' & ���� &
1���� ' (-. /0���0���� �� % 1���� ' (
)] bW\ H KRGVR\ G OGVGVd UR ^L K L NR ^GHR L^ G �&ORHLTUL\ WV WL N f* � bRN \ bL MQO ���� `R ^ KRRO
9�
-
�� �
ZP[ IRRU\ V KGH I L^ V bR M\R L^ GN ZP[ L g̀ RHV ( GNOL NQd V KMR Qd OR\V KLd\ WV _ bRN NL&L NR W\ M\ WNJ WV f ���� W\ `R WNJ M\RO `d V bR M\R K )V bR -. /0���0����� V bGVH KRGVRO WV * GNO `d V bR -. /07������ ���� V bGV M\R\ WV f[^ ���� W\ NLV NRRORO G^VR K ���� W\ OR' NRO ( WV \ bL MQO`R ^ KRRO �-. /0���0����� % � & & �� & -. /073��6� & 1���� ' (-. /0���0����� % �, & & ��)�)��,��� %��!���' & ���� &
1���� ' (-. /0���0��� % 1���� ' (-. /0���0���� �� % 1���� ' (
9�
�� �� ��
� bd NLV g M\V ^ KRR V bR L g̀ RHV
SL N\ WOR K V bW\ QW`KGKd KL MV WNR �
���� -�+�7������ % �� & � & � & �, & -. /07������ )��� '*-. /07������ ���� (-. /0���0����� % � & & �� & -. /073��6� & 1���� ' (-. /0���0����� % �, & & ��)�)��,��� %��!���' & ���� &
��� ' (-. /0���0��� % 1���� ' (-. /0���0���� �� % ��� ' (?
� WV bL MV V bR -. /0���0��� % 1���� ' ( WV _L MQO `R �R KdG_ I_GKO VL QGVR K ^ KRR ���� _ bRN ��� _G\ ^ KRRO f
9�
�;; B> ;= ?� B
�1 ���) �$ " "�� ��� �" £� � )� �&�� �#+ �� � �£����#! �£ ���� �� � ���+ ���" 8 � " ��
�� �
��� ��#+ �#� �£�!
9#
� � !" �
� ���" $ �� ��! �� ! ¡� � �� . � # ���� �#�" �# �# �1 ���+ ��� !�# . !���&� $&" �#+ %& '(� � � ����� � � � �� "� � � %& '(� � � �! "����� � %& '(� � � �! "�� ��* � ���� ��� � � � � �*-� � � �� � � ! " � )� �& � � &�# $ ./ � " �#+ � !� �� ��%& '(� � � ��" ���� � )� �& 8k ��� ��� �� ��� �� �� �� ��� � ��������%& ' � '%� '� ������ ��� �� �� �� �� �� ���� ����� ��� ��� �� ��� � �"� �� ��� ��� ���� � ��� ����� ���� ��� � �� ��� ������ �� %& ' ��%% ���� �
9�
-
E � QQ KL MV WNR\ bG�R V_L RNV Kd UL WNV\ � -. / ��� GNO.-. / ���f
E ] bW\ TGIR\ WV RG\d VL UKL� WOR G \ WNJ QR QR�R Q L^QL_ &L�R KbRGO KL MV WNR\ VL WNVR KHRUV ZP[ HG QQ\_ WV bL MV GNd \L MKHR HLOR TLO W' HGV WL N\ f
E i\RO VL UKL� WOR hGMVLTGV WHj JRNR KGV WL N L^ V KGHR' QR\ fMPI_Send
PMPI_Send
MPI_Bcast
MPI_SendPMPI_Send
MPI_Send
MPI_Bcast
User Program MPI LibraryProfile Library
�"�"�� ��" ����> ' � ���" *6+0-��> ; �"��" � ����" � >�"�"�!� � >��" � "�� � ���� <�����>�� ���"��� 6*6+0-��> ; �"��" � ����" � >�"�"�!� � >��" � "�� � ���� <
9¤�
�] bR ZP[S WT UQRTRNVGV WL N HL NVG WN\ G UKLJ KGT ^L K_ KWV WNJ xpm opw f] bW\ OR\H KWUV WL N _ WQQ _ KWVR L MV RGHb ZP[ KL MV WNR V bGVW\ HG QQRO f� ����� -. /0�� /670.53= /6/�� !���� -. /0�� /670.53= /6/�� ��� �� ����!�� #��� �� �$ ����!�� "�� � � "**����� ��0����??
**������ ��� ����+??.-. /02���0��+ % -. /023--043567 & 1����+ ' (� ���� % " �;�� ���� ��� **��0����?? �������� ���������� �� ��0���� *6+0+��" *6+02��� ��� *6+0�"�����"����0����0� �� �0���� ��� �����>���� �� ����� "���0��0��� � *6+02��� ���
!���"� ; ���"���0��0���� �� ����� �� �> ��� � < ����� ����"���0�� 0��� �0� �� �0���� �� ��� �
����>��� ���� ��0���� *6+0-��> *6+08���> *6+0+���>�����>�� ��" "�!��������� ��*6+0.�!�0���� ; ��>�"�"�!� � ;*6+0#��" �
-
� " � � �
-�+ � � " � ��� !� #�� �# � ��"���/ �£ ����� �� � !���&��� �� # !�# . ) �/ )� �&�.� �# $ �"��#$ �#+ � ���� �� � ���+ ��� 8 � &�"��� �#$ #&�"��� ���+ ���" 0 ���) �$ $ �#� � �1%� �#$ �1� �� �� � #��� �� #" 0��/ . &" $ �� ) � ��+ � � "
9¤¤
�
��" �" ) �/ �"/ �� � � � �1%��� �� � #��� �� # �£ �1 8 ' ����/ � ���!
��
�� �
��
���
� �# � � ��#¡ ��# £��/� &� ���+ ��� 0 �#$ � ��#¡ /� &� ���+ ��� 8 ��&$� #�� # $ �� � !����� 8 # "�� "/"� �" 0 /� & !�# + � � � � �� �� �#���� �� # ./ &" �#+ �� ��.���� "
���
���
�
� ��
��� 8* �� �#�� �/0 /� & !�# &" �� ��
�� ��
�� �