n a t i onal e n o g r a u sity f o c h i c v m v l k w g q fjzhang/cs621/tutorial4.pdfa = b b ? b '...

39
A R G O N N E N A T I ON A L L A B O R A T O R Y U N I V E R S I T Y O F C H I C A G O

Upload: others

Post on 24-Oct-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

  • ������� � �� � � � ����������� ��� ���� �����

    � ������ � ����A

    RG

    ON

    NE

    NATIONAL LABORA

    TOR

    Y

    UN

    IVERSITY OF CHI

    CAG

    O

    ���� ��� �!" �#$ %���&� � '! � #! (�) �" �� #* �+� ## ,�� �� #� � -�.������/

    * �+� ## 0 1- 23456+ �� ��7�!" 8�#�8+�)

    9

    :;? @

  • ��� � � 

    * �� &" $ �� � #� $��� £� � �!� ��¡ ��A��= BB? B '�� �� ��� �� #" � # $ �� � #�

    $��� 8 * �"� !� �� $ '1�(�� '�� ���+ ��� 0 $ �� � #� $������� (�� � #� ���+ ���" 0 $ �� � #� $���'�( �#$ �1�( �� "" #� �� ��/ � � "�� . !�&" �#/ �1�( !�# . ��$ '�('1�( �" � �"� &�)� � #� 0 .&� �# � � ""���!� �!� � " #" 8�1 �" ��������/ £� � '�(��1�(8 �� �"� # ¢���� �£ � '1�( �#� �£�! 8

    �  � � � ����

    (��� �&"� . ¢!��#+ $ �� � �� � � ��¡ �"

    %��� ��� �) � � �� ���� � " �+ � ��� ��#"£ � $���

    # " �$ $ � �# ��¡ � � �£� ��"� ��#"£ � �£ $���

    � �

    � ""�+ ��"" �#+ �" �# ������!� ���� ��¡ "� � ¢! ��#+ �£ $��� !�� � ��� �) 8(��� �&"� .��� . ¢ ���! �� �/ " #� �#$� ! �) $ 8* # �$)�#��+ �" � ��� �#/ !��#+ �# � � ���� ���� �� � ���/ �" ��$ �� � � � � ! �) � �"���� �! ���� �� # 8

    SEND( data )

    Process 0 Process 1

    RECV( data )

    !� "" �

    # " �$ $ �� ��� �� #" . � # ���� �� ���� ! "" " �#! �&$ � ��� � ���/ � �$" �#$ ��� " 8* # �$)�#��+ �" � ��� $��� !�# . �!! "" $ �� �� &� � �� �#+ £� � �#��� � ��� ! ""

    Process 0 Process 1

    Process 0 Process 1

    (Memory)

    PUT( data )

    (Memory)

    GET( data )

    #

  • �� ��

    ]GIR G UGO L^ UGUR Kf � QJL KWV bT � [ NWV WG QW�R _ WV b V bRNMT`R K L^ NR WJ b`L K\ dL M bG�RE SLTUMVR G�R KGJR L^ dL MK NR WJ b`L K�\ �G QMR\ GNO

    \M`V KGHV ^ KLT dL MK �G QMR f ZGIR V bGV dL MK NR_�G QMR f

    E cRURGV MNV WQ OL NR� MR\V WL N\� f L_ OL dL M JRV �G QMR\ ^ KLT dLMK NR WJ b`L K\

    � f � bWH b \VRU L K WVR KGV WL N OL V bRd HL KKR\ UL NO VL

    L dL M INL_ L dL M HGKR

    � f L_ OL dL M ORH WOR _ bRN dL M GKR OL NR

    �"� " �

    � �� ) �� &" ¢���� ���&"� ��� " � � ���$�� ��$ �" ./ �� $��� �" ¢! ��#+ $���#+ ��¡ �" 8

    (�"� ��.&� $ � ���/ � 8+ 80 ���+�#0 1��'¢ 0 ��¡"��� �� # # ���¡�

    '��� $ � ���/ � 8+ 80 '�1 � �%�� �� #+ 0 % ��/ 5( �

    � �� � � ��/ . &" $ �� � '1�( �� �1�("�£��� ��$ �" 8k � �� � ����� �� � �� �������� �

    9�

    � � !"#

    E � zowwmv o$mww quv rqtpmpy w oqmnq{u% TR\\GJR& UG\\ WNJ TLOR Q% NLV G HLTUWQR K \ URH W' HGV WL N% NLV G \ URH W' H UKLO MHV

    E aL K UGKG QQR Q HLTUMVR K\ ( H QM\VR K\ ( GNO bRVR KLJRNRL M\NRV_LKI\

    E aMQQ&^RGV MKROE R\ WJ NRO VL UR KT WV )MNQRG\ b* V bR OR�R QL UTRNV L^

    UGKG QQR Q \L^V_GKR QW`KGKWR\E R\ WJ NRO VL UKL� WOR GHHR\\ VL GO�GNHRO UGKG QQR Q

    bGKO_GKR ^L K% RNO M\R K\% QW`KGKd _ KWVR K\% VLL Q OR�R QL UR K\

    99

    !� � +� ,�  

    E ZR\\GJR PG\\ WNJ NL_ TGV MKR G\ UKLJ KGTTWNJUGKGO WJT% _R QQ MNOR K\VLLO% R- H WR NV TGVHb VL bGKO_GKR% TGNd GUUQWHGV WL N\

    E .RNOL K \d\VRT\ NLV UL KVG`QRE PL KVG`QR \d\VRT\ GKR TL\V Qd KR\RGKH b UKLg RHV\% WNHLTUQRVR% QGH I �RNOL K \ MUUL KV% NLV GV TL\V R- H WR NV QR�R Q

    9

  • !� �� ��

    aR_ \d\VRT\ L� R K V bR ^ M QQ KGNJR L^ OR\ WKRO ^RGV MKR\ fE TLOMQGKWVd )^L K QW`KGKWR\ *E GHHR\\ VL URGI UR K^L KTGNHRE UL KVG`WQWVdE bRVR KLJRNR WVdE \ M`J KL MU\E VL UL QLJ WR\E UR K^L KTGNHR TRG\ MKRTRNV VLL Q\

    9

    �� !" ���

    E FRJGN GV � WQQWGT\`MKJ � L KI\ bL U WN � UKWQ( ����

    E � KJGNW�RO GV Y MUR KHLTUMV WNJ ��� )�L�RT`R K*E aL QQL_RO Pa ^L KTGV GNO UKL HR\\E ZRV R�R Kd \ W� _RRI\ ^L K V_L OGd\E ��VRN\ W�R ( L URN RTGWQ O W\HM\\ WL N\E KG^V\ ( KRGO WNJ\ ( �LVR\E PKR&' NG Q O KG^V O W\V KW`MVRO GV Y MUR KHLTUMV WNJ ���

    E ]_L&TLNVb UM`QWH HLTTRNV UR KWL OE aWNG Q �R K\ WL N L^ O KG^V WN ZGd( ���

    E � WOR Qd G�G WQG `QR NL_ LN VbR � R` ( ^V U \ WVR\ ( NRV QW`)��� ����� ���� ���� ������� ������� ���� *

    E PM`QWH WT UQRTRNVGV WL N\ G�G WQG` QRE .RNOL K WT UQRTRNVGV WL N\ HLT WNJ \LL N

    � ,�  " !"#

    E FKLGO UGKV WH WUGV WL NE .RNOL K\% [ FZ ( [ NVR Q( ]ZS ( ZRWIL ( SKGd( SL N�R� ( �HM`R

    E eW`KGKd _ KWVR K\% P.Z ( U ( � WUHLOR ( ] SXZYX ( SbGTR QRL N (

    �� UKR\\ ( eWNOGE � UUQWHGV WL N \ URH WG QW\V\ GNO HL N\MQVGNV\

    � !"#$%&' (#) *#+ *%&' ,$%-&*' %+ %&'. /�0 .1( ,� 2#$+# 3#*)#*#� $-&4 567 28*#9:'& ,�*#8 /&' (.1( 6%9;% =$'+=$+& ? 10.. , @ 1&A 6&4 %9 B.= 12C 6%'' D 2+#+& , D6&%E 0 /1( , @ 2 :+;#!"+ $1.5 F1( , @ � ? *#> $�,3G 2#$> %# H# ?& ,F#*#2 @+ 272� , @ I&$$&''&&2;& ?? 2 /� , @ 6#*8 ?#$>I6� J&'+& *$ 6%9; ,

    , @ G> %$):*

  • K� � !" �� ��

    E � UUQWHGV WL N&L KWR NVRO UKL HR\\ VL UL QLJ WR\% FMWQV& WN \ MUUL KV ^L K J KWO\ GNO J KGUb\ )M\R\J KL MU\ *

    E PKL' QWNJ% LL I\ G QQL_ M\R K\ VL WNVR KHR UV ZP[ HG QQ\ VLWN\VG QQ V bR WK L_ N VLL Q\

    E �N� WKL NTRNVG Q% WN�MWKd% R KKL K HL NV KL Q

    9�

    K� !"

    E �L N&TR\\GJR& UG\\ WNJ HL NHRUV\ NLV WNH QMORO �% UKL HR\\ TGNGJRTRNV% KRTLVR TRTLKd V KGN\^R K\% GHV W�R TR\\GJR\% V bKRGO\% � WKV MG Q \ bGKRO TRTLKd

    E ZP[ OL R\ NLV GOO KR\\ V bR\R W\\ MR\ ( `MV bG\ V KWRO VLKRTG WN HLTUGV W` QR _ WV b V bR\R WORG\ )R fJ f V bKRGO\G^RVd G\ G JLG Q( WNVR KHLTTMNWHGVL K\ *

    9#

    "� !" �  �#

    E ZP[ W\ QGKJR )��� ^ MNHV WL N\ *% ZP[ �\ R�VR N\ W�R ^ MNHV WL NG QWVd KR� MWKR\ TGNd

    ^ MNHV WL N\% �MT`R K L^ ^ MNHV WL N\ NLV NRHR\\GKWQd G TRG\MKR

    L^ HLTUQR� WVdE ZP[ W\ \TG QQ )� ^ MNHV WL N\ *% ZGNd UGKG QQR Q UKLJ KGT\ HGN `R _ KWVVR N _ WV b g M\V

    � `G\ WH ^ MNHV WL N\ fE ZP[ W\ g M\V KWJ bV% � NR HGN GHHR\\ � R� W`WQWVd _ bRN WV W\ KR� MWKRO f% � NR NRRO NLV TG\VR K G QQ UGKV\ L^ ZP[ VL M\R WV f

    9�

    � � !"#

    �� & # $ � �����.� ���� �� � ���+ ���

    �� & �� ��� �#+ � ���� �� � ��.���/ �� & ��) ��� + &��� � � $/ #�� �! $���

    � ��� �� #"���" � ��� $� #�� �� � $������� �� � ��$ �

    � � � �� � �� &" �1

    �� & !�# &" �� �� � ���� �� � ���� ��# 63

    �� & $� # �� # $ ���� �� ��"� �� � ��

    �� & !�# &" ��.���� " � ��! � ��/ . ���� # �# �1�

  • �� !"#

    ����.�

    �¢ �� "" �)

    ���$ �/ �� � ��# �.� &� "&.� � �"" & " �#���� �� � !���&� �#+

    9

    �?AA CD >A=A?

    E � KWV WNJ ZP[ UKLJ KGT\E SLTUWQWNJ GNO QWNIWNJE cMNNWNJ ZP[ UKLJ KGT\E ZLKR WN^L KTGV WL N

    � �w quv l�� `d � WQQWGT XKL UU ( �_ WNJ eM\ I (GNO � NVbL Nd Y Ig R QQMT (

    � ] bR e�Z HLTUGNWL N VL hi\ WNJ ZP[ fffj `d�O� W\ QG_ ZRJ QWH IW

    � �ow qv uquv mu} �� qr} quv �mpmrro r � p{v pmzw `d[GN aL\VR Kf

    � � ]MVL KWG Q�i\R K�\ XMWOR ^L K ZP[ `d PRVR KPGHbRHL)^V U ���TGVbfM\^HG fRO M�UM`�ZP[�TUWfJ MWOR fU\ *

    � ] bR ZP[ \VGNOGKO GNO LV bR K WN^L KTGV WL N W\G�G WQG`QR GV ��� ����� �� �� ���� ������� � f � Q\LV bR \L MKHR ^L K \R�R KG Q WT UQRTRNVGV WL N\ f

      !"   �

    � ���� ��� �� � � ���� ����� ���

    �� � �� � ���� � ��� !

    �� ��� � "���� ##��� "$%& '('� � � )��� � � )��� ! "�� ��* � �+�

    � ,���-� � ! "%& '(. ��/� �! "������ 0 "1

    � ���� ��� �� � ���) �$ " .�" �! �1$ � #�� �� #" �#$ �/ � "

    %& '('� � "����" �1

    %& '(. ��/� ¢ ��" �1

    ,�� ���� � �� #� #�1 �� &� �# " �� �� !� �2� �&" � � �� ��* � � # �!� ��� ! ""

    ¤

  •   " � 

    ��� " ���� ���+ ���" 0 " � ! �� � !����� �!����#$" !�# . &" $ 8 ��� ���+ ���� !�" 0�� �" . "� �� &" � "��#$��$ ��¡ � � 8 � �1%� �� �� � #��� �� # ���) �$ "� � !����#$" �� �� �#$ �� *���" �� �" �%���*

    � � ¢���� " �#��� ��������� ���������%���*

    � �� �

    �� � �"�

    ] bR HLTTGNO\�� ��� �� � ��� � ��� ���� ��

    �� � ���� � ���� ��TGd `R M\RO VL `MWQO \ WTUQR UKLJ KGT\ _ bRN M\ WNJZP[S f] bR\R UKL� WOR \ URH WG Q L UV WL N\ V bGV R� UQL WV V bR UKL' QWNJ^RGV MKR\ L^ ZP[!  XRNR KGVR QLJ ' QR\ L^ ZP[ HG QQ\!� ]KGHR R�RHMV WL N L^ ZP[ HG QQ\! cRG Q&V WTR GNWTGV WL N L^ ZP[ )NLV G�G WQG` QR

    L N G QQ \d\VRT\ *

    ] bR KR GKR \ URH W' H VL V bR ZP[S WTUQRTRNVGV WL N �LVbR K WTUQRTRNVGV WL N\ TGd UKL� WOR \ WT WQGK HLTTGNO\)R fJ f( ���� GNO ����� L N [FZ YP� * f

    ��   !� �

    � � � �%���*

    � �� � �" � ���� �� �� ��¡ � � 8 � ���+ ��� �"! ���� � ��� �����* � � � ��#" ��� "� ��" �� � ��¡ � � £� � � ���� �! &��� "/"� � 8 ��" � ��� " /�& �� &" � � "�� ��¡ � � £� �� # ���¡ �£ ��¡"��� �� #" �#$ � ��"" �) �/���� �� � !���&� �0 ) # � # � � / &" $ �� � #� !����� �" 0 ��.���� " 0 �#$ ��#¡ �� �� �� #" 8�� �����*� %���*

    �,�� ���� /�& �&"� ��) ��� �����*� � �#/� &� &��+ 8

    � !� �

    ����� ���� ���������� � �!"���� �����

    #$%& ' (#$%&(%)** ' (%)**(+,-.#//01 +$ ' (+,-.#//01 +$(%% ' (%%(233 ' (233(%/+,45$ ' (%/+,45$(2/+,45$ ' (2/+,45$()6.2/#7- ' ()6.2/#7-(�/+806#.& ' 9/: ;+,-.#//01 +$

  • � !� � �� ��

    %2/#7- ' (%2/#7-( : ;)6.2/#7-< : ;+,%/�1501 +$ < 91*6+0: ;#$%& <22/#7- ' (22/#7-( : ;+,%/�1501 +$ < : ;)6.2/#7-</+8- ' : ;/+806#.& < : ;/+80/+-. <2/+8- ' : ;2/+806#.& < : ;/+80/+-. <5�5%- ' �� �>���� " � �� �� � : ;5�5%-<�� � � �� � �� : ;+,-.#//01 +$ �=�!� ��

    : ;%/+,45$ < : ;)6.2/#7-< 9� �� � �� � �� �: ;/+806#.& < : ;/+80/ +-.< 9 �

    � ��� �=���=�� 9� � �� �� 6+� : ;5�5%-<

    �� �� �: ;%%< : ;%2/#7-< 9� :� ��

    �� �� �: ;233< : ;22/#7-< 9� :� ��

      !"   �

    �� ��� �� � ��

    ���� ��� � �" #�� ���� �£ � � "��#$��$ 0 .&�"�� ) �" �� # �£ �� �" !����# �� � " ) �� ��1 ���� � #��� �� #" 8 � ) �" �� # "�� #� � �" £�� � � �1%� �� �� � #��� �� # �£�1 8k ��� � �� ������ �� �� �� � �� ����� ���

    ������ ���� ���� ��� � ������ � ��� �� �� �� ��� ����� ��� ��� ���� ���� ��� � �������k ��� �� ���� � ����� ��� �������� ��� ��� ��� ����� �� ����� � ��� ��� �� � �� �� ����� ��� ��� �� ��� � ����� ���� ���� �� ������ ��� � ��� �� ���� ��� ����� � �� �� ������� �� ��� �

    K "   � � �

    � �£ � � � �"� & "� �� #" �" ¡ $ �# � ���� �� ����+ ��� �� �� ��#/ ���! "" " �� � � � ��#$ � �� �� 1��� ��#/ �" �#" � $ �� � %& '(���� (�/��#$ �� �� 1 �" �#" � $ �� � %& '(���� (���� 8 � ��#¡ �" � #&�. � . � # � �� �#$�/� � 8

    9

    � �  

    ����!�� "�� � � " ����!�� #��� �� �$

    ��� � ��� % ��� & ��� '��� ��� (�� ))��� (*��� ��+ & ��,� (-. /0/� �� % 1��� & 1��� ' (-. /02���0��+ % -. /023--043567 & 1��+ ' (-. /02���0��,� % -. /023--043567 & 1��,� ' (� ���� % "8���� ���� 9 / :� ;� �� ;�

  • ��

    k ����� ���� �� ���� ���� �� �� ���� ��� ��� � ��� �� �� � ��� ���� �� ����� ��� ��� � � ����� ������ ��� �� ������� �� � � �� ���� ��� ��� � ���� ��� ���� �� �� ��� ���� � ��� ������ ����� � ��� �� ������ �� �� ��� � �

    ��� � ! �   �"

    .� !� �) - ��# �� �� ��+ �# 0 ��� 0!����� 0 �#$ � � " ���� �1 ���+ ��� 8� �� �� ��� ���$� ���+ ���" 8 �/ ��$ �� � #� ���� �� � !���&� �" 8 � ��� $� " � � � &��&� ��� ¡ ��¡ �

    ¤

    ?D CD D �?? C� CD �?>>?>

    Process 0 Process 1

    A:

    B:

    Send Recv

    & "� �� #"

    � ��� �" $��� " #��

    � ��� �" " #��

    �� $� " � � � ! �) � �$ #� �£/ ���

    !�� !��  

    E � Vd UWHG Q ` QL HIWNJ \RNO QLL I\ QWIR���� % ���� & ��� & ������ & ����� '

    _ bR KR% ���� W\ GN WNVRJR K WOR NV W' R K KRUKR\R NV WNJ V bRUKL HR\\ VL KRHR W�R V bR TR\\GJR f% ��� W\ G NL NNRJGV W�R WNVRJR K V bGV V bROR\V WNGV WL N HGN M\R VL \R QRHV W�R Qd \H KRRN

    TR\\GJR\ f% )������ & ����� * OR\H KW`R\ G HL NV WJ ML M\ GKRG WN

    TRTLKd HL NVG WNWNJ V bR TR\\GJR VL `R \RNV fGNO

    E � Vd UWHG Q J QL `G Q L UR KGV WL N QLL I\ QWIR ��������� % ��� & ������ & ����� '

    E � QQ L^ V bR\R \ URH W' HGV WL N\ GKR G JLLO TGVHb VLbGKO_GKR ( RG\d VL MNOR K\VGNO ( `MV VLL WN� R� W` QR f

  • �� ��

    YRNO WNJ GNO KRHR W� WNJ L NQd G HL NV WJ ML M\ GKKGd L^`dVR\ �E bWOR\ V bR KRG Q OGVG \V KMHV MKR ^ KLT bGKO_GKR _ bWH b

    T WJbV `R G`QR VL bGNO QR WV O WKRHV QdE KR�MWKR\ UKR& UGHIWNJ O W\ UR K\RO OGVG% KL_ \ L^ G TGV KW� \VL KRO HL QMTN_ W\R% JRNR KG Q HL QQRHV WL N\ L^ \V KMHV MKR\

    E UKR�RNV\ HLTTMNWHGV WL N\ `RV_RRN TGHbWNR\ _ WV bO W� R KR NV KR UKR\RNVGV WL N\ )R�RN QR NJV b\ * ^L K \GTROGVG Vd UR

    � �   � �� ,��

    E Y URH W' RO WN ZP[ `d w nmpnquv m}}poww ( }mnmny o ( GNO{�un ( _ bR KR OGVGVd UR W\ �% R QRTRNVGKd )G QQ S GNO aLKV KGN OGVGVd UR\ *% HL NV WJ ML M\ GKKGd L^ OGVGVd UR\% \V KWORO `QL HI\ L^ OGVGVd UR\% WNOR�RO GKKGd L^ ` QL HI\ L^ OGVGVd UR\% JRNR KG Q \V KMHV MKR

    E GVGVd UR\ GKR HL N\V KMHVRO KRHMK\ W�R QdfE Y URH W' HGV WL N\ L^ R QRTRNVGKd OGVGVd UR\ G QQL_\

    bRVR KLJRNRL M\ HLTTMNWHGV WL NfE � QWT WNGV WL N L^ QR NJV b WN ^G�L K L^ HL MNV W\ H QRGKR KfE Y URH W^d WNJ GUUQWHGV WL N&L KWRNVRO QGdL MV L^ OGVG

    G QQL_\ TG� WTG Q M\R L^ \ URH WG Q bGKO_GKR f

    #

    � �   � ��

    E � \ WNJ QR Vd UR ' R QO W\ VLL HL N\V KG WNWNJ f � ^VRNL�R KQLGORO VL UKL� WOR NRRORO � R� W` WQWVdf

    E PKL `QRT\ �% MNOR K M\R K HL NV KL Q% _ WQO HGKO\ G QQL_RO )-. /0���0��� *% QW`KGKd M\R HL N� WHV\ _ WV b M\R K GNO _ WV b LV bR KQW`KGKWR\

    �   �   ��� �

    �!� GNO �!� GKR ^ KLT O W� R KRNV QW`KGKWR\ f�!� %' (�!� %' (�!� � GNO �!� � GKR ^ KLT V bR \GTR QW`KGKd�!� � %' (�!� %' (�!� � %' (

    ] bGNI\ VL ZGKH Y NWK ^L K V bR ^L QQL_ WNJ ^L MK R�GTUQR\

    ¤�

  • � ��� � � �� �

    Process 0 Process 1 Process 2

    recv(any) send(1)

    recv(any) send(0)

    recv(1) send(0)

    recv(2) send(1)

    send(2) recv(0)

    Sub1

    Sub2

    ¤9

    "�� ��� � � �� �

    Process 0 Process 1 Process 2

    recv(any) send(1)

    recv(any) send(0)

    recv(1) send(0)

    recv(2) send(1)

    send(2) recv(0)

    Sub1

    Sub2

    ¤

    � ��� � ��� � � � "  � �

    Process 0 Process 1 Process 2

    recv(any) send(1)

    send(0)

    send(0)

    recv(0)

    recv(any)

    send(1)

    send(2) recv(1)

    recv(2)

    Sub1a

    Sub2

    Sub1b

    ¤

    "�� ��� � � �� � � � "  �

    Process 0 Process 1 Process 2

    recv(any) send(1)

    send(0)

    send(0)

    recv(0)

    recv(any)

    send(1)

    send(2) recv(1)

    recv(2)

    Sub1a

    Sub2

    Sub1b

    ¤¤

  • � � � �

    E � \RUGKGVR HLTTMNWHGV WL N {u no� n ^L K RGHb ^GT WQdL^ TR\\GJR\ ( M\RO ^L K �MRMR WNJ GNO TGVHbWNJ f)] bW\ bG\ L^VR N `RRN \ WT MQGVRO WN V bR UG\V `dL�R KQLGO WNJ V bR VGJ ' R QO f*

    E �L _ WQO HGKO\ G QQL_RO ( ^L K \RH MKWVdE � QQL HGVRO `d V bR \d\VRT ( ^L K \RH MKWVdE ]d UR\ )nmvw ( WN ZP[* KRVG WNRO ^L K NL KTG Q M\R )_ WQO

    HGKO\ �� *

    ¤�

    ,   �� � �

    E YRUGKGVR J KL MU\ L^ UKL HR\\R\ _LKIWNJ L N\ M`UKL `QRT\% ZRKJ WNJ L^ UKL HR\\ NGTR \ UGHR WNVR K^R KR\ _ WV bTLOMQGKWVd% heLHG Qj UKL HR\\ WOR NV W' R K\ OR\ WKG` QR

    E PGKG QQR Q WN�LHGV WL N L^ UGKG QQR Q QW`KGKWR\% ZR\\GJR\ ^ KLT GUUQWHGV WL N TM\V `R IRUV\RUGKGVR ^ KLT TR\\GJR\ WNVR KNG Q VL QW`KGKdf% �NL_ QROJR L^ QW`KGKd TR\\GJR Vd UR\ WNVR K^R KR\_ WV b TLOMQGKWVdf% Yd NHbKL NW� WNJ `R^L KR GNO G^VR K QW`KGKd HG QQ\ W\MNOR\ WKG` QR f

    ¤�

    � �   � ��� ""

    E SL QQRHV W�R L UR KGV WL N\ Vd UWHG QQd L UR KGVRO L N G QQUKL HR\\R\ )G QV bL MJ b \LTR \d\VRT\ UKL� WOR\ M`J KL MU\ * f

    E ] bW\ W\ VLL KR\V KWHV W�R )R fJ f( NRRO T WNWT MT L�R K GHL QMTN LK G \ MT GH KL\\ G KL_ ( L^ UKL HR\\R\ *

    E ZP[ UKL� WOR\ v p{�w L^ UKL HR\\R\% WN WV WG Q hG QQj J KL MU% J KL MU TGNGJRTRNV KL MV WNR\ )`MWQO ( OR QRVRJ KL MU\ *

    E � QQ HLTTMNWHGV WL N )NLV g M\V HL QQRHV W�R L UR KGV WL N\ *VG IR\ U QGHR WN J KL MU\ f

    E � J KL MU GNO G HL NVR�V GKR HLT`WNRO WN G{zz �uqm n{pfE YL MKHR�OR\V WNGV WL N WN \R NO� KRHR W�R L UR KGV WL N\ KR^R K

    VL pmu WN J KL MU G\\L H WGVRO _ WV b G J W�RNHLTTMNWHGVL Kf -. /0���0�3�52� UR KT WVVRO WN GKRHR W�R f

    ¤�

    !" �� � �"�� �

    ] bM\ V bR `G\ WH )`QL H IWNJ * \RNO bG\ `RHLTR �-. /0���� % ���� & ��!�� & ������� & ���� & ��� &

    ���� 'GNO V bR KRHR W�R �

    -. /05��� %���� & ��!�� & ������� & ��!�� & ��� &���� & ����!�'

    ] bR \L MKHR ( VGJ ( GNO HL MNV L^ V bR TR\\GJR GHV MG QQdKRHR W�RO HGN `R KRV KWR�RO ^ KLT ����!� f]_L \ WT UQR HL QQRHV W�R L UR KGV WL N\ �

    -. /0����� %���� & ��!�� & ������� & ��� & ���� '-. /05��!�� %���� & ��!�� & ��!�� & ������� &

    ����� ��� & ��� & ���� '

    ¤#

  • �   � � �� 

    -. /0����! � ����! � (-. /05��� % ���& 1����!� ' (��� ����!� �-./0��� (��� ����!� �-./0�3�52� (-. /0���0��!�� % 1����!� & ������� & 1��!�� ' (-. /0��� GNO -. /0�3�52� UKWTGKWQd L^ M\R _ bRN-. /0���0��� GNO�L K -. /0���0�3�52� WN V bR KRHR W�R f-. /0���0��!�� TGd `R M\RO VL ORVR KT WNR bL_ TMHbOGVG L^ G UGKV WHM QGK Vd UR _G\ KRHR W�RO f

    ¤�

    � K �

    !������ ������ � �>� ��!�� �� ���"���� ���� � ���� � "� � ���� � "�� � ����" � � � ������"���� ��� � >��"��"���� �"0���� �� � �"0"�� � �"0����"��"���� �"�"�� ;*6 +0-.#.�-0-+�5<>��� � !�������� >�"� ;��� <�� *6+0+, +. ; ���� <�� *6+0%)**0$#,4 ; *6+0%)**0�)$/1 � ���� � ���� <�� *6+0%)**0- +�5 ; *6+0%)**0�)$/1 � ���� � ���� <!���" � � �6������ �� ���� � � �� �� ���� � � �� � ��� �>��" ' ���� 9 ���� ' �

    %�� ;���� �� � ���< "���

    "� ' >��"����" ' ��"�� ' ���>� �� �'� � ��

    �� >�"� ;�< ' ��� *6+0-5,1 ; >�"� � ����" � *6+01)�8/506$5% +-+), � "� �

    � "�� � *6+0%)**0�)$/1 � ���� <� �� �� ;���� �� � >��" < "���

    "�� ' *6+0#,�0.#7����" ' ������ ' *6+0#,�0-)�$%5�� *6+0$5% ;>�"� � ����" � *6+01)�8/506$5%+-+), � ���� �

    � "�� � *6+0%)**0�)$/1 � �"�"�� � ���� <

    ��

    � K � �� ��

    �� *6+075.0%)�,. ; �"�"�� � *6+01)�8/506$5% +-+), �� �"0����" � ���� <

    �"0������ ' �"�"�� ;*6+0-)�$%5<�"0"�� ' �"�"�� ;*6+0.#7 <

    %!���" � � �-"�"�� ���� � ������ ' �� �"0������ �

    � � "�� ' �� �"0"�� � � ����" ' �� �"0����"!���" � � ���� � � �������> �� ;>�"� ;�< ��' � ��� <

    ��>���� *6+02+,#/+�5 ; ���� <��>

    �9

    � � K� !"

    �1 �" ) �/ " ���� 8 � " " �¢ £ !� �� #" � ���/�& �� ��� ��#/ ���+ ���" �� �DCA�� � CD BC�?�� :;�� > C�?�� :;�� = D�� ?D�� �?�

  • � � � �  � �

    � £� ��� �#+ ¢���� " " �� � % �#$���� ��# ) �" �� # �£ � � "�� ���+ ��� 8 ��" ���+ ��� !���&� " 1 � �� � � ) �/" ���� � � ��$ � .&� $� " #�� &" %& '(�����#$ %& '(��� 8 1 #"� �$ 0 �� &" " ������ ����� � ��� �� #" �� " #$ $��� �� �#$ £ ��� � �� �£� � �#�#+ ��� ! "" " 8 ��" + �) " � � ������ �" �¢£ !� �� # �1 " � �� �DCA�� � CD BC�?�� :;�� > C�?�� :;�� = D�� >A�� �?�<>��� � !�������� ��!� � !� � � � ��� � � � � ���"���� � � ���> � ���!���� � � � ��

    � ��� �"��� "� ��"����"�� ;�< ' � �>� = ;� �>� � ���<�� *6+0+, +. ; ���� <�� *6+0%)**0$#,4 ; *6+0%)**0�)$/1 � ���> � ���� <�� *6+0%)**0- +�5 ; *6+0%)**0�)$/1 � ���!���� � ���� <

    �� �� ; ���> �� � � < "������"� ; �� <

    � �����" ;�5�"�� "�� ������ �� ��"���� � � ;� ��"�< �<���> ;� �< �

    �����" ;��� <��>���� *6+08%#-. ;� �� �*6 +0+,.575$ �� �*6+0%)**0�)$/1 ����� <

    ��

    K � �� ��

    � ����� ��� ��" ����� �� ; � � � � � < ��"� ��

    � �� �� �"� "�� ��"���� ����� ' � ��>�=���� ' � ��>�>� � � ' ���>�� � � � ���!����

    ' � � ;>� � ;�< 9 � ��>�<��� ' ��� � � ;<

    � ���"������!� ' � � ���

    � �� ��" � "�� !��"�� ��� ��� *6+0$51�%5 ;��!� �! � �� �*6 +01)�8/506$5% +-+), �*6 +0-�* �� �

    : *6+0%)**0�)$/1 ����� <� ��>� � !���"� "�� ������ �

    �� ;���> �� � �< "������"� ; � 3< !� � ��� ;!� 9 6+�1.<

    3 �����" ; � !� �� �!!�����"� � � �� 2�� �� �� � 5���� �� � �� 2�� ��<��>����"� ��

    �� �� *6+02+,#/ +�5 ;��<�"�!��>

    ��

  • � � "

    ��� � �>� ��!� �� ���� � �>� ���"� �����" ���� ;���� ����� <��" ���� ����� ����� �� ��

    ��" >��� ' � � � � ���> � ���!���� � � � �� �>��� � 6+�1. ' � �����

    ����3����

    �� �>��� � ��!� � !� � � � ��� � � � �*6+0+��" ;���� � ������ < �*6+0%���0���� ;*6+0%)**0�)$/1 �����!����< �*6+0%���0���� ;*6+0%)**0�)$/1 �����>< �

    ��

    � �� ��

    ��� � ; �>��� '' �< �

    !���"� ;�5�"�� "�� ������ �� ��"���� � � ;� ��"�< �< ������ ;��> � ��� < �

    *6+08 ���" ;�� � � � *6+0+,. � � � *6+0%)**0�)$/1 < ��� ;� '' �< ����� �� ' � �� = ;>��� �< � ���� ' � �� ���� ;� ' ���> � � � � �' � � � �' ���!����< �

    ' � � ;;>��� �� �� ;���! � � �!� � � � *6+01)�8/5 � *6+0-�* � � �

    *6+0%)**0�)$/1 < ��� ;���> '' �<

    !���"� ;�! � �� �!!�����"� � � ��� � 5���� �� � ����� � �!� � ���� ;!� 9 6+�1.

  • �;�; B; C?>

    �1 ���) �$ " �� &� �# " �� ���) �$ "� �&!� &� ��!� �� !� �� #" �£ ��� ! "" " ��" � ��" �� �#" � � � & "� �� # � �; =? �� D? C��;=>�

    �9

    � �   �

    * %��� " ��# �� �� ��+/ �" � � "��¢���� �£ 5 � 4 %��� " �� # � "� �� � ���� "�� �#� �#+ �� � � ���� � # �+ �.��"

    (0,0) (1,0) (2,0) (3,0)

    (0,1) (1,1) (2,1) (3,1)

    (0,2) (1,2) (2,2) (3,2)

    ,  � �  �

    ] bR KL MV WNR -. /02��0����� H KRGVR\ G SGKVR\ WGNORHLTUL\ WV WL N L^ V bR UKL HR\\R\ ( _ WV b V bR NMT`R K L^O WTRN\ WL N\ J W�RN `d V bR �� �� GKJMTRNV f

    � �� � %' � �� �� � %' � �� ���� %' � ������ ��� ���� %' � ������ ����� � ��!� ��� �� �

    ���� -. /02�5�025���� % -. /023--043567 & �� �� & � �� � &

    �� ���� & ���� & ����� & �� '

    K "    ���

    -. /02��0����� H KRGVR\ G NR_ {zz �uqmn{p _ WV b V bR\GTR UKL HR\\R\ G\ V bR WNUMV HLTTMNWHGVL K( `MV _ WV bV bR \ URH W' RO VL UL QLJdf] bR �MR\V WL N ( � bL GKR Td NR WJ b`L K\ ( HGN NL_ `RGN\_R KRO _ WV b -. /02��0� ��� ����� -. /02�5�0�8 /=� % ����� & > & &

    ������ & �� ��� & �� '���� -. /02�5�0�8 /=� % ����� & & &

    �������� & ����� & �� '

    ] bR �G QMR\ KRV MKNRO GKR V bR KGNI\ ( WN V bRHLTTMNWHGVL K ���� � ( L^ V bR NR WJ b`L K\ \ bW^VRO `d � �WN V bR V_L O WTRN\ WL N\ f

    �¤

  • � "#

    %�# . �#" � $ �� ������� ����� %'���� -. /023--05��� % ���� � & ���+ & �� '���� -. /02�5�023357� % ���� � & ���+ & &

    ����� & �� '

    cRVMKN\ V bR SGKVR\ WGN HLL KO WNGVR\ L^ V bR HG QQWNJUKL HR\\ WN ����� f

    ��

     

    � bRN H KRGV WNJ G SGKVR\ WGN VL UL QLJd( L NR � MR\V WL N W\h� bGV W\ G JLLO HbL WHR ^L K V bR ORHLTUL\ WV WL N L^ V bRUKL HR\\L K\j] bW\ � MR\V WL N HGN `R GN\_R KRO _ WV b -. /07 �� �0����� �

    ������ � �� � %'� �� � %' � >� �� � %' � >���� -. /023--0�/�� % -. /023--043567 & ��,� & �� '���� -. /07 /-�025���� % ��,� & & � �� � & �� '

    ��

    � �  � �

    �1 !�#�� �#" �� &� �# " �� � ��#" ��� . � #%��� " �� # !���$ �#�� " �#$ ��#¡" �# �!����!����0 �#$ �� �!! "" � � ��� � �� � "�£ � %��� " �� # �� �� ��+/8 � �� &� �# %& '(�����(������ � ���" � � ! � �� �� # �£ � + # �� � + ���� �� �� ��+/8

    ��

    �� �� � !"#

    1 # ��#/ ���� �� � !���&� � �#� �!� ## !�" 0"�� ���! ""��" �� ! ��" � �� � ��#��� �" 8 � " �� &� �# " � ��� �� �1���� � #��� �� # �� ���) �$ �# ��$ ��#+ �£��� ! "" " �# � �� �� ��+/ � ��� ��¡ " ��+ �!� �# �+ �.��" ! ��" �# � � ��/" �!� � �#� �!� ## !� 8k ��� � ���� ��� � ���� ���� ��� ��� ��� �������� ������� ��� ��� ����� ��� � ��� � �� ����� �� � ��� ����� �� � � ��� �� ��� ��������� � ��� ������ �� ���� � ��� �� � � � ��������� � ���� ��� ��� ���� �� �� � ������ ��� ��������� �� � ���� � ��� ������ �� �� ������ �� �� �� ����� � � ���� ��������� ��� ������ �� � ��� ��� � � ����� �������� ������� ���� ���� �� ���� ���� � � ��������� ����� ����� � ��� ������� ��� �� �� � ���� �� �� ������ � ��� ��� � �������� �

    �#

  • �� "�  

    � �� �� �/ # �+ �.��" �£ 1 �� �� � � $+ �£� %��� " �� # � "��

    ?

    ��

    " � � "�

    Y URH W^d V bW\ WN -. /02��0����� _ WV b� �� � %' � �� �� � %' � �� ���� %' � ��5�� ��� ���� %' � ��5�� ����� � ��!� ��� �� �

    ���� -. /02�5�025���� % -. /023--043567 & �� �� & � �� � &

    �� ���� & ���� & ����� & �� '

    ��

    +" � � "�

    1 # � � #� #� ���$ �! !�" 0 � # �+ �.�� ��/#�� ¢ �"� 8 ��" �" �#$ �!�� $ ./ � ��#¡ �£%& '(&���(���� 8 ��" ��#¡ ��� �� �� �� �# " #$ �#$ � ! �) !� ��" �# �1 8 � �!� �� # �# .�� � !�" " �" �" �£� � !� �� �" #�� ��$ 8

    �9

    :; BB?A C�? :;�� CD ��

    E SLTTMNWHGV WL N W\ HLL KO WNGVRO GTL NJ G J KL MU L^UKL HR\\R\ f

    E X KL MU\ HGN `R HL N\V KMHVRO h`d bGNOj _ WV b ZP[J KL MU&TGNWUMQGV WL N KL MV WNR\ L K `d M\ WNJ ZP[VL UL QLJd&OR' NWV WL N KL MV WNR\ f

    E ZR\\GJR VGJ\ GKR NLV M\RO f W� R KR NVHLTTMNWHGVL K\ GKR M\RO WN\VRGO f

    E �L NL N& `QL HIWNJ HL QQRHV W�R L UR KGV WL N\ fE ] bKRR H QG\\R\ L^ HL QQRHV W�R L UR KGV WL N\ �% \d NHbKL NW�GV WL N% OGVG TL�RTRNV% HL QQRHV W�R HLTUMVGV WL N

  • �����

    %& '(���� �� ����� ! �!� �� # .�� !¡" � ��� � �� ��� ! "" " �#

    ���� !� �� �� 8

    �� � � � �

    P0

    P1

    P2

    P3

    P0

    P1

    P2

    P3

    P0

    P1

    P2

    P3

    P0

    P1

    P2

    P3

    P0

    P1

    P2

    P3

    P0

    P1

    P2

    P3

    P0

    P1

    P2

    P3

    P0

    P1

    P2

    P3

    A A

    A

    A

    A

    A B C D A

    B

    C

    D

    A

    B

    C

    D

    A B C D

    A B C D

    A B C D

    A B C D

    A0 A1 A2 A3

    B0 B1 B2 B3

    C0 C1 C2 C3

    D0 D1 D2 D3

    A0 B0 C0 D0

    A1 B1 C1 D1

    A2 B2 C2 D2

    A3 B3 C3 D3

    All to All

    All gather

    Scatter

    Gather

    Broadcast

    '!� ��� �! � �� " #��� �� # �£ !� �� !� �) $�����) � #� �# �1

    �¤

    �� � � � �

    ABC

    ABCD

    AB

    A

    ABCD

    Reduce

    Scan

    P3

    P3

    P0

    P1

    P2

    P0

    P1

    P2

    A

    B

    C

    DP3

    A

    B

    C

    DP3

    P0

    P1

    P2

    P0

    P1

    P2

    '!� ��� �! � �� " #��� �� # �£ !� �� !� �) $�����) � #� �# �1

    ��

    !" �� �

    E ZGNd KL MV WNR\ �� QQJGV bR K � QQJGV bR K� � QQKROMHR� QQVLG QQ � QQVLG QQ� FHG\VXGVbR K XGVbR K� cROMHRcRO MHRYHGVVR K YHGN YHGVVR KYHGVVR K�

    E ��� �R K\ WL N\ OR QW�R K KR\ MQV\ VL G QQ UGKV WH WUGV WNJUKL HR\\R\ f

    E � �R K\ WL N\ G QQL_ V bR HbMNI\ VL bG�R O W� R KRNV \ W�R\ fE � QQKROMHR ( cROMHR ( cROMHRYHGVVR K( GNO YHGN VG IR

    `LV b `MWQV& WN G NO M\R K&OR' NRO HLT`WNGV WL N^ MNHV WL N\ f

    ��

  • �! � � �

    ZP[ �GTR � UR KGV WL N-. / -�� ZG� WT MT-. / - /� ZWNWT MT-. / .537 PKLO MHV-. / ��- Y MT-. / 6��7 eLJ WHG Q G NO-. / 635 eLJ WHG Q L K-. / 6�35 eLJ WHG Q R�H QM\ W�R L K )�L K*-. / ���7 FWV_ W\R GNO-. / �35 FWV_ W\R L K-. / ��35 FWV_ W\R �L K-. / -��632 ZG� WT MT �G QMR GNO QL HGV WL N-. / - /�632 ZWNWT MT �G QMR GNO QL HGV WL N

    ��

    ,  � � � � �

    -. /03�0����� %!��0�!� �� ��� & ����!�� & �� '-. /03�0��� %�� '

    ! ��0�!������ %����� & ���!���� & ��� & �������'] bR M\R K ^ MNHV WL N \ bL MQO UR K^L KT���!���� ��� � ����� ��� �� ���!���� ��� (^L K � ^ KLT > VL ���� f

    ! ��0�!������ HGN `R NL N&HLTTMVGV W�R )R fJ f( TGV KW�TMQV WUQd * f

    �#

    � � ��

    aLK R�GTUQR ( VL H KRGVR GN L UR KGV WL N V bGV bG\ V bR\GTR R� RHV G\ -. /0��- L N aLKV KGN OL M`QR UKRH W\ WL N�G QMR\ ( M\R

    �!��!� ��� ��!� � % ����� & ���!���� & ��� & ������� '������ ��� & ���������!��� �������� ����� %��� ' & ���!���� %��� '������ ��� > �� &���

    > ���!���� %�' � ����� %�' � ���!���� %�'��!����

    ]L M\R ( g M\V������ ������� -. /03�0����� % ��!�� & ��!� �& ��� & �� '���� -. /05��!�� % � & � & & -. /073��6�0.5�2 /�3� & ��� & ��� '

    ] bR KL MV WNR -. /03�0��� OR\V KLd\ M\R K&^ MNHV WL N\ _ bRNV bRd GKR NL QL NJR K NRRORO f

    ��

    ,   �

    * �� �1 !����!�� �� # �" � ��� �) �� ������� ��� ��� ��! � !�#�� �#" � ��� ��� ��#$ � � ���� 8 � + �� &� �" � &"� � " � �£��� ! "" " 8

    #�

  • ��" � "   ��

    ] bR RG\ WR\V _Gd VL H KRGVR HLTTMNWHGVL K\ _ WV b NR_J KL MU\ W\ _ WV b -. /023--0�.6/� faL K R�GTUQR ( VL ^L KT J KL MU\ L^ KL_\ L^ UKL HR\\R\

    1

    2

    0

    0 1 2 3 4Column

    Row

    M\R-. /02���0����� % ������� & �� & > & 1������� ' (]L TGWNVG WN V bR L KOR K `d KGNI ( M\R-. /02���0��+ % ������� & 1��+ ' (-. /02���0����� % ������� & �� & ��+ & 1������� ' (

    #9

    ��" � "   �� � �

    Y WT WQGKQd( VL ^L KT J KL MU\ L^ HL QMTN\ (

    1

    2

    0

    0 1 2 3 4Column

    Row

    M\R-. /02���0����� % ������� & ���!�� & > & 1������� ' (]L TGWNVG WN V bR L KOR K `d KGNI ( M\R-. /02���0��+ % ������� & 1��+ ' (-. /02���0����� % ������� & ���!�� & ��+ & 1������� ' (

    #

    !   � �

    � NLV bR K _Gd VL H KRGVR G HLTTMNWHGVL K _ WV b \ URH W' HTRT`R K\ W\ VL M\R -. /02���0����� f-. /02���0����� % ������� & ��!� & 1������� ' (

    ] bR J KL MU HGN `R H KRGVRO WN TGNd _Gd\ �

    #

      � �

    � QQ J KL MU H KRGV WL N KL MV WNR\ H KRGVR G J KL MU `d\ URH W^d WNJ V bR TRT`R K\ VL VG IR ^ KLT GN R� W\V WNJJ KL MUf

    E -. /0��!�0���� \ URH W' R\ \ URH W' H TRT`R K\E -. /0��!�0���� R�H QMOR\ \ URH W' H TRT`R K\E -. /0��!�0����0���� GNO -. /0��!�0����0����

    M\R KGNJR\ L^ TRT`R K\E -. /0��!�0!� ��� GNO -. /0��!�0�������� ���

    H KRGVR\ G NR_ J KL MU ^ KLT V_L R� W\V WNJ J KL MU\ f]L JRV GN R� W\V WNJ J KL MU ( M\R-. /02���0��!� % ������� & 1��!� ' (aKRR G J KL MU _ WV b-. /0��!�0��� % 1��!� ' (

  • >

    � � � $� " $��� +� � # /� & " #$ ��� # ��"" �.����/ �"

    Local Buffer

    Local Buffer

    A:

    B:

    Process 1 Process 2

    The Network

    #�

    � �� 

    ��" �" #�� ) �/ � ! � #� 8 � � �� � �� !� �� " �# �$$ �� �� # �� � � ¢!��#+ �£ $���. � # ��� ! "" " 8 � �� £ �

    B:

    A:

    Process 1 Process 2

    �&� � ��" � &�� " � ��� �� � � � ��� %& '(����#�� � � &�# � �� � � $��� ��" . # $ ��) � $�� � ��� � ��� � " #$ �� ��� �� # �� � � &�#. £� � !���� � �#+ �� � ��#"£ �8 1# � ��" !�" 0 # $ �� � "� £� � !���� � �� # ��� �8

    #�

    � ��  " +!� ��  ��

    E YL ^GK _R bG�R M\RO ����+ ��� HLTTMNWHGV WL N �% -. / ���� OLR\ NLV HLTUQRVR MNV WQ `M� R K W\ RTUVd)G�G WQG` QR ^L K KR M\R * f

    % -. / 5��� OLR\ NLV HLTUQRVR MNV WQ `M� R K W\ ^ M QQ)G�G WQG` QR ^L K M\R * f

    E Y WTUQR ( `MV HGN `R hMN\G^Rj �PKLHR\\ � PKLHR\\ �YRNO )�* YRNO )� *cRH� )�* cRH� )� *

    SLTUQRV WL N ORURNO\ WN JRNR KG Q L N \ W�R L^ TR\\GJRGNO GTL MNV L^ \d\VRT `M� R KWNJ f

    k � ou} x{pw �{p wz mrr ou{�v s zoww mv ow t�n �mqrwxsou z oww mv ow v on n{{ rmpv o �{{ rmpv o pmuv ow �p{z� op{ ty now n{ ��� w { � lovmty now

    #�

    � � � � ��� �

    E � KOR K V bR L UR KGV WL N\ TLKR HGKR^ MQQd �PKLHR\\ � PKLHR\\ �YRNO )�* cRH� )� *cRH� )�* YRNO )� *

    E Y MUUQd KRHR W�R `M� R K GV \GTR V WTR G\ \R NO ( _ WV b-. / ������� �

    PKLHR\\ � PKLHR\\ �YRNO KRH� )�* YRNO KRH� )� *

    E i\R NL N& `QL H IWNJ L UR KGV WL N\ �PKLHR\\ � PKLHR\\ �[\R NO )�* [\R NO )� *[ KRH� )�* [ KRH� )� *� G WVG QQ � G WVG QQ

    E i\R -. /0�����

    ##

  • !" �� +!� ��  �

    �L N&`QL H IWNJ L UR KGV WL N\ KRV MKN ) WTTRO WGVR Qd *hKR� MR\V bGNO QR\j V bGV HGN `R _G WVRO L N GNO �MR KWRO �E -. / /���� %���� & ��!�� & ������� & ���� & ��� & ���� &

    ��!��� '

    E -. / /��� %���� & ��!�� & ������� & ���� & ��� & ���� &��!��� '

    E -. / 4��� %��!��� & ����! �'

    � NR HGN G Q\L VR\V _ WV bL MV _G WV WNJ � -. /0���� % ��!��� &���� & ����!�'

    #�

    ! � �

    [V W\ L^VR N OR\ WKG` QR VL _G WV L N TMQV WU QR KR� MR\V\ f � NR�GTUQR W\ G TG\VR K�\ QG�R UKLJ KGT ( _ bR KR V bR TG\VR K_G WV\ ^L K L NR L K TL KR \ QG�R\ VL \RNO WV G TR\\GJR fE -. / 4������ %��!�� & �� �� ��!���� &

    �� �� ����! ���'

    E -. / 4����� %��!�� & �� �� ��!���� & ����� &����!�'

    E -. / 4������� %����!�� & �� �� ��!���� & �!���!�� &�� �� ��� ���� & �� �� ����! ���'

    ] bR KR GKR HL KKR\ UL NO WNJ �R K\ WL N\ L^ VR\V ^L K RGHb L^V bR\R f

    k �so -. / 4� /��3-� mu} -. / �����3-� zmy to �w o} n{qz rozoun zmw nop�w rm ~o m rv{pqnszw nsmn p{~q}o �mqpmoww n{ nso zmw nop ty nso w rm~ow

    ��

    K ��

    J ;#+ ;#""&$' A %+; +;%' "* < *#! ���� � �>� ��!� �� ���� � �>� ��">�� �����" ���� ;���� � ���� <��" ���� ����� ������ ����" ���� � ���� � � � ��� ��� �*6+0-"�"� � �"�"�� �*6+0+��" ; ����� � ����� < �*6+0%���0���� ; *6+0%)**0�)$/1 � ����� < �*6+0%���0���� ; *6+0%)**0�)$/1 � ����� < ��� ;���� '' �< �

    ��� ;�'� � ������ ;����9�< � ���< �*6+0$��� ; ��� � � � *6+0+,. � *6+0#,�0-)�$%5 �

    *6+0#,�0.#7 � *6+0%)**0�)$/1 � ��"�"�� < �!���"� ; �*�� ���� �> ��"� "�� �>�� � �

    �"�"�� �*6 +0-)�$%5 � �"�"�� �*6 +0.#7 < �

    � �� �

    ��� ;�'� � ����� � ���<*6+0-��> ; ��� � � � *6+0+,. � � � � � *6+0%)**0�)$/1 < �

    *6+02��� ��� ;< ���"��� � �

    �9

    K �� �� !��  

    * # ���� �� � � �+���� �� �" �� �� �£ #� ��� ! ""�" � !� �) �/ �+ #�� $ 8 1# � � �� ! $ �#+���+ ��� 0 ��� ! "" " �� � �� ��#¡ � ��¡ ��� ! "" � �� � ��/ . �� �#�/ � # ��" � ""�+ " �� � ! �) $ 8�1 ��¡ " #� + &�� #� " �.�&� £� ��# "" 8�� ) �0 �1 ��¡ " �� ��"" �. � �� ��� � ! � #� 0 £� �� ���+ ���" 8

  • � "   K ��

    # � �� �#�� �) �"�>����� ���� ��*6+0$����" �����" � � ����� �*6+0-"�"� � �"�"���� � ����� ���" ��>���� � ����� ���" ��� � ����� ���� ;�'� � ������ � ���<

    *6+0+���� ; ����� � � � *6+0+,. � � �*6+0#,�0.#7 � *6+0%)**0�)$/1 � ������" � ��9�� < �

    ��� � ;��" >���< �*6+0���"��� � ; ����9� � �����" � � ��>��� � ��>���� � �"�"���� < ���� ;�'� � ���>��� � ���< �

    � ' ��>���� ��� �!���"� ; �*�� ���� �> ��"� "�� �>�� � �

    �"�"���� ��� �*6+0-)�$%5 ��"�"���� ��� �*6+0.#7 < �

    *6+0+���� ; ����� � � � *6+0+,. � � �*6+0#,�0.#7 � *6+0%)**0� )$/1 � ������" � ��� < �

    � "   K �� �K �

    � NR G QVR KNGV W�R W\!�����"�� ; ���� ' �� <��"���� �����"� ; ����< ���"���� �"�"���� ;*6+0-.#.�-0-+�5 � ����< ���"���� ��>���� ; ����< ���"���� ��� ; ����< � ����� >���>� �� � ' � �����9�

    �� �� *6+0+���� ; ��� ;�< � � � *6+0+,.575$ � � �� *6+0#,�0.#7 � *6+0%)**0�)$/1 � �����"� ;�< � ���� <

    � �� ; ���" � >���< "����� *6+0���" ���� ; ����9� � �����"� � �>��� �

    ��>���� � �"�"���� � ���� <>� �� �'� � �>���

    � ' ��>���� ;�<!���" � � �*�� ���� �� �"�"���� ;*6+0-)�$%5 ��< � � ��"� "�� ��� �"�"���� ;*6+0.#7 ��<�� *6+0+���� ; ��� ;�< � � � *6+0+,.575$ � � �

    *6+0#,�0.#7 � *6+0%)**0� )$/1 � �����"� ;�< � ���� <>��� ' ���

    �� ���"������"� ���>��

    �¤

    ��� � ! K ��

    .� !� �) �" #�#.�� !¡�#+ !����!�� �� #"%���� � � � ���+ ��� £ ��+� #� � #����) �$ �#+ £� ��# ""� 8 ��¡ "&� � ��� /�&� �) #� !���� � $ � & "�" 8 �� �&�$/�& � "� /� &� ���+ ����

    ��

    ! � ��  ��

    [N GUUQWHGV WL N\ _ bR KR V bR V WTR VL \RNO OGVG `RV_RRNUKL HR\\R\ W\ QGKJR ( WV W\ L^VRN bR QU^ M Q VL HGM\RHLTTMNWHGV WL N GNO HLTUMVGV WL N VL L�R KQGU f ] bW\ HGNRG\ WQd `R OL NR _ WV b ZP[ �\ NL N& `QL HIWNJ KL MV WNR\ faL K R�GTUQR ( WN G �& ' NWVR O W� R KR NHR TR\b ( TL� WNJOGVG NRRORO ^L K V bR `L MNOGKWR\ HGN `R OL NR GV V bR\GTR V WTR G\ HLTUMVGV WL N L N V bR WNVR KWL Kf-. /0/��� % ��� ��� ���� ���� ��� ' (-. /0/���� % ��� ���� �� ��� ���� ���� ��� ' (��� ����!�� �� ���� ��� ��� %�� ��� ���� !� ��������� ��!����' *

    -. /04����� % ��� ��!���� ��� '�� %��!��� �� � ������'

    ��� ����!�� �� ��� ���� ���?

    �LVR V bGV _R HG QQ -. /04����� \R�R KG Q V WTR\ f ] bW\R� UQL WV\ V bR ^GHV V bGV G^VR K G KR� MR\V W\ \GV W\' RO ( WVW\ \RV VL -. /05������0��66 ( GNO V bGV V bW\ W\ G �G QWOKR�MR\V L g̀ RHV VL V bR _G WV G NO VR\V KL MV WNR\ f

    ��

  • � !"�

    ZP[ UKL� WOR\ TMQWV U QR z{}ow ^L K \R NO WNJ TR\\GJR\ �E Yd NHbKL NL M\ TLOR )-. / ����� * � V bR \RNO OLR\ NLV

    HLTUQRVR MNV WQ G TGVHbWNJ KRHR W�R bG\ `RJ MN f)iN\G^R UKLJ KGT\ `RHLTR WNHL KKRHV GNO M\ MG QQdORGO QL H I _ WV bWN GN -. /0����� f*

    E FM� R KRO TLOR )-. / ����� *� V bR M\R K \ MUUQWR\ V bR`M� R K VL \d\VRT ^L K WV\ M\R f )i\R K \ MUUQWR\ R NL MJbTRTLKd VL TGIR MN\G^R UKLJ KGT \G^R * f

    E cRGOd TLOR )-. / 5���� *� M\R K JMGKGNVRR\ V bGVTGVHbWNJ KRHR W�R bG\ `RRN UL\VRO f% G QQL_\ GHHR\\ VL ^G\V UKLVL HL Q\% MNOR' NRO `RbG� WL K W^ V bR TGVHbWNJ KRHR W�R W\ NLVUL\VRO

    �L N&`QL H IWNJ �R K\ WL N\ �-. / /����� ( -. / /���� ( -. / /������LVR V bGV GN -. /05��� TGd KRHR W�R TR\\GJR\ \R NV _ WV bmuy \RNO TLOR f

    ��

    ��" �"

    ZP[ UKL� WOR\ G \RNO KL MV WNR V bGV TGd `R M\RO _ bRN-. /0/���� W\ G_ I_GKO VL M\R )R fJ f( QLV\ L^ \TG QQTR\\GJR\ * f-. /0����� TGIR\ M\R L^ G �w op$p{~q}o} `M� R K VL \G�RGNd TR\\GJR\ V bGV HGN NLV `R WTTRO WGVR Qd \R NV f��� �!���,� (�� )�!� � ������ %�!���,�' (-. /0�!���0����� % �!� & �!���,� ' (���-. /0����� % ��� ���� �� -. /0���� ��� ' (���-. /0�!���0����� % 1�!� & 1�!���,� ' (] bR -. /0�!���0����� HG QQ OL R\ NLV HLTUQRVR MNV WQ G QQTR\\GJR\ GKR \R NV f

    k �so op�{pzmuo { � -. / ����� }o ou}w {u nsoqz rozounmnq{u { � l�� mu} zmy mrw{ }o ou} {unso w q� o { � nso zowwmv o �{p o� mz ro� zmquv mz oww mv o {uo ty no r{uv op z my m�w o m w qv u qmun }p{qu op�{pzmuo

    �#

    �   � � ��

    SL N\ WOR K G QLL U-. /0�!���0����� % �!� & �!���,� ' (� ��� %9����' *

    ���-. /0����� % ��� ' (?

    _ bR KR V bR �!� W\ QGKJR RNL MJ b VL bL QO V bR TR\\GJR WNV bR -. /0����� f ] bW\ HLOR TGd �mqr `RHGM\R V bR*���� )�!� ( ��� �!���,� (-. /0�!���0����� % 1�!� & 1�!���,� ' (-. /0�!���0����� % �!� & �!���,� ' (?

    ��

    @A�? = ; CDA�A;� ; CDA �?A

    %& '(�������� 0 %& '(��������(��&����

    %& '(������

    �" �"� #� !����!�� �� # � & "�"

    9��

  • �AA��?> D �?A? =;?DCA�

    �1 $����/ � " ��) �� �� �# �&���" "

    � � ��+ #��/ � ���� �� � ���+ ���". � # $ �� � #� ��� ! ""��"

    ,�#!�#� �+ &� &" $��� � "� �&!� &� " 0) !���" �� � #�# �� "� ��$ 0 �! 8

    ��" �! $����/ � 0 !��� " ��#$ �#+ �� � � $ ��/ �#+ ��#+&�+ 0 �� �� $ � # $ 8 � &" � !�# !�#"� �&!� # $����/ � " �� �� �� 2 � � " �� !� �� $ ������� �� �� �� � �� 8

    9�9

    ,�� !"

    � B?�?DA=� � -�#+&�+ $ � # $ �/ � " � 8+ 80%& '('�� �� %& '(������(&��� '�'�� �

    �?A;= � ' ����� $ ./ !� #"��#� �"� ��$ �:;DA C

  • ���

    1 2 3 4 5 6 7

    8 9 10 11 12 13 14

    15 16 17 18 19 20 21

    22 23 24 25 26 27 28

    29 30 31 32 33 34 35

    � "� ! �£/ � ��" �� ��# % ��$ �� 0 !�# &" -. /0���0����� % ��!�� & ����+��� & �� ��� & ������ &

    1������ ' (-. /0���0���� �� % 1������ ' (] bR R�GHV HLOR ^L K V bW\ W\-. /0���0����� % � & & & -. /073��6� & 1������ ' (-. /0���0���� �� % 1������ ' (

    9��

    � ��

    YV KMHV MKR\ GKR OR\H KW`RO `d GKKGd\ L^E NMT`R K L^ R QRTRNV\ )��0��0��� *E O W\ UQGHRTRNV L K QL HGV WL N )��0��0� ����� *E OGVGVd UR )��0��0����*

    -. /0���0��!��!� % ��!�� & ��0��0��� &��0��0������ &��0��0���� & 1������ ' (

    9��

    �� � � ��

    �"�� �" ����� >��! �� ���� � =� ,��� �� >��! �� �=��" ���"�� � =� �� � �� �"���"���� �=>��� � � �� � �� �� � =� ���� ��" ������ �� ���"��� � �=>��� � �� � ��� � =� �!!�� ����" ������ �=��" ��>"� � =� �� >��! �� �� !�� � �=��" �����" � =� �� >��! �� �� !�� � �=

    ��> ��� �=� ��" �! � � ���� �=��" � ��� ����" � ��� ' ��� �� �� � �*6+01�"�"�! � "�!�� ��� �*6+0#��" >��! � ��� �*6+01�"�"�! � ��>"�!� �=� ���"�� ��� "�!�� ��> >��! � ��"� �>>������ �� �"�� � �=*6+0#>>���� ; ���> ��� �>��! �� � �>��! � ��� < �*6+0#>>���� ; ���> ��� �� ��"�� � �>��! � ��� < �*6+0#>>���� ; ���> ��� �� �� � �>��! � �� < �*6+0#>>���� ; ���> ��� �� �>"� � �>��! � ��� < �"�!�� ��� ' *6+0%$ �"�!�� ��� ' *6+0+,. �"�!�� �� ' *6+01)�8/5 �"�!�� ��� ' *6+0+,. ���� ;� ' � � � �' � � �99<

    >��! � ��� 9' >��! � ��� �*6+0.�!�0�"�� �" ; � � � ��� ����"� � >��! � � "�!�� � ���>"�!� < �*6+0.�!�0���� �" ; ���>"�!� < �

    9��

    � "�

    � ¢� #� �£ � $����/ � �" �#���� ��/ � � � $ �"��#! . � # � � � �"� �#$ ��"� � �. �8

    LB UB

    EXTENT

    Memory locations specified by datatype

    ��& !�# " � �# ��� ��! �� � ¢� #� ./ &" �#+%& '(�� �#$ %& '(�� �# %& '(����(���� �� 8

    9�#

  • ��� � � "

    ��" !�$ ! � �� " � $����/ � £� � �# ��.�� ���/#&�. � �£ � � #� �# � �� �£ �# ����/"��� $ �# ���� ��# ��$ � �!� �&�# � �"� � 8��� ����� �� & � ����� �� (-. /07������ ���� �� & ����� (���� � �>� � (���� � �� � (� ����� �>� � > (� ����� �� � �!���0��0���!�� ) ��,��� %��!���' (���� �>� � -. /073��6� (���� �� � -. /0�� (-. /0���0��!�� % & ����� & � ����� & ���� & 1����� ' (-. /0���0���� �� % 1����� ' (]L \RNO � R QRTRNV\ ( dL M HGN M\R-. /0���� % �!� & � & ����� & ��� ' (

    9��

    � �� � � "

    � bRN \RNO WNJ GN GKKGd L^ G \V KMHV MKR ( WV W\ WT UL KVGNVVL RN\ MKR V bGV ZP[ GNO V bR S HLTUWQR K bG�R V bR\GTR �G QMR ^L K V bR \ W�R L^ RGHb \V KMHV MKR f ] bR TL\VUL KVG`QR _Gd VL OL V bW\ W\ VL GOO GN -. /0�� VL V bR\V KMHV MKR OR' NWV WL N ^L K V bR RNO L^ V bR \V KMHV MKR f [NV bR UKR� WL M\ R�GTUQR ( V bW\ W\=� ���"�� ��� "�!�� ��> >��! � ��"� �>>������ �� �"�� � �=*6+0#>>���� ; ���> ��� �>��! �� � �>��! � ��� < �*6+0#>>���� ; ���> ��� �� ��"�� � �>��! � ��� < �*6+0#>>���� ; ���> ��� �� �� � �>��! � �� < �*6+0#>>���� ; ���> ��� �� �>"� � �>��! � ��� < �*6+0#>>���� ; ���> ����� � �>��! � ��� < �"�!�� ��� ' *6+0%$ �"�!�� ��� ' *6+0+,. �"�!�� �� ' *6+01)�8/5 �"�!�� ��� ' *6+0+,. �"�!�� ��� ' *6+0�8 ���� ;� ' � � � �' � � �99<

    >��! � ��� 9' >��! � ��� �*6+0.�!�0�"�� �" ; � � � ��� ����"� � >��! � � "�!�� � ���>"�!� < �*6+0.�!�0���� �" ; ���>"�!� < �

    99�

    " �   "

    �/ ��) �#+ �� �� �#" �$ � � $��� 0 /� & !�#�#� �� �) $��� 8%� #" �$ � � � ��� ��¢

    01234567

    89101112

    1415

    1617181920212223

    2425262728293031

    3233343536373839

    13

    � �"� �� " #$ 35 0� �� 0�2 �6 0 �#$ �4���� ��� ! "" 3 0 4� 0�� �� 0�3�5 0 �#$ ��5 � ����� ! "" � 0 �! 8 �� !�# $� � ��" �� �%& '(������� �

    999

    � �" "�

    -. /0���0����� % � & � & � & -. /073��6� & 1��� ' (OR' NR\ G `QL HI L^ V bW\ TGV KW� f���� � �>� � ( ����� �� � (���� �>� � ��� ( ���� �� � -. /0�� (� ����� �>� � > ( � ����� �� � ��,��� %��!���' (-. /0���0��!�� % & ����� & � ����� & ���� & 1����+ ' (

    OR' NR\ G `QL HI _ bL\R R�VR NV W\ g M\V � RNV KWR\ f

    99

  • ��  !�

    � R \RV V bR O W\ UQGHRTRNV\ ^L K RGHb `QL H I G\ V bRQL HGV WL N L^ V bR ' K\V R QRTRNV WN V bR `QL H If ] bW\ _L KI\`RHGM\R -. /0������� M\R\ V bR R�VRNV\ VL ORVR KT WNRV bR \VGKV L^ RGHb UWRHR VL \R NO f��� ����� �>� � > (��� ����� �� � � (��� ����� �� � (��� ����� �� � � (-. /0������� % �����!� & ������!��� & ��� ����� & ����+ &

    ����!� & �� ) � & -. /073��6� & > &-. /023--043567 ' (

    k �{x x{� r} �w o �w o nso n{ {r{vy p{�nquow n{ zmons qw z{po v ouopmr�

    99

    ��� �� ! "��

    � g̀ RHV W�R � eRGKN G`L MV OGVGVd UR\� f � KWVR G UKLJ KGT VL \RNO KL_\ L^ G TGV KW� )\VL KRO

    WN HL QMTN&TGg LK ^L KT * VL V bR LV bR K UKL HR\\L K\ feRV UKL HR\\L K � bG�R V bR RNV WKR TGV KW� ( _ bWHb bG\G\ TGNd KL_\ G\ UKL HR\\L K\ fPKL HR\\L K � \R NO\ KL_ W VL UKL HR\\L K WfPKL HR\\L K W KRGO\ V bGV KL_ WNVL G QL HG Q GKKGd V bGVbL QO\ L NQd V bGV KL_ f ] bGV W\ ( UKL HR\\L K � bG\ GTGV KW� � )� � � * _ bWQR V bR LV bR K UKL HR\\L K\ bG�R GKL_ � )� * f)G * � KWVR V bR UKLJ KGT VL bGNO QR V bR HG\R _ bR KR

    V bR TGV KW� W\ \� MGKR f)`* � KWVR V bR UKLJ KGT VL bGNO QR G NMT`R K L^

    HL QMTN\ KRGO ^ KLT VbR VR KT WNG QfS UKLJ KGTTRK\ TGd \RNO HL QMTN\ L^ G TGV KW�\VL KRO WN KL_ &TGg L K ^L KT W^ V bRd UKR^R Kf[^ dL M bG�R V WTR ( V Kd L NR L^ V bR ^L QQL_ WNJ f [^ dL MOL N �V bG�R V WTR ( V bWNI G`L MV bL_ dL M _L MQOUKLJ KGT VbR\R f

    � f � KWVR G UKLJ KGT VL V KGN\ UL\R G TGV KW� ( _ bR KRRGHb UKL HR\\L K bG\ G UGKV L^ V bR TGV KW� f i\RVL UL QLJ WR\ VL OR' NR G �& WTRN\ WL NG Q UGKV WV WL NWNJ

    99¤

    L^ V bR TGV KW� GH KL\\ V bR UKL HR\\L K\ ( GNO G\\ MTRVbGV G QQ UKL HR\\L K\ bG�R V bR \GTR \ W�R \ M`TGV KW� f)G * i\R -. /0���� GNO -. /05��� VL \RNO V bR `QL H I (

    V bR V KGN\ UL\R V bR `QL HIf)`* i\R -. /0������� WN\VRGO f)H * SKRGVR G OGVGVd UR V bGV G QQL_\ dL M VL KRHR W�R

    V bR `QL H I G QKRGOd V KG N\ UL\RO f� f � KWVR G UKLJ KGT VL \RNO V bR jJbL\V UL WNV\j L^ G�& WTRN\ WL NG Q TR\ b VL V bR NR WJ b`L KWNJ

    UKL HR\\L K\ f � \\ MTR VbGV RGHb UKL HR\\L K bG\ V bR\GTR \ W�R \ M``QL HI f)G * i\R VL UL QLJ WR\ VL ' NO VbR NR WJ b`L K\)`* R' NR G OGVGVd UR ^L K V bR hKL_\j)H * i\R -. /0������� L K -. /0/5��� GNO -. /0����

    _ WV b -. /04������ f)O * i\R -. /0/���� GNO -. /0/��� VL \VGKV V bR

    HLTTMNWHGV WL N ( OL \LTR HLTUMVGV WL N L N V bRWNVR KWL K( GNO V bRN M\R -. /04����� VL UKL HR\\V bR `L MNOGKWR\ G\ V bRd GKKW�R

    ] bR \GTR GUUKLGHb _LKI\ ^L K JRNR KG QOGVG\V KMHV MKR\ ( \ MHb G\ MN\V KMHV MKRO TR\ bR\ f

    f L � ( `MV ^L K �& WTRN\ WL NG Q TR\ bR\ f �L M _ WQQNRRO -. /0���08����� f

    �;; B> ;= =CA CD BC�==C?>

    �1 �" " � ! ��!� ��/ $ " �+ # $ �� ��¡ �� �" � ��� ��� � ""�+ ��"" �#+ ��.���� "

    %����!����" "� �) ��+�"� &�! ��$!��$ ��� .� �

    *�� ��.&� " ���) �$ � �/ �� ����!��#£� ���� �� # �� � !����!����

    99�

  • � ���

    # �£ � � � �"� � ��#+ ���� � ��.���/ " ��&�$#���� ��/ $� �" ! � �� ���)�� !����!����8 ��" � ��� " �� ��.���/ �� " #$ �#$ � ! �) � ""�+ " � ��� �� ¡#� # �#�/ �� �� ��.���/8%& '(���� (��� � ��(���� � )��,(���� ! "

    99�

    ���

    *�� ��.&� " �� $��� � ��� !�# . ����!� $ ��� # �� ��� !����!����" 8*�� ��.&� " �� � £ � #! $ ./ ��� �� �8 � /)� �"�� ! � �� $ �� � %& '(�����(������ 8*�� ��.&� " �� ����!� $ �� � !����!���� �� � %& '(����(��� �#$ � � �� )� �& " �!! "" $./ %& '(����(��� 8k �� ��� ����� ��� ������ ��� ��� � ���� ����� �� � �������� ���� �� �� ��� ��� ��� ���� ������� ������ ��� ��� ���� ��� ����� �� �� �� ������ �� �� ���� � ������ ��� ���� ���� ���¡ /)� � �� � ��� ����

    99�

    � � �#

    1 # % 0 �# ��� ��.&� �" � �� �#� � �£ �/ � �� # 8��& �&"� � ��� !�� "����+ £� � � � ��� ��.&� �� �� �#� �� ���¡ "&� � ��� /� & $�# �� &" � � �$$ � "" �£ � �� !� � )���� .� � 81 # ���� ��# 0 �� �" � " �#+ � '������ 8

    99#

    ��� � �   ��

    ���! �#+ " & #� �� � � � ��� �� #

    ��#�+ �#+ ��+"

    99�

  • �� �� ���� � �>� ��!� �� ���� � �>� ��"> �� ����"�"�� ��" *650-�0����� ' *6+045�#/0+,#/ +1 �=�(

    *650-�0����� 9 8����� � �����" �� ���"��� �� ��>� �+�!�" 6�����"��� �

    � ���� 9 %��������"�� "� �����" �� ��� �� �� 9 ,����� �� ����! � .��� ���� !�������� ��� � ���>"� ����"�

    �" "�� ���� "��� � ���� � ��� �(�=���> *650-�0����� ; ���� � �� <*6+0%��� ���� ���" �� ����" �> � �! ���" � �� �*6+0%��� ��� 0���� �*6+0-"�"� � �"�"�� �=� 7�" "�� !����"� ���������" �� ��� "�� �����"�� �!���"��� � �=�� ;*650-�0����� '' *6+045�#/0+,#/+1 < �

    *6+04���� 0����"� ; *6+0,�//0%)6�02, �*6+0,�//015/5.502, ��*650-�0����� � ,�// < �

    9�

    �� �� � " "

    *6+0#""�0��" ; ���� � *650-�0����� � ;���> ��! ; ���� � � ��� 0 ���� < �*6+0#""�0!�" ; ���� � *650-�0����� �

    ;���> �< ��� 0���� < �

    *6+0%���0���� ; ���� � � �> < �*6+0%���0���� ; ���� � ��! < ��� ; �> �' �< �

    *6+0$��� ; ,�// � � � *6+0+,. � �>9� � � � ��� 0���� ���"�"�� < �

    =� -��> "� "�� ��" !������ �� "�� ����! �� ��� ��

    ��� "�� ��" !������ �� "�� !�������� ��" �=�� ; ; �> � ��< � �� 9 � �� �> �' �! 9 �< �

    *6+0-��> ; ,�// � � � *6+0+,. � �> � � � � � ��� 0���� < �

    99

    �� �� � " " "=�(

    *650-�0��> 9 5�>� � �����" �� ���"��� �� ��>� �+�!�" 6�����"��� �

    � ���� 9 %��������"�� "� �����" �� ��� �� �� 9 ,����� �� ����! �(�=���> *650-�0��> ; ���� � �� <*6+0%��� ���� ���" �� ����" �> � �! � � �� �*6+0-"�"� � �"�"�� �*6+0%��� ��� 0���� �*6+0%���0���� ; ���� � � �> < �*6+0%���0���� ; ���� � ��! < �*6+0#""�0��" ; ���� � *650-�0����� � ;���> �

  • �� � !     �

    ��.� � * ��.���/ !�#�� �#" ��#/ �.� !�"� ��� # $ �� !����!�� �# �/" � ��� �� #�� ¡#� # � �� �� �� 8� ""�+ " . � # � .� !�" �� ¡ �� " ����� ./ &" �#+ $ �� � #� � ""�+ ��+" 8 �� �� � � " ��+" ! ��" #�

    �#"�£ �� &" !����� � �� )� �& "

    �&"� � ��� !�� ��+ )� �& " �� �� �� '� �&� �� # �" � ���)�� !����!���� �#$ &" �#��� ��.&� �� ¡ � � ��!¡ �£ �)� ��� .� ��+" �#� ��� !����!����8

    ��    � ��

    ��� � �>� ��!� �� ��"�"�� ��" *650.��0����� ' *6+045�#/0+,#/ +1 �=�

    6����"� ���"��� "� >� �"� ��"���� �"����� ���� ����������"�� �� ����> ��=

    ��" *6501� .�� ; ���� � ����� � �""�0�� � �"��0�"�"� <*6+0%��� ����� ���" ������ ����> ��""�0�� � ��"��0�"�" � ������ ; �""�0�� < ���"��� *6+0-�%%5-- �

    9�

    ��    � �� " "

    =�(*6507�".��� 9 $�"���� "��� "��" ��� �� ���> ��

    ���������"��� ��"� ����������"��+�!�" 6�����"��� �

    � ����0�� 9 +�!�" ���������"��� �"��� 9 ,����� �� "���

    )�"!�" 6�����"��� �� ����0��" 9 )�"!�" ���������"�� � *�� �� �����0�� ��� ����"0"�� 9 2���" "�� ���� �� �(�=��" *6507�".��� ; ����0�� � �"��� � ����0��" � ����"0"�� <*6+0%��� ����0�� � �����0��" ���" �"��� � �����"0"�� ����" �!�0����� ' *6+0-�%%5-- ���" "���� � �"���� ! � ����� � � �� ��� ;*650.��0����� '' *6+045�#/0+,#/+1 < �

    *6+04���� 0����"� ; *6+0,�//0%)6�02, � *6501� .�� ��*650.��0����� � ;���> ��! �" ��> ��"�! "�� ����" �� �� �=*6+0%���0>�! ; ����0�� � ����0��" < �����0�� ' �����0��" �*6+0#""�0��" ; *6+0%)**0�)$/1 � *6+0.#70�8 � ����� �

    �� �� < �"���� ! ' ;��" �>���� ��� � � "���� ! < ��� ; �"���� ! < ��"��� *6+05$$05��-.51 �"���� ! ' �� ��� �*6+0#""�0!�" ; ����0�� � *650.��0����� � "���� ! < ���"��� *6+0-�%%5-- �

    9�

  • ��    � �� "�

    �����0��" ' ����0�� ��� ;�"���� ! � �"���< �

    =� 5���� � ��" �� "��� � #��"��� �� �"��� ��� > �� "� >��� *6+0%���0>�! � �=

    ��"��� *6+05$$0+,.5$, �

    �����"0"�� ' �"���� ! 9 �"��� ��"���� ! ' �����"0" �� ���"��� *6+0-�%%5-- �

    9#

    ��    � �� �

    =�(*650$�"���.��� 9 $�"���� "��� � ���"�> ��"� *6507�".��� �+�!�" 6�����"��� �

    � ���� 9 %��������" �� "� ��"��� "��� "�� ����"0"�� 9 2���" �� "�� "��� "� ��"���� �"��� 9 ,����� �� "��� "� ��"��� �(�=��" *650$�"���.��� ; ���� � ����"0"�� � �"��� <*6+0%��� ���� ���" ����"0"�� � �"��� ����" �"���� ! � � �� � �!�0����� ��� ;�!�0����� ' *6+0#""�0��" ; ���� � *650.��0����� ��"���� ! � �� �� ��� ��" ���" �� "��� ���������"���=

    ��"��� *6+05$$0).&5$ �

    �� ;�"���� ! '' ����"0"�� <�"���� ! ' ����"0"�� � �"��� �

    ��"��� *6+0-�%%5-- �

    9�

    ��    � �� � "

    =�(*650.���5�> 9 $�"���� "�� !����"� ����� �

    (�=��" *650.���5�> ;<�*6+04���� 0���� ; �*650.��0����� < �*650.��0����� ' *6+045�#/0+,#/ +1 �

    9�

    �" %& '(�����('���� '� �� $ � !� � #¡ /)� � �&"� . ! � �� $

    �" *�� � � &�# £ ��� %& '(����(��� ��$ � !� � # � !����!���� # $" �� . �#�� �� ��� $

    99

  • ��� � !   ��

    � g̀ RHV W�R � i\R UKW�GVR HLTTMNWHGVL K\ GNO GVV KW`MVR\� KWVR G KL MV WNR VL H WKHM QGVR OGVG VL V bR NR�V UKL HR\\ (M\ WNJ G NL N`QL H IWNJ \RNO GNO KRHR W�R L UR KGV WL Nf���� /� ��0� ��� % ���� '���� /����0� ��� % ���� & �!� �� & ��� & ������� & �!��!� '���� 4���0� ��� % ���� '� Vd UWHG Q M\R W\/� ��0� ��� % -. /023--043567 '�� %��> ( �#� ( ���' *

    /����0� ��� % ���� & �!� �� & ��� & ������� & �!��!� ' (7�04�+ % �!� �� & ��� ' (4���0� ��� % ���� ' (� � �!� �� ( �!� �� � �!��!� ( �!��!� � � (?

    � bGV bGUURN\ W^ 7�04�+ HG QQ\ ZP[ KL MV WNR\

    k �smn }{ y{� uoo} n{ }{ n{ romu � /� �� � ��� �

    k �{x mu y{� �w o m �w op$}ouo} n{ {r{vy n{}onopz quo nso uo� n p{ oww � �� qu n� w oo -. / ���� ����mu} -. / 2��� �� ��� �

    9

    �� @ �� ?A>

    k ��� ��� � ����� �� � � ��� �� ��������� ��� ���� � � ����� � �� �� ��� �� � � �� ����� � ��� �� ���� ��� ��� ��� ���� �� � �� ��� �� ���� � �� ���� �� ��� ��� �� � � ����� �� �� ������ ��� ����� �� ���� �k �� �� �� ���� ���� ��� ��� �� �� ��� �� ����� ������ �

    9

    �� !" �� ��

    %& ' ������� ��#$ � £� � #� #.�� !¡�#+!����!�� �� # 0 #���� ��/ £ � $ ./ �1 �#� � "� � � � ��

    %& ' �������� �1 $����/ � 8 �� �� �%& '(����(*��� 8

    %& ' �� �" �$ � # $ �� ��� �� # 8 �� �� �%& '(��(*��� 8

    %& ' ���� %����!����8 �� �� �%& '(���� (*��� 8

    %& ' ����� ���&� �£ ��� ! "" " 8 �� �� �%& '(�����(*��� 8

    %& ' ��������� �1 ������#$ � �8 �� �� �%& '(���������(*��� 8

    � ��" �� �� � �"#

    SL N\ WOR K V bW\ HLOR-. /0���0����� % � & & �� & -. /073��6� & 1���� ' (-. /0���0����� % �, & & ��)�)��,��� %��!���' & ���� &

    1���� ' (-. /0���0���� �� % 1���� ' (

    )] bW\ H KRGVR\ G OGVGVd UR ^L K L NR ^GHR L^ G �&ORHLTUL\ WV WL N f* � bRN \ bL MQO ���� `R ^ KRRO

    9�

  • �� � 

    ZP[ IRRU\ V KGH I L^ V bR M\R L^ GN ZP[ L g̀ RHV ( GNOL NQd V KMR Qd OR\V KLd\ WV _ bRN NL&L NR W\ M\ WNJ WV f ���� W\ `R WNJ M\RO `d V bR M\R K )V bR -. /0���0����� V bGVH KRGVRO WV * GNO `d V bR -. /07������ ���� V bGV M\R\ WV f[^ ���� W\ NLV NRRORO G^VR K ���� W\ OR' NRO ( WV \ bL MQO`R ^ KRRO �-. /0���0����� % � & & �� & -. /073��6� & 1���� ' (-. /0���0����� % �, & & ��)�)��,��� %��!���' & ���� &

    1���� ' (-. /0���0��� % 1���� ' (-. /0���0���� �� % 1���� ' (

    9�

    �� �� ��

    � bd NLV g M\V ^ KRR V bR L g̀ RHV

    SL N\ WOR K V bW\ QW`KGKd KL MV WNR �

    ���� -�+�7������ % �� & � & � & �, & -. /07������ )��� '*-. /07������ ���� (-. /0���0����� % � & & �� & -. /073��6� & 1���� ' (-. /0���0����� % �, & & ��)�)��,��� %��!���' & ���� &

    ��� ' (-. /0���0��� % 1���� ' (-. /0���0���� �� % ��� ' (?

    � WV bL MV V bR -. /0���0��� % 1���� ' ( WV _L MQO `R �R KdG_ I_GKO VL QGVR K ^ KRR ���� _ bRN ��� _G\ ^ KRRO f

    9�

    �;; B> ;= ?� B

    �1 ���) �$ " "�� ��� �" £� � )� �&�� �#+ �� � �£����#! �£ ���� �� � ���+ ���" 8 � " ��

    �� �

    ��� ��#+ �#� �£�!

    9#

    � � !" �

    � ���" $ �� ��! �� ! ¡� � �� . � # ���� �#�" �# �# �1 ���+ ��� !�# . !���&� $&" �#+ %& '(� � � ����� � � � �� "� � � %& '(� � � �! "����� � %& '(� � � �! "�� ��* � ���� ��� � � � � �*-� � � �� � � ! " � )� �& � � &�# $ ./ � " �#+ � !� �� ��%& '(� � � ��" ���� � )� �& 8k ��� ��� �� ��� �� �� �� ��� � ��������%& ' � '%� '� ������ ��� �� �� �� �� �� ���� ����� ��� ��� �� ��� � �"� �� ��� ��� ���� � ��� ����� ���� ��� � �� ��� ������ �� %& ' ��%% ���� �

    9�

  •  

    E � QQ KL MV WNR\ bG�R V_L RNV Kd UL WNV\ � -. / ��� GNO.-. / ���f

    E ] bW\ TGIR\ WV RG\d VL UKL� WOR G \ WNJ QR QR�R Q L^QL_ &L�R KbRGO KL MV WNR\ VL WNVR KHRUV ZP[ HG QQ\_ WV bL MV GNd \L MKHR HLOR TLO W' HGV WL N\ f

    E i\RO VL UKL� WOR hGMVLTGV WHj JRNR KGV WL N L^ V KGHR' QR\ fMPI_Send

    PMPI_Send

    MPI_Bcast

    MPI_SendPMPI_Send

    MPI_Send

    MPI_Bcast

    User Program MPI LibraryProfile Library

    �"�"�� ��" ����> ' � ���" *6+0-��> ; �"��" � ����" � >�"�"�!� � >��" � "�� � ���� <�����>�� ���"��� 6*6+0-��> ; �"��" � ����" � >�"�"�!� � >��" � "�� � ���� <

    9¤�

        �] bR ZP[S WT UQRTRNVGV WL N HL NVG WN\ G UKLJ KGT ^L K_ KWV WNJ xpm opw f] bW\ OR\H KWUV WL N _ WQQ _ KWVR L MV RGHb ZP[ KL MV WNR V bGVW\ HG QQRO f� ����� -. /0�� /670.53= /6/�� !���� -. /0�� /670.53= /6/�� ��� �� ����!�� #��� �� �$ ����!�� "�� � � "**����� ��0����??

    **������ ��� ����+??.-. /02���0��+ % -. /023--043567 & 1����+ ' (� ���� % " �;�� ���� ��� **��0����?? �������� ���������� �� ��0���� *6+0+��" *6+02��� ��� *6+0�"�����"����0����0� �� �0���� ��� �����>���� �� ����� "���0��0��� � *6+02��� ���

    !���"� ; ���"���0��0���� �� ����� �� �> ��� � < ����� ����"���0�� 0��� �0� �� �0���� �� ��� �

    ����>��� ���� ��0���� *6+0-��> *6+08���> *6+0+���>�����>�� ��" "�!��������� ��*6+0.�!�0���� ; ��>�"�"�!� � ;*6+0#��" �

  • �   " � �     �

    -�+ � � " � ��� !� #�� �# � ��"���/ �£ ����� �� � !���&��� �� # !�# . ) �/ )� �&�.� �# $ �"��#$ �#+ � ���� �� � ���+ ��� 8 � &�"��� �#$ #&�"��� ���+ ���" 0 ���) �$ $ �#� � �1%� �#$ �1� �� �� � #��� �� #" 0��/ . &" $ �� ) � ��+ � � "

    9¤¤

    �    

    ��" �" ) �/ �"/ �� � � � �1%��� �� � #��� �� # �£ �1 8 ' ����/ � ���!

    ��

    �� �

    ��

    ���

    � �# � � ��#¡ ��# £��/� &� ���+ ��� 0 �#$ � ��#¡ /� &� ���+ ��� 8 ��&$� #�� # $ �� � !����� 8 # "�� "/"� �" 0 /� & !�# + � � � � �� �� �#���� �� # ./ &" �#+ �� ��.���� "

    ���

    ���

    � ��

    ��� 8* �� �#�� �/0 /� & !�# &" �� ��

    �� ��

    �� �