text retrieval conference (trec) home page

12

Upload: others

Post on 13-Nov-2021

5 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Text REtrieval Conference (TREC) Home Page

����������� � ��������� ����������� � �!�#"%$�� ��&('%)*��'%&(�#+��#,%-.0/ �1&2� &()43 / )*� +5�6��+7�98 / ,;: <!=>�?��� � , � / ) �@<A,%����&(� / , �2�

BDCFEHGJILKNMOI7PQPHRILSUTWVOCFX!GYP*Z1C[E\CFC[E]T[^`_HabCcP�dDebEHf]RCFKgILfFTbhiKJGgjkGJC�hlaWILE\e\TFm1e[PnCFjUGJepoieq_OPcRr absHILfFTtuGJvHCFGwVqs\Pn_\ILCFExsyTbzk{[|*}qebPn_\G�~NsOPnX!e

�H���O� �w������z��������y��{U������{F���k����������zn����k�����������{F� ��z¡|c�¡�Nzn��z���¢F{L£Uz

¤k¥U¦g§�¨�¨©§�ª�«¬ª�­�®�¯b®k®�¯x«°§�±c²n¯F³�®�´µ§©³�«°®Q±c§©¯W²7« ¶W²n¨�®c·�¸µ²L« ª�¹�¨�¥L§�®�¯W¹F«�º�¹�¨�»l²L¼7½N´�ª�¸¿¾�¹�ÀÁ·�¾¬§�¥b¹

Â5Ã�ÄOÅHÆÈÇ2ÉNÅ���F� �ËÊ[z�ÊW���Ì|c����������ÍW���Î�\���O�ÁÏÑÐ`�ÒTÓzÕÔÒ¢F����������{FÖU¢[z���kÊW��{FÏ¿|c�UÔ×z���{ØÐ�¢[���������k{��{[��ÙN������{FÖØÚ¿Ð`��ÛÜ��£c������Ô¢F{[|F���×|c���U�����kÊFÔÝ��{U�Ýzn�Ý���N�ßÞY�k�¡���F�DÊ[zk���Ò�ÑÙN�9£U��zk����à���F����£c�Ñ����Ôá���y|c����������ÍW��|Ýzk{[|Ý���nz���¢[z�����|4��{Ý���F�����k{7����âL���Þ×�U¢F�ãÊ[zk����������Ê[z������k{;��{;���F�A�w��äN�æå�çkçkè?éãz���{áÐ`���zU��êëàÁ���F�(�H���\�ÈÏ�Ð`�%��£c������Ôì������z�����ÍW������ÞJzU�©���k� |Dzk{[||c��í[{F�������k{[zk�Oî7¢F���������k{[�2ÚJ�����F���©Û©àï[zk�����U��|�î7¢F���������k{b�z������������U���U��|iÙw�����ãzÝÊF���c�������w���k{FÏ

����������{FÖl�kÞ����F�����¡ÊF�[zk������ðwî7¢F���������k{1ÊF���c����������{[Ö[T[Êbzk����zkÖk��������������nz��2z�{b|ñzk{[��ÙN���D��âL����zU�©�����k{OàÎò�¢F�1z�Ê[ÊF���7zk���?������k���k�1���F���iêL��{b|ó��ÞÒî7¢F���Ñ�����U{[�*� �l���AÍ[¢F��� |�zô����Ô×z�{7��� �����ÊF��������{7��z������k{á��ÞD���F��î7¢F���Ñ�����U{[�pz�{b|õ���F�ó����{7����{[�������{����F� �������������k��|�Ê[zk����z�Ök����àö�÷�����1�kÞ4����Ô×z�{7��� �#���k{FÏ������z���{U���wz����2��âL����zk������|*ÞY�U���zU����î7¢F���Ñ�����U{qày���[�(z�{[��Ùy�����âL����zU�©�����k{áz���Ök�k�������FÔø��â7����zU�©����zk{[|õ��z�{[êL�#����{7����{[��������bzn���z���� �ÑÞY£Ý���F�2����Ô×z�{7��� �����k{[������z���{7���y��Þ\���F�2î7¢F���������k{Oàù¿ÞiÔ×z������F���#zk���Ó{F�k� ÊW�U������ÍF���ô���F�?z���Ök�U�������[Ôø������z�âL������[�ú����ÔÝzk{7��� �>���k{[������z���{7���û������¢[�©��¢F��zk����£üÚJ����Ô4�n�L��{FÖ���U{[������z���{U����Û�z�{b|býQ�U�#�[������zk�����F� ��zk����£ìÚJzkÍ[�Ñ����zU�©����{FÖñ���[����U{[������z���{U���N¢[����{FÖ×z4��z�âc�k{F�UÔÒ£FÛ©àþ���í[{F�������k{[zk��î7¢F���Ñ�����U{[��z����(������zn����|1��{�zl���F������Ï¿����zkÖk�

ÊF���c��������ðÈÊ[zk����zkÖk�`�������������nz��ÿTcÊ[zn��������{1����z�{F{[��{FÖ×�n�U���N���[�ÊF�����L���k¢[���������ÞHÊ[zk����z�Ök����Tczk{[|*íb{[z�����£Dz¡í[����������{[Ö4Ê[�[zk���Ùw�F�����i�k{F��£9���F�DÔ4�7�Ñ�¡���������Qzk{7�4z�{b|p��{FÞY�k��ÔÝz������k�×ÞY��z�ÖkÏÔÝ��{7����z�����ÖU���U��{�zk�Ní[{[zk�x�k¢c��ÊF¢c��à

� ��� ÅHÆ������ÉNÅ��� ����F� �ËÊ[z�ÊW���Ì|c����������ÍW���Î�\���O�ÁÏÑÐ`�ÒTÓzÕÔÒ¢F����������{FÖU¢[z���kÊW��{FÏ¿|c�UÔ×z���{ØÐ�¢[���������k{��{[��ÙN������{FÖØÚ¿Ð`��ÛÜ��£c������Ô¢F{[|F���p|c���U�����kÊFÔÝ��{U�!z�� ���N�æÞY�U� ���F� Ê[zU�Ñ�!åó£U��zk����à���F� Ê[zkÊb���ìÞY�c��¢[����� �k{��k¢F��Ê[z������ ����Ê[zn�����U{Õ��{����[��w�ä���åkçkç�èß���nzk��¢[z������k{qà ò�¢[�óz���Ôü��{Ì|c���U�����kÊF��{FÖ

�\���O�ÈÏ�Ð`� �[zU�pÍW����{ ���uÍF¢[��� | z%��£L������Ô zU�pÞJzk�Azk�Êb�7������Í[���ú� z�{[Ök¢[zkÖk�>��{[|F��ÊW��{[|c��{7��TûÙw�F����� � z�{FÖU¢[z�ÖU�|c��ÊW��{[|F��{7�AÔÝ�c|c¢F�����!���k¢F� |õÍW����¢FÍ[��������¢c����|á���uzk�����nÙ���F����£c������Ôû���9ÍW��z�ÊFÊF������|p����|c� �ë������{7�4� z�{[Ök¢[zkÖk����à9�í[����� ÊF��������ÔÝ��{bz���£ �U���������k{%�kÞi�H���O�ÁÏÑÐ`��ÞY�k�päÁ{[Ök�������ÙNzU�Á¢[����|Ý���(Ê[zk����������Ê[z������{l�w�ä��Óå�çkç��ÒÐ`� ����zk��ê�ÚJ������ éãzU�������Á���yz��ÿT7åkçkç����YÛ©à\ï[���UÔu���F���Á��{F����� z��b�k���������U{qTkz�{F��Ù�k���������U{*ÞY�k���cÊ[z�{F� ���DÙ�zk�NÍF¢[������z�{[|DÙ�zk�N¢[����|i��{9�N�\ä]ïå�çkçkèÓÚg����� � ï[����������¡���lz��ÿTwå�çkçkèUz��µÛ�à ��{ ��ÔÝÊF���n�k��|!�k����Ï�����k{qT7z�Ö7z���{(ÞY�k�Áä]{FÖk��� ���qTk�[zk��ÍW����{×¢[����|Ò��{×�w�äN�ôå�çUç�èbàù {×���F� �]Ê[zkÊb���yÙN�ÊF��������{7�Á���F�`�n�k����z����Fz������F�������©��¢[����kÞ

�\���O�ÈÏ�Ð`��zk{[|*|c����������ÍW�ÍF�������[£Ý�����]Ô×z���{l���kÔÝÊb�U{F��{7����TÞY�L��¢[����{FÖ��k{ ���F�U���l���UÔÝÊb�U{F��{7���Ò���bzn�Ò�[zQ�U�*ÍW����{AÔ4�7�Ñ����[z�{FÖU��|%����{b���!�U¢F�9��{F����� z��4ÊF���k���k�Ñ£7ÊW�kT¡z�{[|%�U{;���F�7������kÔÝÊW�k{F��{7���4���bzn�*ÊF���c�������ÝäÁ{FÖU��� ���qà����ãzk������Ê[��������{U�z�{ã���Qzk��¢bzn�����k{1�kÞ����F�4��£c������ÔË¢[����|1��{1���F�¡�w�ä�� å�çkçkè���nz���¢[zn�����U{2ÞY�k�HÍW�����(ÞJzk�©���k� |(z�{b|(|c��íb{F�������U{[z��Lî7¢F���������k{b��à

� ��� ÄOÅ ��! "#��Ä\ÉwÆ$&%iÅ'�� �(*),+ -�.0/013254768/94�:;.06=<?>A@;68B���F�ó��£c������Ô¢[����|áÞY�k� ���F�ó�w�ä��Üåkçkç�è Ù�zk�#Ê[z�������£��¢F{[{F��{[Ö#�U{!���F�1z������F����������¢F���lÊF���kÊW�U����|A��{ � C �k{�DE�z�����DkTå�çkçkè��¿à(���F�4ÊF���UÊb�7��zk�\�kÞÁ���[����z������F�������©��¢[���4�������l����zk{[�ÑÏÞY�k��Ôú��zU�������UÔ4ÊW�k{[��{7�1��Þ(���F�p��£c������Ô ��{7��� z �������U����àä]zk���Ó�������U���Ý��zk{ôÍW�1��������{U�Ý��� zk{F�����F���×��£c�Ñ����ÔÜ�������k���ÊF���n�L� |c��{FÖózó|c� �W������{7���������L� ���Uà÷���F�ô���kÔÝÔ¡¢F{F� ��zn�����U{Íb���ÑÙy����{���������{7���`zk{[|9�������k���������`Ô×z�{bz�Ök��|1ÍL£ãzi����{7����z���������U���w��zk������|GFGH�I5JLKMH�NPO�H�N©à�L�UÔÝ�2��ÞO���F�(zk|F�Qzk{7��z�ÖU���N��ÞH���[���zk�����[�������©��¢F���`zk���UðQ ù¿�*ÊF�����k��{7���¡ÞY���UÔ ����Êb��zn����|ô��{F����� z����RD�zn�����U{[�4��Þ����F����UÔ4ÊW�k{[��{7����àQ ù¿�lz������nÙ�4��zk��£!|c��ÍF¢[ÖkÖk��{FÖbTÁÔ×z���{U����{[zk{[���1zk{[|A����ÏÊF� zk����ÔÝ��{7���ÞH��zk���D��{[|c���7� |c¢[zk�O���UÔÝÊb�U{F��{7��à

Page 2: Text REtrieval Conference (TREC) Home Page

Q �y�UÔ4ÊW�k{[��{7�����U{F��£9{F����|9����¢F{[|c��������zk{[|ã���F�*���UÔ4ÏÔ¡¢F{F� ��zn�����U{ ÊF���k���c���U�wÚYÙw�F� ��� �[zk�2ÍW����{ êk��ÊF�Ò����Ô4ÏÊF����Û�à ���F���ãÙNzQ£UT(���kÔÝÊW�k{F��{7���1�kÞÝ�U����£�|c� �W������{7����[zk��zU�©������������� ������zk{;Íb�!��{7����Ök��zn����| ��{7���óz?����{FÖk�����£c�Ñ����Ô ��{1z�{���zU��£×Ù�zQ£kà

Q �y�UÔ4ÔÝ�U{Ò���UÔ4ÊW�k{[��{7���\��z�{ÒÍb�����bz�����|�ÍW���ÑÙN����{¡|c��ÞµÏÞY������{U����£c������ÔÝ�]��¢[{F{F��{FÖÒ�U{Ý���F����zkÔÝ��é1����z��L�����U����àQ ä]�k��{7��¢[z�����£UTÒ���F� �!z������F����������¢F���ô��z�{ z������nÙ�z;|c� ��Ï������ÍF¢c����|*ÔÝ�c|c���W�kÞ\���UÔÝÊF¢c����{FÖbTcÙw�F�����������U����z��[Ô×z�Ï���F��{F����Ùw�����*é1����z��L�����U�����H���kÔÝÔÒ¢[{F����zn���NÙw�����Ý��zk����k���F����à*���y������{7�Ò���k¢[��|#zk���������2z �L�����k�����k{pz�|c��ÞµÏÞY������{U��Ô×zk���F��{F�`��{�z4���kÔÝÊF����������£Ý����z�{[��Ê[zk����{U�NÙNzQ£Uà

���F����zk�����F�������©��¢F���`�[zU�]ÍW����{D|c������Ök{[��|×���ÝÍb��z�ÊFÊ[��� ��z�Ï�����k{���{b|c��ÊW��{[|F��{7��à¡ù¿�`�[zU�`Íb����{#¢[����|xTëÞY�k����{[����z�{b���kTë�����{U����ÖU��z����Ò|c� �ë������{7��ÔÝ�c|c¢F��������ÞÈ�ÑÙN�*ÔÒ¢F����������{FÖU¢[z�����¢FÔ4ÏÔ×z���� D�zn�����U{Ý��£c�Ñ����Ô×� � ïF¢F��{7�����]���yzk�gTLå�çUç�è��¿à �c�2ÞJz���Tk�U{F��£���[��í[������Ñ��z�ÖU������Þ\���F�2ÖU���UÍ[z��OÐ`�;ÊF���c��������z�������¢[{F{F��{FÖ�k{����F� ��z������F����������¢F���kà���nÙN���U����T�k¢[�i��{7����{7�����U{�� �l������U��{7��¢bz�����£×ÔÝ��Ök��zn���`z����x���kÔÝÊW�k{F��{7���N��Þq���F�ÒÐ`�;��£c������Ô���Ý����à(*) ( ������476� -�.0/ 1�2 4 6E/947:�.�6���F�Ò��£c�Ñ����ÔÎz������F����������¢F����ÞY�k�����nÙ�����F�¡ÔÝ�U�������UÔ4ÔÝ�U{F��£¢[����|������F��Ô×zFTq��ÊF����������{[Öl���F�ÝÊF���c����������{7���i���F�����4ÊF�[zU��������bzn�pz����!Êb����ÞY�U��ÔÝ��|u����î7¢F��{7��� z�����£kàúÐ`�Õ���kÔÝÊb�U{F��{7���Ô×zQ£p���k{7��z���{!��������zn�����U�iz���Ök�U�������[ÔÝ�iÚY�Uà Öbà!�Èzk����zkÖk�*�w��Ï���������nz��µÛ�ÍF¢c�({F�DÞY����|cÍ[zU��êã���(ÊF���UÊ[z�Ö7zn����|����i���F�×ÊF�����L��Ï�k¢b�(ÔÝ�c|c¢F������àã���F�����lz����Ý���[�����lÔ×z���{!��¢[Í[��£c������ÔÝ�iÚJzU����F�nÙw{Ý��{*ïH��Ök¢F�����Û�Tk�k{[�����U��������Êb�U{[|c��{FÖ����(��zk���ÝÊF�[zU���Uðkà�Ð�¢F���Ñ�����U{D�]���c����������{FÖ�ÚÿÐ`�yÛåcàw�ÈzU����z�ÖU���w�����������Qzk�ÁÚJ�y��Û�Fàw��{[��ÙN���äÁâL����zk�©�����U{�Úg��äyÛ���F�����w��¢FÍb��£c������Ô×�Ázk����|c����������Íb��|4Íb�����nÙ2T�Í[¢c�Èí[���Ñ�ÁÙN�

Ùw�����c|c����������Íb�����kÔÝ�yÊ[����ÏÿÊF���c����������{[Öw��zU��êc�O���[z���ÙN�����y��z���Ï������|i�U¢c��k{D���F�Ò|c�c��¢[Ô4��{7�����k�������©�����U{pÚµ���[�Ò��Ð`����ù ������U��Ê[¢[��ÛÒz�{[|!���F�1î7¢F���Ñ�����U{[��à!���4Ô4��{7�����k{F��|xTÁ�k¢[�Ýzk��Ô� �2����|c���U�����kÊ!z1� z�{FÖU¢[z�ÖU�Ý��{[|F��ÊW��{[|c��{7�4��£L������Ô�àã�Oz�{FÏÖk¢bz�Ök�y|c��ÊW��{[|F��{7�H���kÔÝÊb�U{F��{7���\zk���Á��{[����¢[|F��|2�U{F��£���{2���[�Ð�¢F���Ñ�����U{��]����ÏÿÊ[���c����������{FÖ4zk{[|��Èzk����zkÖk���Á����Ï¿ÊF���L����������{FÖ���UÔÝÊb�U{F��{7����T�z�{[| ��zk{pÍb�l��zk������£#��¢FÍb�Ñ������¢c����|pÍL£����UÔ4ÏÊW�k{F��{U���NÞY�k��k���F���w��zk{FÖk¢bz�Ök����à(*)�� � > B B 68/94�2,>���� .�6����3.�>A/ 6��� 2�����#�ñ�[zQ�U�ó¢[����| ���F�����! H#" H%$?ù {cÞY�k��Ô×zn�����U{��w�����������nzk�ÚYùÑ��Û���{FÖU��{[�¡���1Êb����ÞY�U��ÔÌ���F�*�y�õ��zk��êëà'&y��ÞY�k���×�w�äN�å�çUç�è`Ùy�w��{[|c��âc��|¡���F�wÙw�[�k�����Ð`���ù ��� ���k�������©�����U{DÚJ�gà �kà( )+*,*.-0/ 121.3.465%467�*.4�8 46-946:;)=<28 >27.?+1%@BA�:�< C=<

z�ÍW�k¢c�DiÔÝ���������k{ô|F�L��¢FÔÝ��{7����Û©à ���DÊF����Ï¿ÊF���c����������|#���F�Ùw�F�k���p���k�������©�����U{�Ùw�����;����{FÖU¢F� �Ñ���������L�U��� ÚJ|F����������ÍW��| ��{��¢FÍFÏ¿�����������k{ åFà EUÛÝ���ôÔ×z���êÓ���F� Ê[zk����Ïÿ�k޵Ͽ��ÊW�������uÚg�Nò �FÛ��z�Ö7��TO����Ô4Ô×zU�`zk{[|F��z�ÔÝ��|�ä]{U�����������×Ú,��äyÛ���Þy���F�4����âL��à���F���y��{cÞY�k��Ô×zn�����k{×Ù�zk�]¢[����|4���¡ÍF¢F������z�{*��{[|c��â4Ùw�����*���F�ÞY�k�����nÙw��{FÖÝÊ[z�������ðQ �q��Ô4Ô×z����RD���|ó����â7��ð!���F���DÊ[zk����� �lÍF¢[�����1¢[����{FÖA���F�Ùy�U��|A����ÔÝÔÝzU�×z�{[|A���[�D�������kÖU{F� D���|G��z�ÔÝ��|ÓäÁ{7����Ï��������à×���F���`����âL�2���`���F��{ ��{[|c��âL��|�zk{[|�¢[����|9��{����F��]� ÔÝ�c|c¢F���kà

Q ò�����Ök��{[zk�[����âL��ð����F���k����ÖU��{[zk�F����âL�wÙw�����H��z�ÔÝ��|iäÁ{cÏ�����������y���bzn�����N�������������k��|ÝÙw�F��{DzÒî7¢F����£×��¢[��������|[�]�U{���F�2����ÔÝÔ×zn��� D���|i����âL��à

���9z�{uzU|F|c�������k{[zk�ÒêL{F�nÙw����|cÖU�p���U¢F����� ���[z��9Ùw�����¡Íb�¢[����|p��{p���F����ä%��zk��êëTÁz�{JILKLMÓÙy����ÖU�7�Ò���4���UÔÝÊF¢c����|!zn�|c�c��¢FÔÝ��{7������U���ëÞY�k�����F�2Ùw�F�U���(���k�������©�����k{Oà(*)ON PRQ .!�$6M4 -S�TQ'B ��� 2U�VQW��@X�A:�YZ��4�254�:;472,>�����F�×�k����ÖU��{bz���îU¢[���������k{[���kÞ]���[�Ý�w��äN�uåkçkçkè�Ð`�á����zk��êz�����ÖU¢F��|F��|iÍ7£*zÒ��zk��ÖU����à�&N����z�¢b�����k¢F�w��¢[������{7��Ð`� ��£c�ÑÏ����Ô |c�L���×{F���iÊF���c�������×îU¢[���������k{[�lÙw�����F��{ó���k{7����âL��T�Ùy�|c������ÖU{F��|×z2���kÔÝÊW�k{F��{U�È���Ò��¢FÍ[��������¢c����z����F���F�����ÞY������{b�������Þq���F����z���Ök���]��{l���F�`�k����Ök��{[z��WîU¢[���������k{*Ùw�����l���F����zk��ÖU����à� ��������Þ\�F��¢F��� �Ñ��������TL��Ô4Ê[����Ô4��{7����|iÍL£×ÔÝ��z�{b�]�kÞ\����Ök¢[��zk���âcÊF�����������k{�Ê[zn��������{[��Tq�[zU��Íb����{pz�ÊFÊ[������|9���1���k���k�Ý���UÔ4�ÞY�k��ÔÝ�(��ÞN���k����ÞY������{[���Uà×ù¿Þy���F�*��¢[Í[�Ñ������¢c�����k{p� ��{F�k�(Êb�7�ÑÏ����ÍF���kTÈ���F�*��z���Ök���Ýz�{[|!�����4zk{[z���£c��� �lÚg�Nò �ëTH����ÔÝÔ×z9z�{b|��ä]�� ¢b����{FÖ*���F�¡���L�k� ��|c����������ÍW��|ã��{9���F�Ý{F��â7�2��¢FÍ[�����©Ï�����k{bÛ�zk����zk|F|F��|Ýzk��z`���������nz�{7�È��{cÞY�U��Ô×z������k{¡���`���F�wî7¢F���ÑÏ�����k{1z�{[zk��£c�����N�U¢c��ÊF¢F��à(*)�[ \ :;6��4�2 >��]� .�>A/ 6��� 2U������F�!Ô×z���{%Ök�7z��2��ÞÝ���F������¢[Í[��£c������Ô@� �����ñ|c�������©�9���F���âcÊb���©����|Azk{[��Ùy���2�Ñ£LÊb��z�{[|p���9ÖU��{F����z����Ý���F�i��{cÞY�U��Ô×znÏ�����k{!{F����|c��| ÞY�k�¡���[�l�����F���4��¢[Í[��£c������ÔÝ��à�ï[�k�4�]�2TO���F���{cÞY�U��Ô×z������k{ {F����|c��| � �ÓÍ[zk������z�����£ ����âc� ��z�� ÚJ��ò �ìz�{b|����Ô4Ô×zU��ÛÈzk{[|×��£7{7��zk�©�����kT7zk{[|4ÞY�k�y��äTU����âc����z��ÿTU��£7{7��zk�©�����z�{[|�����Ô×zk{U�����kà ���ö¢[����z � z�{FÖU¢[z�ÖU��Ï¿��{[|F��ÊW��{[|c��{7�ÞY�k��ÔÝzk��� ��Ô ���ö����Ê[��������{U� z����9���F��� ��{cÞY�k��Ô×zn�����U{qà ù {Ê[z������ ��¢F� z��2ÙN�×¢[���Ý���F�i��zkÔ4�×����Ô×z�{7�����ÝÊF����Ô4�������k���(z�{b|������z������k{[�4ÞY�U�×Íb�k���?� z�{FÖU¢[z�ÖU����ÚJä]{FÖk������� z�{[| �LÊ[zk{F� ���bÛÊF���c����������|lÍL£*�U¢F���£c������ÔDàï[�k�(�w�ä��%å�çUç�èlÙN�Ý¢[����|#zi�����2��ÞNÖk��{F����z��HÊF¢F��Êb�7���

���L�k� �OÊ[���c|c¢[����|ÒÍ7£`���F�N���N�F���O��Ök���k¢FÊ*Úg����� � �Nz���������zU����2z��ÿTOå�çkç7åL�¿TWzk{[| � �Nz���������zU�w���2z��ÿTOå�çUç�è �µÛwzk{[|9zk{F�����F����������kÞ\ÊF¢[ÍF��� �^���\�A���L�k� ��àÈ���F�2��z�ÔÝ�����L�k� �wz�����¢[����|*ÞY�k����F�¡ÊF���c����������{FÖ×��ÞÈÍW�����1���F�4î7¢F���������k{[��z�{[|����F�Òzk{[��ÙN���Ê[zk����zkÖk����à����F��ÞY�k�����nÙw��{FÖÝ���UÔÝÊb�U{F��{7����ÙN������¢[����|xð

Page 3: Text REtrieval Conference (TREC) Home Page

ïH��ÖU¢F���RUðÁ�\���O�ÁÏÑÐ`� �L£c�Ñ����ÔË������F����������¢F���kà

Q tuebP��HvHeWKJeWabGgjkCFKujUebX��]ebEHILE���SUT!z�{û�Ñ��zn��������� ��zk���ò �2��z�ÖkÖU���Ú�� "��WÛ � &N��z�{7����TUåkçkçkç��[z�{[|¡���F�A���U��|cÏ����������ÔÝÔ×zn��� D����ÒÚJ�k���������U{ãåcà çUÛwzk���2¢[����|D���*�kÍF��z���{��ò �ã��z�Ö7�(z�{[| ����ÔÝÔ×zk��à ���i¢[����|����F��� "��pÊ[����Ï|c��í[{F��|(ÔÝ�c|c���7����z���{F��|2�k{2���F� �#zk���7�7����������U�k¢[��{[zk����k��ÊF¢[��à

Q húXAeq_\G�HIL_ �bI7PnS�GJeWEue�����vHI��¡eWKJKgGJEHS��HCcPnS�I7P7TÙw�F� ���4Êb����ÞY�U��Ô×�\ÞY¢F���FÊ[z�������{FÖ`z�{[|¡���kÍF¢[���È|c�������©�����U{�kÞl�k����Í[zk�ÒÊF����|F����zn��� z���Ök¢[Ô4��{7��� � �y�k������{[��TH��������¿àï[�k����F�ÒÊ[¢F��ÊW�U���Ò�kÞÁîU¢[���������k{9zk{[��ÙN������{FÖ[TFÙN�Ò�bzQ�k�����ÔÝ������|ó���F��{L¢FÔ¡Íb������ÞÒÊF����|F����zn���#z���Ök¢FÔÝ��{U���*������F�����kðÈz�ÖU��{7��Tc|c�������©�w�UÍ��Ñ�����2ÚJ�k�N���[��ÔÝ��Û�T[z�{[|l��{b|c��Ï���������UÍ��Ñ�����(ÚYÍW��{F��ÞJzk�©�����U�2�k����{[�Ñ����¢[Ô4��{7��Û©Tbz�{[|D¢[���z`�����������\��ÞW���UÍF¢[���H�[��¢F��������� ���O����� |c��{7����ÞY£2���F��Ô�à�ïF�U���âczkÔÝÊF���UTÈ�k{F�l�F��¢F��� �Ñ�����l��zkÍb�����4z1{F�U¢F{!ÊF�F��zk���lzU�zkÖk��{7���ÞÁ����ÊF��������|c���zk{ãzk�������k�2�k����Í1Ùw�����[��{ãz*����{FÏ����{[������k{b�Ñ����¢[����àHïF¢F�����F����ÔÝ�U���UT�Ùy���[zQ�U�y��������zk��{[��|���F�wÊ[z��������H�k{Ýz`���k��ÊF¢[�H��Þëî7¢F���������k{[�wÚ � &����Ð?zk{[|�[Ð ÊF�F��zk������Û*Ùw�[�����%z����#��zU��ê7��{FÖÓ��{ñ���[�p�k����ÖU��{[zk�����{F{i�\����� &�z�{[êWà�ïF���kÔ ���F��ÊF�����L���U¢[�N�w�äN�Ó���nz���Ï¢[z������k{[�ÒÙy�l�[zQ�k�*���k{[������¢[�©����|pzk{!zk|F|c�������k{bz��y���k��ÏÊF¢b���kÞT������*î7¢F���Ñ�����U{[��ÞY�k������z���{F��{FÖDzk{[|9zi���U��ÊF¢b��kÞ E ���4î7¢F���Ñ�����U{[�wÞY�U������Ñ����{[Ö[à������{FÖ×���[��������z���{F��{FÖ���k��ÊF¢[����{ zU|F|c�������k{��������F�*�O������&�z�{FêëTx�k¢[�2Ê[z��������ÍW�L�U�����È�����yïOÏ¿ÔÝ��zU��¢F���w�k{4���F��î7¢F���������k{4�������y���U��ÊF¢b�ÞY���kÔ��!kà �Uå� õ���!�0EFà �ç� là

Q h#"�$�%!&1^�~*Tz ��z�ÔÝ��| äÁ{7�����Ñ£ó�w�����UÖk{F�RD�����zk{[|

�y��zU������í[�������[zn�]� |c��{U����íb���Ázk{[|Ý��� zk������í[������ä]�È��{ÝÍ[znÏ��� �#��zn����ÖU�k�������ãÚYÊW�������U{qTÊF� zk���kT�U��Ö7z�{F�RD�z������k{?z�{b|�����F���©Û©à �L��� � �Nzk��������zk�y���zk�gTbåkçkç7åL�¿à

Q hlKgI7X('�GJjFT�z^��z�ÔÝ��|ÝäÁ{7�����Ñ£Ò������UÖk{F�RD����Èz�{[|×�y��zU�ÑÏ����í[���O���[zn����|F��{7����í[����zk{[|(��� zk������í[�����ä]�\Ùw�����¡éã������ zk�������ÝÚYÊW�������U{qTOÊF� zk���kTq�U��Ö7z�{F�RD�z������k{qTx|Fz����UTx����ÔÝ�kTÊb��������{7�Nzk{[|×ÔÝ�k{[��£FÛ©à$�L��� � �ÍW����|c����{*����z��ÿT )��� EL�¿à

Q ^�s\Pne+*áe[Pn_,&1I��UTn¢[����|������UÍc��zk��{2���F�yÞY�k�����nÙw��{FÖ�����ÏÔ×z�{7��� �N��{cÞY�U��Ô×z������k{qðOz`�������È��Þë��£L{[�������NÚJÙw�����Ý{F�`z���Ï����Ô4ÊF���������U��|�c��{[���¡þ�����z�Ô¡ÍF��Ök¢[z������k{bÛ�Tbz×���������kÞ�L£7ÊW����{L£LÔÝ�y��Þ\��zk���i��£L{[�����2ÚY¢FÊi���Ò���F�`���kÊl�kÞO��zU����L£7ÊW����{L£LÔÒ£(���[zk��{bÛ�T����F�wä$� �.- �È�\�kÊ*�y�k{[����Êc�yò�{cÏ���U���UÖk£�Úg���wò�Û����zU��� � �w�c|c�L�/ Ök¢F�&D`���`zk�gT ��������¿T[z�{b|���F�óé9z�Ök{[��{F�0- �#þ��kÔ×zk��{ �y�c|c��� ÚJþ2��Û � éãz�ÖU{F��{[�gT�NzQ�nz�Ök��� �zFTFå�çUçkç��¿à

Q ~(v\PQILI�dDCFfUI��1��ILI7PnSkTÒÙw�����ñ���F�pÞY�U�����nÙw��{[ÖÓ��{cÞY�U��ÏÔ×zn�����k{Oð zU�����k{L£LÔÝ��T��kÍc��z���{F��| ¢[����{FÖ�z?þ������ �����U{�O�����ôz�ÊFÊF���UzU��� � ïF�����0���������zk�gT¡åkçkçkèkÍ7�32Ý���c��z������k{cÏ{[zn�����U{[z������Ñ£?������z������k{[�#ÚY�Uà Öbà �LÊ[zk��{cÏ �LÊ[zk{F� ���bÛiz�{b|zk�����k��Ï zk�©�����U{l����� zn�����U{[��ÚY�kà Ö[àÈÙw��������Ï¿Ùw���������©Û©à

���F�#z�ÊFÊ[��� ��z������k{ ��Þ����[�����9����{FÖU¢F� �Ñ�����1�������k¢[�������×z�{b|���L�k� ��TÈ�UÍL�7���k¢b����£ ��zk{FÖk¢[zkÖk�*|c��Êb��{[|c��{U��TÁ���ã���[�l����âL�4�kÞ���F�!î7¢F���Ñ�����U{ßÚJÊF��¢b�1���U��{7��¢[zk����£?���ô���F� ��zk��ÖU����T��������F�����¢FÍb�Ñ������¢c����|1ÞY�k�����������k����ÞY������{U��U������ÔÝÊF��£�zk|F|c��|����*���F�z�{[zk��£c�����`��Þy���F�×î7¢F���Ñ�����U{�����������Þ�Û`� ������ÊF��������{7����|ã��{#�ÑÙN��Ñ����¢[����¢F�����2Úgz�{���âFzkÔ4Ê[����� ��ÊF��������{7����|i��{�ïH��Ök¢F���(åkÛ�ð

Page 4: Text REtrieval Conference (TREC) Home Page

Q VOILE��kT#Ùw�F�����ÎÊF���n�L��|F���Ó����âc����z��ã��{cÞY�k��Ô×zn�����U{�ÞY�U���zk���×ÙN�k��|xðqÞY�U��Ô�T7����Ô4Ô×z[T7��ò �ëTU����Ô×z�{7���������zU���Á��Þ��äTx�������2��Þyä � �ß��£L{[��������zk{[|xTxí[{bz�����£UTxÙw�F��{F���k���ÊW�U������ÍF���Á���F�]�U����Í[�qzk�����L����z�����|`������F�yzU�©���k�Ozk{[|����[������ zn�����U{[�qÍW���ÑÙN����{Ò���L��zn�����U{[�Ozk{[|2���F�����\{bzn�����k{bz������Ñ£Uà

Q VOGJE��UTH���kÔÝÊb�7����|9ÍL£9�ÑÙy������������T\�U{F�×�������U��|F��{FÖi���[���£L{U��zk����� �ã���U{[�Ñ������¢F��{7���Ñ����¢[����¢F���ã�kÞ2���F�#îU¢[���������k{ÚJ��{[����¢b|c��{[Ö1���F�i��ÊW������íb��zn�����U{#�kÞ����F�×�F��zk| �kÞN��zk������k{[��������¢F��{7��Û¡z�{[| ���F�l�k���F���4���k�������©����{FÖ9���F�i��{FÞY�k��ÏÔ×zn�����U{uz�ÍW�k¢c�#������z������k{[�ãÍb���ÑÙy����{%���F�����A���UÔÝÊb�kÏ{F��{7����ÚJ��{×Êbz������ ��¢F� z������F����¢FÍ��Ñ���©��TU�kÍ��Ñ���©�yzk{[|4��{b|c��Ï���������UÍ��Ñ�����������z������k{[��Û©à

ò�{[���2���F� ����{cÞY�U��Ô×zn�����U{1�����kÍc��z���{F��|ãÙy�Ò��z�{1íb{[|����[���{cÞY�k��Ô×zn�����k{D���������nz�{7�����4���[��ÞY�k�����nÙw��{FÖ4��zU��êc��ðQ�� s\ILS���GJeWE ��� �]IWà����F�ÒÔÝ�7�Ñ�`��ÔÝÊW�k����z�{7�`��{cÞY�U��Ô×z�Ï�����U{pÙy�*{[����|#���ã��âL����zU�©�(ÞY���kÔæ���F�iîU¢[���������k{ ����âL�� ����F�*Ð�¢F���������k{9�y£LÊb�DÚÿÐ`�Û�TWÙw�[�����ã� ��{F����|c��|9Í7£���F�*��£c������Ô5Ùw�F��{#����zk�����F��{FÖi���F�*zk{[��Ùy����à×ï[zk����¢F������1��|c��{7�����Ñ£ã���[�iÐ`�uÊF��zk����� ��z�����£9|c� ��zkÍF�����`���F�*���k��Ï����������âL����zU�©�����k{1�kÞÈ���F�4z�{[��ÙN����à`�y¢F������{U����£DÙN�Òz����ÙN�k��êL��{FÖ�Ùw�����AzkÍb�U¢c�4å��9Ð`�w�lÚYÙN�*�[zQ�U�×¢[����|#���[���z�ÔÝ�2��z�����ÖU�k�������N¢[����|l��{1�w�äN��å�çUç �UÛ�à���F�¡Ð�¢[���������k{��]£LÊW����¢[����|iÙy�����Uð�������� �������������������� ���������������������������������������������������������������������� ���������� ����������������������!���������������������#"���$� ����%����� ������#"���$� ����%������&���'���#"���$�()����*������&���'�����#"���$�()����*����������� ���#"���$�(�!�'�"����'���������#��������"!�(+�������'��������������'���������,��!���'� �����������,��*�������*�(+��!������"��-(+����������� ���������������� ����������#$"��������'���������#$"�����������%�������#$"����������������������������#$"��������'���������#$"������� ���'�����������#$"���������%�������.�����������#$"�����������������������������#$"��������/�!�� �����*�#$"�����'���������#$"�����������������/�!�� �����*���F� Ð`�5ÞY�c��¢[�����1���F�!�Ñ£LÊW�!��Þ×��âcÊW��������|õz�{[��Ùy���zk{[|ìÊF���n�L��|c���!zk|[|c�������U{[z������U{[������z���{U����àØï[�k�ô��{cÏ����zk{[���UTcÙw�F��{D���[�2��âcÊb���©����|D�Ñ£LÊb���kÞ\���F�(z�{[��ÙN���w� �

z×ÊW�������U{qTc�ÑÙN�¡�Ñ£LÊW������ÞÈîU¢[���������k{[�zk���(���k{[��� |c������|xT02143 J �I6573 "[TLÙw�F� ���×��{[|F����zn�����È���[zn�]ÙN��zk���w���L�kêL��{[ÖÞY�k�2z*ÊW�������k{ãÙw�F�DÊW����ÞY�k��ÔÝ�`zl��������zk��{#zk�©�����U{9z�{b|02143 8�H�N�9�39" :#�0J�;<5 I6=nT]���[z��×��{[|F����zn�����¡���[z��ÝÙN��z�������L�Uê7��{FÖiÞY�k�2ziÊb�������k{ã�bzQ�7��{FÖi���F�Ý|c����������|9î7¢[zk�����Ñ£kà���F�zk�������k{Ýz�{[|Ò���[��î7¢[zk�����Ñ£Òzk���N���[�NÊbz���z�ÔÝ���������\�kÞ���F�4���U��������Êb�U{[|c��{FÖlÐ`��àb���F�(ÞY�k�����nÙw��{FÖ*z����2��âFzkÔ¡ÏÊF�����w�kÞHî7¢F���������k{b�w���k�������©����£*����zU������í[��|i������ÊW���������k����£zk�>0?1@3 80H�N�9�39" :+�0J�;<5 IA=`zk{[|B02143 J0 �IA5739"Ý�Ñ£LÊW�kðC 0?1@3ED J�93IF1�HG10H J�H23JI IF1�HLKNMOMPM�9PN J�H�;@Q+3�O�H�N2"SRT H+"0I�U

C 0?1@3VDW3 " IF1�HYXZ3�[ H�;]\ N-5_^ HPI�3�N��`5 I5H�N J�I��7N HZ5 "a�b�b�c U

ù {A�U��|c���(����|c��������ÔÝ��{[�l���F��Ð`� �U¢F�4��£c�Ñ����Ôû¢[�����z�{pù {[|F¢[�©�����U�l�q�UÖk� �×�Á���kÖk��z�ÔÝÔÝ��{FÖ#ÚJùÑ�O�NÛ�����z���{F������[z��D����zk��{b�lzA�����D��Þ(ÙN����Ök�7����|?��¢F�����×ÞY���kÔ zA�������ÞwÊW�U���������U�*z�{[|#{F��ÖUzn�����U�Ý��âFz�ÔÝÊF������à��#�*¢[����| zk�����z���{F�������F�¡ïHò�ùÑ�!��£c�Ñ����Ô � Ð�¢[��{F� z�{OT���� ���ÿàw�uÍ[��Ï{[z���£!��� zk������í[���1ÚY�ÿà �Uàôz �����×��Þ���¢F������ÛÒÙ�zk�4����zk��{F��|ÞY�k����zU���#Ð`��àë��������z���{F��{FÖi������Ùy�4¢[����|ã���F�Ý�����`�kÞî7¢F���������k{[�NÞY���kÔö�w�äN� �4zk{[| �DÚed �kçUç¡î7¢F���Ñ�����U{[��ÛÔ×z�{L¢[z�����£��zkÖkÖU��|`z�{[|2zU�W�������\�����q���F��E�çUç�îU¢[���������k{[�ÞY���UÔ �w�äN� kàÈï[�k�N��zk���D��� zk������í[���yÙN���bzQ�k��¢b����|zk��{F��ÖUz������k�`��âFz�ÔÝÊF�����y���[��î7¢F���Ñ�����U{[��ÍW�����k{FÖU��{FÖ¡������F�¡�����F��������zU��������à�ïF�k����F�Ò����zU������íb��z������k{D��zU��êl���F�ÞY�k�����nÙw��{FÖ9ÞY��zn��¢F�����¡Ùy�����i¢[����|xð×ÞY�U��Ô�TÈÊW�U���������U{A��{���F�wî7¢F���Ñ�����U{qT�����ÔÝÔ×zFT��Nò �xTQ����Ô×zk{U�����N��� zk���\��Þ ��äT��£L{[�������H���UÖk�����F���ÈÙw�����×zk���L���F�����È�L£7ÊW����{L£LÔÝ��Tk���wò¡Tþ���z�{b|D��¢FÍ��Ñ���©��zk{[|l�UÍ��Ñ�����w������z������k{[��à���F�¡�����`��ÞÁ��¢F�����wÞY�U����zk���ã����zU����ÙNzU�Ô×z�{L¢[zk����£i����Ï�L������|4z�{[|Ý���kÔÝÊF��������|ÒÙw�����×z������È��ÞëÔ×z�{L¢[z�����£2ÍF¢F�������¢[������ÚJÙw�����ñ�F��Ök�[���lÙN����Ök�7����Û*��{ñ�k��|c���l���A��{[��¢F���z�Ök����z������(���n�k����zkÖk�kà��L���×Íb�����nÙ z1���U¢FÊF���×��Þw��¢b�����¢[������ðC �;����zk��{[��|i��¢F���kðf�g�h�i�j7k�lmk�nmo-gmpqrk�n�q�smt�lrf�n-lru�n�q�smt�vmlmk4wyxzw|{�i�vJ}-o�t�n�~����F�uvJf��mt�nm��l���vJtvmlmk+j6xzwy���wk�i��-t�nm��l���vJtvmlmk+j6�zwF����wvr��nrt�s�l�j�s��m���-i�smtzwF����wvr��nr��l�pq�v�k+j6�-�-f�qrk��O��lrf-tzwF�����

C ���[� ��z�ÔÝ�#��¢[���pznÞµ����������zk{[�ÑÞY�U��Ô×z������k{õÚJÊb����ÏÞY�U��ÔÝ��|*ÞY�U�����F�(��z�êU�`�kÞ\���×������{[��£FÛ�ðf�g�h�i�j7k�lmk�nmo-gmpqrk�n�q�smt�lrf�n-lru�n�q�smt�vmlmk4wyxzw|{�i�vJ}-o�t�n�~�w�|� wy�-����F��rirk�t�j6xzw7n+wy�-���w��-�-� � n+w|���@�yn � wo�q���nrt�s�l�j7���)w6s��m���-i�smt��wo�q���nr��l�pq�v�k+j7���)wy�-�-f�qrk��O��lrf-t������[���#��¢F���Ó��âc����¢c����� zk��ÞY�k�����nÙ��ðu¢b����{FÖñ���F�î7¢F���Ñ�����U{�{L¢FÔ¡Íb���lÚA��Û©Tx���F� K H+"0IÈ�kÞy���F�*����{cÏ����{[�������Ý�������������U��|�Ú�� ��Û�à]���F��{OTÁ���[�D��{cÞY�U��ÏÔ×z������k{;z�ÍW�k¢c�1���F�!�������U{[|?���kêk��{�ÞY���kÔú���F�

Page 5: Text REtrieval Conference (TREC) Home Page

ïH��ÖU¢F���(åFð������¢F�����w��ÞH���[�2ÊF����ÏÿÊ[���c�������y��ÞÈzÝî7¢F���������k{qà

����{7����{b���?� �p�kÍc��z���{F��|qà ïH��{[z�����£UTlÙN�ó���F����ê���[z��¡���F� �4���kêU��{ô�[zk�Ýz#���wòÎ���U��������Êb�U{[|c��{FÖ�������F����� zk����� [���H6 �Ibzk{[|Ýz2þ��UÔÝzk��{l�y�c|c�����k��Ï������ÊW�k{b|c��{[ÖÒ���Ý���F�(����zU��� ��N J9"49A8@3�NPIgà

C �;Ô×z�{L¢[z��x��¢F���kðf�g�h�i�j7k�lmk�nmo-gmpqrk�n�q�smt�lrf�n-lru�n-q�smtvrlmk@wFxzw|{�i�vJ}�o�t�n������zw� �~�wy�� � wy�� �F��rirk�t�j6xzw7n+w � �~�� � � ��wt�o�i�n-h�iJpq�j6�~�w7h�iJpq�j�e{-o�vrsmo���-��wo�q���n�sOo-g-k� �nm{�vJt�o�nmo����i�f�lmk��Op@jen)wy�zw � ���@�y�-� � w� �mx-f-tvJu�q�smtzw6���m���-i�smtzw6�mx�k�v6p�q�h � wy�����wt�o�i�nm��l���j6���)w|��l���j��������-��wk�lrt�j7o�q���nrt�i�fOp�nm{�vJt�o�nm��l���jA�-�zw|��l���j�����������w6n��-������F��Ô×z�{L¢[z��x��¢F���2��âc����¢c�����wzk�NÞY�U�����nÙ��ð�¢[����{FÖ���F�2î7¢F���Ñ�����U{i{L¢FÔ¡Íb���(ÚA�Û�TL���F��íb���������kêU��{i��Þ���F�(����{7����{[���*Ú)� a Û�z�{[|i���[��ÞY�k�����nÙw��{FÖ4���Uêk��{b���Þy���F�*����{7����{[���ãÚ��ÓÛ�z����4�������������U��|Aà*���F��{qTÙy�N���F����ê����[zn�H���[�]í[�����\���kêk��{Ò�[zU���kÙw�F� ������zU�����ÔÝÔÝz1zk{[|����F�*���kêU��{ - ��������� � �bzk�(z1���L¢F{FêÙw�����%zÓ���kêU��{ �[zQ�L��{[Ö zk{ñ�L£LÊW����{7£LÔ����k������Ï��ÊW�k{b|c��{[ÖA���ô�U{F�9�kÞ(���F�#ÞY�U�����nÙw��{[Öô��£7{b��������ðz�������ÞJzk����TQ�kÍ��Ñ���©���k��z�{F��Ô×z��ÿà\ïH��{[z�����£UTnÙy�N���F����ê���[z������F�4í[���Ñ�`���Uêk��{��kÞÁ���F�*���L¢F{[ê!Ú)����Û`� �2zÊF����ÊW�U���������U{i�U��z×��¢[Íb�U��|c��{[z�����{FÖ×���k{��Ñ¢F{[�©�����U{z�{[|Ò|c�L���q{[���H���k{7��zk��{¡z���¢FÊb����� zn�����U�]zk| �Ñ���©�����U���{������N����âL��à

Q ^`E��qGYPneWE\X!ILE����ü���F������Ô×z�{7����� ÊF���c�������p����zk�����Ùw�����2���F�Á��â7����zU�©�����U{2��ÞL���F�y����ÔÝzk{7��� �È������z������k{[�x���[z���F�U��|¡ÍW���ÑÙN����{¡���[��|F� �ë������{7�Á���UÔ4ÊW�k{[��{7����� |c��{7����í[��|��{����F� îU¢[���������k{ó����âL��T`���U��{7��¢bz�����£ ��{[��� ���F��|�Ùw��������F�9��z���Ök����T�������F���1��¢FÍ[��������¢c����|ñ�k��zk|F|c��| ���ô���[�

î7¢F���������k{ 9�H+"0I2zU�iÔÝ��{U�����U{F��|ñÍW��ÞY�k���kàö���F����������Ï��z������k{[�2zk���Ý�U��Ö7z�{F�RD���|1��{7���ãz�{#�k{7���U���UÖk£���Þwz�ÍW�k¢c��çUç`����Ô×zk{U�����w����zU�������Èzk{[|×å E`����� zn�����U{[�wÚYÔÝ�U������£ÒÍ[��Ï{[z���£FÛNÍb���ÑÙy����{����F��Ô�à &N�����1����zU�������zk{[|D������z������k{[�z����ã����� zn����| ÍL£A��znâc�k{F�UÔÝ���1����{Fêc��àõ���[�9�k{7���k���kÖk£���������(���ã�����[���©�ÒÙw�[z��¡� �({F����|c��| ÞY�k�4z�{AzkÊFÊF���kÊF����Ïzn���×����ÊF��������{7��zn�����U{9�kÞy���F�*����Ô×z�{7��� �Ý��{L�L�����k{[Ô4��{7���ÞÁ���F�ÝîU¢[���������k{ôÚgz�{[|1���F�4��âcÊW���©����|�z�{[��Ùy����Û�à`ï[�k���{b�Ñ��z�{[���kT �T �IA5739"l� �`zl��� zk����zk{[|�� � T J " J �IA5739"D���z�{F�k���F���Ò��� zk��������� zn����|ã�����T �IA5739"1ÍL£9ÔÝ��zk{[�2�kÞ�zk{5|9 J������ zn�����k{OàÁù {D���F�Ò��z�ÔÝ��Ù�zQ£kT � � T J "4� �z×��¢FÍcÏ��� zk���Ò�kÞ�! " I65 IA=nà��T �I�3�N 3OI J �I6573 " ���ÝzãÍ[��{[zk��£p����Ï��z������k{#ÚYÍW���ÑÙN����{Dz"� � T J " J �IA5739"Ýz�{[|iz"��� T J9"LÛ©à�?�F��{pzDî7¢F���������k{����2����zU������íb��|9zU��02143 J0 �IA5739"1zk{��{b�Ñ��z�{[���p��ÞÒ���F�!��� zk���#��� T J9" J �I6573 "?�[zk�D��� Íb����c��zn����|!��{A���F�1î7¢F���������k{A����âL�*z�{b|!�����4����ÞY������{7�Ý����Ñ���k����|xà��Oz�������TH��{ ���F�l��ä%ÊF�[zU���UTHzk{#��{[����zk{[���*�kÞ��� T J9" J �I6573 "Ó����Ï¿����ÞY��������{FÖ Ùw�����?���[�9�k{[�ãÊF�����L��Ï�k¢[����£ �����U����|?�[zU�×���ÓÍW�9���L��zn����|ó��{?���F�#��������������|Ê[zk����z�Ök���]zk{[|lzk{l��{[�Ñ��z�{[�����kÞ$��� T J9"¡������z�����|*���¡���ÍL£(ÔÝ��z�{b�O�kÞ[���[� �Z �Ie3�N 3JI J0 �IA5739"������ zn�����k{¡ÔÒ¢[����Íb���âL����zk������|izU�wz4��z�{[|F��|Fz��������4ÍW�����[�(z�{[��Ùy����à���F�ó��{7�L�����U{FÔÝ��{7�!��ÞD���[��î7¢F���������k{ì� �p�kÍF��z���{F��|ÞY���UÔ K 5 "0IÿTF���F�Ò����Ô×z�{7��� ����{cÞY�k��Ô×zn�����k{���{[����¢[|c��|1��{K H+"0ILz�{[|¡äÁ¢F��� �#�k��| ������à\�ô��������Þ[zkÍb�U¢c� =E�çw��¢F�����ÙNzU�(ÍF¢[�����(���9Êb����ÞY�U��Ôæ���F� �Ò��zk��êëà1�{p��âFzkÔ4Ê[���*�kÞ��{L�L�����k{[Ô4��{7�l��âL����zk������|ÓÞY���UÔ>zôîU¢[���������k{?� �lÊF����Ï����{7����|D��{1ï\��Ök¢[���(åcà

Q VqILX!C[E���GJj �¡ebEHS���PnCFGJE���S%�Î���F� �L��Ô×z�{7����� �y�k{cÏ�Ñ����zk��{7���'�c���wÚ �[�*�FÛ\� �\���F�w��������Þb����Ô×z�{7�����y������z������k{[����[z��Òz����×��¢FÊ[Êb�7����|ã���1Íb�ÝÞY�U¢F{[|#��{����[�*����{U����{[�����

Page 6: Text REtrieval Conference (TREC) Home Page

���k{7��zk��{F��{FÖ1���F��z�{[��Ùy����à����F� �[�*�!��Þ�z�îU¢[���������k{� �ÍF¢[������Í[zU��� ��zk����£*ÞY���kÔË��������{L�L�����k{FÔÝ��{U��àN���[�Ò��{FÏ�L�����U{FÔÝ��{7�×���������Ý���p����Ê[��������{U�Ý���F�ãÙw�F�U���ã����Ô×z�{FÏ�����`���U{U����{7�]�kÞq���F�`î7¢F���������k{*Ùw�[���������F� �b�*�*���F�k¢F� |����ÊF��������{7�(z�Ê[zk���(�kÞy���F�*����Ô×z�{7��� �×���U{U����{7�(��ÞN���[�����{7����{[���*���k{7��zk��{[��{FÖD���F�*z�{[��ÙN����à*éãz�ÊFÊ[��{FÖ�ÞY���kÔ���F����{L�7�����k{FÔÝ��{7�l��{7���A���F� �[�*� � �D{F�����Ñ����zk��ÖU�U��ÏÞY�U��Ù�z���|xà �c�kÔÝ� ��Þl���F� ������z������k{[�#ÍW�����k{FÖU��{[Öñ������F�(��{L�L�����U{FÔÝ��{7�z����`Ê[��zU����|�|c�������©����£i��{D���F� �[�*�ëT���kÔÝ�Ýz����¡����ÔÝ�n�k��|9zk{[|����kÔÝ�Ýz����¡ÔÝ�c|c��í[��|ÓÚY¢b��¢cÏzk����£D���DÍb�����kÔÝ�¡Ô4�U���¡Ök��{F����z��µÛwz�{b|xTëí[{[zk����£kTx���kÔÝ�{F��ÙÎ������z������k{[�*zk���ãzU|F|c��|%ÚY�kà Ö[à IA=r8�H 3OI ;_3� J�I6573 "[TIA=r8�H 3OI I H T 8@3�N J�; � "45 IÿT�à�à�à�TnÞY����î7¢F��{7����£¡|c�������k��|ÒÞY���kÔ���F�ôî7¢F���Ñ�����U{%ÞY�c��¢[��Ùy�U��|[��Û�à��w��� zn�����U{[�ã�kÞ �[�*�zk���Ý��� zk������í[��|1��{7���i�ÑÙN�i����zU��������ð�é9z�{[|Fz����U��£9�y�k{FÏ������z���{7����ÚJé���ÛÝzk{[|Óò�ÊF�����k{[zk���y�k{[������z���{7���DÚÿò2��Û©àé��A�[zQ�U�N���(ÍW����zn��� ��í[��|4��{Ý���F��zk{[��Ùy���È��âL����zk�������k{ÊF�bzk���kTHò2�;zk���4{F�k���UÍF����Ö7zn���U��£UTW���F�����(��zn������ÞJzk�������k{����ÔÝÊF��£l��{[������zk�����y���F�(�����U���`��ÞH���[�(z�{[��Ùy����àù {ñ�k��|c���i���ÓÍF¢F����|����[� ����Ô×zk{U���������U{[�Ñ����zk��{7���*ÞY�U���zk���ãî7¢F���������k{ãzl��������ÞÈ��¢F�����ÒÚY�Ñ£LÊF����z�����£F(�U�`å4ÞY�U���zk���D�Ñ£LÊb�¡��ÞÁî7¢F���������k{bÛw�[zk��Íb����{1Ô×z�{L¢[zk����£iÍ[¢F������à���F����{L�L�����k{[Ô4��{7�*���lÍ[zk������z�����£ z í[�����l�k��|c���*ÞY�k��ÏÔ¡¢F��z Ùw�����%�nzk��� z�ÍF�����1|F��{F�k����| ÍL£�{bzn��¢[��zk�({L¢FÔ4ÏÍW�����1ÚJ���k��������ÊW�k{[|F��{FÖ9�������F�����kêU��{[�4��{A���F�1îU¢[����Ï�����U{bÛ©à$�L���k����z��bz�¢câc����� z���£(ÊF����|c� ��z������È�n�k�������F� �ÁêL��{[|�kÞcÞY�k��ÔÒ¢F� zk�qzk���]ÊF���n�L� |c��|2zk{[|2��zk{(ÍW�]¢[����|���{2���[�������¢F������à*����¢[z�����£9���F�����ÝÊF����|F����zn�����2z������nÙõ���F�×��{[����¢cÏ�����U{(��Þ[í[����������TQ���F�NÊb�7������Í[�������Ñ£2�kÞF������¢F�������U�]z�ÊFÊ[��� ��z�Ï�����U{*z�{[|Ý�k���F���]Ök��{F����z����RD�zn�����U{¡� ����¢F����àÈ� ÞY��z�ÖUÔÝ��{7��kÞb���F�w��¢[���wz�Ê[ÊF������|4��{Ò���F�w��âFzkÔ4Ê[���w� ��ÊF��������{7����|Ò��{ïH��Ök¢F���$�FàO���[�Á��¢[���Á��z�{�Íb�ÈÊbz���z�ÊF�F��zk����|`zk�WÞY�U�����nÙ��ðù¿ÞF���F��������z������k{29PI5J�I5H������Á�F�U��|F�H��{(���F�y��{L�7�����k{FÔÝ��{7��TÖU���*������¢[�������U����£!z����w���[�ãÊF����|c� ��z������*������z�����|A���ô��T���F��{Aí[�������4���[�DzkÊFÊF���kÊF����z����*�U{F���Ò���#ÍW�i��{[����¢[|c��|��{ãé���z�{[|9ò2��z�{[|ií[{bz�����£i��âL����{[|D���F�����¡��������ÞY�U����F����z�êU�w��ÞO���UÔÝÊF��������{F������à����F�`z�ÊFÊF��� ��zn�����U{×��Þë���[���¢F���������¢[�����È��{Ý���F�����k{[������z���{7���È���F�nÙw{Ý��{*ïH��Ök¢F����åFà���F�×Í[��{[zk��£ãzk{[|�¢F{[z���£ãÊF����|F����zn���������[z��Ò���kÔÝÊW�U������F�Ý��{L�L�����k{FÔÝ��{U��z����¡���F�nÙw{ã��{9���F� �`ïH��Ök¢F���kà(���[�¢F{bz���£*ÊF����|c� ��z���������âL����zk�©����|iz����kðC 9PI J�I H�� c �nðìÙw�F� ��� ���k��������ÊW�k{b|F�����;���[�?�k����Í��� ���[à

C 5 H+" 89Nr3r80H�N 8 ; J0 H������nð�Ùw�[�����#���k��������Êb�U{[|F�w������F� ��zkÔÝ��|uä]{U�����Ñ£ �Uä]������{��Fà>���F����¢F{[zk��£ÊF����|c� ��z����2��ÊW������íb�������[zn��äy������{D���wz ��ä ��� zk��Ï����í[��|izU�wz¡���c��z������k{qà

C H#" I65 IA=����nðOz���kÔÝÔÝ�k{2{F�U¢F{Ò���k��������ÊW�k{[|F��{FÖ�����k���k¢F{7����£ �Fà

C :#� � ���Qð\���k��������Êb�U{[|F�x������F�y��{7���������kÖ7zn�����k�]ÊF���kÏ{F�k¢[{ �kÙw�F����� �Fà

���F�2ÍF��{[z���£*ÊF����|F����zn��������âL����zk������|izk���UðC 80J�NPIA5, �5 8�J "0I 5 " H�O�H#" I����������nðDz�����Ô×z�{7��� �l����� znÏ�����U{õÍW���ÑÙN����{õ���F� ��z�ÔÝ��|ßäÁ{7�����Ñ£ �Uä]������{��zk{[|i���F���U����Í �k���c��z���� �Fà

C 8 N H�8����� a �×zk{[| H H�I�� ��� a �nð¡��£L{7��zk����� �Ý������z������k{[�Ùw�����[�k¢c������Ô×z�{7���������U{7����{7��à

ïF���kÔ ���F�ÝÍF��{[z���£ãz�{[|�¢F{[zk��£1Ê[����|c����zn���������F� �b�*���âL����zk������|l� ��ðC 80J�NPIA5, �5 8�J "0I 5 " H�O�H#" I��e;_3� J�I5H�� ! 9r9�H+"��nàÚJé#��ÛC 5 H#" 89Nm3�8�H�N 8 ; J H���! 9r9�H+"��nà�Úgé���ÛC IA=r80H 3OI ;_3� J�IA5739"�� �39� " I N-=��� �3 � "0I N-=��5 H#" ;_3 J�I6573 "��nà�Úÿò2��Û

C H+"0IA5 IA=�L �3 � "0I N-=��QàwÚ¿ò2��Û(*)�� �DQ���� Q��$6���6M47.02 6 ��Q�B���F�1Ô×z���{ôÞY¢[{[�©�����U{?��Þ`���F�1Ê[zU����z�ÖU�i�������������nzk�����UÔ4ÊW��Ï{F��{7��� �w���l��â7����zU�©����Ô×z����q����âL��Ê[zU����z�ÖU���N���bzn�`zk���2����êk����£���A���k{7��zk��{ô���F�����k�������©�*zk{[��ÙN����àóþ��L��¢FÔÝ��{7�l�������������nz�����wÊW����ÞY�k��ÔÝ��|i¢[����{FÖ4���F� ���! H+"9HNù {cÞY�U��Ô×zn�����U{D������������nz����£c������Ô�àÎïF�U�DÊ[��zU�©��� ��zk��ÊF¢F��Êb�7�����iÙN� ��¢F������{7����£?����ÔÝ������F�#{L¢FÔÒÍW���i��ÞÒ|c�c��¢[Ô4��{7���i�������������k��|ÓÞY�U�l��zk����î7¢F����£��� �çUçkç[à\���F�wÊ[zU����z�ÖU���������������Qzk�Fz���Ök�U�������FÔõ¢[�����Áz2|Fz���znÏ|c�����k��{�î7¢F����£ ������z�âFzn�����k{ó�������[{F��î7¢F�Uð!��Þ(���L�ôÞY��ÙÌÊ[zU�ÑÏ��zkÖk���2zk���×�������������U��|xTO���F�iîU¢[����£ã���Ò������z�âc��|9í[�����ÒÍL£9��{cÏ������zk����{FÖp���[��zk������Êc����| êk��£LÙN�k��|ÓÊF���Qâc��ÔÝ���Ñ£ z�{[|Ó���F��{Í7£1|c� ����z���|c��{FÖ×���F�¡êU��£LÙN�k��|F�wÙw�����ã���F�4���nÙN������ÊF�����U�����Ñ£kà���F�w�����k�������y�bz�ÊFÊW��{[�ÁÙw�F��{Ý���7��Ô×z�{L£¡Ê[zk����zkÖk���\zk������âLÏ����zk�©����|xàwäyzk���Dêk��£LÙN�k��|l� ��zU������Ök{F��|DzÝÊ[�����k�����Ñ£i¢[����{FÖ*z�������������kÞy�F��¢F��� ����� ���`ÞJz�������£9����Ô4��� z������ � é1�k� |c�n�nz�{����Òzk�gT��������¿àÁïF�U���âFz�ÔÝÊF���kTbz¡Ê[���UÊb���{F�k¢[{D� �zU������ÖU{F��|Dz4ÊF����Ï�k�����Ñ£¡�F��ÖU�F���Á���[zk{*z2���kÔÝÔÝ�k{Ý{F�U¢F{qTk���F��î7¢F���Ñ�����U{ÝÞY�c��¢[�Ùy�U��|ÓÚY�Uà Öbà �k����zn��� �D��{����F�*î7¢F���������k{ ���?�bzn�Ò����zn���Ý�[zk����F��ÔÝ�U���4ù {b|c��zk{[��� �7Û(� �Ýzk������Ök{[��|#���[�D���nÙN�����¡ÊF�����U�����Ñ£kTz�{[|������kÊDÙN�k��|F��z����`����ÔÝ�n�U��|xà(*)�� Q�/94�:�Q�B -S�T�"! 68.$#&%*47. Q�/9472,>���wÞµ�����w�]�2TUÞY�k�]ÞJzk�©��¢[z��ë��ä�Tk�ÑÙN�2��zk��êL�yz����ÊW����ÞY�k��Ô4��|×��{����îU¢[��{[���kðô�Nz�{b|c��|[zn���#äÈâL����zk�������k{%Úÿ�NäNÛlzk{[|ó��{[��ÙN����L�������������k{�Úg�3�FÛ�à#ù {Ü���F��í[���Ñ� ���kÔÝÊW�k{F��{7��T�zk���A���F���z�{b|c��|[zn���?zk{[��ÙN�����#z����ô��â7����zU�©����|%ÞY���kÔ ���F� �F��Ök�F���Ñ������k����{FÖ ����{7����{[�����i�kÞÒ���F�p���������©����|�Êbzk����zkÖk����àìù {ñ���F��������k{b|i���kÔÝÊb�U{F��{7�w���F�2Íb���Ñ��zk{[��Ùy���N� �w���F�7����{qà

Q �¡CFE\_HGJ_HC���Iì^(' ��PQC[j���GgebEyàû���F�!ÊF���c����������ÞÝ��âLÏ����zk�������k{#��ÞÁ���F�*z�{[��ÙN���`����ÊF��������{7����|ã��{ ï\��Ök¢[���4è[à���F�`ÊF���c�������]� �y��z���������|Ý�U¢c���k{*���F�������y��Þ\Ê[zk����zkÖk����kÍc��z���{F��|�ÞY���kÔ����[�#Ê[�����7���k¢b�i��¢FÍ[��£c�Ñ����Ô�àöïH��������T

Page 7: Text REtrieval Conference (TREC) Home Page

ïH��ÖU¢F��� �[ð �L��Ô×zk{U���������k{[������z���{7���N��ÞÈzÝîU¢[���������k{qà

���F������Ê[zU����z�ÖU���Ázk��������ÖkÔÝ��{7����|×��{U���¡����{7����{[�����yzk{[|��zk���*����{7����{[���w� �y�����U����|Ýzk�����k��|c��{FÖ`���(�����N����Ô×z�{7��� ����k{7����{U�N¢[����{FÖÒ���F����M�� ILK;MDÙN����Ök�7����{FÖ¡��Þx���F��������Ô×�ÞY���kÔ����F�uî7¢F���������k{Îz�{b| ��znâc�k{F�UÔÝ����z�����£ì����� zn����|������ÔÝ�l�c����¢[������{[Ö#��{ ���[�9����{7����{b��� � éãzk�������*���Dz��ÿTåkçkç ���ÿà÷���F�!����{[Ök¢F� �Ñ����� Ê[���c�������ã��Þ×��âL����zk�������k{;� �����ÔÝ����zk�Ò���9���F�DÊF���c�������Ò��zk��������|p�U¢c�4�U{Aî7¢F���������k{b�zk{[|Ò����zU|F�H���`���F�w���k{b�Ñ����¢[�������k{4��Þb���F����{L�L�����U{FÔÝ��{7��kÞH��zk���i��z�{[|F��|Fz����(����{7����{[���Uà

ò�{[���#���F�p�����ã��ÞÝ����{7����{b���p��zk{[|c� |Fzn�����D�[zk��ÍW����{ÊF����Ï¿ÊF���c����������| ���F�ãz�ÊFÊ[��� ��z������k{A�kÞ����F����âL����zk�������k{��¢F�����`ÞY�k�����nÙ�`zk{ ��������zn�����k�Ýz�Ê[ÊF���7zk���qà4ù {#���F�Ýíb�������������z������k{ìz����×���[��éãz�{b|Fzn���k��£ß�y�k{[������z���{7���p�bzQ�k����ãÍb�i��z���� �Ñí[��|#Í7£#zn�Ò����zU�Ñ�(�U{F�×��Þ����F�l��zk{[|c� |Fzn�������{7����{[������àÎù¿Þ4���F�!���RD�� ��Þ¡���F�!�����1��Þ×��zk{[|c� |Fzn�������{7����{[��������zn������ÞY£L��{FÖ ���F� é��@� ����ÔÝzk�����������[zk{z?Ê[����|c��í[{[��| ���[�������F�U��|;z?����� znâFz������k{;ÊF���L�������1� �ÊW����ÞY�k��ÔÝ��|*zk{[|lzÒ{F��Ùó��������z������k{lÞY�k�����nÙ�]�����[����Ùw��������F�2��âL����zk�������k{DÊF���L�������N�����z���������|l�k¢c��à

���F�A������z�âcz������k{ñÊF���c�������1��Þ4���F�ô�����9��Þ×����Ô×z�{7��� ����k{[������z���{7�õ���áÊW����ÞY�k��Ô4��| ÍL£ûÔ4��z�{[�á��Þ�������¢[��Ï��¢F��zk���k� ����ÔÝzk{7��� �ó����� znâFzn�����U{ì��¢F������T�¢[����{FÖá���[�����Ô×z�{7�����¡�k{7���U���UÖk£Uà(��Ùy�DêL��{[|[���kÞy����� znâFzn�����U{ãz�������k{[����|F������|xðÕ� ÛóÔ4�n�L��{FÖ ���kÔÝ�õ���U{[������z���{U�?ÞY���kÔé�� ���!ò2� z�{b|!��� Û¡����� znâc��{[Ö����kÔÝ�D���k{[������z���{7�¡��{é��>��¢FÍ[��������¢F����{FÖõ���AÞY�U�ôz�{[�����[���AÔÝ�U���óÖU��{F����zk���{p���[�×��z�âL�U{F�kÔ¡£kà9ò�{[���×���F� �[�*� � �(����� znâc��|����[������U���9zU������Ök{F��|A���!���F�#����{7����{[�����l��zn������ÞY£L��{[Ö!����� �|c��������zU����|lzk�����U��|c��{FÖU��£Uà

���F�×��âL����zk�©�����U{ ÊF���c�������2���k{b��� �Ñ���2�k{#���F�*z�ÊFÊ[��� ��z�Ï�����U{×��Þqz(�����]�kÞë��âL����zk�©�����U{Ý��¢F�����]�k{4���[�������]�kÞx����{FÏ

ï\��Ök¢[����è[ð]�Nzk{[|c� |Fzn�����wäÈâL����zU�©�����k{D�w��� znâFz������k{��q�L�kÊqà

����{[���������[z��Ò�[zQ�U�Ý��zn������í[��|ã���F�lé���àO���[����{F�nÙw��Ï��|cÖU� �L�U¢F�����Ò¢b����|1ÞY�k�����[����ÊF���L��������� �`zl��������ÞÁ��âLÏ

Page 8: Text REtrieval Conference (TREC) Home Page

����zU�©�����k{A��¢F�����Ò�nÙw{F��{FÖ�z�������|c��ÍF�������Ñ£p�����k���kà�äyzk���Ð`�ß�[zU�(�����¡�nÙw{!��¢FÍb�����Ò��Þ��â7����zU�©�����U{#��¢F�����(���[z������zU|F�`���D���[�*���������©�����k{ �kÞ]���[�*z�{[��Ùy����àÝ�{ ��âczkÔ4ÏÊF������Þ���âL����zk�©�����U{A��¢F���i� �4ÊF��������{7����|A��{ ïH��ÖU¢F���DEFà���F����¢F������z�{ÓÍb�1Êbz���z�ÊF�F��zk����|Azk�4ÞY�k�����nÙ��ð��q�L�kê��{óé��ìÞY�k�*ÊF����|F����zn�����>9PI J�I H�������zk{[|B;_3 J�I6573 "��FK ���zn������í[��| ��{p���F�l��{7�L�����U{FÔÝ��{7��à1���F��{!���7�Uê9��{p���[���{7�L�����U{FÔÝ��{7�NÞY�k�N���F��ÊF����|F����zn������TL����� zn����|×���×��T ; 3�R J�IA5739" 3JI H�O�H+"0Ikzk{[| ;_3� J�I6573 "[à�������¢[�������[zn�q���F�È�ÑÙN����c��zn�����U{[�qzk���È|c� �W������{7�\z�{[|�zU|��Ñ¢[���q���F�Á���k��������ÊW�k{b|LÏ��{FÖ×�����k���kàù¿Þ�{[�#zk{[��ÙN���¡���¡��âL����zU�©����| ÞY���kÔ�z�{L£#��Þ���F����z�{FÏ|c� |Fz������`z*{[��Ù%����� znâFzn�����U{ã�Ñ����Êã� ����z���������|i�U¢c�`ÞY�k��Ï���nÙy��|lÍL£lz4{F��Ùñ��������z������k{��Ñ����Êqàù¿ÞN{F�i����{7����{[���4�[zU�`��zn������í[��|����F�×é��;�k�`��ÞN{F�i��âLÏ����zU�©�����k{���¢F������¢[��������|F�*Ùw�[��{ñzk���`ÊW�U������ÍF���9����� znâLÏz������k{[�Ò�[zQ�k�*ÍW����{!ÊW����ÞY�k��Ô4��| ���[�iî7¢F���������k{A���¡zk��Ï��¢FÔÝ��|i���Ý�[zQ�U��{F�×z�{[��Ùy����à

Q hiE\S��ÒI7PpS�ILKJILj���GJeWE �#ù {A�k��|c���2���������������Ò���[�iz�{FÏ��Ùy���*ÞY���kÔÕ���F�#�����i�kÞÒ��z�{b|c��|[zn������T����F�ãÞY�U�����nÙw��{FÖ�����U�����Oz����y���kÔÝÊF¢c����|(ÞY�k�H��zk���¡��z�{b|c��|[zn��������{7����{[���UðC ���F�×��¢F���*�����U���UTOÙw�F� ��� ¢[�����2ÞJzU�©���k���2��¢[���pzU����F� ���U{cíb|c��{[������Þ(���F�#��¢F���#¢[����|xT���F�#��������Ï�nz�{[���Ò��Þ]���F�*ò2� ��z���� �Ñíb��|ã��{ã���F�4ÔÝz������F��{FÖbTz�{[|!���F������ÔÝ����zk�����Ñ£pÍb���ÑÙy����{ ��ä]�4�c����¢F������{FÖ��{Ý���F����z�{[|c� |Fz���������{7����{[����z�{[|¡���[��î7¢F���������k{Oà

C ���F��Ê[zk����z�Ök�N�����k���kTnÙw�F� ���Ò¢b�����H���F�����������nz�{[�����Þ\���F�2Ê[zU����z�ÖU�`���k{7��zk��{[��{FÖ4���F�(��zk{[|c� |Fzn���kàC ���F�2����Ô×z�{7��� �������k���kTF|c��í[{F��|DÊF�����L���k¢[����£kàC ���F�*����� znâFzn�����U{#�����U���UTOÙw�F� ��� ��zkêk���(��{U���ãzk��Ï���U¢F{7�2���F�×�����U���Á�kÞN��¢F���×������z�âcz������k{���{ Ùw�F� ������F�(��z�{[|F��|Fz������[zU��Íb����{���âL����zk������|xà

ï[�k�]��zk���*��z�{[|c� |Fz����w���F���nz���¢F���Á��Þx���F�����������U�����Áz����{F�U��Ô×zk���RD���|Az�{b|ôzU����¢[ÔÒ¢F� zn����|ô��{ z#Ök���kÍ[zk�������U���Uà���F�wzk{[��ÙN���\���`���F�wîU¢[���������k{Ò� �H���[����z�{[|F��|Fz����NÙw��������F�2Íb���Ñ�ÖU���UÍ[z��q�����U���Uà

(*)�� � 6��^��2 472,>���Q�B'\ -���F�(������¢[�©��¢F���`�kÞ\�U¢F�|c��íb{F�������U{[z���Ð`� ��¢FÍ[��£c�Ñ����ÔöÊ[z���Ï��� ����Ê[z�����{FÖp��{?�w�ä�� åkçkç�è#��������ÔÒÍ[�����4z Ê[��ÊW������{[�ã���k{FÏ����������{FÖÝ��ÞH���F������Ô×z���{�ÊF�[zU������ðkà���CFS�S�CFaWIæoiI���PnGJI��FCFK�ð5ÔÝ�U���Ó���������nzk{U� Ê[zU����z�ÖU���Ùw�����Ý������Êb���©�È���`���F��î7¢F���������k{¡��zk��ÖU���Áz������������������k��|xà�w�����U��¢F�����k{���ÞÁ���U����ÞY������{[�������zk�����Ý��{b����¢[|c��|���{1�k¢[��������k{[| ��¢F{qTw��{?�k��|c���*���A��z�Êc��¢F���1��{[|c�������©�i����ÞY����Ï��{[�����w���l���F�4î7¢F���������k{1��z���Ök����z�{[|����L¢[��Ô×z�âL��ÔÝ� D�����F�{L¢FÔÒÍW���y��Þx���������nz�{7�ÁÊ[zU����z�ÖU�����������������k��|xà��w��ÞY������*�����©�����k{1åcà �Ò���*�����2zÝ|c����������ÊF�����k{D��ÞH���F� �wÊF�[zU���Uà

åcà���C�����I7PnE BiI���ILj���GJeWEyðq���[�NÊbzk����zkÖk���qÞY���UÔ;���F��ÊF����Ï�L���U¢[�1ÊF�[zU���!zk���!����zk{F{F��|����F���k¢FÖU�ñ��{u����z������ñ�kÞÞY��zkÖkÔÝ��{7���Ý����êk����£p���pÖk���k�D��ÔÝÊW�k����zk{U�×��{cÞY�k��Ô×zn�����U{z�ÍW�k¢c�4���[�l��z���Ök����à#ï[��zkÖkÔÝ��{7���(���[zn�ÝÔ×zn�����ô���UÔ4�Ök���k��{iÊ[z���������{[�wz����2���������©����|l��{D���F� �wÊF�bzk���kà

�FàwMqPnCFaWX!ILE���MwGJK���I7PnGJEHaOð÷záÞY¢F�����F���ó���������������k{ö���Ô×zk|c�4�k{1���F�¡ÞY��zkÖkÔÝ��{7���ÞY���UÔÎÊF�[zk���4åFà`���[�¡Ê[zU�ÑÏ��zkÖk���4��������������|ôzk���D��âcÊW���©����|A��� ÍW�i���F��ÔÝ�U���Ý��{cÏÞY�k��Ô×zn�����k�1zk{[|A����|F¢F{[|Fzk{U�*Êbzk����zkÖk���4z����1z�� ���#��âLÏ����¢[|c��|xà

�� ��� �¡e[PnI �¿I7PQILEHjkIãoiILS�eWKJs ��GgebEù {ã�k��|c�������l�����������F�Ò��{7�[¢[��{[���Ò��ÞN�y�U����ÞY������{[���Ò�w�����U��¢cÏ�����k{(��{2�k¢F�\��£c������Ô�TQ�k{[�È��ÞL���F�y��¢[{[�qÙN�Á����{7�q���L�kê(�y�k����ÞµÏ������{[���Á��{7���zk�����k¢F{7�q��{����F�N�Èzk����zkÖk���w�����������nzk�k�Ñ��z�ÖU�kàO�N�z×ÊF�����L���U¢[������zkÖk�(zi�y�U����ÞY������{[���(�w�����k��¢c�����U{ãz���Ök�k�������FÔ��zk{×�k{*z����F���F�3�k��|4ÊW�������U{×ÊF���k{F�U¢F{[�È�kÞx���F����Ð`���ù ������k��ÊF¢[��àÈ���F� �z���Ök�U�������FÔìÙN�k��êk��|*��{ �4������Ê[��ðkàw�%ÊF����ÊF���c����������{[Ö¡ÊF�bzk���kTF��{�Ùw�F��������zk���1|c�c��¢FÔÝ��{U�ÙNzU�(���kêU��{F�RD���|xTH��z�ÖUÖk��|pz�{[|p����� ��ä]�(ÙN�����l�������kÖkÏ{F�RD���|iÙw�����i���F�(��z�ÔÝ�����L�k� �NÙy�`¢[����ÞY�U�N���F��{F�U��Ô×z��ÊF����ÊF���c����������{FÖ1����zkÖk�ãÚJ�����������k{!åcàBEkÛ 2Èz�{[| ����� ��k¢[{�Á�F��zk������Ú,���yÛ]Ùy�����2|c�������©����|D¢[����{FÖ� J T �1�J��kà

åcàw����ä?����¢b�Ñ��������{FÖÝÊF�bzk���kTc��{1Ùw�F�����D���F� ��äy����ÞH���F�|c�c��¢FÔÝ��{U�NÙy������������z�����|Ý¢b����{FÖÒ����¢[����������{FÖ(��{cÞY�U��Ô×znÏ�����k{ ÊF�����L���U¢[����£?Ö7zn���[������| � ïF�����0����l���1zk�gT2å�çUç�èUÍ7�ÿà�N�Ò���F�l��{[|p��Þ����F���¡ÊF���c��������THzã�����4��Þ�w��ÞY������{7��� z���y��zU��������[zk|DÍW����{1Í[¢F������TW��zU�����k{F�2�F�U��|F��{FÖ*zk���q���F���äy�(���U{[��� |c������|ã���D����ÞY���2���D���F�l��z�ÔÝ�Ý��{7�����Ñ£kà*�N����F�(��z�ÔÝ�`����ÔÝ�kTF��{cÞY�U��Ô×zn�����U{lÞY���kÔ����F� ��äó�y��zU������Ïíb��z������k{���zk{[|¡z�ÖUz D���������������ÞW���kÔÝÔÝ�k{¡í[���Ñ��{[zkÔ4�����ÙNzU�D¢[����|ó���?|c��������Ô4��{F�#���[�#{L¢FÔ¡Íb����T`�L¢FÔ×z�{F���Ñ£z�{[|DÖU��{[|c���w��ÞH��zk�����w��ÞY������{7��� z��\�y� zk����à

�Fàw�uÊF���k{[�k¢F{��������k��¢c�����k{�ÊF�[zU���UT[��{1Ùw�F� ���1���k����£ ����|Êb�������k{ÒÊF���U{F�k¢[{2���L�kêU��|(zkÔÝ�k{FÖw���F� ���]�\��ÞF�����H����{cÏ����{[���9zk{[|A���F�ãÊ[�����7���k¢b�Ý�k{F���4ÞY�k�lzk{Ózk{U��������|c��{U�ÚJ��zn��zkÊF�F�U��z�Ù�zk�]{F�������k{b��� |c������|bÛ©à����F����zk{[|c� |Fzn�����Ùy������í[����������|lzk�����U��|c��{FÖÒ���¡���F������{L¢FÔÒÍW����TL�L¢FÔ×z�{cÏ���Ñ£*zk{[|*ÖU��{[|F����TUÙw�F� ���l�bzk|Ý���¡Ô×zn�����×���[�U�����kÞx���F�ÊF���k{F�U¢F{qàÈ�O�*���[�U�������F�(z�{7��������|c��{7��TL���F�(zk������Êc����|�k{F���`Ùy�����4���U������|ã¢b����{FÖ*���F�×��������������zlÊF���kÊW�U����|1ÍL£é1����êk�n� � é1����êU�n�ëT���������ÿàÝù¿ÞN���F�l�����U���4��ÞN���[�×Íb���Ñ���zk{Fêk��|¡��z�{[|F��|Fz����wÙ�zk�����nÙy�������[zk{×z`����z���� �N���F�������cÏ�k� |xTW���F�¡ÊF���k{F�U¢F{�ÙNzU�����U{[����|c������|D���*�bzQ�k�({F�iz�{cÏ��������|F��{7��à×ò����F����Ùw� ���UTx���2Ù�zk��zk|[|c��|ã�����������w��ÞY����Ï��{7��� z����y��zU����à

� o�t-t��4������sOo�q��rirk4�Flrf-}����Jt�q� �g����-lru-t�{�q�f�i�����qJp�sOo�q���������! #"%$'&("%�*)!+!$-,/.(+10*,/"%$'&324"657+10*,/"%$'&8"!0:9-�7�- ; o�t-t��4�����m{-{-{����z�7s-�+�7sep�g4�yi-��g���q-u��<��s-�<�m��f�l���i�smt��

q�vm��f�ir��l���vJt�lrf�����q�v=��q�f�i-q��<�mk�hr����s-lrf���l�f�q>�mk�qJpi��<�

Page 9: Text REtrieval Conference (TREC) Home Page

ï\��Ök¢[��� Ecðyò�{[�`�kÞ\���F�2��âL����zU�©�����k{i��¢[�����wz�ÊFÊF��� ��z�Í[���`���Ý���F�2��âFzkÔ4Ê[���Uà

���F�(í[{bz����Ñ����ÊãÙ�zk��������{b|c��âc��{FÖ×���[�¡��Ð`����ù ���u���k��ÏÊF¢[�\¢[����{[Ö�zk�\����ÔÝÔÝzwÞY�k�\���F�y�������U���U��|`ÊF���k{F�U¢F{[�x���F�]����ÊFÏ��������{7��z������k�(�kÞÁ�����`���ÞY������{7����zk�È�y� zk����à ��nÙN���U����Tbzk���k¢[�Ök�7z��FÙ�zk�H���(�������n�U���È��â7����z�Êbzk����zkÖk���\���[zn�y���k¢F� |×���U{7��z���{��{cÞY�k��Ô×zn�����k{pzkÍb�U¢c�¡z�Ök���k��{#��z���Ök����T\Ùy�×Ù�z�{7����| z1��£c��Ï����ÔöÙw�������F��Ök��ÊF�������������k{qTc���k��{���ÞÈ���Ù�zk�wz��w���F�Ò���U���w��Þ������zk���ÿà\�Þµ�����H��âcÊb������ÔÝ��{7��z������k{qTQ���HÙ�zk�H|c������|F��|2���[zn�H���[��k{[��£×ÊF���k{[�k¢F{[�y���4ÍW�2��¢[Í[�Ñ������¢c����|lÙN���������F� ����|*ÊW�������k{����{FÖU¢F� z��]�U{F���`ÚY�[�kTc���[�kTL���©Û©TFzk{[|×�k{[��£ÝÙw�F��{l�����y����ÞY������{7�Ù�zk�wz ��ä;ÚY{[����z�{[�����[���wêL��{b|i�kÞ ���yÛ©à

� �� ��C��1��I7PQE�BiI���ILj���GJeWE���F�i�kÍ��Ñ���©�����k�l��Þ����F� �¡ÊF�[zk���*� �(���9� |c��{7����ÞY£p��zk{[|c� |Fzn���ÞY��z�ÖkÔÝ��{U���ÁÍL£Ý���[�����N���k{[���k��|Fz�{[���w���4zÒ|c��í[{F�������k{[zk�ëÊ[zn��Ï������{Oà����[�����Ê[zn��������{[�y�[zQ�U�wÍb����{l����zkÍb�U��z�����|¡Ô×zk{7¢bz�����£UTz������[�k¢FÖU�iÍL£lÔÝ��z�{[�w�kÞ�zk{Dzk¢c���UÔ×zn��� ��zk����£lzU������������|DÊF���kÏ����|c¢F���kà �L¢b����������ÞY¢F�q|c��í[{F�������k{[zk�HÐ`�%���k��¢c�����k{[���bzQ�k��z���Ï����zk|F£lÍW����{�|c���U�����kÊW��|xTW��¢[���ãzU� � ��¢ã���`zk�gTëå�çkç����¿àN���[�Ê[zU����z�ÖU���(�������������U��|ôz����i���UÔÝÊ[z�����|!zkÖUzk��{[���4���F��|c��íb{F��Ï�����k{bz��ÁÊ[z���������{[��THÙw�F� ��� ��zk{FÖk�4ÞY���kÔ5�U����£9ÖU��{F����zk�ÈÊ[zn��Ï������{b�1��¢[���;zk�i���F�U���pz���Ô4��|;zn�����F�p|c�������©�����k{;�kÞ4z�ÊFÏÊW�U���������U{[��Ty���!��ÊW������íb��Ê[z���������{[�×��âcÊW��������{FÖp��âFzk���×�k����ÍÔ×zn�����F����à

� ���� MOPnCFabXAI7E��ÝMwGJK���I7PnGJEHa� ÞY¢[�����F���ií[����������{FÖA�kÞ2ÞY��zkÖkÔÝ��{7���*���i{F����������zk��£ô��{ñ�k��Ï|c���]���Ò��Ô4Ê[���n�U�w���F�`ÊF�������������U{×��Þ\��������������{FÖ(���F��ÔÝ�7�Ñ�N��{cÏÞY�k��Ô×zn�����U�×ÞY��zkÖkÔÝ��{7���Òz�{b|p��âF����¢[|c��{FÖ�����|c¢F{[|Fzk{7�¡�k{[����àïH��������TëÞY��z�ÖkÔÝ��{U����zk���¡�k��|c������|�ÍL£����F���������������Qzk{[���¡Ùw�����������Êb���©�����*���F�¡î7¢F���Ñ�����U{1��zk��ÖU����à`�u���������kÞÁÙy�U��|[�ÔÝ�k��������U������£l����� zn����|D���×���F�¡îU¢[���������k{���zk��ÖU���� ��������zn����|xTbzk{[|���[��{pÞY��z�ÖUÔ4��{7���2z����×��z�{FêU��|#ÍL£9���F�*ÊF��������{[���×��Þ����[�����êk��£LÙy�U��|F��à �L�����k{b|xTq�F��Ök�F���Ñ��Ïÿ��z�{[êk��|1ÞY��zkÖkÔÝ��{7���`z����Ý����Ï�����©����|i����îU¢[��{7��� z�����£Ýz�{b|*����|c¢F{b|Fz�{7�y�U{F���Nz������âc����¢b|c��|xà���F������|c¢F{b|Fz�{[����� �N��{7������ÊF��������|izU�]���F���n�k����� z�Ê×ÖU����zn��������bz�{���ç� Ì��{p{F�U{cÏ �Ñ���kÊpÙN�k��|F��àã���[���ÒÔ4�����F�c|p��âcÊb���©������2����|F¢[��������|c¢F{b|Fz�{7�ÈÞY��z�ÖkÔÝ��{U����Tkêk����ÊF��{FÖ`���F�wÔÝ�U���Á������Ï���nzk{U�zU�wzÝ������¢F����à

� � �Ä'����Å�Ä���F���y�����©�����U{¡���Qzk��¢bzn���������[�Íb���[zQ�L���U¢F�È��Þë�k¢[�]��£c������Ôõ��{�w�äN�ìåkçkçkè[à�#�i���nz���¢[zn����|p���F�i���F�����iÔÝzk��{Ó���UÔ4ÊW��Ï{F��{7�����Þ\�U¢F���£L������Ôözk{[|*���F�2Ök���kÍbz��x������¢F������ðQ � sHILS1��GJeWE ��PneqjkILS�S�GgE\a\à ���F���A��¢FÍb��£c������Ô�[zk�Íb����{%Ô×z�{L¢[zk����£?���nzk��¢[z�����|�ÞY�U��ÞJzk�����k� | îU¢[���������k{[�ÚJ�����w�Hz�ÍF���^�ÛHz�{[|Ò���[��ÞY�k�����nÙw��{FÖ����kÔÝÊW�k{F��{7����ðq��zk��ÏÖk���Az�{[zk��£c�����?Ú���ä]���Û zk{[| ��¢FÍb�Ñ������¢c�����k{ì��{ß���F��k����ÖU��{bz��yî7¢F���Ñ�����U{qTÈÍ[zU��� � ���O�%���L�k� �iÚg�Nò �ëT���äy�z�{[|���äN��Û©T¡����ÔÝzk{7��� � ÊF����ÏÿÊ[���c����������{FÖáÚgäÁ{L�L�����k{cÏÔÝ��{7��T*é���z�{[|ìò2�û���k{[������¢[�©�����U{bÛ�z�{[|õí[{[zk����£kTî7¢F���������k{1��� zk������íb��zn�����U{qàù {2���[�ÁÞY�k�����nÙw��{FÖ���kÔÝÊW�k{F��{U���x���F�]�������k���qz����Á��¢[ÔÒ¢cÏ��z������k�UðOÍ[zU��� � ���O�9���L�U���wÚ���ä �w�����kÖU{F�������U{¡� ����{7�[¢cÏ��{[����|iÍL£*�Nò �7Ïÿ��zkÖkÖk��{FÖ(�������k���Nz�{[| ��ä?�y��zU������íW��znÏ�����k{�������{��[¢F��{b����|ãÍ7£ ��ä��w�����kÖU{F�������k{ãz�{b|ã�Nò �7Ï��zkÖkÖk��{FÖ �������k����Û©T ����ÔÝzk{7��� �uÊF����Ï¿ÊF���L����������{FÖÌÚY���F����U{[�Ñ����¢b�©�����k{D��Þ\���F����{7�L�����U{FÔÝ��{7�w|c��ÊW��{[|[�w�k{l���F��������U������{����[�¡Í[zU��� �R���O�ó���L�k� ��z�{[|ã���F�Ý��£7{7��zk�©�����z�{[zk��£c������Tq���F�lé��ázk{[|Aò2�%�������k���2z����Ý��{��[¢F��{b����|ÍL£l���F�(�������k���y��{����[�(��{L�L�����k{[Ô4��{7��Û©TWz�{[|�î7¢F���Ñ�����U{��� zk������íb��zn�����k{ ÚY� �(��{7�[¢[��{[����|#ÍL£ã���[�*�������U���`��{#���F�Í[zk��� � ���O�Ó���7�U���wzk{[|l���F�(��£L{U��zk����� �`zk{[z���£c��� ��Û©à�L¢FÍ[��£c�Ñ����Ô ������¢F��zk��£�\zk��ÖU���;�L¢FÍ[��������¢c�����U{ � kàBEkå� ËÚ =E Qý �� EkÛ�\zk��ÖU���w�{[zk��£c����� �kåcà � � ËÚJè �Uý �0EUÛ�Nò �7Ïÿ��zkÖkÖk��{FÖ ���cà ���� ËÚ���Uå Qý ��0E��UÛ��ä �w�����kÖU{F�������U{ ���Fà ��� ËÚ )��èLýkå�ç ��Û��äó�y��zU������íb��z������k{ �Uåcà &� ËÚ �nç7ýkå�ç ��ÛäÁ{L�L�����k{FÔÝ��{U� è Ecà¬åkå� ËÚ �ç�èLýkå��UçUÛé�� è!Uà �nè ËÚ ���7ýkå��UçUÛò2� �Uåcà � ËÚ )�kç7ýkå��UçUÛСàb�y��zU������íW��zn�����U{ �Qè[à ��è� ËÚ ��Qýkå��UçUÛ

�Hz�ÍF��� kðÈ�w����¢F�����w�kÞÁÐ�¢[���������k{��Á���L����������{FÖ¡���nz���¢[zn�����U{qà

Q ��CFS�S�CFabIÝoiI���PnGJI��FCFKÑàH���F�����nz���¢[z������k{Ò�kÞF���[���È��¢FÍcÏ��£c������ÔñÙ�zk�xÊW����ÞY�k��ÔÝ��|`¢[����{[Öw���F�y�����O��ÞF���U���������qz�{cÏ

Page 10: Text REtrieval Conference (TREC) Home Page

��Ùy�����Ök���k��{1ÍL£D���[�¡�w�ä��ó�U��Ö7z�{F�RD�z������k{pÚJ�����¡�\z�ÏÍF���¡åUÛ©à*���4��¢[ÍFÔÝ��������|1�ÑÙy�×��¢F{[��à�ù {����F�Òí[��������¢F{ÚJ��¢F{�ÛNÙN�`¢b����|*���F�2{F�k��Ô×z��x��{[|c��âl��{D���F�(�Èzk����zkÖk��w�����������nz��cÊF�[zU���NÞY�U��ÞJzk�©���k� |Ýz�{[|#- �k���F����-�î7¢F���Ñ�����U{[��àù {����F� �������U{[|?��¢F{áÚJ��¢F{WåkÛ×ÙN�#¢[����| ���[��{F�U��Ô×zk���{[|c��âãÞY�k�`ÞJzk�����U��|�îU¢[���������k{[��z�{b|ã���F�l�y�k����ÞY������{b�����{[|c��âDÞY�U��- �����F���)-ëîU¢[���������k{[��à�ù {ãÍW�����9��¢F{[��Ùy�¡����Ï���������U��|D�k{F��£i���F� Ekç4���UÊ1Ê[zk����zkÖk���NÞY�k�wÞJzU�©���U��|1zk{[|- �����F���)-qî7¢F���������k{[��à×���F�����ÝÊ[zk����z�Ök����ÙN�����×���������©����|ÞY���kÔì���F� �çUçkçÒ���UÊ�|F�L��¢FÔÝ��{7����à������¢F��zk��£*é1��zU��¢F��� �w����¢F���

ï[zU�©���U��|#Ú J "@9-D H�N�Û ��åFà è � ËÚ��è �Uý�åkç �UÛï[zU�©���U��|#Ú J "@9-D H�N�� H�3 rM��`Û E��[à �7å� ËÚ� ��Lý�åkç �UÛò����F���(Ú O�5 I J�; 9�Û���¢F{ E��[à E0E� ËÚ�&���Uý�å ��è7Ûò����F���(Úm3�� J�=9ÑÛ��¢[{ è��[à �� ËÚ���nçLý��kè��UÛò����F���(Ú I�3�I5J�; " ��Q�Q H�I79�Ûy��¢[{ EkåFà ���� ËÚ �kç��Uý E��kçUÛò����F���(Ú O�5 I J�; 9�Û���¢F{bå �kç[à ���� ËÚ��è7å7ý�å ��è7Ûò����F���(Úm3�� J�=9ÑÛ��¢[{bå è��[à �� ËÚ���nçLý��kè��UÛò����F���(Ú I�3�I5J�; " ��Q�Q H�I79�Ûy��¢[{bå E��[à ���� ËÚ � �å7ý E��kçUÛ

�Hz�ÍF����åcðH�w����¢F�����Á�kÞë�ÈzU����z�ÖU�N������������nz��cÞY�U�Áï[zU�©���U��|×zk{[|ò����[���î7¢F���������k{b��à

�#��|c������Ök{F��|Ýz2�����Á��Þx|c� �ë������{7�]ÔÝ��zk��¢F�����H���2���Qzk��¢FÏz��������F���Èzk����zkÖk��w�����������nz��bÞY�k�y���F��ÞY�k�����nÙw��{FÖ4îU¢[����Ï�����U{i�Ñ£LÊW����ð

C ï[zU�©���U��| Ð�¢F���������k{[��àõù {ó���F� �lÊbz����iÙN�����UÔ4ÏÊF¢c����|ô�ÑÙy� ÔÝ��zU��¢[������ði���F��íb�����×�k{F�!Úg��z�������|J9"49�D H�N�ÛH� �����F�zU����¢F��zU��£���z�êL��{[Ö2��{7���2zU�����U¢F{7����F��î7¢F���������k{b�Á���[zn�w�[zQ�U��zÒ���k�������©��z�{[��Ùy���]��{�����������`��ÞÈÊ[zU����z�ÖU����à���F�¡�������k{[|��U{F�iÚg��z�������|J9"49�D H�N��GH�3� mM���ÛN� �����F�(zk����¢F��zk��£Ý��z�êL��{FÖ×��{U���zk�����k¢[{U�\���F��î7¢F���������k{b�q���[zn�È�[zQ�U�]z�ÔÝ��{F��ÔÒ¢FÔ��ÞH�k{F�`Ê[zk����z�Ök�`Ùw������z4���k�������©��z�{[��Ùy���wz�{[|Dz���U����������|c�c��¢FÔÝ��{7�È��|c��{7����í[���È��{Ý�����Á�����È��ÞbÊbzk��Ï��zkÖk����à

C ò����F����î7¢F���Ñ�����U{[��à����F�¡zU����¢[��zU��£DÔ4��zk��¢F���2��Þ���F���Èzk����z�Ök�������������nz��x����z�ÖU��Ùw�����D������ÊW�����y���ò����F���×îU¢[���������k{[�¡�[zk�4ÍW����{Ó|c������Ök{[��|p��z�êL��{FÖ��{7���ózk�����k¢F{7�1���F�A{F����|F�9z�{[|;ÖU�Uz�� ����ÞÝ���F����Ñ£LÊb�¡��Þyî7¢F���Ñ�����U{[��à`�{[��ÙN���������ò����[����îU¢[����Ï�����k{[�DÔ¡¢[�Ñ�1���U{7��z���{�zÓ�����D�kÞÒ�L����z���{L¢FÖkÖU�����z�{[|qT7�UÊc�����k{bz�����£UT7���kÔÝ���UênzQ£¡{L¢FÖUÖk������à����F������ÏÞY�k���kT\��{p�U��|c���2���1���nz���¢[zn���Ý���F�*ÊW����ÞY�k��Ô×z�{[�����Þw���F�lÊ[zU����z�ÖU�*�������������nz��yÔ4�c|c¢[���UT����F�D{L¢FÔ4ÏÍb���ã��ÞÝ{L¢FÖkÖU�����1���k{7��z���{F��|ñ��{ ���F�!Ê[zU����z�ÖU����������������k��|��bzk�2ÍW����{A���U¢F{7����|qT�|F��������{FÖk¢[�����F��{FÖÍL£p{7¢[ÖkÖk���¡�Ñ£LÊW�1z�{[|ôz�� ��� ���U{[��� |c������{FÖ9ÍW�����{L¢FÖkÖU�����Ñ£LÊb���(Ök���kÍbz�����£Uài���F� �2ÔÝ��zU��¢F���×Ök���k���z�{ã��{[|c� ��z������k{���ÞÁ���F�¡Ô×z�âL��ÔÒ¢[Ô Êb�7������Í[���¡����Ï

��z����Á���[zn�¡��z�{ ÍW�lzk���F�����U��|#ÍL£9���F�×ÞY�U�����nÙw��{[Ö����zkÖk���y�kÞ\���F�¡ò����[���î7¢F���������k{b�w��¢FÍb��£c������Ô�à

Q hlEHS��¡IUP ^(' ��PnCFj���GJeWE]à ���F�#���nzk��¢[z������k{ó�kÞ(���[�����¢[Í[��£c������Ô�ÞY�k�ÝÞJzU�©���k� |ôî7¢F���Ñ�����U{[�Ý�[zk�ÝÍW����{?|c�k{F���{l���F������Ê[z�������ð����nz���¢[z������k{×��ÞO���F�(�Nz�{[|F��|Fz������yäÁâ7Ï����zk�������k{ Úÿ�NäyÛyÔÝ�c|c¢F���kTc���Qzk��¢bzn�����k{i��Þ\���F�(��{[��ÙN����L�������������k{#ÚJ�3�[ÛNÔ4�c|c¢[����z�{[|*í[{[zk����£×Ùy��Êb����ÞY�U��ÔÝ��|z�{ ���nzk��¢[z������k{#��Þy���F�*��ä ��¢FÍ[��£c�Ñ����Ô�- ��Ök���kÍ[zk�Ázk�©Ï��¢F��zk��£4ÞY�k�yÞJzk�©���k� |*î7¢F���������k{b�]��{*Ùw�F� ���*���F��zk{[��ÙN���z�ÊFÊW��zk������{4�k¢F�Á��������������|¡Ê[zU����z�ÖU����àO���F��������¢[�����Èz����ÊF��������{7����|l��{1�\zkÍF��� �[à�L¢[Í[��£c������Ô ������¢[��zU��£ãÚ J "@9-D H�N�Û�Nzk{[|c� |Fzn�����wäÈâL����zU�©�����k{ å0Ecà ��� ËÚ ���Uý��è ��Û��{[��ÙN�����c�������©�����U{ � �Fà � � ËÚ �!Qý�� ��Û��{[��ÙN���äÁâL����zk�©�����U{ å kà ç�� ËÚ � ný��è ��Û�\zkÍF��� �[ðÈï[zk�����U��|D�{[��ÙN���äÈâL����zU�©�����k{i������¢[������à

Q dDKJe�'HC[KHoiILS�sHK ��SkàH���F��n�k����zk���L������¢F�����È�kÞë�U¢F�ÁÊ[zk��Ï��� ����Ê[zn�����U{!��{ô�w�ä��áåkçkçkè9z����*����������|p��{ô�\zkÍF���iè[à

éã��zk��¢F��� �w����¢F�����ïbzk�����k� |��O�k��zk� å��Uçïbzk�����k� |��w��Ök�7� ���ïbzk�����k� | �����k{[Ö ��Uçïbzk�����k� |Dù {F� �`zk��� èïbzk�����k� |��{[��¢FÊFÊW�k������| çïbzk�����k� |��Á�������������U{ ��ùÑ� ç[à ç����DÚ�E7ý E��7Ûïbzk�����k� |��w����z���� �ùÑ� ç[à åUå��lÚ�E7ý�åkåUÛ������¢F��zU��£*�n�U���wï[zU�©���k� | ç[à =E�����k����zkÖk��ïOÏ �����k�����q� �Ñ� ç[à ç�� ���k����zkÖk��ïOÏ �����k���(ò����F���(ÚJ�w¢F{�Û ç[à )�0E���k����zkÖk��ïOÏ �����k���(ò����F���(ÚJ�w¢F{WåkÛ ç[à )���ïH��{[z��\�����k���4ÚJ��¢F{�Û ç[à Qå��ïH��{[z��\�����k���4ÚJ��¢F{WåkÛ ç[à ���

�\zkÍF���Nè[ð\�w����¢F��������ÞW�\���O�ÈÏ�Ð`�A��£c�Ñ����Ôuz����w�ä��på�çUç�èbà

� � Ç �&��Ç`Å'�� � Ç � ��� � � É ����Ä'�� � Ä���F���uÊ[z�ÊW���u��¢FÔÝÔ×z���� D����;�k¢[�%Ê[z������ ����Ê[zn�����U{æ��{æ���F��w�äN�ßå�çUç�è�Ð`� ��zk��êëà�ò�¢F�¡��£c�Ñ����Ô÷�kÍc��z���{F��|pz�íb{[z�������k���]��ÞWçFà �å����{¡��¢F{yz�{b|ÒçFà &���w��{Ò��¢F{båcàE�������U{[����¢[|c�Ùw�����Dz4��¢[Ô4Ô×zk��£Ý��ÞO���F�2��£L������ÔìÍb���[zQ�L���U¢F�ÁÞY�U�N���F�`�ÑÙN�îU¢[���������k{1��� zk��������ðQ MOCFj���eWGJ_� xs\ILS���GgebEHSkà����F�¡zU����¢[��zU��£l�n�U���wÞJzU�©���k� |î7¢F���������k{[�]�����Ecà �� là�������F�U¢FÖk�×{[�Ò|c�������©�]���UÔÝÊ[z�����Ï

Page 11: Text REtrieval Conference (TREC) Home Page

���k{(��z�{2ÍW�y|c�U{F�]Ùw�����Òzk{F�����F���\���nz���¢[z������k{2�k{(z�|c��ÞµÏÞY������{U�������Ñ��������TëÙy�Ò���F��{FêD���bzn��ÙN�Ò�bzQ�k�(��ÔÝÊF���n�U��|��¢FÍ[����zk{U����zk����£`�k¢F�OÞJzk�©���k� |ÒÐ`�!��£L������Ô;Ùw�����(������ÊW��������Ò���F��������¢F�����y��ÞO���F�2�w�ä��?å�çUç �¡Ð`����zU��ê×���Qzk��¢FÏz������k{ Ú�Ecà �� 4Û�àC � sHILS1��GJeWE ��PneqjUI7S�S�GJEHaOà ���F�öÐ�¢[���������k{�y��zU������íb��z������k{¡��¢FÍ[��£c�Ñ����Ôu�bzk�Èz�{Ýzk����¢F��zk��£���Þ�Qèbà �kè là��#�N��ÔÝÊF���n�k��|Ò������ÖU�7����£����F��������¢F�����H��Þ���F� �O���kÔÝÊW�k{F��{U�\Ùw�����(������ÊW�����q������F�yÊF�����L���U¢[��w�äN�;���nz���¢[zn�����U{qà(ù {9���F�ÝÊF�����L���k¢[�����nz���¢[z�Ï�����k{DÙy�2�UÍc��zk��{[��|Dz�{�zk����¢F��zk��£×�kÞ���� là

C ��CFS�S�CFabIAolI���PnGJI��FCFK�à(ù {����F�×�]�áÙN�¡���Qzk��¢FÏzn����|����[z����kåcà è!� ��ÞFî7¢F���������k{[�q�[zQ�k�Èz���k�������©�z�{[��ÙN���×��{ ���F�����iÊ[zk����zkÖk����à����[�ã���nz���¢[z������k{��zkê7��{FÖô��{7��� zk�����U¢F{7�l���[�#|c�c��¢FÔÝ��{7�D� |c��{U����Ïí[�����È���F�nÙ�\���[z���E��Fà �Uå� ñ��Þb���F�î7¢F���Ñ�����U{[�Èz����|c��íb{F�������U����£Ò��¢FÊFÊW�k������|qàH���F�zU����¢F��zU��£2�kÞb�k¢[��]�?��¢FÍ[��£c�Ñ����Ôß�[zk�]��ÔÝÊF���n�k��|¡ÍW����z�¢[�����{×���[��w�äN� åkçkç �Ý���nz���¢[zn�����U{ãÙy�Ò�kÍc��z���{F��|ãzk{ãzk��Ï��¢F��zk�������N��Þ��Uåcà �ç ßz�{[|DèLåcà ���� õÞY�U�����F�2Ê[����Ï�L���U¢[��ÔÝ��zk��¢F�����N������Êb���©�����k����£Uà

C hlEHS��¡IUP4^(' ��PnCFj���GJeWE]àÁ���F��zk����¢F��zk��£¡��Þë���[���ä�Ô4�c|c¢[���ÒÞY�k��ÞJzk�©���k� |ãî7¢F���������k{b�ÞY�U��Ùw�F� ������F�ôz�{[��Ùy���1�c����¢[������| ��{%�k¢F�9��������������|ñÊbzk��Ï��zkÖk���� ��å kà ç�� *à �#�×zk���F�����U��|ãzi����Ök{F��íb��z�{7���ÔÝÊF���n�k��ÔÝ��{7�2��Þ��k¢F�(��ä;Ô4�c|c¢[���UTH����{b���Ý���[�������¢[�����i�kÞ(���[���1���kÔÝÊb�U{F��{7����{;�w�ä�� å�çUç �Ùy����� �Fà �� là'�#�`��âcÊb���©�w���Ý��ÔÝÊF���n�U����F����������Ï��¢[������Í7£i����|c¢[����{FÖ4���F�2�������U�y��zn������{D���[�(���k{FÏ�Ñ����¢b�©�����k{i��Þ\���F��H+"0O�5 Nm39" T H+"0IÿTFé��?zk{[|1ò2��à

Q % ��vHIUP xs\ILS���GJeWEHSkàH���F�w������¢[������ÞY�k�È���F�î7¢F���������k{b���{����F� - �����F���)-[��zn����Ök�U��£×ÙN����� ��FàBE�ç z�{b| )�Fà �nç ï\Ï �����k������{���¢F{�zk{[|i��¢F{WåÒ������ÊW���©�����U����£kàÈ���F�2�U{F��£|c� �ë������{[���NÍW���ÑÙN����{Ò���F��������¢[{[��ÙNzU�\���F����{[|c��â¡¢[����|��{ß���F�ó�ÈzU����z�ÖU�ô�w�����������Qzk�×ÊF�[zU���Uàøù {ß��¢F{båñÙN�¢[����|Dz�{D��{[|c��âl���[z����bzk|iÍb����{�ÊF����Ï¿ÊF���c����������|×Ùw�����zp���k����ÞY������{b���D�������U��¢c�����U{Ózk��ÖU�k�������FÔ�àó� |c����z�������|zk{[z���£c��� �N��ÞH���F�2������¢F��������ÞH��¢[{bå¡���wÖU���U��{DÍb�����nÙ2ð���F�����`Ê[z���������{b��T7��âcÊF����������{FÖ4|c� �ë������{7��êL��{[|[�y�kÞ\z�ÊFÏÊW�U���������U{[��T����k��������Êb�U{[|����.� EFà EUå� ���Þ[���F�NÞY��z�ÖkÔÝ��{U�����������������|9z�{[|1�bzQ�k�(ÊF���c|c¢[����| � Ecà �Uå� ì��ÞÁ���F�Ò����Ök�7�ÞY��z�ÖUÔ4��{7����à(�w����z����H�kÞ]���F�Ý�k¢c��ÊF¢c�2��Þy�ÈzU����z�ÖU�Ò�w��Ï���������nz��NÊF�[zU����Ú�E��[à E0E� 4Û�� �Ò����|F¢[����|!znÞµ�����4Ê[zn��������{|c�������©�����k{l���Nz�ÊFÊ[������|Ý���¡z � Ecà ��è� *T7|c¢F�����(���F�`{[z���Ï���nÙy���w���������©�����k{��kÞHÞY��z�ÖUÔÝ��{7����à���nÙN���U����TL���F� ��zk�������{[������zU������ÊF������� �����U{qTnÞY���kÔáz Uà ���� ��{×�]�ÓÊF�[zU�������z �Fà ç�� Ëzn�����[�×�k¢c��ÊF¢c�2��Þy���F� �2ÊF�[zU���UTq��{[������zU����{FÖï\Ï �����k����ÞY���kÔ �è[à è�� õ��� ��cà )�� là�������F�k¢FÖU�ÓÞY��zkÖkÔÝ��{7�×í[����������{FÖ ��ÔÝÊF�������×���F�1���U���Ý��Þ���kÔÝ����{FÞY�k��ÔÝz������k{ô{7¢[ÖkÖk�����1ÚJ������z��������*����|c¢[����|!���

å EFà 0� 4Û©T\���¡zk��������{b������zk������Ê[������� �����k{p����{[����Í[��£ÓÚµ����Fà �nç ¡Û�T����7¢b�]zk���[�����7��{FÖ2z`í[{[zk�bï\Ï �����k���N�kÞ )�Fà �nç *TÔÝ�k���l���[z�{ô�ÑÙy��Êb�U��{7���×z�ÍW�n�k�*���F���k¢c��ÊF¢c�×��Þ����F�ÊF�����L���U¢[��ÊF�[zU���Uà

ÂÌÉ � � ��� ���;��� ! � � Å�Ä���F���NÙN�k��êÒ�[zU�]ÍW����{lÊ[zk������zk����£Ý��¢FÊ[Êb�U������|×ÍL£4���F�`äÁ¢F����ÏÊb��z�{#�y�UÔ4ÔÝ� �������k{pÚÿ� ��ùÑ�ÁT[ù,�F�NÏ åkçkç�èkÏLEkç����kç��7ÛÈz�{b|D���F��LÊ[z�{[�����p�w������zk�����9|F��Êc��àãÚJ���OùÑ��þ2ò¡TO��ù���å�çUçUånÏ¿çkèkèkè���Ï�NçUåkÛ�àÈò�¢[�H��������zk�����¡Ök���k¢FÊOT��\���O� �w������zk�����×�y��{7������Tk����������kÖU{F�RD���|1zU��z1Ð�¢[zk�����Ñ£D�������z������ C ���k¢FÊAÚÿå�çUç � C �çkçUå0EnèLÛ�ÍL£ þ������Lù©TO���F�D�w������zk����� þ���Ê[z�����ÔÝ��{U�¡��ÞN���F��Nzn��zk��zk{ C �n�U����{FÔÝ��{7��à

� �����Æ�� � ÉA��Ä� + <�7��=< < C < *�46@�&� ����������=8*+� < 7��=< < C &��=8��A=7.?2< 7�&���8�� 4��>&62 89��B7� �:;)"!�46C &��!83�>�#�BC" .>2C &946C"�%$R8'&��B@ 4(�BC 8)+*-,/.10�2314'57698�:<;>=�:@?BA�?DC�=�E>4GF�HI0)KJ�*MLON>PQ5-=�4#RTS�5M4#UCV?W8�)+SXL/Y[Z]\^`_1acb�d�e`f`f�g9h<_'i9j�d�kl<m"f�n�lomqprf7j`j-s7i9fXt]_Dg9f7b-j`lVs�_Dg�h<_'i%uvd�_7k-f7bwf7_De`f-xy s7izf�j�{�|}{�~w{z�9�z�5�>2@BA"!�"� 4#&}$�467w��@ 46C#� &> �������8� �I�B52< @�&"�����(�(����8 $R8#�I�B52<�@ 8*MA}=(8(:o6��D6z:<4'5�?DC�L/?>�o��:oAQ59�����D8(57:�A>��)+?>UQ4"�V\uvd�� yD� lVs�l�h�d�_Ds��c�vho_'i � h<j`l�hoe7j�x[�/f�e`f7�q��f7b1�'�z�M|'x��(d������'�7x�_Ddz��|'xy9y ��|W����~w�9{9{"���z�-�9�

� ��7.46C+*� =&"���������40W8}��7;46C#*� U8F NB=��"=(:o5-=�:<6��W�v���D87=7Y�?DC�Y-NQ;�4z4#6�EG,I�}�D�D4#8acbwd7e`f�f`g�ho_'i�j�d�k�l<m"fqn�lom1¡�¢��Qac~V¢�¡�¡�uQ�£� <�4%*�*�@B<�&W¤% �+'&}��������8� 5 467�7.< 7;4( <L* 46@�&}���������]¥�8(5 467.7�<�7.4( =&#2 8}$§¦467�¨ A=<M© 46C"� 2 83�!4(�=7"¦>=8ª1�WR�4'U«0�AD=(:@=MP¬0�­B=�8��D6(=�:@?>A®S157:�A>�®F�UQ�D¯�?>?W5-='\acbwd7e`f�f`g�ho_'i�j%d�k1lom#f®uvd�¢��]�v~��'�z�(�'�G°}m#s�bwf`g²±Ds�j�³�uvd9_}l�b-h�� � l�hod�_W�0 4(�B- <M��&80 4(� ´ 46C087 +<�- *.<M!� < 7��������8� 5 467�7.< 7;4( < *�46@�&B�����(�(�µ¥�8 5 467.7.< 7.4( =&(,;8 5�)946>3& 2 8(�!4(�=7}¦>3&046C"�¶$R8�!4(�=7"¦>=8·>8�4'4'Hc:oA>��2¸F1Aº¹»;v4#ABY`N>?>¼Q8�694¸N]¼]:@=74§?DC%H£�WA>�B¼>�}�D4§F1A>�"Y�@P>½94'8(59\acbwd7e`f�f`g�ho_'i�j�d�k��]¾�¿�u�~��'�9��|D� 2>�� � >2C &8� >27�*�A=?#46@�&"�����(�=8� 5�>2@B@��BC" �&B ��������]$R8(5�>2@B@��BC" U8À14'�DU>Y�318�:<ÁD4#A�NB=7�"=(:o5-=�:<69�W�])§?QUQ4#�o5�CV?W8qª��"=(¼Q8��W��H£�WA>�B¼>�}�W4���D8(57:�A>�]\a£m9�Â��hoj�j-f7b-lVs�l�hod�_W� ¤ C#� Ã#<�7� �� *V��>(Ä�� < C=C" �� @ Ã246C#� 4#&Q �������8� Å < 7�7#¦<M R<L* 46@�&»�����(�#4��%��8 Å < 7�7#¦<M =& 8/ÆW46C94246C & +�8 + ?2< C=>3& � 8) >2C#©>¦46@B<M©�& 9�83�>z�=7�¦Ç ?2A=<M©>&}$R8( A=7��=<�46C A & 46C"�%�=880 A�7�! >=8,cF�HI��Y`È»FÉN>P>5M=74#RÊCV?W8%NQ;Q�WA]:<5�EË�"=%L�HI0·ÍÌ}ÎDÎ}Ï]2�NB=�8�¼Q6(Y=(¼Q8��W�Ð�WAQUÑÀX:<4'8��D8(6�E]:<6��W�Ð.»4"�@�}­>�"=(:<?BAÒ?"ÁD4#8ÓN>4"R¶�WAD=(:o6L/?>AQ5-=�8��W:�A}=(5�\¾cf7j � � l�jrd�kXlom#f«uQ�Q¿µÔº�'�9�M|Ë¿c�(s�� � s�l�h�d�_Õuvs9� y s�h i9_#x»° y b-h<_'izf7b-~ÖDf7b-� s�iq�]¢»uQ°¶j-f7b-hof7jwxIlVd1s y9y f`s�b��

� Å < 7�7#¦<M <L*R46@�&q�����(��'�1��8 Å < 7.7'¦<� �&q$R8�$�4( � �>6*=&q$R8%�!4(�=7}¦>3& 9�8� >z�=7�¦Ç ?2A=<M©�&D�=880 A=7�! >=8F1¼B=7?BR��"=�:<6×Jq¼]:o�oU�:�A>� Ø��}½949=7=74'4'8(5Ù?DCÚL/?DY�8�4zCV4#8�8�:�A>�

Page 12: Text REtrieval Conference (TREC) Home Page

ª��WR¶4#UG0�A}=�:�=�:@4#5�\a�bwd�e`f`f`g�h<_'i9j�d�k��]¾�¿�u�~��#�9�M|D� 2Q�� � >#4#&#� >27�*�A=?#46@�&D�����(�=8� Å A=< C#*.<M <L* 46@�&}�����(�(�]$R8 Å A=< C#*.<M =&(�8() >2C"©B¦46@B<M©�&W�=830 A=7�! >=8J��D5M4#��:�A>4 57¼]R®R��D8�:@½9�"=�:@?>A 5MPQ5-=�4#R×CV?B8 =�4z­B= :�AQ6z�o¼QU�:�A>�5�;v4z4#6(EG=�8��WAQ57698�:<;>=(5�\¿ � bwd y f`s�_racbwd��Mf`e�l/u���^�����^waK�z�zn(�'���-�1��f7� h<�(f�bws'�M� f[�/�z����xc�'�9���z�

� ) >2C"©B¦46@B<M©�&W�����(�(� � 88) >2C"©B¦46@B<�©28S�AËN]:o5-=74"R��¶Ø14"A��4'8�:o6�UQ4¶L�4'8(6���UQ4r.»4'57;�?W5M=7�Q\�/f�i�bwf`fqacbwd��Mf`e�l�h<_²uvd9� yD� lVf�b�°Be7hof7_De`f�� ¤C"� Ã#< 7� �� *.4%*6� >2@�� *<�: C"�B:�4�=<'5 4%*.46@BA=Cz�+4#&W� 467�: <�@B>2C=4#&D�����(�=8� $�46?2C"�BC"��&85 4�Ã246?2@���¦4#&"���������v� 8}$�46?2C"�BC#��&()�8(5 4MÃ246?2@���¦4*MAD=74z�B87�"=�:oA>��N]¼Q¯��M4'6(=1·�:<4#�oU�L�?QUQ4'5�:�A}=�?� +?B8�U]ª�49='\a�bwd�e`f`f`g�h<_'i9j[�]¾�¿[u�~w�'�9�9�9� + *.)=< C" �& ) 7.< < : <�&W��������8� $�4( � �>6* <L*�46@�&"����������$R8}$�4( � .>6*�&}��8 Å <�7�7'¦<M =&39�83�>z�=7�¦Ç ?2A�<�©28È»F S1U�Ø1Y�S���L N>PQ5-=�4#RÉ�"=»,/.�0�L/Y�#ÌQ\a�bwd�e`f`f`g�h<_'i9j«d�kGlom#f ±>¾�¿�u �#�9���z� )�4(� *�)=< 7� �=A=7.?3&1$�467w��@ 46C#� &¤ C#� *.<M� #*;4%*�<M =&W��������8� $%� *�52>7à &> ����������W8}$%� *�52>7à 8.»?W¯�¼Q5M=�;]87?>A>?B¼]AG8�4'5�?B��¼B=(:<?BA���:�=�E���:oR®:@=74'U��QA>?����@4#UQ�D4D\a�bwd�e`f`f`g�h<_'i9j d�k l<m"f �'n�lomÓe`d�_7k-f7bwf7_De�f d9_ ¡�u]�£� $^>2C+*�7.<�46@�&5 46C94(�94#&Q �������8� $^>2@��=>�Ã246C^<L* 46@�&] ��������v��8D$^>2@��=>�Ã246C & 889 467;4(=46?��BA &W$R88�!4( .:�4#&�W8}$%�B)946@B: <�4#&8�W8 ) >+>'�=7�A"! &#� 88)�� Ç 7 3,A &#&�88� A" U8HIF1N]N]¹X2vF ,I?>?B�µCV?W8�N]¼Q8��µA>�¶=�E>4rF1AQ5���4'8�ª�49='\a�bwd�e`f`f`g�h<_'i9j�d�k�lom#fX±Df��9lv¾cf7l�b-hof7��s��Iuvd9_7k-f7bwf�_De`f1��±>¾�¿�u�~��M���)�4(� *�)=< 7� ��A=7.?3&D$�467w��@ 46C#� &}¤C"� *.<M� +*;4%*�<M =&] �������8� A"�BC=@ 46C &> ����������=8 �W8 A"�BC=@ 46C·c¹»*-H2vF R®:oU>=74#8(R 8�4';v?W87=z\a�bwd�e`f`f`g�h<_'i9j1d�k»l<m"f�j`h �9lom ¿ � bwd y f`s�_Kuµd�_7kM�¶d�_�p¶s9e-m#h<_Df��>f`s�b-_}~h<_'i'� +-=7��BC=?2< 7�!�& < 7�@ 46?3&> �������8� � >'�=7�¦Ç ?2A=<M© <L* 46@�&c ���������9�8 � >z�=7�¦Ç ?2A=<M©�&1 8 5 @���! < C#*=& �!8B& >� � .< C &2 8'��@B>25z �!�4#&#" 8�� <L*.< 7� =&3+�8�+ @B>2C=?2<�& Å 8'��< 7�*.46C=?#4#&#+�8��>�Ã#< C+*��BC"� 8,�E>4«,I?W;>Y�31?$��A NB=�8��"=�4z�DP§CV?B8¶Jq¼]:o�oU�:oA>��0�¼Q8�?% +?W8(U]ª�49='2&�?>69�D¯�¼]�@�D8�P�L�?"ÁD4'8��}�D4('vJ/�D5�4 L�?BAQ694';>=�5q�WAQUË,I?W;²¹�AD=7?B�@Y?D�DPD\5�>�! -=A�*�< 7F46C"� 9 A"!�46C"� *��B<M )����8 ������#&«Æ�@BAz´ < 7 + :�4(�=<M!»�B:� A#=@��� .)=< 7� U8� ¥ AT<L*�46@�&"�����������=8"¥ A &3+�832Q�B: A946C946C & � 8*" <M�� �:;)=<M�=< @ 8,/.10�LqÌ}ÎDÎ(+�È»FÕ�"=�J�J�ª¶2"F1AQ5�/4#8(:�A>��314#�µA]:@=(:<?BA>�W�>È�¼>4'5MY=(:<?BAQ59\a�bwd�e`f`f`g�h<_'i9j«d�kGlom#f ±>¾�¿�u �#�9���z� )�4(� *�)=< 7� �=A=7.?3&1$�467w��@ 46C#� &¤ C#� *.<M� #*;4%*�<M =&W��������8