fda.sut.ac.thfda.sut.ac.th/doc-training/item.pdf · 2 • offer uniform answers • do not use...
TRANSCRIPT
1
�������� ��� �� � ���� �� � ���� �� � ���� �� � � �� � ��� � ��� � ��� � �
������ � �� �� ���� � �� �� ���� � �� �� ���� � �� �� �� � �� �� �� � ����������������������������� �� � �� ���� � �� �� � �� ���� � �� �� � �� ���� � �� �� � �� ���� � ��� � �� �� � ��� � �� �� � ��� � �� �� � ��� � �� �� � �
� � ! � � � � � ��" �# � � $ � % ���� � �$ & �� � ! � � � � � ��" �# � � $ � % ���� � �$ & �� � ! � � � � � ��" �# � � $ � % ���� � �$ & �� � ! � � � � � ��" �# � � $ � % ���� � �$ & �
���������� ����������������
� �������������� ������������������������
� ����� ������������������������
� �������������� ���������� �����!���"� ��������
� ������ �#�$�� ���������!���"� ������� ��������� ����� �����!���"� �������#�������
� ��%����!���"� ������� ��!&'������(���������� ����� ��$�!�����
������������ � ����������
Important Test Item
Apply knowledge and/or judgment to a
realistic clinical situation
Thinking, Reasoning, Problem - solving
Comprehension , Understanding
Less Important Test Item
Criteria for Good Test Items
Clearly Written
No Clues
Important
Focused Stem
Parallel Options
No Tricks
• Examine only the important facts
• Use simple language
• Makes question brief and clear
• Form the question correctly
• Take into consideration the independence
of questions
10 Golden Rules for Writing Multiple- Choice Items
2
• Offer uniform answers
• Do not use negative questions
• Avoid using absolutes (“always, never, all, none”)
• Differentiate distracters significantly from the key
• Provide at least four distracters
10 Golden Rules for Writing Multiple- Choice Items
���������� �� ���������� ��
��)*� ������������)*� ����������
�� ValidityValidity
�� ReliabilityReliability
�� ObjectivityObjectivity
�� ComprehensivenessComprehensiveness
�� PracticabilityPracticability
�� Good level of difficultyGood level of difficulty
�� Good discrimination powerGood discrimination power� �����
�� $���$+��������$���$+���������� ���������� ��"���,$� ���������� ��"���,$�
�� $�!�'#�"$�!�'#�"����-�$����-�����������+.���-�$����-�����������+.���
�� $������������+$������������+���� ����������������
������ �������� ����������������� �������� �����������
���!�����$�����!�����$����// ����������������00 �������������������������� !"# !"#�� $$ %�����������%�����������&��'��$��(�� �������� ���&��'��$��(�� �������� ����#)*+�#)*+��$$ ,���� ������������-���.�,���� ������������-���.�
A 4- month- old infant with cleft palate comes to a well-baby clinic for general check up and immunization.
Which of the following should be firstly detected? A. Tooth eruptionB. Chronic tonsillitisC. Serous otitis mediaD. Speech developmentF. Maxillary sinusitis
�����
��������
3
/!�0123����'�������'� ��45�/6!�*745�/2)���A.A. StressStress
B.B. NSAIDSNSAIDS
C.C. High acidityHigh acidity
D.D. AlcoholAlcohol
E.E. Helicobacter pyloriHelicobacter pylori
����������������������� ��� ���� �� Peptic ulcerPeptic ulcer
Nature : Mechanism of Disease Nature : Mechanism of Disease
�������������� Application of knowledgeApplication of knowledge ����
����
� � �����
( Recall )
� �������
���!�1��������89:� �������
� �!��'����'���������!2���'�����"��$����
� ��������-�������� ���,�!&���&�(�������$���
� %,�!������������!"3�$�����-!�1���$�����+,$���
��$+���������4 ��5.)��&"� ������ �!�'�������
���������������
���� ���������������� �������������������������� ���� �!�"���� �!�"
#�#� Dengue virusDengue virus$�$� �%&�'(���)�*+��%&�'(���)�*+�
,�-./�� !0��.1�Objectivity
��� ��������������
;��� $�����1!�0<�=><?�@A#��
B��-���$�C!DE�<F?!��1�5C>/!�A#A!C�=4CG�$ HIJ����&�K%8L� M���.
���� ����N�J��������OPP��Q�6!R!>�$ =!?16!�*+3S!�1SE�@T4CG1S��?!�D0S� /*U?��1�5C>C!A#A!C35V0<DE
F�W>!X�LP�>AJ�@1Y0S��C!>5�ZM[&�K%8L�@�>T<AA#�OP�>AJ�� /*U?�1S���1�5C>C!)*�?AY!"�CY!�\�
?J�DUS�ZM[ &�K%8L� ] �>AJ�@A#F�*+F�W>!1�D0S\)S� OPP>AJ
3J DUS�ZM[�&�K%8L� ] >AJ�@A#F�*+F�W>!1�D0S\)S� LP>AJ
��J�DUS�ZM[ &�K%8L� ZP>AJ�@A#F�*+F�W>!1�D0S\)S� OPP >AJ
��J DUS�ZM[�&�K%8L� ZP>AJ�@A#F�*+F�W>!1�D0S\)S���LP>AJ
=J DUS�ZM[�&�K%8L�OP>AJ�@A#F�*+F�W>!1�D0S\)S��OPP>AJ
4
;��� $�����1!�0<�=><?�@A#��
B��-���$�C!DE�<F?!��1�5C>/!�A#A!C�=4CG�$ HIJ����&�K%8L� M���.
���� ����N�J��������OPP��Q�6!R!>�$ =!?16!�*+3S!�1SE�@T4CG1S��?!�D0S� /*U?��1�5C>C!A#A!C35V0<DE
F�W>!X�LP�>AJ�@1Y0S��C!>5�ZM[&�K%8L�@�>T<AA#�OP�>AJ�� /*U?�1S���1�5C>C!)*�?AY!"�CY!�\�
ZM[�&�K%8L F�*+F�W>!1�D0S\)S��>A����>A��
?J ]���������������������������������������������OPP3� ]�������������������������������������������� LP�� ZP��������������������������������������������OPP�J ZP�������������������������������������������� LP=J OP�������������������������������������������� OPP������������������������������������������������
��� ��������������
���������
���!�'���������H����9������
�� ��������!��'���������������������!��'�������������
�� ���"�����#����%�(��!���������"�����#����%�(��!������
�� �("��� ��!�1������("��� ��!�1���������
�� %��%��������!2�!�'��+'�������!2�!�'��+'������� Valid, Reliablenot Valid,not Reliable
not Valid, Reliable
Validity v.s Reliability����
����2.�$�����!���"� ���������2.�$�����!���"� �����
OJ �������� ������ 6)� ��$�����+,$���� �����-�� ���22� �� ��������6& ��$�����
ZJ ������������2���!��������LJ ���" ���&�-��(��!����J ��������"���,$�
OJ �������� ������ 6)� ��$�����+,$���� �����-�� ���22� �� ��������6& ��$�����
ZJ ������������2���!��������LJ ���" ���&�-��(��!����J ��������"���,$�
������������� �
5
��!���"�������!�'������!���"�������!�'����
OJ !�����*6&� ��������!�'#�" ����$+���������%����������������
� ��$�����+,!�1�����������89:� �������� !*7��("��� ���89:� �������� �����-���_���� '����� 6)���(����%���������������
OJ !�����*6&� ��������!�'#�" ����$+���������%����������������
� ��$�����+,!�1�����������89:� �������� !*7��("��� ���89:� �������� �����-���_���� '����� 6)���(����%���������������
������������� �
ZJ�!�������*� �� ��� ����$��+,"�'���-�!�-�"�-����� ��!-� ���-��$��+, $$-���"�'���-���� $����� $-��$������$��"�'���-
� ��#�8���� ���2� ���� �����!�1���-���� %�����!�'��+'���� �-�"��H����9������� �� ��%��&��2����!�-�"�-� �����a���'�����
ZJ�!�������*� �� ��� ����$��+,"�'���-�!�-�"�-����� ��!-� ���-��$��+, $$-���"�'���-���� $����� $-��$������$��"�'���-
� ��#�8���� ���2� ���� �����!�1���-���� %�����!�'��+'���� �-�"��H����9������� �� ��%��&��2����!�-�"�-� �����a���'�����
��!���"�������!�'������!���"�������!�'����
������������� �
� ����� ���������� ����� ���������
1.1. � �� ����� ������������� �������������������������
2.2. � ����� ���������� ����� ����� ���������� ���� 9:���!���"� �������#�8���
� �� ����� ��������������������� �����������������
�� Mean, SDMean, SD
�� MedianMedian
�� ModeMode
�� Range : Max Range : Max -- MinMin
�� Standard error of measurement ( SEM )Standard error of measurement ( SEM )
�� Reliability ( Reliability ( rrtttt : KR: KR--21, KR21, KR-- 20 )20 )
�� DifficultyDifficulty index index (( p p :: medianmedian ))�� Discrimination power Discrimination power r r �� !���� !����"" 2.45 x SD2.45 x SD
�� MPLMPL "" ((AI )AI )nn� K (no. of questions) ���������
6
Reliability ( rtt )
n = no. of questions, X = mean, S = standard deviation
pi = p (difficulty index), q i = 1 - pi
K-R 21 =nn
nn--1111-- x (x (nn--xx))
nSnSxx22
K-R 20 =nn
nn--1111-- �������� piqipiqi
SSxx22
�;22�������%�$-��-���!�'��+'�����;22�������%�$-��-���!�'��+'����
���!�'��+'�������!�'��+'����
����� �� �������/���+�� ��������!�'������,��0����� �� �������/���+�� ��������!�'������,��0
���2� ���� ��/���2��������!�'������,��0���2� ���� ��/���2��������!�'������,��0
�����-� �� �����/���-�����������!�'������,��0�����-� �� �����/���-�����������!�'������,��0
�$��2("���� ��/� ������a%b ���!�'������,��-� ����0�$��2("���� ��/� ������a%b ���!�'������,��-� ����0
� ��%��-�H����9��������BHcZP��
&��������d�������a��� ��� I�������&da ���$
� H����9������$���-�<:=< ��-���(��(�����!���%��
��#�������� ������-�
� +�$����!�����!����������� �� ����-��
H����9������2�$������-$�#� $-�<:=<� .#���
� +�$����2� ���� $$-���"�-�������
H����9������2�$������-$�#� $-�<:><� .#����
�������� ��������
$����-��4�(������a%b�������!��5�$�������!���"���
���+�$��&��-�-�a����e�Mf��g_�e�]J]h� �����e�PJ]�
EiTJ�?J�/�+\)S� f��#@EE��89�������g ���EiTJ�?J�/�+\)S� f��#@EE��89�������g ���
Standard Error of Measurement ( SEM )Standard Error of Measurement ( SEM )
SEM = SD ���� 1 – rtt = 6.67 ���� 1 - 0.64 = 4
�� ��2�����;'��g ����� ��2�����;'��g ���;'��g ��e�89�������g ������� ��
�JPMI�ga
e� f����� �OJj]�I� ��e�� P�c M]
;'��g ��e�89�������g ������� ���JPMI�ga
e� f����� �OJj]�I� ��e�� P�c M]
#$����!���"� ������� ��
� ��� ������� �
����!���"�-�����
�������������������� ������������������ ������ ������
7
Pretest Analysis
The task should be done by the teachers
to evaluate the test to be used in term of :
� Validity
� Difficulty factor (DF) / Acceptability index (AI)
� Minimum pass index (AI)
Napa Limratana : BCMDKKU 2006
MPLMPL : University of Illinois: University of Illinois’’s Methods Method
?? @@ ��$��+,��-���+ ����2 ��+,��$��+,��-���+ ����2 ��+,
<< @@ ��������!2��-%����������!2��-%��
99 @@ ��- �-(2�-%��"�'�+,��- �-(2�-%��"�'�+,��/<:A/<:ABB9:A09:A0,J�,J�kkkkkk
dd:: kkkkkk
%%:: kkkkkk
__:: kkkkkk
`:: kkkkkk
a(Qa(Q @@ ,l���������������e��,l���������������e��2���� �����2���� ���������
�
��Z�
�O�
�O�
�Z�
�P�
,l�eZ
ZmOmOmZmP
e��PJLL
%����& �%����& �
A 9A 9--yearyear--old girl has had fever for 10 days, with headache, dry cough, old girl has had fever for 10 days, with headache, dry cough,
anorexia, lethargy, abdominal pain and constipation. PE: T 39.2anorexia, lethargy, abdominal pain and constipation. PE: T 39.2ooC, C,
RR 24/min, PR 90/min and BP 100/60 RR 24/min, PR 90/min and BP 100/60 mmHg.TheremmHg.There are diffuse mild are diffuse mild
tenderness of abdomen, scattered tenderness of abdomen, scattered ralesrales over both lung fields, over both lung fields,
and 1 cm. palpable liver, CBC: and 1 cm. palpable liver, CBC: HctHct 30%, WBC 5,000/cu mm with30%, WBC 5,000/cu mm with
70% P, 30% L, and platelets 150,000/cu mm. Urinalysis shows 70% P, 30% L, and platelets 150,000/cu mm. Urinalysis shows
1+ protein and 31+ protein and 3--5 WBC/HPF.5 WBC/HPF.
Which of the following is the most likely diagnosis ?Which of the following is the most likely diagnosis ?
A. Dengue hemorrhagic feverA. Dengue hemorrhagic fever
B. Enteric feverB. Enteric fever
C. C. PyelonephritisPyelonephritis
D. PeritonitisD. Peritonitis
E. Viral pneumonia E. Viral pneumonia
����
����
''''
''''
'��'��'��'��AI = 2 ���� 1 +2 + 0.5 + 0 +0
= 0.57
Modified Modified AngoffAngoff MethodMethod��-������!������2�$�� ����� $-�� �������-�����������!�-(� ���� ��!$3���9:<<
I�� ����������.�� ����e�]P[ g'��]JPP
.40.401010
.50.5099
.75.7588
.75.7577
.40.4066
.50.5055
.60.6044
.60.6033
.75.7522
.75.7511Probability for Correct AnswerProbability for Correct AnswerQuestionQuestion
���!���"� �����"���������!���"� �����"������
(Posttest Analysis)
��� �������
base on student,
at one point in the time,
reflecting some characteristics
of the item
8
���!���"� ������� ����l���,��������
� ������������_���� '����l���I����
� ���22� ���/_�� ���������l���IC0
� ��������6& ��$��������_���� ����
8783818080808079797876767573737373727271
4746464545454544424242413939393938373331
.
.
.
.
.
.
.
.
H 27%
L 27%
H 33%
L 33%
H 50%
L 50%
@+Y�?A2Y>@+Y�?A2Y>
/<�/<�
1�6!1�6!
������������� �
�#@EE/<�/2)
M��E���
���������
����
MM��E
������ ���
����������
M��E���
������ ���
������
�#@EE1�6!/2)
K�K�cc QQ����e��e
K�K�mm aa mm QQ�������������O]L��O]L�
0���0����� KK mm QQZ��Z��
���e���e
���������*�-��� ��� �����*�-��� ���Item # 41Item # 41
0.200.20-- 0.090.09-- 0.120.120.050.05-- 0.060.06rr
= = HH –– LLnn
0.650.650.100.100.110.110.040.040.080.08PP
== H + LH + L2n2n
292988991166LowLow( n = 53 )( n = 53 )
404033334433High 13High 13( n = 53 )( n = 53 )
** E** EDDCCBBAA
n�������l��� ���$�H����-����b'������
_���� '����l���I�������e�H�o�;�I�OPP
�ZP�LP P MP ]P hP�fP�H� ������
, ����9��
_�� ���������l���I�����e��KcQ�I�OPP&
� P PJPM PJOM PJZMPJLM
H�����_�� ��������������
p��� I �������PJZP�
n�������l��� ���$�H����-����b'������
9
������������������ !"#�$�%
0.260.66207311** 4
- 0.070.1052233
- 0.090.0954192
- 0.100.15803918
IndexIndexLowerUpper
DiscriminationDifficultyNumber RespondingResponseNo.
q<S/<��!C2���0*"D=\)S�*+C!�,g,�.J�l����"�D0S�6!@E#E6!D0S/*��?1�!?!�45�/6!�*7/6!0�*+q<SFr"C�!CE5V�CY!��#\�?J �!?!��A��E\/S�!�=5CE3J /5@A#=6!E"EFs//!"#
�J �!?!�?AS!>�E�V��Y�E@��
�J �!?!��A��)��?�Y!C0���0C2)C!?
�()�*+�##(��()�*+�##(��()�*+�##(��()�*+�##(�,,,,� -�! �� . & +& �� -�! �� . & +& �� -�! �� . & +& �� -�! �� . & +& �
� �� % � #& �� �� % � #& �� �� % � #& �� �� % � #& �
0.110.2869133** 4- 0.020.1042333- 0.060.2093682- 0.030.42169159144IndexIndexLowerUpper
DiscriminationDifficultyNumber RespondingResponseNo.
�)t?�!C2�O�Fu�R<?0>S�@?�=�)�S�Ev�!)+�W�"X0ES!�?�?!�"WEW=w*C4!�?!�TC!+!ADE�#C#�^�U*�"�>�@�?�3S�D)R<?1S��
?J \>Y/23/+!C=!?�!?!�F")@/+F")�S�E��E����=!?�E�V��C���\)S�*+�"!>�S�E��
3J �/5�C�1Y�?!�1W)�U�V���E����=!?qW"0E*�R<?46!A!C=!?�"!>�S�E46!D0S0ES!45�
�/5C\F
�J >5 !"#�2X0 <>W�Y!�?!C/<�?"Y!F?1W��E����=!?>5?!�/<7�/5CEV6!4!�qW"0E*��J �/5�C�1Y� !"#Ut����E����=!?/<7�/5CTA!/>!46!D0S�A��)\F�A5VC��"*C"#1Y!�v\>Y�T5C�T�
- 0.010.0522184- 0.050.20876730.090.55201235** 2
- 0.030.208373139IndexIndexLowerUpper
DiscriminationDifficultyNumber RespondingResponseNo.
ES��/S>��!C2�^��)��E�\)S�*+"*�x5E�_(;J�8(���@A#�Kd���0A*�=!?E*VE>!�)!T!\F1Y!�=*�0"*)��L��)��E?A*+>!�4Y!E�"�D0S"*�x5E�#\�?J d%p��_(;�Z � 8(��Z3J _(;L�� 8(��L��Kd��L
�J _(;�L��8(��L��aaH
�J _(;�^��8(��^��y�
����������&�'��()*�+&�,-�./�.(#*�0%0�-�&���%
/ // // // // // // // /
- 0.130.4219013840.230.39109200** 3
- 0.030.0526162- 0.070.146839138IndexIndexLowerUpper
DiscriminationDifficultyNumber RespondingResponseNo.
LfJLfJ��q<SFr"Cq<SFr"C�FzE�FzE������'�������'���>5�!?!��S!F!?\>Y3{VE>5�!?!��S!F!?\>Y3{VE��?A�EA6!+!??A�EA6!+!?��>5�!?!�@�YE>5�!?!�@�YE��?�#12?�FzE+!���*V�?�#12?�FzE+!���*V����"�D0S?!�TC!+!A45�/6!�*745�/2)�CY!�\��"�D0S?!�TC!+!A45�/6!�*745�/2)�CY!�\�??JJ "*)/*77!XU5T42?"*)/*77!XU5T42?��OO��U*�"�>�U*�"�>�33JJ q<?>*)1�{�q<SFr"C\"S45��15C�\"S45��15C��T���F|��?*E�2+*1W�012q<?>*)1�{�q<SFr"C\"S45��15C�\"S45��15C��T���F|��?*E�2+*1W�012��JJ =*)q<SFr"C�C<Y0S��@C?45�/�+=*)q<SFr"C�C<Y0S��@C?45�/�+���+?"Eq<SFr"CES�C45�/2)�+?"Eq<SFr"CES�C45�/2)��JJ �)EV6!@A#�!0!��T���F|��?*E?!�/6!A*?@A#D0S�)EV6!@A#�!0!��T���F|��?*E?!�/6!A*?@A#D0S��l�l���4)@4E4)@4E
�()�*+�#���()�*+�#���()�*+�#���()�*+�#�� ,,,,� -�! �� . & +� -�! �� . & +� -�! �� . & +� -�! �� . & +,,,,� �� % � #� �� % � #� �� % � #� �� % � #0000)�� � 1� � � (�)�� � 1� � � (�)�� � 1� � � (�)�� � 1� � � (�,,,,�� � ! � +. *�� � ! � +. *�� � ! � +. *�� � ! � +. *������5.)����?<??<D
��(�(����� ���5.)������+,$���
9:���*$�E5.)���(����5��$� ��$�$������-�!��!�1�&�%�������$�
?:�"��$�E(������,� �� &��� %����������-�!����������F�&�!5)
3.���$�E!�����!��������$ ���!���*���GG����������!��(��"�������4.�"�,$�E5.)�-�����-������-! �(2��H��������!&*�����$���� ��2�����-�!� $-������
A:!�'#�" �����5.)�-��"�.�� �� %�!5�)I�2����� "-��$�
P = 0.43
r = 0.462
Distracter no.1 not good
Others OK
�-�� ���2� �������JJ��� �$�����
������� ���
10
������5.)����?<??<D
� ��(����-(�-�%�2���!��������K5�)I�2 ���������($������&� ���!���
1.������!�������L("�!�1�! '���2.��I�"��!�M"���!������ ������!�5$� %�&�H�!5�)I�23.������!�-���,&'�!5�)I�2!&'���-��������4.��I!�-��&�H� �������������*���6�5.������(��������&! ��!�1� �������2��(�!�'�� ��! $&�H����"���P = 0.205 ; r = - 0.200
P = !�1� �����������JJ�-�r $������(����-���
$������?� ���D (�����$������N� ���A (����-���
���)����������?<??<A
��(�! �(2 ���������$�������(Feminism)���+,$���
9�����������������$-��,�!&'������� ��%,�"���("������
?:�����������������!�������%,�"���("���&O$���� ����H�������������
N:�����������������$���$��2����!����������������-!���6�$-�
��P!&5
D:���������-�������������%,���!�1�%,�� �� -�!"�%,�"���(������$�5�$��� !"#$%&' �!"#&$$ (( ' ������ ���) �� * ((
+ ��������, ��#$ � -
��#& �� .�����#/ �� .���
���%�'(���
0 �� ��11����'
� �� �� �������
����������(�� ��%����!���"� �������� ����������(�� ��%����!���"� ��������
OJ�-���22� � ����������-����-���#�������������ZJ ������������$����-������-!�1� ������������
��*6&�;22�������%�� �����-� �� ������ ��)*� ����-�
LJ%���!���"� �����2��-�$����-� ��!�32���-�-!�'��+'�
OJ�-���22� � ����������-����-���#�������������ZJ ������������$����-������-!�1� ������������
��*6&�;22�������%�� �����-� �� ������ ��)*� ����-�
LJ%���!���"� �����2��-�$����-� ��!�32���-�-!�'��+'�
������������� �
��������OJ�-�+�$�������2���!���"� �����!�1�%��Q.��2�
����"!"$�ZJ�-���������- �������#���"�'��-����������-
�������#�����"�'��!��LJ�-���!�-(�2.�!"����� .#���,-����$+�������� ��
����J ��������!*7����������-� �-������2��,�MJ ����������-���������-�� �-���$���&�!"��]J������������������ �� ������'����������
OJ�-�+�$�������2���!���"� �����!�1�%��Q.��2�����"!"$�
ZJ�-���������- �������#���"�'��-����������- �������#�����"�'��!��
LJ�-���!�-(�2.�!"����� .#���,-����$+�������� ������J ��������!*7����������-� �-������2��,�MJ ����������-���������-�� �-���$���&�!"��]J������������������ �� ������'����������
������������� �
=2)�)YE@A#=2)�Y�E3��=2)�)YE@A#=2)�Y�E3����a%ba%b
3S�/�+F�E*C���a%b�
=2)�)YE� ������������ ����������
� ������������������ �
� ������������ ����� ���
� �!�� ��"�������#$�
� # � ��#�� �����%��#������� �
11
� q<S1�+/Y"ED07YDUS�"!>=6!
� >5@E"�6!1�+D0S�A��?�C<Y@AS"
� �F})��?!/D0S�)!\)S>!?
� �/5C�Y!DUS=Y!C>!?DE?!��1�5C>
� \>Y/!>!�R"*)�"!>/!>!�RDE?!�0!3S�><A���������0���@/)��"!>�W)�0tE\)S
� �/5C�"A!>!?DE?!�/�S!�3S�/�+�45�)5
2���-��3S�/�+F�E*C���a%b�