8/9/2019 4500014

1/9

SOME NOTES ON I NTERNAL CONS I S TENCY REL I ABI L I T Y EST I MAT I ON F OR TESTS OFLANGUAGE USE

l . I n t r o du c t i o nRe c en t a t t e mp t s t o d e v e l o p t e s t s o f l a n gu a ge u s e ( o r' c o mmu ni c a t i v e ' t e s t s ) h a v e b e e n p r i ma r i l y f o r t h e p u r p o s e o fma k i n g l a n g u a g e t e s t s mo r e v a l i d t h a n a r e t h e a v er a ge d i s c r e t e

p o i n t s t r u c t u r a l l a n g u a g e t e s t s . Howe v e r , t h e r e l i a b i l i t y o ft h e s e t e s t s o f l a ng ua ge u s e h a s h a r d l y b e e n i n v e s t i g a t e d . Th i sp a p e r i s an a t t e mp t t o f o c u s o n some o f t h e p r o b l e ms e nc o un t e r e di n e s t i ma t i n g r e l i a b i l i t y f o r t e s t s o f l a ng ua ge u s e , a n d t oo f f e r s u g g e s t i o n s o n h o w e x i s t i n g s t a t i s t i c a l t e c h n i q u e s c a n b eo f u s e .

2 . Di s c r e t e - Po i n t Te s t s a n d Te s t s o f L a n g u a g e Us e2 . 1 Be f o r e s t a r t i n g o u t , i t i s n e c es s a r y t o d i s c us s t h e t e r ms' d i s c r e t e - p o i n t t e s t ' a n d ' t e s t o f l a n gu a ge u s e ' . Te r msl i k e t h e s e a r e , mo r e o f t e n t h a n n o t , e i t h e r t o o v ag u e , o r

t o o mu c h u s ed t o be p r e c i s e . The a t t e mp t t o s pe c i f y t h eme a n i n g o f t h e t wo t e r ms h e r e i s s i mp l y t o e s t a b l i s h ac ommo n g r o un d f o r t h e d i s c us s i o n i n t h e p r e s en t p a p e r .2 . 2

2 . 3

Y . P . L e eL an gu ag e Ce n t r eUn i v er s i t y o f Ho n g Ko n g

By ' d i s c r e t e - p o i n t t e s t ' i s mean t h e r e t h e t y pe o f l a ng ua get e s t wh i c h i s c o mpo s e d o f a n umb er o f g e n e r a l l y u n r e l a t e di t e ms d e r i v e d f r o m e l eme n t s i d e n t i f i e d i n l i n g u i s t i c t h e or ya s c on s t i t u t i n g a p a r t i c u l a r l a ng ua ge . The ma i n c ha r a c t e r i s t i c so f s u c h a t e s t a r e : ( 1 ) e a c h i t em s t a n d s b y i t s e l f a n dc a n b e r e ga r d ed a s a s u bt e s t ( v . Gu i l f o r d 1 9 5 4 , Ch . 1 4 ) ;( 2 ) t h e t e s t s c o r e i s t h e s u m t o t a l( 3 ) i t e ms c an be f r e e l y a d d e d o n t ot e s t wi t h ou t a f f e c t i n g o t h er i t e ms .p o i n t l a n g u a g e t e s t s c an be f o un d i ne x ami n a t i o ns i n En g l i s h , e . g . TOEFL,Pape r I I .

o f c o r r e c t r e s po n s es ;o r t a ke n away f r o m t h eE x amp l e s o f d i s c r e t e -a numbe r o f p u b l i ca n d H . K . S . C . E . En g l i s h

By ' t e s t o f l a ng u ag e u s e ' i s mean t t h e t y pe wh i c h me a s u r e st h e c an d i d a t e ' s a b i l i t y t o h an d l e s p e c i f i c l a n g u a g e t a s k s ,e . g . t a k i n g d own t e l e p h o n e mes s a g e s f o r s ec r e t a r i e s , f o l l o wi n ga me s s a g e u n d e r s t r e n u o u s n o i s e c on d i t i o n s ( f o r e x amp l e , a i rt r a f f i c c o n t r o l l e r s ) . E x amp l e s o f t h i s t y pe c a n be f o un d i nt h e J . M . B . T e s t o f En g l i s h ( Ov e r s e a s ) a n d t h e En g l i s h Pr o f i c i e n c yT e s t f o r En g i n ee r i n g St u de nt s d e v i s e d b y t h e L a n g u a g e Ce n t r e ,Un i v e r s i t y o f Ho n g Kong ( L e e 1 9 7 9 ) .

1 9

8/9/2019 4500014

2/9

I t i s q u i t e d i f f i c u l t t o d e s c r i b e g e n e r a l c h a r a c t e r i s t i c so f t e s t s o f l a n gu ag e u s e , b e c a u s e t h ey c a n b e v e r y d i f f e r e n to n e f r o m a no t h er , a n d t h e y a r e s t i l l a t a t r i a l p e r i o d o fd e v e l o p me n t . Ho we v e r , t h e r e s ee ms t o b e o n e g e ne r a l f e a t u r ei n t e s t s o f l a n gu ag e u s e wh i c h i s o f r e l e v a n c e t o t h ep r e s e n t d i s c us s i o n . I t c a n b e g e n e r a l l y s t a t e d t h a t t e s t so f l a n g u a g e u s e r e q u i r e t e s t e e s t o h an d l e e x t e n de d p i e c e so f l a n g u a g e b o t h r e c e p t i v e l y a n d p r o du c t i v e l y . Co n s e qu en t l y ,t e s t e e a n s we r s a r e i n t h e f o r m o f e i t h e r a n e x t e n de d me s s a g eo r a n u m b e r o f i n t e r r e l a t e d q u e s t i o n s wh i c h c a n e v e n b eo b j e c t i v e l y ma r k e d . Fo r e x a mp l e , t e s t e e s ma y b e r e q u i r e dt o r e a d o r l i s t e n t o t h e d e s c r i p t i o n o f a p r o c e s s ( s a y i ne n g i n e e r i n g ) a n d a r e r e q u i r e d t o l a b e l a n e mp t y f l o w- c h a r tr e p r e s e n t i n g t h e p r o c e s s . I t i s c l e a r t h a t , i n s u c h a t e s t ,t h e i t e ms ( c e l l s i n t h e f l o w- c h a r t ) a r e i n t e r r e l a t e d . T h e yf o r m a s t r u c t u r e d wh o l e a n d c a n n o t b e e a s i l y ma n i p u l a t e d a si n t h e c a s e o f d i s c r e t e - p o i n t t e s t s . Mo r e o v e r , t h e numbero f i t e ms t h at c a n b e i n c l u d e d i n a n y o n e s u c h t e s t i s a l s oq u i t e l i mi t e d . T o c ome b a c k t o t h e t e s t j u s t o u t l i n e d , t h et y p e o f p r o c e s s c h o s e n c a n h a v e a n u m b e r o f s t a ge s i n t h er e g i o n o f 2 0 o r s o . T h i s i s b e c a u s e a n y t h i n g mo r e c o mp l i c a t e dt h a n t h a t ( e . g . a c o mp u t i n g p r o c e d u r e i n v o l v i n g s o me 6 0 o rmo r e s t e p s ) wo u l d d r a s t i c a l l y r e du c e t h e c h a n c e s o f i t b e i n ga v i a b l e l a n g u a g e t e s t . I t wo u l d o v e r - t a x h u ma n c o mp r e h en s i o np o we r a n d me mo r y .

3 . Pr o b l e ms i n Es t i ma t i n g Re l i a b i l i t y o f T e s t s o f L a n g u a g e Us e3 . 1 B e c a u s e o f t h e l i mi t e d s p a c e a l l o c a t e d t o t hi s p a pe r , t h ed i s c u s s i o n h e r e wi l l b e r e s t r i c t e d t o a n e x a mi n a t i o n o f t e s t sw h o s e s c o r e i s a c o mp o s i t e s c o r e d e r i v ed f r o m t h e s u m t o t a l

3 . 2 T wo ma j o r p r o b l e ms e x i s t i n t h e e s t i ma t i o n o f i n t e r n a l c o n s i s t -e n c y r e l i a b i l i t y wh i c h a r e r e l e v a n t h e r e . T h e f i r s t i se s t a b l i s h me n t o f t e s t h o mo g e ne i t y . T o t h e e x t e n t t h a t a t e s tme a s u r e s t h e same c ha r a c t e r i s t i c ( o r c ha r a c t e r i s t i c s ) i n a l li t s p a r t s ( u s ua l l y i t e ms ) , i t i s c a l l e d a h o mo g e n e o u s t e s t( v . Gu i l f o r d a n d Fr u c h t e r 1 9 7 8 , 4 1 7 - 1 8 ) . T h e mo r e h o mo g e n e o u sa t e s t i s , t h e h i g h e r i t s i n t e r n a l c o n s i s t e n c y . I n s t a t i s t i c a lt e r ms , a h o mo g e n e o u s t e s t h a s i t e ms t h a t h a v e mo r e o r l e s s t h es a me i t e m i n t e r c o r r e l a t i o n s . T h e s e c o n d p r o b l e m h a s t o d owi t h t h e r e l a t i o n b e t we e n i n t e r n a l c o n s i s t e n c y r e l i a b i l i t y a n dt e s t l e n g t h . A l o ng t e s t , o t h er t h i n g s b ei n g e qu a l , h a s ah i g he r r e l i a b i l i t y c o e f f i c i e n t t h a n a s h o r t o n e

2 0

o f o b j e c t i v e l y ma r k e d i t e ms . Fu r t h e r mo r e , o n l y i n t e r n a lc o n s i s t e n c y r e l i a b i l i t y wi l l b e d i s c u s s ed , a n d n e i t h e rp a r a l l e l f o r m n o r t e s t - r e t e s t r e l i a b i l i t y wi l l b e c o v er e d i nt h e p r e s e n t p a p e r .

8/9/2019 4500014

3/9

3 . 3 I n d i s c r e t e - p o i n t l a n g u a g e t e s t s , h o mo g e n e i t y i s mo r e o rl e s s a s c e r t a i n e d b y b a s i n g t e s t i t e ms o n l a n g u a g e u n i t si d e n t i f i e d t h r o u g h t h e o r e t i c a l l i n g u i s t i c s ( g e n e r a l l y o ft h e t a x o n o mi c s t r u c t u r a l i s t t y p e) . Mo r e o v e r , i t e ms a r et h e u n i t s i n s u c h t e s t s a n d c a n , t h e r e f o r e , b e a d d e d i n t oo r s u b t r a c t e d f r o m i t .I n t e s t s o f l a n g u a g e u s e , h o we v e r , n e i t h e r t e s t h o mo g e n e i t yn o r t e s t l e n g t h c a n b e a s e a s i l y c o n t r o l l e d a s i n d i s c r e t e -p o i n t t e s t s . F i r s t o f a l l , t e s t s o f l a n g u a g e u s e a r eb a s e d o n l a n g u a g e a s c o mmu n i c a t i o n , o f wh i c h we h a v e , a sy et , n o c l e a r a n d p r e c i s e k n o wl e d g e . Mo r e o f t e n t h a n n ot ,s u c h t e s t s a r e s a mp l e s o f c o n c r e t e l a n g u a g e b e h a v i o u r a n dc a n b e l a b e l l e d a s wo r k - s a mp l e d e r i v e d t e s t s ( v . Gu i l f o r d1 9 4 8 ) . Se c o n dl y , a s p o i n t e d o u t i n 2 . 3 , t h e i t e ms i n s u c ht e s t s a r e i n t e r r e l a t e d i n a wh o l e . T h e u n i t s o f ma n i p u l a -t i o n , t h e r e f o r e , a r e wh o l e t e s t s o r s u b t e s t s a n d n o ti n d i v i d u a l i t e ms a s i n t h e c a s e o f d i s c r e t e - p o i n t t e s t s .So , b o t h t e s t h o mo g e n e i t y a n d t e s t l e n g t h p o s e s e r i o u sp r o b l e ms f o r r e l i a b i l i t y e s t i ma t i o n i n t e s t s o f l a n g u a g e u s e .I t m u s t b e a d mi t t e d t h a t l i t t l e t h o u g h t h a s b e e n g i v e n t ot h e s o l u t i o n o f t h es e p r o b l e ms . Some ma y e v e n d i s mi s st h e m a s mo r e o r l e s s u n i mp o r t a n t f o r t e s t s o f l a n g u a g e u s e .T h e p r e s e n t wr i t e r t h i n k s , h o we v e r , t h a t , u n l e s s we a r ewi l l i n g t o p a y t h e p r i c e f o r n o t h a v i n g r e l i a b l e t e s t s o fl a n g u a g e u s e , we wi l l h a v e t o come f a c e t o f a c e wi t h t h ep r o b l e ms .T h e r e ma i n d e r o f t h i s p a p e r i s a n a t t e mp t t o e s t a b l i s h t e s th o mo g e n e i t y a n d t o t a c k l e t h e p r o b l e ms o f t e s t l e n g t h f o rt e s t s o f l a n g u a g e u s e .

4 . T o wa r d s a So l u t i o n4 . 1 I t s e e m s p r o f i t a b l e t o s u g g e s t a s o l u t i o n b y wa y o f a n e x a mp l e .

T h e L a n g u a g e Ce n t r e o f t h e Un i v e r s i t y o f Ho n g Ko n g a dmi n i s t e r se a c h y e a r a b a t t e r y o f En g l i s h p r o f i c i e n c y t e s t s t o a l li n c o mi n g f i r s t y e a r En g i n e e r i n g s t u d e n t s . T h e b a t t e r y c on s i s t so f 3 r e a d i n g , 2 l i s t e n i n g a n d 3 wr i t i n g s u b t e s t s wh i c h a r ea l l l a n g u a g e- u s e t e s t s a n d a r e d e r i v e d f r o m a c t u a l En g l i s hl a n g u a g e t a s k s r e q u i r e d i n f i r s t y e a r En g i n e e r i n g a c a d e mi cwo r k . A d e t a i l e d a c c o u n t o f t h e b a t t e r y , k n o w n a s t h e En g l i s hPr o f i c i e n c y T e s t f o r En g i n e e r i n g St u d e n t s , i s f o u n d i n L e e ( 1 9 8 1 ) .Al l t he s u b t e s t s wi t h t h e e x c l u s i o n o f t h e wr i t i n g s u b t e s t sa r e c o mp o s e d o f o b j e c t i v e l y s c o r e d i t e ms a n d a r e o f t h e t y ped es c r i b e d i n 2 . 3 a b o v e . I n t h e d i s c u s s i o n t h a t f o l l o ws , t h ewr i t i n g s u b t e s t s wi l l n o t b e c on s i d e r e d .

2 1

8/9/2019 4500014

4/9

4 . 2 Th e i n t e r n a l c o n s i s t e n c y r e l i a b i l i t y e s t i ma t e s ( r t t -r e l i a b i l i t y c o e f f i c i e n t , a n d r t , , t - r e l i a b i l i t y i n d e x ) ,f o r t h e r e a d i n g a n d l i s t e n i n g s u b t e s t s t a k e n s ep a r a t e l ya r e a s f o l l o ws : -

Ta b l e 1 : Re Zi a b i Z i t y e s t i ma t e s o f t h e r e a di n g a n d t h el i s t e n i n g s u b t e s t s i n t h e En g l i s h Pr o f i c i e n c yTe s t f o r En g i n e e r i n g St u de n t s .

Nu nn a l l y ( 1 9 78 ) s u gg es t s t h a t t h e l o we r l i mi t f o r r s h o u l db e 0 . 7 0 , i f we a r e d e a l i n g wi t h e x p l o r a t o r y s t u d i e s , b u ts ho u l d b e 0 . 8 0 o r mo r e , i f we a r e d e a l i n g wi t h mo r e p r a c t i c a ld e c i s i o n ma k i n g , l i k e s t u de n t p l a c e me n t . Fr o m t h i s p o i n t o fv i e w, t h e s e t o f r e l i a b i l i t y c o e f f i c i e n t s ( r t t )d o e s n o t a p p e a r t o b e p a r t i c u l a r l y p r o mi s i n g . i n Ta bl e 1T e s t l e n g t h

I t i s p a r t i c u l a r l y r e l e v a n t t o o b s er v e t h a t t h e t wo l o we s tf i g u r e s o f r t t ( 0 . 5 8 i n Re a d i n g 2 , a n d 0 . 6 4 i n L i s t e n i n g 1 )a r e b o t h a s s o c i a t e d wi t h t h e t wo s ho r t e s t s u b t e s t s .Th e p r o b l e m o f h o mo g e n ei t y i s e v e n mo r e s er i o u s . Th e r e i ss i mp l y n o a - p r i o r i b as i s t o a r g u e t h at t h e s u b t e s t s a r eh omo g e n e o u s ; a n d wh a t e v e r c on c l u s i o n c a n b e d r a wn a s r e g a r d st e s t h omo g en e i t y h a s t o b e e s t a b l i s h e d a - p o s t e r i o r i t h r o ug hs t a t i s t i c a l t e c h n i q ue s .

r t t r t * C

Re a d i n g 1 0 . 7 0 0 . 8 4Re a d i n g 2 0 . 5 8 0 . 7 6Re a d i n g 3 0 . 8 0 0 . 8 9L i s t e n i n g 1 0 . 6 4 0 . 8 0L i s t e n i n g 2 0 . 8 4 0 . 9 2

i s c l e a r l y a p r o b l e m . Th e numbe ri s :

o f i t e ms i n e a c h s u b t e s t

Re a d i n g 1 1 3Re a d i n g 2 6Re a d i n g 3 1 0L i s t e n i n g 1 8L i s t e n i n g 2 1 4

8/9/2019 4500014

5/9

4 . 3 Fa c t o r a n a l y s i s wa s e mp l o y e d t o p r o v i d e as o l u t i o n f o r b ot h t h e h o mo g en e i t y a n d t h e t e s t l e n g t hp r o b l e m . Ba s i c a l l y , f a c t o r a n a l y t i c t e c h n i q ue i s ame t h o d o f i d e n t i f y i n g u n d e r l y i n g d i me n s i o ns me a s u r e db y a n u mb e r o f t e s t s . I n o u r c a s e , i t c a n b e u s e d t of i n d o u t wh e t h e r t h e 5 s ub t e s t s a r e me a s u r i n g 5d i f f e r e n t c ha r a c t e r i s t i c s , o r wh e t h e r t h e r e a r e f e we rt h an 5 d i s t i n c t d i me ns i o n s b ei n g me a s u r e d . I n t h e l a t t e rc a s e , f a c t o r a n a l y s i s c a n a l s o s h o w h o w t h e s ub t e s t sa r e c l u s t e r e d t o ge t h e r . ( T he i n t e r e s t e d r e ac h e r c a nr e f e r t o Gu i l f o r d 1 9 5 4 , Ch . 1 6 f o r a d e t a i l e d d e s c r i p t i o no f f a c t o r a n a l y s i s . )Al l t he s ub t e s t s , i n c l u d i n g Wr i t i n g , we r e f a c t o r a n al y s e d ,u s i n g Pr i n c i p a l Compo ne n t An a l y s i s wi t h ou t I t e r a t i o n s .Fo u r f a c t o r s we r e e x t r a c t e d f o r r o t a t i o n , t h e i r e i g en -v a l u es b e i n g 2 . 4 2 , 1 . 1 9 , 0 . 9 3 , 0 . 8 9 . T h e p er c e n t a ge s o fv ar i a n c e a c c o u n t e d f o r b y e a c h o f t h e f o u r f a c t o r s we r e :3 0 . 3 , 1 4 . 9 , 1 1 . 7 , 1 1 . 1 . T h e Va r i ma x r o t a t e d f a c t o rma t r i x i s a s b e l o w i n T ab l e 2 :

T ab l e 2 : Va r i ma x r o t a t e d f a c t o r ma t r i x o f t h e Re a d i n g , t h eL i s t e n i n g , a n d t h e Wr i t i n g s u b t e s t s ( c u t - o f fp o i n t f o r f a c t o r Z oa d i n g 0 . 5 0 ) .

T h e f a c t o r p a t t e r n i s v e r y c l e a r . Fa c t o r 1 s h ou l d b e awr i t i n g f a c t o r , Fa c t o r 2 a l i s t e n i n g f a c t o r , Fa c t o r 3 ar e a d i n g f a c t o r . Fa c t o r 4 i s a b i t mo r e c o mp l e x . T h e t wos ub t e s t s l o a d i n g h i g h h e r e a r e Re a d i n g 2 ( 0 . 9 0 ) a n d L i s t e n i n g2 ( 0 . 3 6 ) . T h e l a t t e r i s o f a r a t h er u n c e r t a i n s t a t u s ,

Fa c t o r 1 Fa c t o r 2 Fa c t o r 3 Fa c t o r 4

Re a d i n g 1 0 . 1 4 - 0 . 1 2 0 . 7 8 0 . 2 5Re a d i n g 2 0 . 0 2 0 . 1 0 0 . 0 7 0 . 9 0Re a d i n g 3 0 . 0 4 0 . 3 8 0 . 7 0 - 0 . 1 6L i s t e n i n g 1 0 . 1 3 0 . 8 2 0 . 0 3 - 0 . 0 2L i s t e n i n g 2 0 . 1 7 0 . 5 9 0 . 0 9 0 . 3 6Wr i t i n g 1 0 . 8 1 0 . 0 8 - 0 . 0 4 0 . 1 7Wr i t i n g 2 0 . 8 2 0 . 1 1 0 . 1 0 - 0 . 0 1Wr i t i n g 3 0 . 7 6 0 . 1 4 0 . 1 5 - 0 . 0 4

8/9/2019 4500014

6/9

b e c a u s e i t i s b el o w t h e c u t - o f f p oi n t ( 0 . 5 0 ) a do p t e d h e r e .Howe v e r , t h e o v e r a l l l o a d i n g p a t t e r n i n F ac t o r 4 wo u l d g i v eL i s t e n i n g 2 c on s i d e r a b l e p r o mi n e nc e . I f t h i s i n t e r p r e t a t i o ni s a c c e p t e d , Fa c t o r 4 c a n be d es c r i b ed a s an i n f o r ma t i o nt r a n s f e r f a c t o r , b e c au s e b o t h Re a d i n g 2 a nd L i s t e n i n g 2i n v o l v e t r a n s f e r r i n g a l i n g u i s t i c d i s c o u r s e i n t o g r a ph i cr e p r e s en t a t i o n .As f a r a s t h e f i v e ( r e a d i n g a nd l i s t e n i n g ) s ub t e s t s a r ec o n c er n e d, i t c a n b e s e e n t h at t h e f a c t o r a n a l y s i s s o l u t i o nh a s i d e n t i f i e d t h r e e d i s t i n c t u n d e r l y i n g d i me ns i o ns wh i c h ,b y d e f i n i t i o n , a r e h omoge n e o u s . Mo r e o v e r , e a c h d i me ns i o ni s t h e c omb i n a t i o n o f t wo s u b t e s t s , wh i c h , a s a r e su l t ,c a n b e c o l l a p s e d t o g e t h e r t o ma k e o ne l o ng er t e s t . I t s h ou l db e p o i n t e d ou t t h a t , i n c omb i n i n g t h e s u b t e s t s , d u ec on s i d e r a t i o n wa s g i v en t o t h e f a c t o r l o a d i n g s wh i c hi n d i c a t e t h e r e l a t i v e s t r e n g t h o f a s s o c i a t i o n o f t h es ub t e s t s wi t h t h e f a c t o r s . T h e s e l o a d i n g s , we r e t h en u s e da s we i g h t s on t h e s c o r e s o f t h e s ub t e s t s , b e f o r e t h e y we r ec o mb i n e d .Th e r e s u l t s o f t h e f a c t o r a n a l y s i s h a v e g i v en u s 3 s e t s o fh omoge n e o u s s c o r e s wi t h 2 2 i t e ms ( L i s t e ni n g 1 : 8 ; a ndL i s t e n i n g 2 1 4 ) i n F ac t o r 2 , 2 3 ( Re ad i n g 1 : 1 3 ; a ndRe a d i n g 3 : 1 0 ) i n F ac t o r 3 , and 2 0 ( Re ad i n g 2 : 6 ; a ndL i s t e n i n g 2 : 1 4 ) i n Fa c t o r 4 . I t s h ou l d , p e r h a ps , b en e c es s a r y t o p oi n t o u t t h a t L i s t e n i n g 2 a p pe a r s i n t wo o ft h e a b o v e c omb i n a t i o n s . A t e s t t h us l o a d i n g s i g n i f i c a n t l yi n mo r e t h an o n e f a c t o r i s known a s a f a c t o r i a l l y c omp l e xt e s t . S u c h t e s t s a r e r e l e v an t t o mo r e t h a n o n e u n d e r l y i n gd i me ns i o n i n t h e f a c t o r ma t r i x . Howe v er , t h e we i g h t i n ga c c o r d i n g t o f a c t o r l o a d i n g wo u l d e n s u r e t h a t d u ec on s i d e r a t i o n i s g i v en t o p o s s i b l e d i f f e r e nt i a l p r o mi n e n c es u c h c omp l e x t e s t s h a v e i n t h e r e l e v an t f a c t o r s .

4 . 4 I n t e r n a l c on s i s t e nc y r e l i a b i l i t y wa s e s t i ma t e d f o r t h et h r e e s et s o f f a c t o r s c o r e s wi t h t h e s u b t e s t s p r o p e r l ywe i g h t e d . Th e me t h od emp l o y e d wa s f r o m Gu i l f o r d ( 1 9 5 4 ,3 9 3 ) - Re l i a b i l i t y o f Comp os i t e Sc or e s :

Ew 2 s 2 - Ew . 2 s . 2 r .J 7 J J 3 3Ew 2 s 2 + 2 Ew3 3 . w ss r~ k ~ k ~ k

8/9/2019 4500014

7/9

5 . Co nc l u s i o n

wh e r e r s s = r e l i a b i l i t y c o e f f i c i e n t ( r t t ) o f a s u m o fc o mp o n e n t sw j = we i g h t a s s i g ne d t o a n y c om p o n e n t Jwk = we i g h t a s s i g n e d t o an y c omp o n e n t K

s j , s k = SD' s o f c o mp o n e n t s J a n d K , r e s pe c t i v e l yr j j = r e l i a b i l i t y c o e f f i c i e n t f o r a n y c omp on e n t Jr J , k = i n t e r c o r r e l a t i o n o f c omp o ne nt s J a n d K

Th e r e l i a b i l i t y c o e f f i c i e n t s ( r t t ) an d t h e r e l i a b i l i t yi n d i c es ( r t o ( ) a r e a s b e l o w i n Ta b l e 3 :

T a b l e 3 : I n t e r n a l c o n s i s t e n c y r e l i a b i l i t y e s t i ma t e so f f a c t o r s c o r e s .

T h e s e s e t s o f e s t i ma t e s a r e n ot i c e a b l y i mp r o v e d a s c o mp a r e dwi t h t h os e i n Ta b l e 1 .

I t a p pe a r s t h a t t h e e mp l o yme n t o f t h e f a c t o r a n a l y t i ct e c h ni q ue c an h e l p t o r e s o l v e s t a t i s t i c a l l y t h e t wo ma j o r p r o b l e msr e l a t e d t o i n t e r n a l c o n s i s t e n c y r e l i a b i l i t y e s t i ma t i o n f o r t e s t so f l a n gu a ge u s e . I t o f f e r s p o s i t i v e s u gg es t i o n s o n h o w t h ep r o b l e m o f t e s t l e n g t h c an be o v e r c o me . I n a c t u a l p r a c t i c e ,j u s t i f i c a t i o n o f wh e t h e r t wo o r mo r e t e s t s s u b s um e d u n d e r o n es i n g l e f a c t o r c a n b e c o l l a p s e d o r n o t h a s s t i l l t o c ome f r o m t e s t

r t t r t . ,

Fa c t o r 2 0 . 8 2 0 . 9 1Fa c t o r 3 0 . 8 0 0 . 8 9Fa c t o r 4 0 . 8 0 0 . 8 9

8/9/2019 4500014

8/9

c o n t e n t .Mo r e o v e r , t h e p r o c e du r e j u s t d es c r i b e d may a l s o b e o f wi d e r

a p p l i c at i o n , i n c as es wh e r e a - p o s t e r i o r i me t h o d s a r e r e q u i r e d i nr e l i a b i l i t y e s t i ma t i o n . one p o s s i b l e c a s e i n p oi n t wo u l d b e t h ec l o z e p r o c e d u r e . Th e g e n e r a l p r a c t i c e h a s b e e n t o d e r i v e a c l o z es c o r e f r o m t h e u nwe i g h t e d s um o f t h e i t e m ( b l an k ) s c o r e s . Suc ha s c o r i n g me t h o d a s s ume s t h at t h e c l o z e p r o c e du r e i s mo r e o r l e s sh omoge n e o u s ( o r f a c t o r i a l l y s i mp l e ) . Howe v e r , l i t t l e e x p er i me n t a lwo r k h a s b e e n d o n e t o v a l i d a t e s u c h a s a s s u mp t i o n . I t i s p o s s i b l et h at t h e me t h o d p r o p os e d i n t h i s p a p e r may h e r e f i n d a u s ef u la p p l i c at i o n .

8/9/2019 4500014

9/9

Gu i l f o r d , J . P ( 1 9 4 8 ) ' F a c t o r a n a l y s i s i n a t e s t - d e v e l o pme n tp r o g r a mme ' , Ps y c ho l o g y Re v i e w, 5 5 , 7 9 - 9 4 .( 1 9 5 4 ) Ps y c h o me t r i c Me t h o d s , 2 n d ed . , Mc Gr a w- Hi l l ,Ne w Yo r k .

Re f e r e n c es

Gu i l f o r d , J . P a n d F r u c h t e r , B . ( 1 9 78 ) F u n d a me n t a l s t a t i s t i c s i np s y c h o l o g y a n d e du c a t i o n , 6 t h e d . , Mc Gr a w- Hi l l , Ne w Yo r kL e e , Y . P . ( 1 9 79 ) A Co mp a r i s o n b e t we e n ' Gl o ba l I n t e g r a t i v e'L a n g u a g e T e s t a n d ' Ta s k - B a s ed ' Co mmu n i c a t i v e Sk i l l L a n g u a g eT e s t a s Pr e d i c t o r o f L a n g u a g e Pr o f i c i e n c y , Un pu b l i s h e d MAd i s s e r t a t i o n , Un i v er s i t y o f Ho ng Ko ng .

( 1 9 81 ) ' Ev a l u a t i o n a n d Me a s u r e me n t o f Co mmu n i c a t i v eComp e t e n c e wi t h o u t Ne c es s a r y Re f e r e nc e t o A- P r i o r i Th e o r e t i c a lMo d e l s - Th e Ca se f o r Di r e c t L a n g u a g e Te s t s ' , Pa p e r s o nL a n g u a g e Te s t i n g RELC Oc c a s i o n a l Pa p e r s No . 1 8 , Si n ga po r e ,SEAMEO Re g i o n a l L an gu a g e Ce nt r e , 8 6 - 9 8 .Nu nn a l l y , J . C . ( 1 9 78 ) Ps y c h o me t r i c Th eo r y , 2 e d . , Mc Gr a w- Hi l l , Ne w Yo r k .