The Effect of Sample Size on Type I error of the S-X2 Item Fit Index

Abstract

본 연구에서는 카이제곱 분포를 따르는 S-χ2문항 적합도 지수가 제1종 오류에 있어서 표본크기의 영향을 어느 정도 받는지에 관하여 모의실험을 통해 살펴보았다. 추가적으로, 문항반응이론 분야에서 전통적으로 활용되어 온 문항 적합도 지수인 Q1-χ2의 수행도 함께 조사하였다. 모의실험에서는 여러 이분 문항반응모형과 다양한 수준의 문항 수를 고려하여, 제1종 오류와 통계적 검정력 측면에서 문항 적합도 검정이 각 조건에 따라 어떻게 이루어지는지 확인하였다. 연구 결과, 검사 자료 분석을 위하여 문항반응이론을 활용하고자 하는 연구자는 BILOG-MG와 같이 일반적으로 널리 쓰이는 프로그램에서 제공하는 문항 적합도 지수보다 S-χ2 지수를 사용하는 것이 훨씬 더 바람직하다고 볼 수 있었다. 또한 표본크기가 매우 클 때에도 S-χ2 지수를 사용한다면 무선적 표집 절차 없이 모든 검사 응답 자료를 활용하여 문항 적합도 검정을 수행할 수 있는 것으로 나타났다.The main purpose of this study is to examine the extent to which the S-χ2 item fit index that follows chi-square distributions are affected by sample sizes in terms of type I error rates through a simulation study. In addition, the performance of Q 1 -χ 2 index which has been traditionally used in the area of item response theory were also investigated. In the simulation study, various dichotomous item response models and a few different numbers of items were considered to check these indices could perform adequately in terms of type I error and statistical power at each simulation condition. The study results showed that the S-X 2 index was able to control the type I error without excessive inflation even when the sample sizes are extremely large. The Q 1 -χ2 index, however, calculated by BILOG-MG program could provide the empirical type I error rates around the nominal significance level, 5%, only in very restricted conditions. In conclusion, a researcher who wants to use item response theory for the purpose of analyzing given test data needs to use the S-χ2 index rather than resorting to traditional item fit indices such as the Q 1 -χ 2 provided by commonly used commercial program like BILOG-MG. It was also shown that, if the S-χ2 index could be used even when the sample size was very large, then, no sampling process is required to lessen the size of data set.