The Effect of Asymmetry of Item Characteristic Curves on Item Information Function Estimation: A Comparison of RH, 2PL, and 3PL IRT Models through Simulation Study

Abstract

문항특성곡선의 비대칭성의 존재는 문항특성곡선의 기울기를 변화시킴으로써 문항정보함수 추정에 커다란 영향을 미친다. 이 연구는 문항특성곡선에 비대칭성을 가져오는 요인으로 문항복잡성(item complexity)과 이질적 잔여분산(heteroscedastic residual variance)으로 상정하고, 이 두 가지 특성을 반영한 모의실험 데이터를 분석하였다. 분석에는 비대칭성을 고려하는 확장된 문항반응이론(IRT) 모형인 RH 모형과 기존의 2모수/3모수 IRT 모형을 적용하였으며, 문항/검사정보함수 추정의 정확성을 비교․분석하였다. 문항특성곡선의 비대칭성을 고려하는 RH 모형은 기존의 2모수/3모수 IRT 모형보다 실제 문항정보함수를 전반적으로 더 정확하게 추정하였다. 이러한 결과는 RH 모형처럼 문항특성곡선의 비대칭성을 고려한 확장된 IRT 모형을 활용하는 것이 컴퓨터기반의 적응검사(CAT) 상황에서 문항선택 및 피험자 능력추정의 정확성에 대한 확신을 높일 수 있음을 시사한다.The presence of the asymmetry of the item characteristic curves (ICCs) can substantially affect ICC slopes and thus the estimation of the item information function. This study assumes that item complexity and heteroscedastic residual variance are the critical variables for the asymmetry of ICCs. The current study is comprised of two parts. In the first part, it was compared the results of the RH model against the 2PL/3PL IRT models in terms of estimated item information when a realistic form of asymmetry exists in simulated data sets with a mixture of five response process types that vary in item complexity. The second sets of simulated data were generated from an RH model having five different levels of heteroscedasticity. As a result, the Residual Heteroscedastic Latent Trait (RH) model, which considers the asymmetry of ICCs, more accurately estimates the quantity and maximum point of the actual item information function than the existing 2PL/3PL IRT models. These results suggest that the use of the extended IRT model considering the asymmetry of ICCs, like the RH model, can improve the accuracy of item selection and subject ability estimation in computer-based adaptive testing(CAT) situations.