Comparison of the Standard Errors of Equating by the IRT and Equipercentile Methods Under the Random Groups Design

Abstract

검사 동등화 연구에서 자료 수집 설계로 랜덤집단 설계가 종종 사용된다. 최근 들어, 두 검사형 간 동등점수 관계를 찾기 위해 전통적인 동백분위 동등화 방법보다는 문항반응이론(IRT) 기반 동등화 방법이 더 많이 활용되고 있다. 본 연구의 첫째 목적은 랜덤집단 설계하에서 IRT 동등화 방법에 대한 동등화 표준오차의 점근 공식을 혼합형 검사에 적용할 수 있도록 일반적으로 제시하는 데 있다. 둘째 목적은 점근 공식에 기초하여 IRT 방법과 동백분위 방법에 의해 산출되는 동등화 표준오차가 어떻게 다른지를 경험적 자료를 통해 검토하는 것이다. 둘째 목적과 관련하여, 다양한 동등화 조건들을 포함하여 실시한 비교 연구를 통해 다음의 주요 결과를 얻었다. 첫째, IRT 관찰점수 동등화 방법은 IRT 진점수 동등화 방법보다 평균적으로 더 작은 동등화 표준오차를 산출하였으며, 두 IRT 동등화 방법은 동백분위 동등화 방법보다 더 작은 동등화 표준오차를 산출하였다. 둘째, 각 동등화 방법은 검사의 길이가 증가할수록 더 큰 동등화 표준오차를 산출하였다. 셋째, 각 동등화 방법은 표본의 크기가 커질수록 더 작은 동등화 표준오차를 산출하였으며, 평균 동등화 표준오차는 대략적으로 표본 크기의 제곱근에 반비례하였다.The random groups design is often used for collecting sample data for test equating. Recently, the item response theory (IRT) based equating methods have been more widely used than the traditional equipercentile equating method. One of the two purposes of this study is to present general formulas for the asymptotic standard errors of equated scores estimated by the IRT true score and observed score equating methods under the random groups design so that they can be used for equating with mixed-format tests. The other purpose is to use empirical test data to examine how the standard errors of equating produced by the IRT equating methods differ from those by the equipercentile equating method. Concerning the second purpose, a comparative study, including various equating conditions, was conducted and the following were found. First, on the average, the IRT observed score equating method resulted in slightly smaller standard errors of equating than the IRT true score equating method, and the two IRT equating methods produced smaller standard errors than the equipercentile equating method which was based on unsmoothed score distributions. Second, the standard errors produced by the three equating methods increased as the lengths of the test forms equated increased and thus the relative frequencies for test scores were lowered. Third, the mean standard errors of equating for the three equating methods decreased as the sample size increased and the amounts of the errors were inversely proportional to the square root of the sample size.