A study for application of item change sensitivity to longitudinal academic achievement tests

Abstract

학생 능력의 변화를 측정하는 검사를 개발할 때, 문항이 변화/성장을 얼마나 잘 감지하는지 확인하는 것은 검사 목적의 타당성을 높이기 위해 중요하다. 본 연구는 종단 데이터에 적용된 다차원 문항반응모형의 모수가 변화에 민감한 정도를 나타낼 수 있음을 소개하고, 모수 추정의 정확성을 살펴보았다. 구체적으로, 1년의 시간 간격을 두고 시행된 능력검사 데이터를 이용하여 변별도와 변화에 민감한 정도를 나타내는 모수가 별개의 특성임을 확인하였다. 또한 세 가지 조건(요인 간 상관, 기울기 모수 간 차이, 피험자 수)을 고려한 모의 데이터를 생성하여, 두 문항 특성이 안정적으로 분리되어 추정되는지 확인하였다. 연구 결과, 문항 모수는 대체로 안정적으로 추정되었으나, 요인 간 상관이 부적일 때와 사례수가 적을 때는 추정성이 떨어졌다. 두 문항 모수 간의 차이가 클수록 문항 모수의 추정성은 높아지나, 잠재특성 모수의 추정성은 낮아지는 경향이 있었다.When developing test items that measure changes in student abilities over time, it is important to increase the validity of the test objectives to determine how well the items detect changes/growth. In this study, three conditions of the multidimensional item response model (correlation between factors, difference between slope parameters, and the number of subjects) are considered for simulation study by referring to the characteristics of the actual longitudinal ability test data used to grasp how much students have grown at a time interval of one year. First, we introduced that the item parameter of the multi-dimensional item response model can provide information about the degree of sensitivity to ability change, and examined its function through the accuracy of parameter estimation. As a result of the study, the latent trait parameter and the item parameter were generally estimated to be stable, but the accuracy was poor when the correlation between the two latent factors was negatively related and the number of cases was small. The greater the difference between the two slope parameters, the higher the accuracy of the item parameter, but the lower the accuracy of the latent trait parameter.