Correction Effects of Response Bias of Different Types of Score Adjustment in the Anchoring Vignette Method

Abstract

비네트 고정법은 Likert 문항을 활용한 측정에서 응답 편파를 보정하기 위해 널리 사용되는 방법 중 하나로, 특정 변인에 대한 전형적인 수준의 사례들(비네트 문항)에 대한 반응을 활용하여 해당 변인과 관련된 측정 문항에 대한 개인의 응답을 보정하는 기법이다. 비네트 고정법을 사용하여 응답자의 점수를 보정하는 과정에서 다양한 조정점수 산출 방법들이 있으나 각 방법들 간의 응답편파 보정효과에 대한 비교연구는 아직도 미흡한 수준이다. 이 연구에서는 PISA 2015 자료 중에 비네트 고정법을 활용한 성취동기 변인 자료를 사용하여, 조정점수 산출 방법들(① 구간점수의 최대값 사용, ② 구간점수의 최솟값 사용, ③ 구간점수의 중앙값 사용, ④ OECD가 제시한 값 사용) 간의 응답 편파 보정효과를 비교·분석하였다. 이 과정에서 조정점수 산출 방법들의 적합성과 강건성을 평가하기 위한 세 가지 기준(보정 효과의 방향, 보정 효과의 크기, 평정 순서에 대한 강건성)을 활용하였다. 연구 결과 조정점수 산출 방법에 따라 응답 편파의 보정 효과에 차이가 있으며, 세 가지 평가기준을 종합적으로 고려할 때 구간점수의 중앙값을 사용하는 방법이 가장 합리적이고 강건한 것으로 나타났다. 이러한 결과는 비네트 고정법을 사용할 때 조정점수 산출 방법 선정에 신중을 기해야 함을 시사한다.The anchoring vignette method is a popular method for correcting response bias in Likert-type measurements. It is a technique of correcting an individual s response to a measurement item by using the responses to vignette items on the same variable. However, out of ways one can adjust respondents’ scores using anchoring vignettes, comparisons across different methods of score adjustment have been insufficiently discussed. Hence, this study analyzed and compared the correction effects of response bias of different methods of score adjustment using anchoring vignettes in the measurement of achievement motivation from the Programme for International Student Assessment (PISA) 2015 data. Four different methods of score adjustment － (a) using the upper bound of the interval score, (b) using the lower bound of the interval score, (c) using the median of the interval score, and (d) using the value suggested by the Organisation of Economic Cooperation and Development (OECD) － were analyzed and evaluated through three assessment criteria (direction of correction effect, size of correction effect, and robustness against rating order) for their suitability. Findings indicate that there are differences in the correction effects of response bias across these different methods of score adjustment and that using the median of the interval score yielded the most logical and robust correction effects of response bias. These results suggest that we should be careful in selecting a method of score adjustment when using the anchoring vignette method.