A Case Study on Applying Sampling Weight to the National Assessment of Educational Achievement

Abstract

본 연구에서는 국가수준 학업성취도 평가의 표집 체제 전환에 따른 교육통계․측정학적 측면에서 표본자료의 대표성 제고를 목적으로 학업성취도 평가의 2단계 층화군집 표집설계에 기반한 가중치 산출 방안을 마련하고 그 실효성을 살펴보았다. 선행연구를 기반으로 학업성취도 평가의 가중치 산정을 위해 학교-학급-학생 자료 구조를 반영한 기본 설계 가중치, 이상 가중치 절삭, 사후층화 보정 방법을 적용하였다. 전반적으로 가중치를 적용한 국가수준 평가 결과는 가중치 미적용 결과에 비해 전수 결과에 좀 더 근접하는 것을 확인할 수 있었으며, 개선점으로 하위집단별(예, 시․도교육청별×지역규모별) 평가 결과를 산출하고자 할 경우 표집설계를 수정하여 이를 가중치 산정에도 반영할 것을 제안하였다. 본 연구는 복잡한 표집설계를 반영한 국가단위 조사 연구 및 결과 산출을 고려하는 국내 교육연구자들에 실증적인 정보를 제공한다는 점에서 그 의의를 찾을 수 있다.As the National Assessment of Educational Achievement (NAEA) was converted into the sampling test, the purpose of the present study was to improve the representativeness of NAEA sample data by applying the sample weights. Based on the literature review, a method of calculating the weight based on the two-stage stratified cluster sampling design of the NAEA was prepared by applying the weight calculation in the basic design, the outlier weight trimming, and the post-stratification. As a whole, the results based on the weighted sample data appeared a bit closer to the census results in comparison to the corresponding ones from the unweighted sample data. However in order to yield proper NAEA results for sub-populations (e.g., local educational offices × urbanicity), sampling designs should to be revised, along with application of the new sampling design into the weight calculation. The study results provide empirical information for educational researchers who purse national level survey studies with a complicated sampling design.