A Simulation Study for Examining Roles of Sampling Weight in Multilevel Analysis with data from a Complex Survey Design

Abstract

이 연구는 복잡한 조사 설계를 적용한 국가수준 학업성취도(National Assessment of Educational Achievement)를 모집단으로 하여 다단계 층화표집설계에 기반하여 수집된 데이터에 대한 다층모형 시 가중치 적용 분석의 장점을 살펴보고자 하였다. 시뮬레이션 연구를 통해 가중치 미적용, 설계 가중치 적용, 레이크 가중치 적용의 결과를 학교별 2학급 표집과 3학급 표집 조건에 따라 고정효과와 임의효과 추정치에 대한 다층모형 분석 결과를 분석하였다. 레이크 가중치 생성을 위해 외적, 내적 층화 변수와 더불어 보조변수를 활용하였다. NAEA 데이터 기반 시뮬레이션 분석 결과, 가중치 적용 기술 통계값은 가중치 미적용 결과에 비해 모집단 평균에 가까웠지만, 다층분석 모형에서는 고정효과와 임의효과 추정치에서 가중치 적용과 미적용 결과 간에 커다란 차이를 보이지 않았다. 본 연구 결과는 교육분야의 대규모 데이터를 사용한 다층 모형 기반 분석에서 가중치 적용 여부 및 유용성에 대한 실증적 증거를 제공하는 데 도움을 줄 것이다.This study was motivated by the National Assessment of Educational Achievement (NAEA) involving a complex survey design for sampling. The goal of the study was to explore the benefit of weighted analysis in multilevel modeling. Large-scale data such as the NAEA data are often analyzed in multilevel analyses to reflect the nested data structure. A simulation study was conducted incorporating different conditions. Multilevel analysis results were compared without weights, with basic design weights, and with a raked weight, which were generated in consideration of explicit and implicit stratification variables with auxiliary variables. Simulation also compared the analysis results by varying the number of classes per school in a stratified cluster sampling design. In summary, substantial benefits were not observed in weighted multilevel analysis compared to unweighted multilevel analysis, although the weighted descriptive statistics were close to the population means relative to the unweighted descriptive statistics. These findings may help provide scientific evidence for the use of sampling weights in analyses with large-scale educational data.