Effect Size Calculation in Meta-analysis for Program Evaluation

Abstract

메타분석은 개별연구의 효과크기를 결합하여 특정 프로그램의 효과를 실증적으로 입증하기 위한 방법이다. 비동등 두 집단 비교를 위한 연구 설계에서 메타분석을 위한 개별연구의 효과크기는 두 집단의 사후 평균 점수를 비교하는 방법과 사전/사후 평균 점수의 차에 대한 두 집단의 차를 비교하는 방법이 있으며, 메타분석을 위한 개별연구에서 보고되고 있는 통계량의 형태는 다양한 것이 현실이다. 본 연구의 목적은 개별연구에서 보고되는 통계량의 다양한 형태에 적절한 효과크기를 구하는 방법을 다루고, 보다 정확한 효과크기를 산출하기 위한 통계량 활용법을 제시하는 것이다. 이를 위해 비동등 두 집단 비교를 위한 사전/사후 연구 설계에서 연속형 변수를 이용한 프로그램의 효과 검증을 위한 분석방법에 대한 연구 결과를 살펴보았으며, 그 결과 두 집단의 평균 비교를 위한 독립표본 t-검정과 사전 점수를 공변인으로 하고 사전/사후 점수의 차를 종속변수로 설정한 공분산분석이 권장되는 방법임을 확인하였다. 이를 토대로 메타분석에서 사전/사후 평균 점수의 차에 대한 두 집단의 차를 비교하는 방법이 프로그램의 효과크기를 산출하는데 적절한 방법임을 확인하였다. 더불어 메타분석을 위한 개별연구에서 보고되는 통계량 형태를 네 가지 유형으로 구분하였고, 각 유형에 적절한 효과크기 계산방법을 제시하였다.Meta-analysis is to verify the effect of a specific prevention program or treatment by combining effect sizes from individual studies. Effect size in meta-analysis is calculated with mean difference of posttest scores, or difference of mean differences of posttest and pretest scores of control and experimental group in the study with non-equivalent two groups pretest-posttest research design. Independent two-sample t-test and analysis of covariance is widely recommended in two group comparison for the verification of program effect. Difference of mean differences of posttest and pretest scores is commonly and reasonably recommended for the calculation of effect size. Four types of summary statistics in individual research are investigated, and the effective way to calculate effect size without over/under-estimating is reviewed for the four types of summary statistics. It is suggested to report independent two-sample t-test statistic with at least three digits below decimal place in nonequivalent two groups comparison research, and it is also suggested to use Type IV summary statistics for the calculation of effect size if possible.