효율적인 피어리뷰 학습을 위한 회귀 모델 기반 학습성과 예측 방법

Abstract

피어리뷰(peer review)를 통한 학습은 학습자간 피드백을 주고받으며 다양한 정보를 관찰, 분석하는 과정을 통해 학습성과를 향상시키는 방법이다. 피어리뷰 시스템의 중요한 문제 중 하나는, 학습자의 여러 특징을 고려하여 학습자의 학습성과를 향상시키는데 적합한 평가자를 찾는 것이다. 그러나 기존 피어리뷰 시스템에서는 학습자들이 가지는 다양한 특징을 고려하지 않고 단순히 피어리뷰 평가자를 임의로 할당하거나 제한적인 학습 전략에 따라 피어리뷰 평가자를 편성하였다. 본 논문에서는 학습자와 평가자의 다양한 특징을 고려하여, 특정 학습자와 평가자의 조합으로 피어리뷰 학습이 이루어졌을 때 학습자에게 어느 정도의 학습성과 향상이 있을지 예측하는 방법을 제안한다. 제안하는 방법은 학습자와 평가자의 프로파일 정보로부터 대표 속성을 추출하고 다양한 회귀 모델을 적용하였다. 또한 학습자들의 다양한 특징으로 인하여 나타날 수 있는 이상치(outlier)가 학습성과 예측에 미치는 영향을 알아보기 위해, 회귀 모델에 다양한 이상치 제거 방법을 적용하여 학습성과 예측성능을 비교하였다. 실험 결과 이상치를 제거 하지 않은 SVR 모델이 평균 0.47%의 에러율을 보이며 가장 우수한 학습성과 예측결과를 보였다. The peer review learning is a method which improves learning outcome of students through feedback between students and the observation and analysis of other students. One of the important problems in a peer review system is to find proper evaluators to each learner considering characteristics of students for improving learning outcomes. Some of peer review systems randomly assign peer review evaluators to learners, or chose evaluators based on limited strategies. However, these systems have a problem that they do not consider various characteristics of learners and evaluators who participate in peer reviews. In this paper, we propose a novel prediction approach of learning outcomes to apply peer review systems considering various characteristics of learners and evaluators. The proposed approach extracts representative attributes from the profiles of students and predicts learning outcomes using various regression models. In order to verify how much outliers affect on the prediction of learning outcomes, we also apply several outlier removal methods to the regression models and compare the predictive performance of learning outcomes. The experiment result says that the SVR model which does not removes outliers shows an error rate of 0.47% on average and has the best predictive performance.