Validity Issues and Strategies to Improve Validity of Task Engagement Analysis for Instructional Analysis

Abstract

본 연구의 목적은 수업 분석 도구의 하나인 과업집중도분석에서 제기되는 타당도 이슈를 제시하고, 이를 해결하기 위한 구체적인 전략을 탐색하는 것이다. 이를 위해, 연구자가 다년간 수업컨설팅 경험을 통해 수집한 과업집중도분석 결과, 수업동영상, 그리고 연구자의 성찰 일지 등과 같은 자료를 활용하였다. 수집된 자료는 포괄적 분석 절차에 따라 분석하였다. 본 연구를 통해 도출한 과업집중도분석의 타당도 문제는 학습자 행위에 대한 판단의 모호성, 단일 관찰자 분석으로 인한 신뢰도 문제, 평면적 관찰로 인한 분석의 한계, 그리고 분석 결과에 대한 원인의 근거 부족으로 드러났다. 이러한 타당도 문제를 해결하기 위해 다음과 같은 네 가지의 타당도 확보 방안을 제시하였다. 구체적으로 수업동영상 촬영을 병행한 행위의 명료화, 다중 관찰자를 통한 신뢰도 확보, 다른 수업 분석 도구를 활용한 입체적 분석, 면담 및 설문을 통한 풍부한 정보 도출을 타당도 확보 전략으로 제시하였다. 본 연구를 통해 다음과 같은 결론을 제시하였다. 첫째, 과업집중도분석 도구를 활용하여 수업 분석을 수행하는 관찰자의 역량 강화에 기여할 수 있다. 둘째, 수업컨설턴트 혹은 관찰자는 본 연구에서 제시한 타당도 확보 방안을 고려하여 타당도 높은 수업 분석 결과를 도출할 수 있다. 셋째, 교수자의 실질적인 수업 개선에 기여함으로써 교수자의 수업 전문성 신장에 이바지할 수 있다.The purpose of this study is to present the validity issues raised in task engagement analysis, a class analysis tool, and to explore ways to solve these problems. For this purpose, data such as task engagement analysis results, class videos, and the researcher's reflective journal were collected. These data were collected based on the researcher's many years of experience in instructional consultation. The collected data were analyzed according to an analysis of the degree of concentration on the task. The validity problems of the task engagement analysis derived through this study were revealed as ambiguity in judgment about learner behavior, reliability problems due to single observer analysis, limitations in analysis due to flat observation, and lack of evidence for the causes of results. To solve these problems, the following four methods of securing validity are suggested: First, clarification of the action in parallel with class video recording. Second, securing reliability through multiple observers. Third, three-dimensional analysis using other instructional analysis tools. Fourth, the collection of rich data through interviews and surveys. The following conclusions were drawn. First, use of the task engagement analysis tool can contribute to strengthening the competency of observers who perform class analysis. Second, an instructional analyst or observer can derive highly valid instructional analysis results by considering the method for securing validity suggested in this study. Third, contributing to the practical improvement of the instructor's class can contribute to the improvement of the instructor's class expertise.