Equivalency of Picture-Based Speaking Tasks: An Investigation of Complexity, Accuracy, Lexis, and Fluency

Abstract

In experimental research, a pretest–posttest design is often used to examine the effect of treatment or intervention. Establishing equivalency across tests is essential for this type of research to ensure the validity of the study results. However, studies that explore test/task equivalency are scarce in second language research. This study investigates the equivalency of seven picture-based narrative tasks such as those commonly used in second language research and language tests. The oral performances elicited from 20 Japanese university students were analyzed in terms of their complexity, accuracy, lexis, and fluency. Despite controlling for the task-related variables of story length, sequential structure, and storyline complexity, the results were similar only in terms of fluency and not with regard to complexity, accuracy, or lexis. These findings suggest that it is important to determine the equivalency of testing materials as seemingly similar tasks do not necessarily elicit similar oral performances. 実験的研究では、対処や介入の効果を調べるために事前・事後テストデザインがよく用いられる。この種の研究では、結果の妥当性を担保するためにテストの同等性を確立することが重要である。しかし、第二言語研究において、テストやタスクの同等性を調査した研究は極めて少ない。本研究は、第二言語研究や言語テストにおいて頻繁に使用されている写真描写タスクに焦点を当て、7つのタスクの同等性を検証する。そのために、20人の日本人大学生のスピーキングパフォーマンスを、複雑さ、正確さ、語彙、流暢さの尺度を使って分析した。結果は、タスクに関わる要因である物語の長さ、構造、複雑さを統制したにもかかわらず、流暢さにおいてのみタスクの類似性が示され、複雑さ、正確さ、語彙においては差異が認められた。本研究結果は、外見的には似ているタスクであっても同等のスピーキングパフォーマンスに必ずしも結びつかないことを示し、テストに使用する題材の同等性を検証することの重要性を示唆している。