A Polytomous Item Response Model That Simultaneously Considers Bias Factors of Raters and Examinees :

Abstract

小論文試験や面接試験, パフォーマンステストなどに基づく能力評価には, 採点者ごとの評価点の甘さ辛さやその散らばりの程度, 日間変動といった採点者側のバイアス, および受験者への期待効果, 採点の順序効果, 文字の美醜効果などの受験者側のバイアス要因の双方が影響することが知られている。本論文ではMuraki（1992）の一般化部分採点モデルを応用して, 能力評価データにおけるこれら2種類のバイアス要因の影響を同時に評価するための多値型項目反応モデルを提案した。また, 母数の推定については, MCMC法（Markov Chain Monte Carlo method）に基づくアルゴリズムを利用し, その導出も行った。シミュレーション実験における母数の推定値の収束結果から推定方法の妥当性を確認し, さらに高校生が回答した実際の小論文評価データ（受験者303名, 採点者4名）を用いて, 本論文で提案した多値型項目反応モデルの適用例を示した。