Technical Evaluation of MT Systems from the Developer's Point of View

Abstract

機械翻訳システムの開発者がシステムの技術的評価を翻訳品質に注目して客観的に行う手法を開発した。評価過程の客観性と評価結果の解釈の客観性を維持するために、本手法では単なる評価用例文集ではなく、システムの出力を評価するための設問と、その設問がどのような言語現象を対象としているかについての解説とを各例文に付与したテストセットを用いている。各例文は基本的な言語現象と現在の機械翻訳システムにおいて処理が困難である言語現象のそれぞれを出来る限り網羅するように収集された。今回、英日機械翻訳システム、日英機械翻訳システムのそれぞれについての評価用テストセットを作成した。これらを用いて商用の機械翻訳システムでの評価実験を繰り返すことにより、機械翻訳システムの能力の差異を提示できることが示された。