Annotation, évaluation et mesure d’accord en linguistique de corpus

Abstract

La constitution et l’évaluation de ressources annotées ainsi que des systèmes automatiques d’annotation revêtent une importance grandissante en linguistique et en TAL. Pour autant, les méthodes d’évaluation ne sont pas toujours maîtrisées ni utilisées à bon escient, notamment en linguistique où la nature séquentielle des données textuelles nécessite des méthodes spécifiques. Dans cet article, nous analysons tout d’abord les notions de corpus et d’annotation dans leurs multiples formes, puis nous nous focalisons sur les questions d’évaluation qui en résultent. Nous insistons en particulier sur la différence de nature qui existe entre l’évaluation d’un système d’annotation et l’évaluation de ressources multi-annotées manuellement, et nous donnons un aperçu des outils d’évaluation existants et leur usage possible dans chacun de ces deux cas.