Joint Chinese Word Segmentation and POS Tagging System with Undirected Graphical Models

Abstract

在中文词法分析中，分词是词性标注必须经历的阶段。为了能在分词阶段就充分利用词性标注的信息和减少两阶段错误的累计，最好的方法是将两个阶段，整合到一个架构中。该文以无向图模型为基础，将分词和词性标注有机地统一在一个序列标注模型中。由于可以采用更深层次的依赖关系作为特征，一体化系统在1998年人民日报语料上取得了97.19%的分词精确率和95.34%的词性标注精确率，是目前同类系统，在这一语料上取得的最好结果。