中文句法分析器下载

最新推荐文章于 2024-08-29 12:42:05 发布

原创

最新推荐文章于 2024-08-29 12:42:05 发布 · 3.4k 阅读

标签

#parsing #算法 #工具 #centos #tree

这是一个基于C++的中文句法分析工具包，采用宾州树库标准，包含繁简转换、分句、分词、词性标注和依存句法分析功能。采用最大生成树算法，提供源代码，在CTB6测试集上取得良好效果，但处理速度受限，适用于研究用途。

一个用C++实现的中文句法分析工具包，采用的是中文宾州树库标准(Chinese Tree Bank)，并提供源代码。可以对原始的文档（GBK编码）进行自动繁简转换，分句，分词，词性标注，依存句法分析。

下载地址：

http://ctbparser.sourceforge.net/
http://code.google.com/p/ctbparser/downloads/list

该句法分析工具采用了标准的图模型算法，即最大生成树算法(projective Maximum Spanning Tree)。该算法由Eisner于96年提出，复杂度为句子长度的三次方。详情可参见论文[1]

句法分析目前尚属于研究阶段，离实际应用还有很长的距离。其关键问题在于句法分析速度太慢。远远落后于分词和词性标注，因此无法处理海量数据。正因为这样，本工具包不提供更加耗时的高阶解码算法(Higher order projective parsing)，并采用新的数据结构[2]，在无损精度的前提下，提高句法分析的速度。

系统框架：
整个句法分析分为5步：
1、繁简、半全角转换并切句：所有繁体字通过一张对应表转成简体字，所有的半角符号转成全角。比如'a'就转成'ａ'。对转换好的句子，用简单的规则进行切句。
2、命名实体识别：采用条件随机场模型标出句中的人名、地名。
3、分词：采用条件随机场模型进行分词，人名、地名被强制独立成词。此外，采用最短路的方法匹配出字典中的词。
4、词性标注：采用条件随机场模型进行词性标注，字典匹配出的词，其词性和字典一致。