HanLP-简单使用

原创

已于 2022-04-14 10:17:05 修改 · 9k 阅读

标签

#nlp

收录于

于 2022-04-13 17:55:51 首次发布

本文介绍了HanLP的轻量级RESTful API和海量级native API，重点比较了多任务模型的高效与单任务模型的精度，并展示了如何自定义任务和使用流水线组合。

https://github.com/hankcs/HanLP

HanLP: Han Language Processing — HanLP Documentation

简介

面向生产环境的多语种自然语言处理工具包，基于PyTorch和TensorFlow 2.x双引擎，目标是普及落地最前沿的NLP技术。HanLP具备功能完善、精度准确、性能高效、语料时新、架构清晰、可自定义的特点。

支持python、java、GO语言。

借助世界上最大的多语种语料库，HanLP2.1支持包括简繁中英日俄法德在内的104种语言上的10种联合任务以及多种单任务。HanLP预训练了十几种任务上的数十个模型并且正在持续迭代语料库与模型：

功能	RESTful	多任务	单任务	模型	标注标准
分词	教程	教程	教程	tok	粗分/细分
词性标注	教程	教程	教程	pos	CTB、PKU、863
命名实体识别	教程	教程	教程	ner	PKU、MSRA、OntoNotes
依存句法分析	教程	教程	教程	dep	SD、UD、PMT
成分句法分析	教程	教程	教程	con	Chinese Tree Bank
语义依存分析