MECT4CNER 代码遇到的问题

原创 已于 2022-08-30 14:08:29 修改 · 1.2k 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#python #深度学习 #开发语言
于 2022-08-30 12:44:16 首次发布

运行代码的示例

  1. 下载预训练的字符嵌入和词嵌入并将它们放在数据文件夹中。

  2. 获取汉字结构组件（部首）。文中使用的部首来自新华在线词典。由于版权原因，这些数据无法发布。有一种方法可以用汉语拆字字典代替，但是不一致的字符分解方法不能保证可重复性。

  3. 修改Utils/paths.py添加预训练嵌入和数据集

  4. 运行以下命令

    • 微博数据集
    python Utils/preprocess.py
python main.py --dataset weibo
    • 简历数据集
    python Utils/preprocess.py
python main.py --dataset resume
    • Ontonotes 数据集
    python Utils/preprocess.py
python main.py --dataset ontonotes
    • MSRA 数据集
澜吉未央
关注
Flat-ner:ACL2020的代码
03-23
平面变压器 ACL 2020论文的代码：FLAT：使用平格变压器的中文NER。 模型和结果可在我们的ACL 2020文件找到。 要求： Python: 3.7.3 PyTorch: 1.2.0 FastNLP: 0.5.0 Numpy: 1.16.4 您可以在了解有关FastNLP的更多信息。 如何运行代码？ 下载字符嵌入和单词嵌入。 字符和Bigram嵌入（gigaword_chn.all.a2b。{'uni'或'bi'}。ite50.vec）： 或 词（格）嵌入： yj，（ctb.50d.vec）： 或 ls，（sgns.merge.word.bz2）： 修改paths.py以添加预训练的嵌入和数据集 运行以下命令 python preprocess.py (add '--clip_msra' if you need to train FLAT on MSRA NER dat
Python-LatticeLSTM中文命名实体识别采用PyTorch实现
08-11
Lattice LSTM中文命名实体识别采用PyTorch实现
【论文泛读164】MECT：基于多元数据嵌入的中文命名实体识别交叉变换器
scu-liu的博客
07-13 2114
贴一下汇总贴：论文阅读记录 论文链接：《MECT: Multi-Metadata Embedding based Cross-Transformer for Chinese Named Entity Recognition》 一、摘要 最近，词增强在中文命名实体识别（NER）中变得非常流行，减少了分割错误并增加了中文词的语义和边界信息。然而，这些方法在整合词汇信息后往往会忽略汉字结构的信息。汉字自古由象形文字演变而来，其结构往往反映了更多的文字信息。本文提出了一种新的基于多元数据嵌入的交叉变换器（MECT）
中文NER
weixin_42264992的博客
04-12 2514
1、NER任务简介与业务场景 任务简介： 任务是信息抽取领域内的一个子任务，其任务目标是给定一段非结构文本后，从句子中寻找、识别和分类相关实体，例如人名、地名和机构名称。 业务场景： 命名实体识别技术可用于特定域的信息抽取，例如在滴滴打车场景中，可将司机与乘客的对话语音转化为文本，然后应用NER技术提取出发地，目的地，乘客信息，敏感词等。 2、NER发展路线 图1：NER发展路线图 3、研究现状 3.1、基于规则 基于规则的 NER 系统依赖于人工制定的规则。可以基于特定领域的地名词典和句法词汇模式来设计
有关预训练字符向量集和词向量集
CSDN_of_ding的博客
10-03 3406
Lattice-LSTM模型提供了预训练字符向量集和词向量集. 字符向量gigaword_chn.all.a2b.uni.ite50.vec是基于大规模标准分词后的中文语料库Gigaword使用Word2vec工具训练的向量集合，向量集规模为704 400个字符和词，包括5 700个单字符向量、29 150个双字符向量和278 100个三字符向量。 词向量ctb.50d.vec是基于CTB 6.0（Chinese Treebank 6.0）语料库训练得到的。型。 ...
【NER论文阅读】MECT：Multi-Metadata Embedding based Cross-Transformer for Chinese Named Entity Recognition
蚂蚁的信息素
05-12 1780
MECT ----Multi-Metadata Embedding based Cross-Transformer for Chinese Named Entity Recognition 文章目录MECT ----Multi-Metadata Embedding based Cross-Transformer for Chinese Named Entity Recognition摘要结论导言相关工作1. 词汇信息融合 Lexical Enhancement单词匹配方法基于CNN模型基于图形网络基于tra
DAMODEL平台 |通过Pycharm复现命名实体识别模型--MECT模型
最新发布
null18的博客
11-13 6613
价格实惠，注册送福利界面简洁，不花里胡哨售后优质，及时有反馈性能强大，4090带你飞通过 DAMODEL 智算云的便捷服务，我们体验到了一种全新的开发与部署方式——从资源配置、环境搭建、模型训练到结果导出，每一步都得到了高效的支持。这里我们采用经典目标检测模型 Faster-Rcnn进行测试，后续我还将会使用不同的模型进行测试，欢迎关注~挑战与创造都是很痛苦的，但是很充实。
MECT: Multi-Metadata Embedding based Cross-Transformer forChinese Named Entity Recognition论文实验复现记录
m0_51277266的博客
01-24 2918
萌新第一次复现实验，做得磕磕绊绊的，简单记录一下 论文链接：https://arxiv.org/pdf/2104.07204.pdf 代码地址：https://github.com/CoderMusou/MECT4CNER 补充： 关于anaconda https://www.jianshu.com/p/62f155eb6ac5 pytorch 官网 https://pytorch.org/get-started/locally/ 关于linux https://blog.csdn....
复现记录1——MECT: Multi-Metadata Embedding based Cross-Transformer for Chinese Named Entity Recognition
xuan233的博客
04-05 3214
论文链接：https://arxiv.org/pdf/2104.07204.pdf 代码地址：https://github.com/CoderMusou/MECT4CNER github上readme关于复现实验的步骤写的比较详细，这里写一下复现过程。 数据集下载： 汉语拆字字典：GitHub - kfcd/chaizi: 漢語拆字字典 Weibo+MSRA:GitHub - OYE93/Chinese-NLP-Corpus: Collections of Chinese NLP cor
大白话讲懂word2vec原理和如何使用
weixin_42280271的博客
12-14 3696
做自然语言处理（Natural Language Processing，NLP）这个领域的小伙伴们肯定对word2vec这个模型很熟悉了，它就是一种最为常见的文本表示的算法，是将文本数据转换成计算机能够运算的数字或者向量。在自然语言处理领域，文本表示是处理流程的第一步，主要是将文本转换为计算机可以运算的数字。最传统的文本表示方法就是大名鼎鼎的One-Hot编码，就是用一个很长的向量来表示一个词，向量的长度为词典的大小，向量中只有一个1， 其他全为 0，1 的位置对应该词在词典中的位置。
Flat-Lattice-Transformer模型源码测试
DongxueB的博客
07-05 1475
Flat-Lattice-Transformer模型源码测试 1. 下载embedding 2. 下载数据集 2.1. ~~OntoNotes~~ 2.2. MSRA 2.2.1. 数据预处理 2.3. Weibo 2.3.1. 数据预处理 2.4. ResumeNER 3. 配置环境 4. 配置`paths.py`文件 5. 配置日志文件 5.1. 使用V0中的`flat_main.py` 5.2. 使用V1中的`flat_main.py` 6. embedding文件预处理 7. 训练模型 7.1. G
Flat-Lattice-Transformer:ACL 2020纸代码
03-19
平面变压器 ACL 2020论文的代码：FLAT：使用平格变压器的中文NER。 模型和结果可在我们的ACL 2020文件找到。 要求： Python: 3.7.3 PyTorch: 1.2.0 FastNLP: 0.5.0 Numpy: 1.16.4 您可以在了解有关FastNLP的更多信息。 如何运行代码？ 下载字符嵌入和单词嵌入。 字符和Bigram嵌入（gigaword_chn.all.a2b。{'uni'或'bi'}。ite50.vec）： 或 词（格）嵌入： yj，（ctb.50d.vec）： 或 ls，（sgns.merge.word.bz2）： 修改paths.py以添加预训练的嵌入和数据集 运行以下命令 python preprocess.py (add '--clip_msra' if you need to train FLAT on MSRA NER datase
opencv haartraining 合并.vec文件的工具
05-18
这是一个用在opencv haartraining 生成多个.vec文件的时候，将这些文件合并一个.vec文件的工具
bilstm_crf.zip
04-11
基于 BiLSTM + CRF 的命名实体识别模型
python使用Word2Vec进行情感分析解析
12-17
python实现情感分析（Word2Vec） ** 前几天跟着老师做了几个项目，老师写的时候劈里啪啦一顿敲，写了个啥咱也布吉岛，线下自己就瞎琢磨，终于实现了一个最简单的项目。输入文本，然后分析情感，判断出是好感还是反感。看最终结果：↓↓↓↓↓↓ 1 2 大概就是这样，接下来实现一下。 实现步骤 加载数据，预处理 数据就是正反两类，保存在neg.xls和pos.xls文件中， 数据内容类似购物网站的评论，分别有一万多个好评和一万多个差评，通过对它们的处理，变成我们用来训练模型的特征和标记。 首先导入几个python常见的库，train_test_split用来对特征向量的划分，
NLP项目实践——中文序列标注Flat Lattice代码解读、运行与使用
weixin_44826203的博客
03-10 1万+
中文序列标注Flat Lattice代码解读与使用1. 原文与项目地址1.1 原文1.2 项目2. 环境搭配3. 总体结构与文件4. 参数介绍4.1 数据加载参数：4.2 bert相关参数（V1）：4.3 模型参数：4.4 训练参数5. 模型与细节6. 模型保存、加载与预测 好久没有更新了，有好几个NLP的实践项目一直没有整理，以后会尽量加大更新频率，给大家带来更多的深度学习应用方面的分享。 关于之前几篇博客的评论和私信，一般我都会回复，如果没有回的话可能是我也不懂的，或者当时回不了的，后来又忘记了。我目前
知识图谱 基于CRF的命名实体识别模型
热门推荐
王清欢的博客
04-11 1万+
基于CRF的命名实体识别模型 条件随机场 CRF ​ 条件随机场 CRF 是在已知一组输入随机变量条件的情况下，输出另一组随机变量的条件概率分布模型；其前提是假设输出随机变量构成马尔可夫随机场；条件随机场可以应用于不同类型的标注问题，例如：单个目标的标注、序列结构的标注和图结构的标注等。 ​ 在给定训练集 xxx 和对应的标记序列 yyy ，以及多个特征函数需要学习 CRF 的模型参数 λj,uk\lambda_j,u_kλj​,uk​ 和 条件概率分布 P(y∣x)P(y|x)P(y∣x) ，条件概率和模
学习NER(Chinese NER Using Lattice LSTM)
CSDN_of_ding的博客
09-19 1254
研二，研究方向终于确定下来了——中文命名实体识别（命名实体识别:NER） 一、NER研究现状 NER 的研究现状。方法上大体分为两类：基于统计机器学习、基于深度学习。近年来，硬件的飞速发展使得计算机的计算能力大幅度提升，再加上互联网普及产生的海量数据的支持，深度学习得以走出低谷，迎来了新一轮热潮。深度学习以神经网络为基本结构，因其具有从大量无标注语料中获取潜在语义信息的能力，使得研究者不必花时间去了解特定领域和语言学知识，也无需人工提取大量特征，有效地避免了人工特征工程的费时费力。尽管深度学习在文字处理方面
中文NER涨点神器！基于多元数据的双流Transformer编码模型
Paper weekly
09-17 1913
©PaperWeekly 原创 ·作者|宁金忠学校|大连理工大学博士生研究方向|信息抽取本篇论文发表于 ACL 2021，作者聚焦于中文 NER 任务。近些年来，在模型中引入...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值