m2 scorer

最新推荐文章于 2026-06-22 20:57:52 发布
原创 最新推荐文章于 2026-06-22 20:57:52 发布 · 844 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#自然语言处理

论文: Better Evaluation for Grammatical Error Correction（2012NAACL）

Github https://github.com/nusnlp/m2scorer

  • m2格式：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-k6tNR5uP-1599300978720)(GEC.assets/image-20200828203148949.png)]

S开头的行表示原始句子，A开头的行表示注释。

每个注释行均包含编辑的开始和结束标记偏移量、错误类型、标记化的更正字符串。

出于历史原因，包含了下两个字段，可以将其忽略（请参阅CoNLL-2013共享任务）.

最后一个字段即数字（0、1、2）是注释者ID

  • 目的：提出了一种计算system edit的方法，寻找最贴近gold的edit，phrase-level edits
  • 难点：

（1）the set of edits that transforms one string into another is not necessarily unique(编辑的不唯一性)

（2）edits can consist of longer phrases which introduce additional ambiguity.（编辑的长度不定性）

符号含义
S = { s 1 , . . . , s n } S = \{s_1, . . . , s_n\} S={s1​,...,sn​}source sentences
H = { h 1 , . . . , h n } H = \{h_1, . . . , h_n\} H={h1​,...,hn​}hypotheses
G = { g 1 , . . . , g n } G = \{g_1, . . . , g_n\} G={g1​,...,gn​}gold standard annotations
g i = { g i 1 , . . . , g i r } g_i = \{g_i^1, . . . , g_i^r\} gi​={gi1​,...,gir​}set of edits
(a,b,C)start and end offsets a and b；
correction C【gold可能含多个，系统的只有1个】

步骤：

（1）construct an edit lattice from a source-hypothesis pair.【finding the optimal sequence of edits is equivalent to solving a shortest path search through the lattice】

（2）evaluate the edits using F1 measure.

  1. 构造编辑矩阵

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MWGQVQ64-1599300978723)(GEC.assets/image-20200905180259163.png)]

  1. 寻找最短路

评价指标：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tTr6rFBU-1599300978724)(GEC.assets/image-20200905171942508.png)]

补充：

数据对齐-编辑局里算法： Levenshtein distance

[wiki 链接]

第一个删除；第二个插入；第三个是否匹配

【项目小结】英语语法错误检测（GEC）开题论文阅读记录
梦想破三的奔三狗
10-29 1万+
毕业论文准备尝试一下GEC，虽然没有过这方面的经验，但做老生常谈的课题实在是亏待宝贵的最后一年。其实最主要的原因是莫名奇妙被一个从来没上过课的教授加微信翻了牌子，我看了一下他给出的题目：英语句法分析、英语用词错误检测，文本摘要、文本阅读理解，还有一个乱入的野生动物识别，我自己觉得很有兴趣也非常具有挑战性，他让我自己选一个，我觉得后面三个思路相对单纯一些，可能就是seq2seq的模型和图片识别的问题...
MaxMatch (M^2) Scorer - 用于语法错误校正系统的评估工具
gitblog_01115的博客
12-25 552
MaxMatch (M^2) Scorer - 用于语法错误校正系统的评估工具 MaxMatch (M^2) Scorer 是一个用于评估语法错误校正系统的开源项目，主要使用 Python 编程语言开发。 项目基础介绍 该项目由新加坡国立大学自然语言处理小组（nusnlp）开发，旨在提供一种有效的评估方法，用于衡量语法错误校正系统的性能。M^2 Scorer 采用了最大匹配算法，通过比较系统输出和...
推荐文章：M²Scorer——提升语法纠错系统评估的利器
gitblog_00182的博客
08-25 421
推荐文章：M²Scorer——提升语法纠错系统评估的利器 在自然语言处理（NLP）领域，精确的评估工具对于推动语法错误修正系统的进步至关重要。今天，我们要向大家隆重介绍一款开源神器——M²Scorer，一个专为语法错误修正系统设计的评价器。这款工具以其高效性和灵活性，成为了NLP研究者和开发者的得力助手。 项目介绍 M²Scorer，源自新加坡国立大学(NUS)，是一个基于GNU General ...
评估指标
wwt的博客
02-04 531
评估标准: 准确度: RMSE= 召回率: Recall= 覆盖率: Coverage= 多样性: Diversity=
自动语法错误校正(Grammatical Error Correction)
自然语言处理大菜鸟--HsingWang
05-26 8631
写英语论文很折磨人。平时用英语写的少，关键时候写的头痛死。记起前段时间在知乎上看了一个哥们写的NLP潜在热门方向，介绍了自动语法错误校正（具体名称记不起来了，当时没有收藏，现在找不到了）。就不知道怎么想到NLPCC2014上新加坡国立大学Hwee Tou Ng教授的特邀报告Automated Grammatical Error Correction: The State of the Art。
开源项目m2scorer常见问题解决方案
gitblog_01010的博客
12-18 416
开源项目m2scorer常见问题解决方案 项目基础介绍 m2scorer是一个用于语法错误修正系统评估的程序，它实现了MaxMatch (M^2)评分机制。这个工具可以帮助研究者和开发者评价他们语法错误修正系统的性能。项目主要使用Python编程语言开发。 注意事项及解决步骤 问题一：项目依赖安装 问题描述： 新手在尝试运行m2scorer时，可能会遇到无法运行的情况，通常是因为缺少必要的依赖。 ...
探索M^2Scorer：一个强大的语病修正评估工具
gitblog_00084的博客
06-14 422
探索M^2Scorer：一个强大的语病修正评估工具 如果你在寻找一个高效且准确的方式来评估你的语法错误修正系统，那么M^2Scorer绝对是你不可错过的选择。这个开源项目提供了一种标准化的评分机制，广泛应用于自然语言处理（NLP）领域的研究和开发中。 项目介绍 M^2Scorer是一个用于评价语病修正系统性能的软件。它基于GNU General Public License发布，由Daniel D...
Levenshtein distance：算法整理 与 编辑操作推断 【回朔 + Python】
世界上有很多的东西
05-01 1488
本文讨论通过Levenshtein distance和单源最短路径搜索算法来推断两个字符串（句子）之间最佳的编辑操作序列。使用到的知识有：动态规划 和 单源最短路径搜索算法。 Levenshtein distance（也叫做编辑距离，Edit distance）由Vladimir Levenshtein在1965年提出，主要用来比较两个字符串之间的编辑距离，可以延伸到衡量两个字符串之间的相似度...
机器学习预测结果评价的score方法取值分类及决定系数R^2(Coefficient of Determination)的原理及推导
The Zen of Data Analysis
09-27 9634
Python机器学习sklearn里的score()方法，主要用于度量给定测试集的预测效果的好坏。当y为连续变量时，score的取值为R^2^；当y为分类变量时，score的取值为准确率accuracy。 其中：R^2^ =（1-u/v）,u=((y_true - y_pred) ** 2).sum(),v=((y_true - y_true.mean()) ** 2).sum()；accuracy=分类算法正确的分类数/总分类数。 决定系数R^2(Coefficient of Determination)
PRID：行人重识别常用评测指标（rank-n、Precision & Recall、F-score、mAP 、CMC、ROC)
秀呀秀的博客
10-17 2万+
1、rank-n 搜索结果中最靠前（置信度最高）的n张图有正确结果的概率。 例如： lable为 m1，在100个样本中搜索。 如果识别结果是 m1、m2、m3、m4、m5……，则此时rank-1的正确率为100%；rank-2的正确率也为100%；rank-5的正确率也为100%； 如果识别结果是 m2、m1、m3、m4、m5……，则此时rank-1的正确率为0%；rank-2的正确率为...
02_Python基础_Python基础语法
advent86的专栏
09-12 539
Python基础语法 一、标识符 标识符指的就是变量、函数、属性、类、模块等可以由程序员指定名称的代码元素。 标识符的命名规则 1、区分大小写：name和Name是两个不同的标识符 2、首字符可以是下划线，字母，但是注意不能为数字 1int 错误，首字符不可以为数字 3、除了首字符外的其他字符必须是下划线、字母、数字 ...
论文阅读：Overview of the NLPCC 2018 Shared Task: Grammatical Error Correction
RayX的博客
11-20 3378
本文，我们综述了NLPCC 2018的语法修正(GEC)任务。详细的定义了任务的说明、训练数据以及评估方法。我们还总结了参与者的处理方法。这些方法证明了汉语语法纠错的水平。数据以及评估工具在https://github.com/zhaoyyoo/NLPCC2018_GEC提供下载。
2018 NLPCC Chinese Grammatical Error Correction 论文小结
weixin_34345560的博客
09-11 1105
这一段时间，笔者一直在研究语音识别后的文本纠错，而就在八月26-30日，CCF的自然语言处理和中文计算会议召开了，笔者也从师兄那里拿到了新鲜出炉的会议论文集，其中重点看的自然是其shared task2：grammatical error correction的overview以及优胜团队的论文。本文总结了优胜团队的论文并给出了一些可能的改进方向。 本文...
机器学习之性能度量指标——决定系数R^2、PR曲线、ROC曲线、AUC值、以及准确率、查全率、召回率、f1_score
热门推荐
weixin_42180810的博客
07-29 2万+
一、线性回归的决定系数（也称为判定系数，拟合优度） 相关系数是R哈~~~就是决定系数的开方！ 正如题所说决定系数是来衡量回归的好坏，换句话说就是回归拟合的曲线它的拟合优度！也就是得分啦~~ 决定系数它是表征回归方程在多大程度上解释了因变量的变化，或者说方程对观测值的拟合程度如何。 计算公式为： 决定系数越大表拟合优度越好！ Python中可直接调用score()方法来计算决定系数值...
基于全球经济类多源新闻的NLP情感分析与数据可视化（夜间-次晨）2026年6月15日
lingyanzhineng的博客
06-16 286
【Python数据分析实践】2026年06月16日，使用Python爬虫采集20+公开新闻源数据，通过jieba分词、SnowNLP情感分析、TF-IDF关键词提取、LDA主题模型等NLP技术进行文本挖掘，并使用Matplotlib/Plotly进行数据可视化。本文为自动化脚本输出的技术学习笔记。
基于全球经济类多源新闻的NLP情感分析与数据可视化（日间）2026年6月22日
lingyanzhineng的博客
06-22 367
【Python数据分析实践】2026年06月22日，使用Python爬虫采集20+公开新闻源数据，通过jieba分词、SnowNLP情感分析、TF-IDF关键词提取、LDA主题模型等NLP技术进行文本挖掘，并使用Matplotlib/Plotly进行数据可视化。本文为自动化脚本输出的技术学习笔记。
LLM大语言模型运行模式_机器学习_总误差影响因素---AI大模型系统从零开始0017
最新发布
添柴程序猿的专栏
06-22 26
摘要：本文讨论了机器学习模型误差计算与参数调整的关键概念。通过概率分析（如0.91正确率对应0.0943误差）指出需关注预测置信度而不仅是准确率。重点阐释了总误差计算方法（6万张图片误差累加）及梯度下降原理，包括如何通过ln函数优化误差计算、15万字符的多语言输出场景处理，以及1.8万亿参数模型的超大规模梯度下降实现。同时解释了非线性变换（如将像素值二值化）对模型拟合能力的提升作用，强调每个训练步骤都需全局调整所有参数，体现现代大模型训练的核心机制。（149字）
Evo-Multi-SLM：资源约束下小语言模型的 进化式多智能体逻辑对齐框架
m0_55297736的博客
06-21 357
本文提出了一种名为 Evo-Multi-SLM 的无梯度进化算法框架，用于解决小语言模型（SLM）在资源受限情况下的对齐问题。该方法通过 LoRA 参数降维、差分进化和语义效率惩罚，实现了无需梯度计算的高效参数优化。实验表明，该方法在数学推理任务上显著提升了模型性能，同时减少了生成内容的冗余度。核心创新点包括：多智能体协同进化框架、针对"啰嗦病"的语义效率惩罚机制，以及衡量模型效率的逻辑密度指标。相比传统梯度方法，该方案显存占用更低，更适合资源受限场景。
【HuggingFace LLM】经典NLP微调任务之掩码自回归
qq_42002263的博客
06-22 201
文章摘要：本文介绍了基于DistilBERT模型的文本分类任务处理流程。首先选用参数量为67M的DistilBERT作为基础模型，相比原始BERT的110M参数更为轻量。使用IMDb电影评论数据集进行情感分析，该数据集包含训练集、测试集和无监督集，共计10万条带标签的文本数据。通过检查确认标签仅包含0/1二元分类。在预处理阶段，采用拼接所有样本后统一截断的策略以减少信息丢失。文中还展示了如何使用DistilBERT进行掩码语言预测，包括定位[MASK]标记并解码预测结果。代码示例涵盖了数据加载、模型初始化和
大语言模型+物联网：LLM理解物理世界
谁念西风独自凉
06-16 250
# 大语言模型+物联网：LLM如何理解物理世界 > 当LLM学会了"看"传感器数据、"听"设备告警、"说"控制指令，物联网就从"自动化"进化到了"智能化"。这不是科幻，而是正在发生的技术融合。 ## LLM+IoT的三种融合模式 ``` 模式1: LLM作为接口层 用户: "把客厅温度调到26度" │ ▼ ┌─────┐ ┌─────
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值