macbert4csc纠错

简介

此篇文章是对macbert4csc模型的一次尝试与思考，废话不多说，看内容。

模型结构

这个模型分成两部分：

1. 使用BertForMaskedLM对预训练模型做mask训练。
2. 对预测的结果输入linear，判断预测的结果和真实的结果是否相同，即二分类。

举例：
比如错句为我和你在一其，正确的句子为我和你在一起，错句输入MLM，得到的结果假设为我和你在一器。然后输入linear判别器，判断和正确的句子做二分类。最后两个loss进行相加。

思考

为什么选择macbert

首先看看什么是macbert,全称是(MLM as corrector)，它是哈工大和讯飞一起训练的模型。主要做的内容有两点：

1. 修改bert mask预处理代码，将bert做[mask]的地方用同义词来替代。同时引入全词mask。
2. 替换NSP任务，使用SOP来替代。