BERT：一种预训练Transformer‘s encoder的方法

最新推荐文章于 2025-05-10 14:32:38 发布
原创 最新推荐文章于 2025-05-10 14:32:38 发布 · 969 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

1. Bidirectional Encoder Representations from Transformers (BERT)

BERT aims to pretrain the transformer’s encoder network.
How to pretrain？（预训练后的encoder能达成怎样的效果/预训练的目标）
task 1：随机遮挡一个或多个单词，让encoder根据上下文来预测被遮挡的单词。
task 2：把两句话放在一起，让encoder判断这两句话是不是在原文中相邻。

BERT的embedding layer和随机遮挡单词都有一些技巧，详情见论文和源代码。

2. Task1: predict one or several masked word(s)

aims：给定一句话，随机抹去这句话中的一个或几个词，要求根据剩余词汇预测被抹去的几个词分别是什么。

BERT会随机遮挡单词，把被遮挡的单词的one-hot vector作为标签label/target/ground truth。BERT不需要人工标注的数据集，可以用任何书籍或维基百科作为训练数据，可以自动生成dictionary：vocabulary and 标签，足以生成一个非常大的模型。

u_M不仅依赖于x_M, 且依赖于所有x向量。第M个word被mask掉了，但是u_M知道整句话的信息。u_M包含上下文信息，因此可以用u_M来预测被遮挡的单词。u_M被作为特征向量输入softmax classifier，输出p：probability distribution of the predicted word, 第i维对应着预测结果是字典里第i个单词的可能性。我们希望p接近于ground truth e：被遮住单词cat的one-hot vector。Loss=CrossEntropy（e, p)。用反向传播计算loss对模型参数的梯度，然后做梯度下降来更新模型参数。
在这里插入图片描述
文章作者在一句话中随机选择 15% 的词汇用于预测。对于在原句中被抹去的词汇， 80% 情况下采用一个特殊符号 [MASK] 替换， 10% 情况下采用一个任意词替换，剩余 10% 情况下保持原词汇不变。这么做的主要原因是：在后续微调任务中语句中并不会出现 [MASK] 标记，而且这么做的另一个好处是：预测一个词汇时，模型并不知道输入对应位置的词汇是否为正确的词汇（ 10% 概率），这就迫使模型更多地依赖于上下文信息去预测词汇，并且赋予了模型一定的纠错能力。

3. Task2: predict the next sentence

aims：给定一篇文章中的两句话，判断第二句话在文本中是否紧跟在第一句话之后。
在这里插入图片描述

Binaray classifier：
target/label/ground truth：
1: 两句话是文章中相邻的句子
0: 两句话不相关

predicted result：f between 0 and 1
可以用corss entropy loss function衡量f和真实标签间的区别。计算loss对模型参数的梯度，用gradient descent更新模型参数。

[CLS]对应位置的向量是c，但c不仅取决于[CLS]，而是所有input。

这样做的意义？
相邻两句话通常有关联，这样做二分类可以强化这种关联：1. 让embedding layer’s weights和word embeddings包含这种关联。比如第一句话包含牛顿，第二句话包含微积分，那么他们之间应该被强化出某种关联。2. encoder network中有self-attention layer，目的是为了找语句中的相关性，这种训练方式可以找到相邻语句间的相关性。

在实际预训练过程中，文章作者从文本语料库中随机选择 50% 正确语句对和 50% 错误语句对进行训练，与 Masked LM 任务相结合，让模型能够更准确地刻画语句乃至篇章层面的语义信息。

4. Combining the two methods

BERT 模型通过对 Masked LM 任务和 Next Sentence Prediction 任务进行联合训练，使模型输出的每个字 / 词的向量表示都能尽可能全面、准确地刻画输入文本（单句或语句对）的整体信息，为后续的微调任务提供更好的模型参数初始值。

（1）input representation
example 1：
在这里插入图片描述
这个数据有3个任务，两个预测masked words任务（multi-class classification），一个判断两句是否相邻任务（binary classification）。loss = loss1+loss2+loss3

example 2：
在这里插入图片描述
（2）Training
For data example 1:
在这里插入图片描述
（3）Data source
在这里插入图片描述
（4）Cost of computation
在这里插入图片描述
（5）其他技巧
<1> embedding layer

<2> mask words
在一句话中随机选择 15% 的词汇用于预测。这样做有一个缺点，就是每批次数据中只有 15% 的标记被预测，这意味着模型可能需要更多的预训练步骤来收敛。

对于在原句中被抹去的词汇，(1) 80% 情况下采用一个特殊符号 [MASK] 替换，(2) 10% 情况下采用一个任意词替换，(3) 剩余 10% 情况下保持原词汇不变。

这么做的主要原因是：在后续微调任务中语句中并不会出现 [MASK] 标记，而且这么做的另一个好处是：预测一个词汇时，模型并不知道输入对应位置的词汇是否为正确的词汇（ 10% 概率），这就迫使模型更多地依赖于上下文信息去预测词汇，并且赋予了模型一定的纠错能力。

在这里插入图片描述
Reference:
[1] https://www.bilibili.com/video/BV1ra4y1Y7nu
[2] https://zhuanlan.zhihu.com/p/95594311
[3] https://arxiv.org/abs/1810.04805

探究BERT和Transformer Encoder底层代码区别
最新发布
echo的博客
12-31 793
本文对比了Transformer Encoder和BERT的架构差异。BERT本质上是多层Transformer Encoder的堆叠，但增加了独特的预训练任务实现和下游任务适配接口。在架构层面，BERT在基础Encoder基础上增加了词嵌入、位置嵌入和句子类型嵌入层，并通过12层Encoder堆叠实现深层语义理解。训练层面，BERT通过MLM（掩码语言模型）和NSP（下一句预测）两个预训练任务学习语言特征。应用层面，BERT提供了适配下游任务的输出接口，如[CLS]标记输出用于分类任务。核心区别在于BER
一文读懂BERT模型
yihong23的博客
05-07 1万+
语言表示模型 BERT 详解 摘要：在自然语言处理（NLP）领域，BERT（Bidirectional Encoder Representations from Transformers）是近几年出现的、影响深远的创新模型之一。自 2018 年由谷歌团队发布以来，BERT 为众多 NLP 任务设定了新的基准。BERT旨在通过在所有层中对左右上下文进行联合条件反射，从未标记的文本中预训练深度双向表示。因此，预训练的BERT模型可以通过一个额外的输出层进行微调，从而为广泛的任务(如问答和语言推理)创建最先进的
bert系列第一篇： bert进行embedding
iterate7的博客
10-04 1万+
bert可以干啥 我们理解bert为一个transformer集合，输入是一句话，输出是经过transform的结果。我们了解，深度学习的本质就是抽取核心特征， 这也是bert的核心功能，而且以transformer为主要模块，具有更优秀的attention功能，捕获的特征更为精确和全面。 一句话概括， bert就是一个抽取器。输入一句话（词序列），输出抽取后的embedding序列。 输入输出 输入会加入特殊的[CLS]代表整句话的含义，可以用于分类。 input的词help，prince，ma
BERT 模型是什么
一览无遗
01-08 2448
BERT（代表 Bidirectional Encoder Representations from Transformers）是 Google 于 2018 年开发的开源模型。这是一项雄心勃勃的实验，旨在测试所谓的 Transformers（一种创新的神经架构，由谷歌研究人员在 2017 年的著名论文《注意力是你所需要的一切》中提出）在自然语言 （NLP） 任务上的性能。BERT成功的关键在于其变压器架构。在 Transformer 出现之前，对自然语言进行建模是一项非常具有挑战性的任务。
Bert系列：如何用bert模型输出文本的embedding
凝眸伏笔的博客
05-02 2万+
问题： 分类模型可以输出其文本的embedding吗?LM模型可以输出其文本的embedding吗？答案：可以。 假设你已经用自己的数据fine-tuing好模型。 1.用哪个类可以输出文本的embedding? BertModel这个类初始化的模型，输出中有pooler_out，可以作为文本的embedding。bert系列的其他类，没有这个输出选项。稍后会解释pooler_out是什么。 2.获取Embedding的方式有哪些 直接用 CLS Token 的 Embedding 作为句子表征，Bert
BERT模型的详细介绍
热门推荐
IT之一小佬的博客
04-01 12万+
BERT模型的详细介绍 1.BERT 的基本原理是什么？ BERT 来自 Google 的论文Pre-training of Deep Bidirectional Transformers for Language Understanding，BERT 是“Bidirectional Encoder Representations from Transformers”的首字母缩写，整体是一个自编码语言模型（Autoencoder LM），并且其设计了两个任务来预训练该模型。 第一个任务是采用 Ma
BERT模型
发呆的比目鱼的博客
08-07 2万+
BERT模型 Paper: https://arxiv.org/abs/1810.04805 BERT 全称为Bidirectional Encoder Representation from Transformers（来自Transformers的双向编码表示），谷歌发表的发的论文Pre-traning of Deep Bidirectional Transformers for Language Understanding中提出的一个面向自然语言处理任务的无监督预训练语言模型。是近年来自然语言处理领域公
双向Transformer的Encoder——BERT
Bkklarma_ue的博客
11-30 1454
首先，BERT表示将被输入到一个添加的输出层中，根据任务的性质对模型体系结构进行最小的更改，例如对每个词元的预测和对整个序列的预测。除了输出层之外，在预训练和微调中也使用了相同的架构。给定一个问题，和描述文字，找出一个片段作为回答，对片段中的每个词元预测它是不是回答的开头或结束，然后返回两个整数分别表示开始和结束是给定描述文字第几个词，所以开始和结束（包括自身）中间的部分就是答案。即使下游任务各有不同，使用BERT微调时均只需要增加输出层，但根据任务的不同，输入的表示，和使用的BERT特征也会不一样。
BERT: Bidirectional Encoder Representations from Transformers双向Transformer用于语言模型 NAACL 2018
u013602059的专栏
07-02 4648
论文链接：https://arxiv.org/abs/1810.04805 tensorflow版本代码链接：https://github.com/google-research/bert pytorch版本代码链接：https://github.com/codertimo/BERT-pytorch 导读 这篇论文由谷歌团队发表于2018年的NAACL上《BERT: Pre-training of Deep Bidirectional Transformers for Language Understan.
双向Transformer：BERT（Bidirectional Encoder Representations from Transformers）
不断积累不断学习
05-10 1865
基于Transformer架构，通过双向上下文建模训练，提高完成任务的性能。
深度学习：BERT模型
皮皮blog
12-18 4万+
BERT出自的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder。作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。
收藏！一篇看懂BERT模型
Z4400840的博客
02-24 1万+
BERT（Bidirectional Encoder Representations from Transformers）自 2018 年由谷歌提出以来，便在自然语言处理（NLP）领域掀起了一场革命。它凭借独特的架构与训练方式，成为了众多 NLP 任务的首选模型，深刻改变了我们理解和应用语言的方式。unsetunset一、BERT 重要意义
【译】为什么BERT有3个嵌入层，它们都是如何实现的
immense的博客
02-20 2711
目录 引言 概览 Token Embeddings 作用 实现 Segment Embeddings 作用 实现 Position Embeddings 作用 实现 合成表示 结论 参考文献 本文翻译自Why BERT has 3 Embedding Layers and Their Implementation Details 引言 ​ 本文将阐述BERT中嵌入层的实现细节，包括token embeddings、segment embeddings, 和position embeddings. 概览 ​
一文看懂Transformer到BERT模型
fengdu78的博客
02-23 8481
目录：ELMo与Transformer的简单回顾DAE与Masked Language ModelBERT模型详解BERT模型的不同训练方法如何把BERT模型应用在实际项目中如何对BER...
万字长文，带你搞懂什么是BERT模型（非常详细）看这一篇就够了！
star_nwe的博客
10-25 6万+
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
详细介绍BERT模型
zag666的博客
11-16 1万+
BERT通过在所有层中联合调节左右语境，从未标记的文本中预训练深度双向表征。因此，预训练的BERT模型可以通过一个额外的输出层进行微调，以创建最先进的模型，用于更广泛的任务，而无需对特定任务的架构进行大量修改。
深度学习--Transformer和BERT区别详解
GDHBFTGGG的博客
08-26 5683
Transformer和BERT区别详解
【理论篇】是时候彻底弄懂BERT模型了(收藏)
日积月累，天道酬勤
09-09 9万+
看完本篇文章后，你就真的理解BERT模型的理论知识了。
Bert 模型学习
IT__learning的博客
10-15 2万+
一、Bert 模型 BERT 模型的全称是 BidirectionalEncoder Representations from Transformer，基于 Transformer 的双向编码器表示，是一个预训练的语言表征模型，它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的 masked language model（MLM），以致能生成深度的双向语言表征。BERT 模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的 Repres
BERT 详解
yitang的博客
11-25 9512
BERT（Bidirectional Encoder Representations from Transformers）是由 Google 在 2018 年提出的一种预训练语言模型。BERT 在自然语言处理（NLP）领域取得了重大突破，因为它能够有效地捕捉文本的上下文信息，从而在各种 NLP 任务中表现出色。以下是 BERT 模型的详细讲解，包括其架构、训练方法、应用场景和使用方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值