BEIT: BERT Pre-Training of Image Transformers(ICLR 2022)

原创 已于 2025-05-22 11:36:40 修改 · 635 阅读 · 8 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#bert #人工智能 #深度学习
于 2025-02-16 22:20:18 首次发布

低功耗蓝牙项目，需要一块懂省电的板

思澈 SF32LB52 芯片，BLE 协议栈深度优化，上手即开发

点击查看

该Paper主要贡献如下：

•提出masked image modeling(MIM)任务并以自监督方式预训练Vision Transformer，并从变分自编码器视角对其进行理论解释。
•预训练BEiT，并应用到下游任务图像分类和语义分割中（下游任务数据集中微调BEiT)。
•提出自监督BEiT的self-attention机制可以学习区分semantic regions（语义区域）和object boundaries（对象边界），即使是无标注数据。

BEIT v1总结

BEiT v1是一个两阶段的算法，它首先通过一个dVAE将图像映射成离散的视觉视觉标志（Visual Token），然后再通过视觉Transformer学习带掩码的图像Patch到视觉标志的映射。BEiT v1这么做的目的是将图像映射到一个离散的语义空间，然后模型通过学习每个掩码Patch到这个离散空间的映射来完成预训练。但是BEiT v1并未对dVAE学到的这个语义空间进行深入的探讨和优化，这也大大限制了BEiT v1的可解释性和使用空间。

为了提升BEiT v1的效果，BEiT v2做了如下改进。

•提出了Vector-Quantized Knowledge Distillation （VQ-KD）方法来对图像进行编码，它将原始图像作为输入，使用另外一个模型作为教师系统（Teacher）来引导视觉标志模型的训练。VQ-KD在这里重建的是教师系统编码的特征而非原始像素。
•在通过VQ-KD得到图像的视觉标志之后，我们使用这个视觉标志作为预训练模型的训练目标。不同的是BEiT v2加入了[CLS]符号来建模图像的全局信息。

 

BEIT V2总结

在本文中，作者提出了向量量化知识蒸馏（VQ-KD）来训练视觉Transformer预训练的视觉标记器。 VQ-KD 离散化连续语义空间，为masked图像建模提供监督，而不是依赖图像像素。语义视觉标记器极大地改进了 BEIT 预训练并显着提高了下游任务的传输性能。此外，引入了 CLS token预训练机制，以明确鼓励模型生成全局图像表示，缩小补丁级预训练和图像级表示聚合之间的差距。

低功耗蓝牙项目，需要一块懂省电的板

思澈 SF32LB52 芯片，BLE 协议栈深度优化，上手即开发

点击查看
BERT Pre-training of Deep Bidirectional Transformers for Language Understanding
10-17
NLP领域取得最重大突破！谷歌AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩。毋庸置疑，BERT模型开启了NLP的新时代！
BERT_Pre-training of Deep Bidirectional Transformers for Language Understanding
11-02
BERT全称Bidirectional Encoder Representations from Transformers，是预训练语言表示的方法，可以在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于下游NLP任务，比如机器翻译、问答。项目地址：https://github.com/google-research/bert#fine-tuning-with-bert
「BEiT」BERT Pre-Training of Image Transformers
weixin_43092343的博客
08-15 1128
BEiT 提出了一种自监督学习图像表征的方法，核心思想是预训练任务实现 BEiT encoder 分类预测 mask patch 的 token。思路迁移自 BERT 的 encoder 结构，图像输入处理一方面将图像转为 patch 序列（ViT) ，另一方面用固定范围的 token 代替图片像素。Stage2: 256 BPE-encoded 的文本 tokens 与 1024个图像 tokens 结合作为输入，训练一个自回归 transformer，刻画文本和图像 token 的联合概率分布。...
【论文及代码详解】BEIT: BERT Pre-Training of Image Transformers
丑小鸭
02-20 2640
【论文及代码详解】BEIT: BERT Pre-Training of Image Transformers
BEIT: BERT Pre-Training of Image Transformers论文解读
qq_45041871的博客
02-08 3265
本文介绍了一种自监督视觉表示模型BEIT，即图像transformer的双向编码器表示。继自然语言处理领域开发的BERT之后，我们提出了一个掩码图像建模任务来预训练vision transformer。具体来说，每张图像在我们的预训练中有两个视图，即image patch和visual token。我们首先将原始图像“tokenize”为视觉标记。然后我们随机屏蔽一些图像补丁，并将它们输入transformer骨干网络。预训练的目标是根据损坏的图像补丁恢复原始visual token。
BEIT: BERT Pre-Training of Image Transformers(图像Transformer的BERT预训练)
AcceptGo的博客
06-01 3529
文章目录摘要Introduction方法2.1 图像表示2.1.1 Image Patch（图像块）2.1.2 Visual Token2.2 Backbone Network：Image Transformer2.3 预训练BEiT：Masked Image Modeling2.4 From the Perspective of VAE（从VAE视角进行解释）2.5 预训练设置2.6 Fine-Tuning BEiT on Downstream Vision Tasks（下游任务微调）3 实验3.1 图像
【多模态】BEIT: BERT Pre-Training of Image Transformers
vivid
06-24 1611
论文：BEIT: BERT Pre-Training of Image Transformers链接：https://arxiv.org/pdf/2301.00184。
【视觉预训练】《BEIT: BERT Pre-Training of Image Transformers》 ICLR 2022
chadlee
09-30 1733
核心思想是：让 BEIT 看很多的图片，随机盖住一些 image patches，让 BEIT 模型预测盖住的patches是什么，不断计算预测的 patches 与真实的 patches 之间的差异，利用它作为 loss 进行反向传播更新参数，来达到 Self-Supervised Learning 的效果。BEIT 也是在做类似的事情，即能够把一个输入的 image 进行编码，得到一堆 vectors，并且这些个 vectors 也结合了 image 的上下文。具体而言，作者训练了一个。
论文速读|Beit: Bert pre training of image transformers.ICLR22
科研笔记
01-24 1699
我们介绍了一个自监督视觉表示模型 BEIT，它代表来自 Image Transformers 的 Bidirectional Encoder 表示。遵循在自然语言处理领域开发的 BERT [DCLT19] ，我们提出了一个掩码图像建模任务来预训练视觉 Transformers。具体来说，在我们的预训练中，每个图像都有两个视图，即图像块（例如 16×16 像素）和视觉标记（即离散标记）。我们首先将原始图像“标记化”为视觉标记。然后我们随机屏蔽一些图像补丁并将它们输入到主干 Transformer 中。
15 BEiT 论文精读：BERT Pre-Training of Image Transformers
最新发布
qq_36581957的博客
05-22 353
在上一篇文章中，我们精读了 MAE。MAE 的核心思想非常直接：把图像中的大部分 patch 遮住，只让编码器看到少量可见 patch，然后通过解码器重建被遮住区域的像素。从直觉上看，MAE 更像是一个“图像补全任务”：模型需要根据可见部分推测缺失区域长什么样。而 BEiT 的思路则更接近 NLP 中的 BERT。BERT 的预训练任务是 Masked Language Modeling，也就是遮住句子中的一部分词，让模型根据上下文预测这些被遮住的词。
【论文笔记】BEIT:BERT PRE-TRAINING OF IMAGE TRANSFORMERS
weixin_50862344的博客
06-24 946
视觉转换器的输入单元，即图像补丁，没有预先存在的词汇。预测遮罩面片的原始像素往往会在预训练短程依赖性和高频细节上浪费建模能力。
[论文解读] BEIT：适用于Image Transformer的新型预训练方法 （上：论文翻译）[原始代码已开源]
HX_Image的博客
07-28 1万+
[论文解读] BEIT：适用于Image Transformer的新型预训练方法 （上：论文翻译）[原始代码已开源]BEIT： BERT Pre-Training of Image Transformer1.Introduction2. Methods2.1 Image Representations2.2 Backbone Network ：Image Transformer2.3 Pre-Training BEIT ：Masked Image Modeling2.4 From the Perspecti
【深度学习】详解 BEiT
热门推荐
闻韶
12-03 1万+
【深度学习】详解 BEIT: BERT Pre-Training of Image Transformers
从BERT到BEIT: BERT Pre-Training of Image Transformers
08-23 1137
我们提出了一种适用于视觉Transformer的自监督预训练框架，在图像分类、语义分割等下游任务上实现了优异的微调性能。实验表明，我们提出的方法对推动类BERT式预训练（即基于掩码输入的自动编码）在图像Transformer中的有效应用至关重要。此外，我们揭示了BEIT无需人工标注数据即可自动学习语义区域知识的特性。未来，我们计划从数据规模和模型规模两方面扩展BEIT的预训练，并探索通过统一目标和文本-图像共享架构开展多模态预训练。
BEIT是什么
weixin_67075116的博客
10-21 1406
BEIT通过将BERT的自监督学习理念引入图像领域，实现了在无标签数据上的自监督预训练。它通过对遮掩图像块的恢复任务学习了图像的上下文特征，并且可以在多个下游任务中表现出色。BEIT的提出为图像理解领域带来了新的思路，并展示了自监督学习在图像处理中的巨大潜力。4oChatGPT 也可能会犯错。请核查重要信息。
bert论文解析——BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
da_kao_la的博客
11-05 3213
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 前言 bert是google在NLP方面的一个重要的工作，可以说一定程度上改变了NLP领域的研究方式。bert获得了2019 NAACL的最佳长论文奖。 简介 预训练模型 bert，连同之前的ELMO和GPT，可以说开创了NLP的『预训练...
Bert：论文阅读-BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
czp_374的博客
01-31 2444
摘要：我们引入了一种名为BERT的语言表示模型，它代表Transformers的双向编码器表示（Bidirectional Encoder Representations）。与最近（recent）的语言表示模型（Peters et al.，2018; Radford et al.，2018）不同，BERT旨在（is designed to）通过联合调节（jointly conditioning）所...
【论文笔记】BEIT: BERT Pre-Training of Image Transformers(BEIT)
OneYearIsEnough的博客
06-01 1745
基于VIT的预训练模型BEIT
BEiT：图像Transformer的BERT式预训练
weixin_51697828的博客
12-22 2150
Bao,Hangbo,LiDongandFuruWei.“BEiT:BERTPre-TrainingofImageTransformers.”ArXivabs/2106.08254(2021). 1.Abstract 在本文中，我们介绍了一种自监督视觉表示模型BEiT(BidirectionalEncoderrepresentationfromImageTransformers)。继BERT在自然语言处理领域的发展之后，我们提出了一种掩码图像建模任务来预训练...
BEIT：基于图像重建进行预训练！微软提出BEIT，Top-1准确率达86.3%！代码已开源！...
我爱计算机视觉
11-27 3352
关注公众号，发现CV技术之美▊写在前面在本文中，作者介绍了一种自监督视觉表示模型BEIT （B idirectional E ncoder representation from I m...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Conn_w

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值