Transformer入门Transformer和CNN之间的区别

最新推荐文章于 2026-04-04 18:11:16 发布
原创 最新推荐文章于 2026-04-04 18:11:16 发布 · 3.1w 阅读 · 105
标签
#人工智能
本文探讨了Transformer模型的核心——Self-Attention机制，指出其与CNN和RNN的区别。Transformer利用Self-Attention捕捉上下文关系，通过多头注意力增强表达能力。文章详细解释了Scaled Dot-Product Attention的计算过程，并与CNN的局部相关性进行了对比，强调Transformer在NLP领域的优势。此外，还介绍了Transformer的前馈网络和残差连接，以及其在图像处理领域的应用潜力。

跟风，听说最近Transformer很热，那肯定有其过人之处，今天大概看了一下最基础版的Transformer，简单说说体会和理解吧，不一定对，希望路过的大神指点。

要说是革命性的变革，那显然不是，Transformer和CNN以及RNN等都是机器学习的范畴，要说一点没变，那也不是，Transformer最大的特点，个人理解，是其Self-Attention机制，至于说这个机制是从哪儿得到的启发，暂不多说，搞过CNN的都知道。搞CNN的都习惯一个图片矩阵，那接下来的见解，我就以二维矩阵来说。

preview还是原文的图，这里的X是将每一个单词embed到N维的空间中，每一个词对应一个行向量，将一个句子的每一个单词都映射过来，组成一个大小固定的矩阵。对于不同单词数的句子，使用padding的方式扩充。那矩阵到底有多少行？没错，就是你猜的那样，数据库中每个句子的最大单词数。英语老师天天说结合语境，结合语境，那其实就是上下文的关系，这就是Self-Attention的核心思想。具体到数学表达上，这个关系的强弱，就是相关性，那就来劲儿了，协方差矩阵！没错，就是这货，但是原文不是这么描述的，这是本人看完后的第一印象，本篇文章会一直沿用这个词，但是文中并不是标准的协方差，暂且称其为“伪协方差”吧。这里如果对每个单词的embedding编码直接相关，那没意义啊，我们还没有理解这个编码，因此，在Self-Attention的第一步就是做一个矩阵映射，这一组矩阵就是Self-Attention中要训练的矩阵：

W_{i}^{Q},W_{i}^{K},W_{i}^{V},i=0,1,...,7

至于为啥是Multihead &nbs

最低0.47元/天 解锁文章
CNN RNN 与transformer简介
weixin_46042619的博客
03-17 4949
帮助我们简单且快速的理解。
Transformer 与 CNN的对比
升级打怪之路
10-16 1861
CNN 的适用场景。
为什么 Transformer 这么强？——对比 CNN 和 RNN
最新发布
yweng18的博客
04-04 688
想彻底搞懂 Transformer 为何称霸？🚀 本文用“高速列车、步行、传送门”的生动比喻，带你横向对比 CNN 与 RNN 的优劣。只需 20 分钟，你就能掌握三大架构的核心差异，建立清晰的 AI 技术选型视角！
【机器学习】CNN与Transformer的表面区别与本质区别
weixin_43693967的博客
02-19 1880
CNN和Transformer是两种具有不同设计原理和适用场景的深度学习架构。CNN通过局部卷积和参数共享，高效地提取空间局部特征，适用于计算机视觉任务；Transformer借助自注意力机制，擅长捕捉全局依赖关系，适用于自然语言处理等序列建模任务。随着深度学习技术的不断发展，两种架构也在相互借鉴和融合，如在视觉任务中使用Transformer结构的 Vision Transformer（ViT），以及在语言模型中引入卷积操作以增强局部特征提取能力等，这进一步拓展了它们的应用范围和性能表现。
cnn和transformer区别
qq_44915677的博客
06-20 7261
计算复杂度：相比于CNN，Transformer计算复杂度相对较高，因为自注意力机制需要计算所有序列位置之间的相似度，不能利用卷积等局部计算方法，因此在处理较长序列时，可能会遇到计算资源或时间上的瓶颈。transformer在大规模的数据集上做预训练的话，那么我们就可以让一个标准的transformer，不在视觉上做更改，即可取的超越或同等目前最强cnn的效果。特征提取方式：CNN通过一系列卷积和降采样操作，提取图像等数据的空间特征，而Transformer则利用自注意力机制提取序列数据中的语义特征。
与卷积神经网络(CNN)对比，Transformer的优势是什么
weixin_47151388的博客
03-30 2万+
与卷积神经网络(CNN)对比，Transformer的优势
CNN、RNN、LSTM和Transformer之间的区别和联系
凳子花❀的博客
12-19 3857
CNN和Transfomer介绍。定义：You Only Look Once的缩写，是一种基于深度学习的目标检测算法，其核心思想是将目标检测任务转换为一个回归问题，通过单次前向传播即可同时预测图像中多个物体的位置和类别.工作原理：将输入图像划分为一个SxS的网格，每个网格负责检测落入其中的物体。每个网格会预测固定数量的边界框，并对这些边界框进行打分，以确定它们是否包含物体以及物体的类别。同时，YOLO算法采用卷积神经网络来提取图像特征，然后通过全连接层将特征映射到目标边界框和类别预测.优点。
CNN和Transformer相结合的模型
cvanlijingxuan的博客
12-24 1万+
尽管CNN存在很多优势，但是其感受野通常很小，不利于捕获全局特征。 视觉Transformer由于能够捕获一张图片的全局信息，因此在许多视觉任务中超越许多CNN结构。
Transformer、RNN (循环神经网络) 和 CNN (卷积神经网络)的区别
ilovepengqi的博客
06-12 2578
总而言之，Transformer 因其强大的全局建模能力和并行性，在处理复杂序列任务（尤其是需要理解长距离依赖的任务如机器翻译、文本理解）上取得了革命性的成功，成为当前大语言模型（LLM）如 GPT、BERT 等的基石架构。像一个人逐字阅读句子，一边读一边在便签（隐藏状态）上记下当前的理解，这个理解依赖于之前读过的内容和之前的笔记。通过卷积核在输入数据（如图像的像素网格、文本的词序列）上滑动，提取局部特征（如边缘、纹理、短语）。这些卷积核的输出（特征图）会被池化（如最大池化），提取最显著的特征。
Transformer和CNN
qq_43275608的博客
02-19 3047
多层CNN在捕捉全局上下文信息和长距离依赖关系方面存在局限性，主要体现在局部感受野的限制、长距离依赖问题、并行化能力不足、计算复杂度高以及特征提取能力有限等方面。相比之下，Transformer通过自注意力机制有效解决了这些问题，使其在处理全局信息和长距离依赖关系方面具有显著优势。
MLP、CNN、Transformer 的区别解析
qq_48131648的博客
01-02 1873
在深度学习的广阔领域中，多层感知机（MLP）、卷积神经网络（CNN）和 Transformer 架构犹如三颗璀璨的明星，各自在不同的任务和场景中大放异彩。了解它们之间的区别，对于深入掌握深度学习技术，选择合适的模型解决实际问题至关重要。今天，就让我们一同探寻这三者的奥秘。
【深度学习】CNN+Transformer汇总
zhe470719的博客
05-08 1万+
这里写目录标题参考前言cnn与transformerConformer(国科大&华为&鹏城)详情 参考 1.CNN+Transformer算法总结 前言 总结了2021年以来，所有将CNN与Transformer框架结合的CV算法 在卷积神经网络(CNN)中，卷积运算擅长提取局部特征，但在捕获全局特征表示方面还是有一定的局限性。 在Vision Transformer中，级联自注意力模块可以捕获长距离的特征依赖，但会忽略局部特征的细节。 cnn与transformer CNN具有非常良好
请介绍transformer与CNN的不同，以及其应用在图像领域的网络
weixin_42608299的博客
02-16 812
Transformer与CNN最大的不同在于Transformer不包含可学习的卷积核，而是使用注意力机制来计算输入和输出之间的关系。因此，Transformer模型可以更快地处理数据，并且运行效率更高。Transformer模型在图像领域的应用主要是语义分割，它可以将图像分割成不同的部分，例如道路，树木等。 ...
应用Transformer和CNN进行计算机视觉任务各自的优缺点
m0_57317650的博客
12-18 7826
Transformer 和 CNN（卷积神经网络）是用于计算机视觉任务的两种不同的深度学习架构，各自具有一些优点和局限性。
图像识别之深度：从CNN到Transformer
禅与计算机程序设计艺术
01-09 3221
1.背景介绍 图像识别是人工智能领域的一个重要分支，它涉及到计算机对于图像的理解和分析。随着深度学习技术的发展，图像识别的准确性和效率得到了显著提高。在这篇文章中，我们将从CNN到Transformer探讨图像识别的核心算法，并深入了解它们的原理、数学模型和实例代码。 1.1 图像识别的历史和发展 图像识别的历史可以追溯到1960年代，当时的研究主要基于人工智能和模式识别。随着计算机硬件的发...
CNN和Transfomer介绍
凳子花❀的博客
12-19 3031
基本概念CNN（卷积神经网络）CNN主要是通过卷积层（Convolutional Layer）、池化层（Pooling Layer）和全连接层（Fully - Connected Layer）构建的神经网络。卷积层通过卷积核在图像（或其他数据）上滑动，提取局部特征。例如，在图像分类任务中，一个卷积核可能会提取图像中的边缘特征。池化层用于减少数据维度，降低计算量，同时保留重要的特征信息，常用的池化方法有最大池化和平均池化。
CNN+Transformer算法总结（持续更新）
热门推荐
qq_45752541的博客
08-19 6万+
CNN与Transformer融合的视觉框架介绍
[CNN]|CNN与Transformer区别
qq_35608277的博客
06-08 6026
论文题目: Do Vision Transformers See Like Convolutional Neural Networks?论文链接: http://arxiv.org/abs/2108.08810Transformer 处理图像时获取的特征是否和之前主流的 CNN 有所区别？基于这样的动机，Google用Centered Kernel Alignment (CKA)对ResNet和ViT的一些关键层进行了检验。首先了解一下CKA这种方法。CKA是Google在2019年提出的，用于衡量神经网络
【图像分类】CNN + Transformer 结合系列.1
m0_61899108的博客
07-24 1万+
​ 介绍三篇结合使用CNN+Transformer进行学习的论文：CvT（ICCV2021），Mobile-Former（CVPR2022），SegNetr（arXiv2307）. ​
【半监督学习】CNN与Transformer的结合
m0_61899108的博客
11-19 5137
​本文介绍了几篇结合使用CNN和Transformer进行半监督学习的论文，CNN&Trans（MIDL2022），Semi-ViT（ECCV2022），Semiformer（ECCV2022）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值