万字解析！一文快速预览经典深度学习模型——CNN、RNN、LSTM、Transformer、ViT

原创 已于 2025-08-23 16:00:48 修改 · 1.1k 阅读 · 11
标签
#深度学习 #cnn #人工智能 #机器学习 #神经网络
#pytorch #论文
于 2025-08-23 15:58:23 首次发布

一、CNN（卷积神经网络）

1. 网络结构

  • 输入层：输入图像等信息

  • 卷积层：用来提取图像的底层特征

  • 池化层：下采样（降采样层），防止过拟合，将数据维度减小（降维）；最大(Max-Pooling)/平均(Ave-Pooling)

  • 全连接层：分类器，汇总卷积层和池化层得到的图像的底层特征和信息；通过激活函数（如 

    ReLU, Sigmoid, Tanh, softmax

     等）进行非线性变换

  • 输出层：根据全连接层的信息得到概率最大的结果

2. 模型细节

卷积运算：

  • 若步长 

    s=1

    ：卷积大小结果为 

    N+2P-F+1

  • 若步长 

    s\neq 1

    ：卷积大小结果为 

    \frac{N+2P-F}{s}+1

    （N：初始图片大小；P：padding,零填充的层数大小；F：卷积核大小；s:stride，步长）

零填充两种方式：

  • valid：不填充，结果变小

  • same：输出图像与原图大小相同（如：若 

    s=1

    ，则当 

    N+2P-F+1=N

     即 

    P=\frac{1}{2}

     时成立）

3. 模型结构图

  • 在手写体数字识别的任务中，CNN模型结构如下所示：

二、CNN变形

1. 具体模型

LeNet-5、AlexNet、NIN、VGG、GoogLeNet、ResNet、DenseNet、MobileNets等。

2. 网络结构

  • LeNet：两个layer（conv+pool）+两层网络+FC（Fully Connected Layer，全连接层）

  • AlexNet：8层CNN（前5层卷积层，剩下3层全连接层）；6000万参数量，首次使用Relu激活函数，dropout+BN（Batch Normalization，批标准化层）

暂停一下！在这里我给大家准备了一些学习资源，对大家很有帮助：

1.关于各个方向的论文代码大全，都是PDF格式很方便！

2.一份《pytorch从零入门到实战教程》告诉你每一步怎么写，为什么这么写，相当的详细，非常值得大家去阅读！

ps：【偷偷提一嘴如果大家有发论文的需求也可以找我~】

大家需要的话可以添加小助手无偿获取

  • NIN：Network In Network，1×1卷积，使得输入任意的特征图大小，输出为1×1×?，相当于一种全连接层/卷积化（全连接的输入是固定的，而卷积层可以处理任意大小输入，故相当于把全连接层变成卷积层，即卷积化）；对多个通道进行信息整合，通道进行线性回归运算；达到通道数的变化，升维/降维/通道数不变，参数数量较少

  • VGG：参数量巨大，140M=140亿，19layers，VGG版本16/19（下图为VGG16，共16 个可训练层，其中13 个卷积层和 3 个全连接层，一般作为编码器，通过卷积层提取特征，再通过池化层降维，从而有效保留关键特征。）

  • GoogLeNet：参数较少，引入Inception V1, V2, V3, V4模块（通过并行的卷积操作来提取多尺度特征），造成参数变少

  • ResNet：残差网络、深度卷积神经网络架构

  1. 残差学习：学习输入和输出之间的残差（即差异），而不是直接映射关系。

  2. 残差块（Residual Blocks

最低0.47元/天 解锁文章
GUPAOAI
关注
深度学习之RNN(循环神经网络)
热门推荐
笨拙的石头的博客
05-28 25万+
一 RNN概述     前面我们叙述了BP算法, CNN算法, 那么为什么还会有RNN呢?? 什么是RNN, 它到底有什么不同之处? RNN的主要应用领域有哪些呢?这些都是要讨论的问题.     1) BP算法,CNN之后, 为什么还有RNN?     细想BP算法,CNN(卷积神经网络)我们会发现, 他们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数...
深度学习笔记（四）——循环神经网络（Recurrent Neural Network, RNN）
ADwenwen的博客
08-07 1万+
深度学习笔记（四）——循环神经网络（Recurrent Neural Network, RNN）
CNN模型
zakexu的专栏
07-22 9402
（一）简介 1.卷积神经网络（Convolutional Neural Network,CNN）是一种处理大型图像的深度神经网络模型，主要由卷积层以及下采样层组成； 2.卷积层的理论依据主要是生物学上的感受野概念，通俗点讲就是权值共享，这样可以大大减少神经网络需要训练的参数； 3.下采样，也有人叫pooling，其实就是对图像进行子采样，利用图像局部相关性的原理，在减少数据量的同时又保留有用
通俗易懂的RNN
qq_39439006的博客
11-26 8万+
RNN，LSTM，GRURNN循环核介绍：参数时间共享，循环层提取时间信息。功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 RNN RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。首先我
一文详解什么是RNN（循环神经网络）
Machine Learning with Tutors
04-25 6万+
如图所示，你会发现每个cell都会有一个损失，我们已经定义好了损失函数，接下来就是熟悉的一步了，那就是根据损失函数利用SGD来求解最优参数，在CNN中使用反向传播BP算法来求解最优参数，但在RNN就要用到BPTT，它和BP算法的本质区别，也是CNN和RNN的本质区别：CNN没有记忆功能，它的输出仅依赖与输入，但RNN有记忆功能，它的输出不仅依赖与当前输入，还依赖与当前的记忆。在图像处理中，目前做的最好的是CNN，而自然语言处理中，表现比较好的是RNN，因此，我们能否把他们结合起来，一起用呢？
一文快速预览经典深度学习模型（一）——CNN、RNN、LSTM、Transformer、ViT
人工智能、深度学习、迁移学习、大模型
11-05 7万+
Hi，大家好，我是半亩花海。本文主要简要并通俗地介绍了几种经典的深度学习模型，如CNN、RNN、LSTM、Transformer、ViT（Vision Transformer）等，便于大家初探深度学习的相关知识，并更好地理解深度学习的基础内容，为后续科研开展建立一定的基础，欢迎大家一起交流学习。
一文快速预览经典深度学习模型——CNN、RNN、LSTM、Transformer、ViT
Gupao123的博客
06-03 1479
本文系统介绍了深度学习中的关键神经网络模型及其变体。首先详细解析了CNN（卷积神经网络）的基本结构（输入层、卷积层、池化层、全连接层、输出层）和运算原理，包括零填充方式和典型模型（LeNet-5、AlexNet等）。其次阐述了RNN（循环神经网络）的序列处理机制及其长期依赖问题，重点讲解了改进模型LSTM（长短期记忆网络）的门控结构和训练过程。最后介绍了基于自注意力机制的Transformer模型及其视觉应用ViT（Vision Transformer），包括多头自注意力机制和编码器-解码器架构。
【快速预览经典深度学习模型：CNN、RNN、LSTM、Transformer、ViT全解析！】
最新发布
qq_51788416的博客
06-05 812
模型擅长领域是否适合长序列是否可并行代表性应用CNN图像❌✅ResNet、VGGRNN文本/时间序列✅（但容易遗忘）❌文本生成、语音识别LSTM文本/时间序列✅（记得更久）❌情感分析、机器翻译文本/图像✅✅ViT图像✅✅图像分类、分割。
五、CNN-LSTM数据驱动模型
记录自己的成长
03-02 2万+
CNN-LSTM数据驱动模型 6.1 基本原理 深度学习是机器学习前沿且热门的理论，而其中的两大框架卷积神经网络（CNN）以及长短期记忆网络（LSTM）是深度学习的代表，CNN能过够通过使用卷积核从样本数据中提取出其潜在的特征，而长短期记忆网络LSTM能够捕捉到长期的成分。近年来两者的结合成为研究的热点。卷积神经网络由卷积层和池化层交替叠加而成，在每个卷积层与池化层之间都有relu激活函数作用来加速模型的收敛，在模型中数据经过卷积神经网络的处理，所有特征融合后得到卷积神经网络的特征描述，此时传递数据给L
神经网络 | CNN 与 RNN——深度学习主力军
人工智能、深度学习、迁移学习、大模型
02-06 8万+
Hi，大家好，我是半亩花海。本文主要将卷积神经网络（CNN）和循环神经网络（RNN）这两个深度学习主力军进行对比。我们知道，从应用方面上来看，CNN 用于图像识别较多，而 RNN 用于语言处理较多。CNN 如同眼睛一样，正是目前机器用来识别对象的图像处理器。相应地，RNN 犹如耳朵和嘴巴，用于解析语言模式的数学引擎。
RNN（循环神经网络）
weixin_63685622的博客
05-16 2万+
RNN(Recurrent Neural Network), 中文称作循环神经网络,它一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征,一般也是以序列形式进行输出.RNN的循环机制使模型隐层上一时间步产生的结果,能够作为当下时间步输入的一部分(当下时间步的输入除了正常的输入外还包括上一步的隐层输出)对当下时间步的输出产生影响.结构：三层，输入、输出、隐藏层（循环在隐藏层）图中sigma为sigmiod函数，将值压缩在0-1之间。
深度学习04-CNN经典模型
liaomin416100569的专栏
05-16 1万+
卷积神经网络（CNN）是深度学习中非常重要的一种网络结构，它可以处理图像、文本、语音等各种类型的数据。以下是CNN的前4个经典模型LeNet-5是由Yann LeCun等人于1998年提出的，是第一个成功应用于手写数字识别的卷积神经网络。它由7层神经网络组成，包括2层卷积层、2层池化层和3层全连接层。其中，卷积层提取图像特征，池化层降低特征图的维度，全连接层将特征映射到对应的类别上。LeNet-5的主要特点是使用Sigmoid激活函数、平均池化和卷积层后没有使用零填充。
基于注意力机制的CNN-LSTM模型及其应用（含软硬注意力区别）
pengxiang1998的博客
10-05 4万+
处理原始数据集，再将其按 6∶2∶2 的比例划分。数据输入时进行归一化，在加速模型收敛的同时，一定程度提升模型精度；输出时进行反归一化。
一文解决故障诊断 |CNN-LSTM卷积神经网络-长短期记忆神经网络组合模型的故障诊断（Matlab）
m0_57702748的博客
03-30 6942
故障诊断在工业生产中至关重要，能够及时发现设备故障，避免重大经济损失和安全事故。随着工业4.0时代的到来，数据采集和处理技术不断发展，为故障诊断提供了大量的数据基础。深度学习技术在故障诊断领域展现出强大的潜力，特别是卷积神经网络（CNN）和长短时记忆（LSTM）网络的结合。CNN-LSTM模型CNN-LSTM模型是一种深度学习模型，结合了CNN和LSTM的优点。CNN能够提取图像或信号中的空间特征，而LSTM能够捕捉时间序列中的长期依赖关系。因此，CNN-LSTM模型非常适合处理故障诊断中的时序数据。
深度学习05-RNN循环神经网络
liaomin416100569的专栏
06-26 2万+
循环神经网络（Recurrent Neural Network，RNN）是一种具有循环连接的神经网络结构，被广泛应用于自然语言处理、语音识别、时序数据分析等任务中。相较于传统神经网络，RNN的主要特点在于它可以处理序列数据，能够捕捉到序列中的时序信息。RNN的基本单元是一个循环单元（Recurrent Unit），它接收一个输入和一个来自上一个时间步的隐藏状态，并输出当前时间步的隐藏状态。在传统的RNN中，循环单元通常使用tanh或ReLU等激活函数。
【RNN基础】——一文搞明白RNN
AI浩
06-18 2万+
1、含义 循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）[1]。 对循环神经网络的研究始于二十世纪80-90年代，并在二十一世纪初发展为深度学习（deep learning）算法之一[2]，其中双向循环神经网络（Bidirectional RNN, Bi-RNN）和长短期记忆网络...
RNN(循环神经网络)详解
一去不复返的通信er
11-08 4204
RNN学习
深度学习03-卷积神经网络(CNN)
liaomin416100569的专栏
05-12 4万+
CNN，即卷积神经网络（Convolutional Neural Network），是一种常用于图像和视频处理的深度学习模型。与传统神经网络相比，CNN 有着更好的处理图像和序列数据的能力，因为它能够自动学习图像中的特征，并提取出最有用的信息。CNN 的一个核心特点是卷积操作，它可以在图像上进行滑动窗口的计算，通过滤波器（又称卷积核）和池化层（Max Pooling）来提取出图像的特征。卷积操作可以有效地减少权重数量，降低计算量，同时也能够保留图像的空间结构信息。
（图解）神经网络之CNN与RNN的关系
m0_61899108的博客
02-09 3392
前言 本文转载于（图解）神经网络之CNN与RNN的关系。 文章主要是对CNN和RNN的理解，通过对比总结各自的优势，同时加深自己对这方面知识的理解，其中代码引用采用的是VQA模型中对图像和文本的处理。 目录 前言 1、CNN介绍 1.1 Why CNN for Image 1.2 CNN架构图 1.3 卷积层 1.3.1 重要参数 1.3.2 卷积计算 1.3.3 卷积层与全连接层的关系 1.4 池化层 1.5 应用 2、RNN介绍 2.1 引言 2.2 RNN简介 .
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值