RNN模型（大白话+公式推导）

原创 已于 2023-03-28 18:26:43 修改 · 3.5k 阅读 · 16
标签
#rnn #人工智能 #机器学习
于 2023-03-26 16:52:32 首次发布
序列模型如RNN用于处理时间序列任务，如语音识别和轨迹预测。RNN通过串联结构捕捉前后关联，但标准神经网络不适应此类任务，因其无法体现时间顺序的联系。RNN的前向传播利用隐藏状态记忆信息，但长序列可能导致梯度消失，影响长期依赖关系的学习。反向传播用于优化模型参数，通过损失函数评估预测效果。

序列模型

文本预处理

  • 序列模型的核心其实就是去预测

带时间序列的任务场景

  • 神经网络可以解决大部分问题；因为其能够学习到很多线性的和非线性的知识
  • 时间序列任务场景：一、语音识别； 二、生成一段音乐； 三、情感分析；四、**轨迹预测（**网格与网格之间是有联系的；只有将它们联系起来才能成为一条轨迹）
  • 时间序列：特点；前后关联强，“前因后果”（后面产生的结果，依赖前面产生的结果）

标准神经网络建模的弊端

在这里插入图片描述
弊端～ 针对位置较强

  • 输入和输出数据在不同的例子中可能有不同的长度
  • 一个像这样单纯的神经网络结构，它并不共享从文本的不同位置学到的特征
  • 参数量巨大（1、输入网络的特征，往往是one hot; 2、输入的网络特征是一段序列）
  • 没有办法体现出时序上的“前因后果”的联系

总结：标准神经网络不适合处理带时间序列的网络场景（标准神经网络不适合处理带时间序列的网络场景）

RNN循环神经网络

网络结构

在这里插入图片描述

  • 解释：是一种串联结构；
最低0.47元/天 解锁文章
HardCarry
关注
LSTM模型（大白话+公式推导）
毕业才是起点
03-26 5878
在LSTM中的每个时间步里面，都有一个记忆cell，这个东西给予了LSTM选择记忆功能，使得LSTM有能力自由选择每个时间步里面记忆的内容。也就是在这个时间步当中；我可以通过一些操作来确定我哪一些东西我需要记忆；哪一些我需要忘记掉；
深度学习之RNN(循环神经网络)
热门推荐
笨拙的石头的博客
05-28 25万+
一 RNN概述     前面我们叙述了BP算法, CNN算法, 那么为什么还会有RNN呢?? 什么是RNN, 它到底有什么不同之处? RNN的主要应用领域有哪些呢?这些都是要讨论的问题.     1) BP算法,CNN之后, 为什么还有RNN?     细想BP算法,CNN(卷积神经网络)我们会发现, 他们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数...
一文彻底搞懂RNN - 模型架构（Model Architecture）
xx_nm98的博客
09-14 5016
二、
RNN 反向传播数学推导（BPTT 时间反向传播）
最新发布
java_man1的博客
05-09 426
本文详细推导了RNN的反向传播算法BPTT。首先给出RNN前向传播公式，包括隐藏状态和输出的计算过程。BPTT的核心思想是沿时间维度回溯计算梯度，通过链式法则逐层求导。推导过程包括：1）输出端梯度计算；2）隐藏层误差δ的递推公式；3）各参数（W_{hy}, b_y, W_{xh}, W_{hh}, b_h）的梯度表达式。特别给出了tanh激活函数的导数形式。所有梯度均为时间步的累加，体现了RNN参数共享的特性。
深度学习实战02：RNN
weixin_40313252的博客
01-11 1261
RNN循环神经网络及其梯度消失笔记
Jochen12345的博客
03-03 1436
是你的闺蜜进行了一顿输出，输入到了你的大脑，然后两者结合就产生了一个意识，就生成了一个新的状态，新的状态也就是说要跟男朋友分手，那么这个就是新的状态。因此，梯度的大小也指示了参数更新的步长，通常我们会使用学习率（learning rate）来调节梯度的大小，以控制参数更新的幅度，避免更新步长过大或过小。这些输入的影响，包括他们的一些梯度值等等，前后也是关联的，就是说后面所作的一些决定，是受到前面的一些因素的影响的，因此模型在学习这些参数的时候，也需要把前面的集合起来。损失函数也可以用来评估模型的性能。
深度学习狂人必看！RNN模型预测未来？
qq_42538588的博客
07-18 1475
在当前处理序列数据的任务中，循环神经网络（Recurrent Neural Network, RNN）是一种广泛应用的神经网络类型。该模型在自然语言处理，音频信号处理，时间序列分析，视频处理等领域都有着重要的应用。由于其优良的记忆特性，RNN能够对某个时间序列的先前信息进行记忆处理，从而帮助解决了序列数据中的时间依赖性问题，这种模型被许多研究者们广泛应用在需要对时相相关的数据进行计算或学习的场合。
RNN模型与NLP应用笔记(3)：Simple RNN模型详解及完整代码实现
weixin_45012204的博客
05-08 6931
【Simple RNN模型详解及完整代码实现】这篇文章首先介绍简易RNN模型，我们会以问题导向的方式一步一步对简易RNN模型进行改进。
时序模型：循环神经网络（RNN）
xunyishuai5020的博客
02-22 1万+
1. 循环神经网络（RNN）定义 循环神经网络（recurrent neural network, RNN）是一类专门设计处理不定长序列数据的神经网络。 与使用一种新计算1作为核心的卷积神经网络不同，循环神经网络仍使用特征的线性组合作为计算核心，并使用共享参数策略使模型能泛化不同长度的序列数据。 2. 循环神经网络的由来：从全连接神经网络（DNN）到循环神经网络（RNN） 2.1 全连接神经网络的不足 最初，研究者直接将时间序列看作特征向量，将序列每一时刻的观测作为一种特征输入全连接神经网络，来预测序列的标
RNN, LSTM, GRU模型的作用, 构建, 优劣势比较,attention机制
码python的Vinsmoke
10-29 2万+
1. RNN架构解析 1.1 认识RNN模型 学习目标 了解什么是RNN模型. 了解RNN模型的作用. 了解RNN模型的分类. 什么是RNN模型 RNN(Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出. 一般单层神经网络结构: RNN单层网络结构: 以时间步对RNN进行展开后的单层网络结构: RNN的循环机制使模型隐层上一时间步产..
RNN模型介绍
愿自己天天开心
12-02 2443
对RNN模型以及变体LSTM,GRU介绍
深度学习-大白话解释循环神经网络RNN
m0_73426548的博客
03-04 1429
若 ∣Whh​∣<1，乘积趋近于零（梯度消失）；若 ∣Whh​∣>1，乘积趋近于无穷（梯度爆炸）。反向传播的时候需要对权重连乘，很容易梯度消失或爆炸。
循环神经网络RNN简介
m0_52173594的博客
07-25 307
就是后边的was还是were，要看前面是cat还是cats，但是一旦中间这个which的句子很长，cat的信息根本传不到was这里来，对was的更新没有任何帮助，这是RNN一个很大的不足之处。也就是说，RNN的隐藏层之间的结点不是互不相关的，而是有连接的，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。t = 3的节点，由于连乘过多导致梯度消失，无法将信息传回给t=20,因此t=20的更新，无法引入到t=3时的信息，认为t=20节点跟t=3节点无关联。Wax为输入层到隐藏层的权重矩阵；
【NLP】 深度学习NLP开篇-循环神经网络(RNN)
hacker_long的专栏
07-09 641
从这篇文章开始，有三AI-NLP专栏就要进入深度学习了。本文会介绍自然语言处理早期标志性的特征提取工具-循环神经网络(RNN)。首先，会介绍RNN提出的由来；然后，详细介...
「NLP」 深度学习NLP开篇-循环神经网络(RNN)
喜欢打酱油的老鸟
07-20 761
https://www.toutiao.com/a6714260714988503564/ 从这篇文章开始，有三AI-NLP专栏就要进入深度学习了。本文会介绍自然语言处理早期标志性的特征提取工具-循环神经网络(RNN)。首先，会介绍RNN提出的由来；然后，详细介绍RNN的模型结构，前向传播和反向传播的过程；最后，讨论RNN的特点及其优劣势。 作者 | 小Dream哥 编辑 | 言有三 ...
深度学习NLP开篇-循环神经网络(RNN)
weixin_40920183的博客
09-08 358
从这篇文章开始，有三AI-NLP专栏就要进入深度学习了。本文会介绍自然语言处理早期标志性的特征提取工具-循环神经网络(RNN)。首先，会介绍RNN提出的由来；然后，详细介绍RNN的模型结...
RNN浅谈
椰子奶糖的博客
10-28 686
RNN 文章目录RNN参考RNN 解决了什么问题RNN的结构RNN的特点RNN的损失函数RNN的反向传播RNN的缺点 参考 循环神经网络RNN论文解读 一文搞懂RNN（循环神经网络）基础篇 【重温系列】RNN循环神经网络及其梯度消失 手把手公式推导+大白话讲解 [双语字幕]吴恩达深度学习deeplearning.ai RNN 解决了什么问题 即应用场景，RNN在处理有时序关系的输入的时候比一般的神经网络更具有优势，原因是一个句子中的前后往往是相联系的，而一般的神经网络只是将句子里的每个词分开来考虑，这
【自然语言处理|RNN-01】：RNN模型
YIAN爱学习的博客
11-29 1860
介绍RNN模型的内部结构以及API，详细分析了RNN模型的参数
通俗易懂的RNN
qq_39439006的博客
11-26 8万+
RNN，LSTM，GRURNN循环核介绍：参数时间共享，循环层提取时间信息。功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 RNN RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。首先我
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值