LSTM模型（大白话+公式推导）

原创 已于 2023-04-09 22:24:59 修改 · 5.8k 阅读 · 119
标签
#lstm #深度学习 #神经网络
于 2023-03-26 19:21:22 首次发布
LSTM通过记忆细胞和门控结构解决了RNN的梯度消失问题，允许模型选择性地记忆和遗忘信息，提高学习效率。在每个时间步，遗忘门、输入门和输出门协同工作，控制信息流，确保关键信息在长序列中的有效传递。

设计思路

  • RNN是想把所有信息都记住；不管是有用的信息还是没用的信息（存在梯度爆炸和梯度消失的问题）例子：复习的时候，整本书都想记下来；导致记忆负担加重；记忆的效果不好；
  • LSTM是设计一个记忆细胞；具备选择性记忆的功能，可以选择记忆重要信息，过滤掉噪声信息，减轻记忆负担（类比于：复习的时候看到考点内的信息就记忆；考点外的知识过滤掉）

前向传播的过程

RNN图

在这里插入图片描述
注意点：1、在循环神经网络(RNN)中，tanh常用作激活函数，tanh是一种非线性函数，它将输入映射到范围在-1到1之间；2、激活函数主要是：引入非线性，以便模型可以学习更加复杂的关系和模式 ；3、隐藏状态是一组表示模型内部状态的向量，它们通过时间步长进行传递和更新(在每个时间步长，当前输入和前一个时间步长的隐藏状态被馈送到RNN中，并生成新的隐藏状态)

LSTM图

在这里插入图片描述
其中LSTM是由两条线串起来的；上面那一条其实就是记忆细胞

单元图

在这里插入图片描述
解释：其中

最低0.47元/天 解锁文章
LSTM 深度解析从原理推演到现代序列建模的演进
hello.reader
11-12 3万+
LSTM（Long Short-Term Memory，长短期记忆网络）是一种特殊的递归神经网络（RNN），它通过引入记忆单元（Cell State）来解决普通RNN在长序列数据处理中的梯度消失问题。LSTM可以在长时间的序列中捕捉依赖关系，是一种非常适合处理时间序列、自然语言处理、语音识别等任务的深度学习模型。在LSTM中，记忆单元（Cell State）是一个贯穿整个序列的数据通道，用于存储和传递关键信息。记忆单元在LSTM的时间步之间保持信息的持久性，可以看作是一个长期记忆的“容器”。
【机器学习】一文搞懂算法模型之：LSTM
商务合作 | 面试培训 | 职场规划 ==>主页扫码
03-21 1万+
一文搞懂算法模型之：LSTM
LSTM模型
qq_41903673的博客
01-01 1万+
LSTM模型是为了解决RNN神经网络中的梯度爆炸问题。 （1）模型思路： RNN是想把所有信息都记住，不管是有用的信息还是没用的信息。LSTM：设计一个记忆细胞（具备选择性记忆的功能），可以选择记忆重要信息，过滤掉噪声信息，减轻记忆负担。 （2）LSTM前向传播： LSTM模型： RNN模型： 两者相比，LSTM内部更加复杂，且RNN只有一条链路串联起各个神经元，而LSTM是由两条链路串联起来的。 LSTM内部结构分析： 和代表细胞记忆，前者为t-1时刻的记忆，后者为t时刻...
AI 术语通俗词典：LSTM
最新发布
qq_41176800的博客
05-21 715
换句话说，LSTM 是在回答：模型怎样在处理一串连续数据时，既记住前面重要信息，又忘掉不重要信息。因此，LSTM 常用于文本建模、语音识别、机器翻译、时间序列预测、金融数据分析、传感器数据建模和早期序列生成任务中，是理解循环神经网络和序列建模的重要基础概念。如果序列很长，普通 RNN 可能逐渐遗忘前面信息。在实际任务中，LSTM 和 GRU 没有绝对优劣，需要根据数据规模、序列长度、任务类型和计算资源选择。例如，在情感分析中，LSTM 可以按顺序读取一句话，并把前后语境压缩到隐藏状态中，用于判断整体情感。
LSTM模型介绍
qq_43894221的博客
07-28 3万+
lstm+code
LSTM模型基础学习
m0_64469199的博客
07-22 7742
因为项目需要针对时间序列预测数据，故临时学习。本篇适合没有人工智能基础但需要进行时间序列数据预测开发的读者，供您挑选出适合自身项目开发的模型模板。
超全面讲透一个算法模型，LSTM！！
Python_cocola的博客
11-06 5113
LSTM是一种特殊的神经网络，它特别擅长处理序列数据，比如时间序列、文本、音频等。它解决了传统神经网络在处理这种数据时**“短期记忆不好”**的问题。普通神经网络的问题：当数据有时间顺序时，普通的神经网络容易忘记之前的信息。比如说，你在读一段文章，读到第10句话时，普通神经网络可能已经不记得前面几句话了，所以做决策会不准。LSTM的优点：LSTM可以“记住”长期的信息（比如很久之前的内容），同时也能忘记不重要的信息（比如无关紧要的内容），所以它在处理这种有顺序的数据时表现特别好。
LSTM从入门到精通（形象的图解，详细的代码和注释，完美的数学推导过程）
热门推荐
mary19831的博客
03-16 29万+
按照八股文来说：RNN实际上就是一个带有记忆的时间序列的预测模型RNN的细胞结构图softmax激活函数只是我举的一个例子，实际上得到y也可以通过其他的激活函数得到其中a代表t-1时刻隐藏状态，a代表经过X这一t时刻的输入之后，得到的新的隐藏状态。公式主要是大白话解释一下就是，X是今天的吊针，a是昨天的发烧度数39，经过今天这一针之后，a变成38度。这里的记忆体现在今天的38度是在前一天的基础上，通过打吊针来达到第二天的降温状态。
大白话理解LSTM神经网络（附实例讲解）
Iceberggg的博客
04-12 3万+
用简单例子快速理解LSTM神经网络
长短期记忆网络（LSTM）是什么怎么工作的呢？
weixin_43920520的博客
12-03 803
结合图文，详细描述了LSTM网络的结构及使用它深层原因
【LSTM】
zijin-jdd的博客
05-30 165
讲得真好。
【RCNN重要背景知识】RNN和LSTM的原理
qq_38253797的博客
05-23 1713
目录一、RNN算法1.1、什么是RNN？1.2、为什么要发明RNN？1.3、RNN的结构和原理？1.4、RNN的特性？1.5、前向传播和反向传播?梯度消失问题?二、 LSTM算法2.1、什么是LSTM?2.2、LSTM原理2.3、LSTM如何解决梯度消失问题？Reference 一、RNN算法 1.1、什么是RNN？ RNN是一种神经网络，类似CNN、DNN等，RNN对具有序列特征的数据（文本、语音等）非常有效，它能挖掘出数据中的时序信息和语义信息。 序列特性：符合时间顺序、逻辑顺序或者其他顺序。 1.2、
LSTM学习笔记
weixin_53805563的博客
03-27 2077
这篇笔记是学习了一系列LSTM文章和视频后的总结，方便自己查阅。
LSTM长短期记忆网
Jochen12345的博客
03-03 1473
RNN是递归神经网络（Recurrent Neural Network）的缩写。它是一种神经网络结构，专门用于处理序列数据，具有记忆和顺序处理的能力。在传统的前馈神经网络中，每个输入与输出之间都是独立的，而RNN通过引入循环连接，允许信息在网络中传递并保持状态。循环连接（Recurrent Connections）：RNN中的每个时间步都有一个循环连接，使得网络可以在处理当前输入时考虑之前的信息。这种连接使得RNN能够处理任意长度的序列输入。隐藏状态（Hidden State）
深度学习模型：LSTM (Long Short-Term Memory) - 长短时记忆网络详解
池央的博客
11-28 6万+
在深度学习领域，循环神经网络（RNN）在处理序列数据方面具有独特的优势，例如语音识别、自然语言处理等任务。然而，传统的 RNN 在处理长序列数据时面临着严重的梯度消失问题，这使得网络难以学习到长距离的依赖关系。LSTM 作为一种特殊的 RNN 架构应运而生，有效地解决了这一难题，成为了序列建模领域的重要工具。
长短期记忆（LSTM）网络模型
归去来兮的博客
05-31 4260
长短期记忆（Long Short-Term Memory，LSTM）网络是一种特殊的循环神经网络（RNN），专门设计用于解决传统 RNN 在处理长序列数据时面临的梯度消失 / 爆炸问题，能够有效捕捉长距离依赖关系。其核心在于引入记忆细胞（Cell State）和门控机制（Gate Mechanism），通过控制信息的流动来实现对长期信息的存储与遗忘。
循环神经网络--LSTM模型
m0_64592880的博客
09-26 6288
LSTM（Long Short-Term Memory）模型是一种特殊的循环神经网络（RNN），它能够学习和记忆长期依赖关系。LSTM。这些门控机制包括遗忘门、输入门和输出门，它们可以控制信息的流动，从而使得网络能够学习到长期依赖关系。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值