50、长短期记忆网络（LSTM）与门控循环单元（GRUs）解析

长短期记忆网络（LSTM）与门控循环单元（GRUs）解析

1. 循环神经网络的问题

循环神经网络（RNN）存在两个主要问题：
- 梯度消失和爆炸问题 ：在神经网络更新中，连续与矩阵 (W^{(k)}) 相乘本质上是不稳定的。这可能导致在反向传播过程中梯度消失，或者以不稳定的方式急剧增大。这种不稳定性是在不同时间戳连续与（循环）权重矩阵相乘的直接结果。
- 长文本信息保留困难 ：RNN 在保留长文本段中的信息方面存在困难，因为每次状态转换都会抹去一些先前步骤中学习到的信息。例如，在句子 “Selecting the left branch at the fork was a mistake, and I should have understood that it made better sense to choose the right one.” 中，RNN 在处理到句子末尾时，可能难以理解 “right” 和 “one” 的关联，因为相关信息已被连续转换打乱。可以认为，仅使用乘法更新的神经网络只擅长学习短序列，即具有良好的短期记忆但长期记忆较差。

2. 长短期记忆网络（LSTM）

为了解决上述问题，引入了长短期记忆网络（LSTM），它通过使用长期记忆来改变隐藏向量的递归方程。
- 符号表示 ：
- (\hat{h} t^{(k)}) 表示多层 LSTM 第 (k) 层的隐藏状态。
- 输入层 (\hat{x}_t) 可表示为 (\hat{h}_t^{(0)})。
- 输入向量 (\hat{x