7、胶囊网络的硬件与软件优化

胶囊网络的硬件与软件优化

1. 学习率策略概述

学习率（LR）是神经网络训练循环中快速收敛的关键超参数。学习率过大，优化过程可能停在局部最小值或发散；学习率过小，则会导致收敛非常缓慢。因此，动态学习率策略常被采用，即在训练过程中改变学习率。常见的学习率策略如下：
- 单周期策略（OCP） ：该方法包含三个训练阶段。阶段 1，学习率从最小值线性增加到最优范围内的最大值；阶段 2，学习率对称下降；阶段 3，在最后几步的一小部分中，学习率退火到非常低的值。公式如下：
[
\begin{cases}
lr = lr_{min} + t_s \cdot \frac{lr_{max}-lr_{min}}{0.45\cdot TS} & 0 < t_s < 0.45 \cdot TS \text{（阶段 1）}\
lr = lr_{min} + (t_s - 0.9 \cdot TS) \cdot \frac{lr_{min}-lr_{max}}{0.45\cdot TS} & 0.45TS < t_s < 0.9TS \text{（阶段 2）}\
lr = lr_{min} - 9 \cdot \frac{lr_{min}}{TS \cdot (t_s - 0.9 \cdot TS)} & 0.9 \cdot TS < t_s < TS \text{（阶段 3）}
\end{cases}
]
其中，$t_s$ 表示训练步骤，$TS$ 是训练周期的总步数，$lr_{min}$ 和 $lr_{max}$ 是学习率范围的边界。
-