15、人工神经网络：高级训练与正则化技术解析

人工神经网络：高级训练与正则化技术解析

数据分割与前馈神经网络问题

在处理数据时，数据分割是一个关键步骤。通常，训练数据集用于调整预定义模型，测试数据集用于寻找最优超参数（如层数、隐藏神经元数量、提前停止等），而验证数据集（第三个数据子集）则用于估计训练网络的泛化特性。不过在机器学习领域，测试和验证数据集的定义有所不同，用于估计泛化性能的数据子集被称为测试集。

对于二维空间数据分析，有人提出可以使用地质统计工具（变差函数）来控制从数据中提取信息的质量和数量。

前馈人工神经网络应用失败的原因可能有训练不足、隐藏单元数量不足，或者输入和目标之间存在随机而非确定性的关系。虽然理论上三层网络总是足够的，但在解决实际问题时，四层、五层甚至更多层的网络往往是必要的。因为对于许多问题，使用三层网络进行近似可能需要大量的隐藏神经元，而使用更多层的网络可以在可处理的网络规模下获得足够的解决方案。

高级训练算法

一阶（基于梯度）优化

基于反向传播的迭代梯度优化方案是多层感知器（MLP）训练的基本算法。它是一种在线方法，每次只呈现一个示例后就更新权重。另一种方法是批量学习，即呈现所有训练示例后再更新权重，此时总梯度是训练数据集所有点的梯度之和。如果实际可行，批量方法更有效；而在线方法适用于训练数据集非常大或训练数据随时间变化的情况。

最速下降算法

目标函数（均方误差，MSE）的最小值（至少是局部最小值）的下降方向由梯度定义。使用固定学习率和动量来获得最小值可能不是最有效的方法，因此可以尝试自动优化每一步的大小，例如使用简单的一维（线）算法来找到所选方向上的最小值，这种方法称为最速下降法。 <