19、广义回归神经网络（GRNN）：原理、训练与应用

广义回归神经网络（GRNN）：原理、训练与应用

1. GRNN 架构

GRNN（General Regression Neural Network）可将其视为一个加权求和的网络结构。它主要由输入层、模式层、求和层和输出层构成。在求和层中，有分子神经元和分母神经元。模式层神经元到分子神经元的连接权重对应着相应神经元位置的目标值，而模式层神经元到分母神经元的所有连接权重都为 1。输出层神经元执行除法运算并传递输出值。不过，这种架构中唯一的非神经运算（除法）位于输出层，因为一般认为生物神经元无法进行除法运算，这也是将 Nadaraya - Watson 核回归估计（NWKRE）解释为神经网络时受到批评的一点。但这种解释因其对插值过程的简单示意以及能运用机器学习术语而颇具吸引力。

2. GRNN 训练

2.1 一维示例

在使用高斯核的 GRNN 模型中，唯一的自适应（自由）参数是核的宽度 σ（各向同性或各向异性）。为了说明 GRNN 的工作原理，我们来看一个简单的一维“玩具”问题。用一个简单的正弦函数表示样本数据底层结构的真实函数。为了生成训练集，在正弦函数的多个点进行采样，并添加随机噪声，同时包含一个异常值。

不同的 σ 值会产生不同的效果：
- σ 值非常小 ：GRNN 会紧密跟随训练数据，精确拟合每个点。如果数据清晰无噪声，GRNN 是一种出色的插值算法，类似于最近邻方法。但只有当训练数据密度足够高时，这种结果才可以接受；否则，可能会出现过拟合现象，导致模型的泛化能力下降。
- σ 值适中偏小 ：异常值会使函数稍微偏离正弦线。如果确定该异常