NoisyNN, Generalization Performance

在本博客中，我们一起读一下Guozhong An的文章: The Effects of Adding Noise During Back-propagation Training on a Generalization Performance.

I 系统模型

本文考虑一个多层神经网络 $f$:

• 参数向量(包括weights和bias)是 $\mathbf{w}$;
• 输入是向量 $\mathbf{x}$;
• 输出是一个数 $f(\mathbf{x},\mathbf{w})$.
• 训练数据 ${\mathbf{z}}^{\mu }=({\mathbf{x}}^{\mu },y^{\mu }),\mu =1,2,...,N$.
• 给定 $\mathbf{w}$ 时，一个训练数据的 loss $e({\mathbf{z}}^{\mu },\mathbf{w})$, 整个训练集上的平均 loss
  $$E(\mathbf{w})=\frac{1}{N}\sum _{n=1}^{N}e({\mathbf{z}}^{\mu },\mathbf{w})\text{\hspace{1em}(1)}$$
• Steepest/gradient descent:
  $${\mathbf{w}}_{t+1}={\mathbf{w}}_t+\Delta {\mathbf{w}}_t={\mathbf{w}}_t-{\eta }_t\nabla E(\mathbf{w})\text{\hspace{1em}(2)}$$
• Stochastic gradient descent (SGD):
  $${\mathbf{w}}_{t+1}={\mathbf{w}}_t+\Delta {\mathbf{w}}_t={\mathbf{w}}_t-{\eta }_t\nabla e({\mathbf{z}}^{\mu },\mathbf{w})\text{\hspace{1em}(3)}$$

总的来说, 神经网络的输出 $f(\mathbf{x},\mathbf{w})$ 是 $\mathbf{x}$ 和 $\mathbf{w}$ 的函数。$\mathbf{x}$ 和 $\mathbf{w}$ 上的扰动会导致

• inference阶段：输出结果的变化。
• training 阶段：输出的变化进一步导致loss的变化，从而影响NN的训练。

本文考虑三种noise

1. Data noise: ${\mathbf{z}}^{\mu }={\mathbf{z}}^{\mu }+\mathbf{\zeta }$
   注意这里相当于是对输入输出同时加噪声，可以这么做的原因是这两部分噪声的effect可以分开。
2. Weight noise: $\mathbf{w}=\mathbf{w}+\mathbf{\xi }$
   这是在weights上直接加噪声。
3. Langevin noise: $\Delta \mathbf{w}=\Delta \mathbf{w}+\mathbf{\xi }$
   这是在梯度的更新方向 (gradients) 上加噪声。

II Training with data noise

本节主要的研究目标是，训练时输入输出数据上加的噪声会对训练有什么样的影响。更具体地说，对我们要minimize的目标函数 (loss function) 有什么样的改变。

A. 加噪声后数据分布的改变

给定 $\mathbf{w}$, 原本的网络输出是 $f({\mathbf{z}}^{\mu },\mathbf{w})$, 对输入输出加噪声后网络输出是 $f({\mathbf{z}}^{\mu }+\mathbf{\zeta },\mathbf{w})$. 由于 $\mathbf{\zeta }$ 是随机的，因此相当于我们故意增加了很多组原本数据附近的训练数据。

[假设1] 噪声 $\mathbf{\zeta }$ follows density $\rho (\mathbf{\zeta })$.

令加完噪声后的输入输出数据 ${\mathbf{z}}^{\prime }={\mathbf{z}}^{\mu }+\mathbf{\zeta }$, 由假设1可知 ${\mathbf{z}}^{\prime }\sim \hat{g}({\mathbf{z}}^{\prime })$ where
$$\hat{g}({\mathbf{z}}^{\prime })=\sum _{\mu =1}^N\rho ({\mathbf{z}}^{\prime }-{\mathbf{z}}^{\mu })\mathrm{Pr}({\mathbf{z}}^{\mu })=\frac{1}{N}\sum _{\mu =1}^N\rho ({\mathbf{z}}^{\prime }-{\mathbf{z}}^{\mu }).\text{\hspace{1em}(4)}$$

换句话说，加完噪声后 ${\mathbf{z}}^{\prime }$ 变成了连续的，且可能由任意一个 ${\mathbf{z}}^{\mu }$ 加上噪声得到。由于 ${\mathbf{z}}^{\mu }$ 在 SGD 训练中是随机等概率选取的，我们可以得到上式.

B. 加噪声后loss函数的改变

Lemma 1 (Bottou, 1991). 假设 loss 函数 $c(\mathbf{u},\mathbf{w})$ 是 $\mathbf{w}$ 的连续可微分函数，而 $\mathbf{u}$ 是从分布 $g(\mathbf{u})$ 中采样出的随机向量。如果我们采用 stochastic gradient descent 更新 $\mathbf{w}$ 来 minimize $c(\mathbf{u},\mathbf{w})$, i.e.,
$${\mathbf{w}}_{t+1}={\mathbf{w}}_t-{\eta }_t{\nabla }_{\mathbf{w}}c(\mathbf{u},\mathbf{w}).$$

则最终 $c(\mathbf{u},\mathbf{w})$ converges to $C(\mathbf{w})$ where
$$C(\mathbf{w})=\underset{\mathbf{w}}{\min }{\mathbb{E}}_{\mathbf{u}}[c(\mathbf{u},\mathbf{w})]=\underset{\mathbf{w}}{\min }\int c(\mathbf{u},\mathbf{w})g(\mathbf{u})d\mathbf{u}$$

注：Lemma 1 is subject some assumptions such as ${\sum }_t{\eta }_t=\infty$ and ${\sum }_t{\eta }_t^2<\infty$.

Lemma 1 指出，如果训练数据是从一个分布 $g(\mathbf{u})$ 中采样的，那么SGD最终会收敛到 $c(\mathbf{u},\mathbf{w})$ 均值的一个最小值点处。那么，

1. Noiseless data 满足分布 $g(\mathbf{z})={\sum }_{\mu }\frac{1}{N}\delta (\mathbf{z}-{\mathbf{z}}^{\mu })$, SGD会最终收敛到 $E(\mathbf{w})$ 的一个最小值处。
   $$E(\mathbf{w})=\sum _{\mu }\frac{1}{N}e({\mathbf{z}}^{\mu },\mathbf{w}).\text{\hspace{1em}(5)}$$
2. Noisy data 满足分布 $\hat{g}({\mathbf{z}}^{\prime })=\frac{1}{N}{\sum }_{\mu =1}^N\rho ({\mathbf{z}}^{\prime }-{\mathbf{z}}^{\mu })$, SGD 最终会收敛到 $\epsilon (\mathbf{w})$ 的一个最小值处，其中
   $$\epsilon (\mathbf{w})=\int e({\mathbf{z}}^{\prime },\mathbf{w})\hat{g}({\mathbf{z}}^{\prime })d{\mathbf{z}}^{\prime }.\text{\hspace{1em}(6)}$$

所以说，输入输出上的噪声使得要 minimize 的 loss 函数由 $E(\mathbf{w})$ 变成了 $\epsilon (\mathbf{w})$.

提升网络generalizability的常用方法: Regularization

由以上结论我们可以联想到一类经常使用的提升网络generalizability的方法: regularization. 即，我们在原本 loss 函数后面加上一个惩罚项 $P(\mathbf{w})$ 构成新的目标函数
$$C(\mathbf{w})=E(\mathbf{w})+\lambda P(\mathbf{w})$$

其中 $\lambda >0$.

Lemma 2 (Arfken, 1985). 若 $P(\mathbf{w})=\text{constant}$ 且 constant 的值仅取决于 $\lambda$ not $\mathbf{w}$, 那么minimizing $C(\mathbf{w})$ 同时也会minimize $E(\mathbf{w})$.

在实际中，具体 $P(\mathbf{w})$ 的形式有很多种heuristic的方法，比如

• In weight decay (Hinton 1996) and weight elimination (Weigend et al. 1991), $P$ 是 NN size 的一个表征, 即我们希望模型sparse一点。
• 在一些maximum a posteriori probability 方法中，$P(\mathbf{w})$ 是 $-\log$ (a priori probability of $\mathbf{w}$), e.g., MacKay 1992, Nowlan and Hinton 1992.
• 在一些信息论的方法中，$P(\mathbf{w})$ 是描述模型所需要的长度，e.g., Rissanen 1989, Kendall and Hall 1993.
• 其他一些work中, $P(\mathbf{w})$是一种smoothness measure.

总之，如果 $P(\mathbf{w})$ 的选取与数据的产生过程相一致，往往 minimizing $C(\mathbf{w})$ 会让网络有更好的 generalizability.

C. loss 函数改变了多少

为了和之前的工作联系起来，我们接下来定量的分析一下，输入输出数据上的噪声导致 loss 函数到底改变了多少，令
$$\epsilon (\mathbf{w})=E(\mathbf{w})+P(\mathbf{w})$$

则，
$$P(\mathbf{w})=\epsilon (\mathbf{w})-E(\mathbf{w})=\int e({\mathbf{z}}^{\prime },\mathbf{w})\frac{1}{N}\sum _{\mu }\rho ({\mathbf{z}}^{\prime }-{\mathbf{z}}^{\mu })d{\mathbf{z}}^{\prime }-\frac{1}{N}\sum _{\mu }e({\mathbf{z}}^{\mu },\mathbf{w})$$

$$=\frac{1}{N}\sum _{\mu }\left[\int e({\mathbf{z}}^{\mu }+\mathbf{\zeta },\mathbf{w})\rho (\mathbf{\zeta })d\mathbf{\zeta }-e({\mathbf{z}}^{\mu },\mathbf{w})\right]$$

$$=\frac{1}{N}\sum _{\mu }\left\{{\mathbb{E}}_{\mathbf{\zeta }}\right[e({\mathbf{z}}^{\mu }+\mathbf{\zeta },\mathbf{w})]-e({\mathbf{z}}^{\mu },\mathbf{w})\}\text{\hspace{1em}(7)}$$

接下来我们分析 $e({\mathbf{z}}^{\mu }+\mathbf{\zeta },\mathbf{w})$ 这一项。将 $e(\mathbf{z}+\mathbf{\zeta },\mathbf{w})$ 在 ${\mathbf{z}}^{\mu }$ 处 Taylor 展开，我们有
$$e(\mathbf{z}+\mathbf{\zeta },\mathbf{w})=e(\mathbf{z},\mathbf{w})+\sum _i\frac{\partial e(\mathbf{z},\mathbf{w})}{\partial {\mathbf{z}}_i}{\mathbf{\zeta }}_i+\frac{1}{2}\sum _{i,j}\frac{{\partial }^{2}e(\mathbf{z},\mathbf{w})}{\partial {\mathbf{z}}_i{\mathbf{z}}_j}{\mathbf{\zeta }}_i{\mathbf{\zeta }}_j+\cdots \text{\hspace{1em}(8)}$$

[假设2] 噪声向量 $\mathbf{\zeta }$ 各项独立，${\mathbf{\zeta }}_i\sim {\rho }_i(\zeta )$.

[假设3] 噪声向量 $\mathbf{\zeta }$ 各项的分布 ${\rho }_i(\zeta )$ 关于 $\zeta =0$ 对称。

以上两个假设在很多现实场景中都存在，${\rho }_i(\zeta )$ 是高斯分布或者均匀分布的应用最为广泛。

由假设3，我们可以得到 $\zeta$ 的奇数次moment均值都是0 (由MGF可得出)，即
$${\mathbb{E}}_{\zeta }[{\zeta }^{2k+1}]=0,k=0,1,2,3,...$$

好，接下来对 (8) 式两边求平均有
$${\mathbb{E}}_{\mathbf{\zeta }}[e(\mathbf{z}+\mathbf{\zeta },\mathbf{w})]={\mathbb{E}}_{\mathbf{\zeta }}[e(\mathbf{z},\mathbf{w})]+\frac{1}{2}\sum _{i,j}\frac{{\partial }^{2}e(\mathbf{z},\mathbf{w})}{\partial {\mathbf{z}}_i{\mathbf{z}}_j}{\mathbf{\zeta }}_i{\mathbf{\zeta }}_j+R.\text{\hspace{1em}(9)}$$

其中所有的奇次项都变成了零，偶次项都保留。特别的，我们只关注二次项，后面的余项 $R$ 的具体表达形式我们略过。在weak-noise limit的情况下 (i.e., 噪声向量的每一项方差远小于1)，可以得到$R$ 远小于二次项可以忽略 (higher order of variance)。

接下来，令 $\mathbf{z}={\mathbf{z}}^{\mu }$, 将 (9) 代入 (7) 且忽略 $R$, 我们有
$$P(\mathbf{w})\approx {\mathbb{E}}_{\mathbf{\zeta }}\left[\frac{1}{N}\sum _{\mu }\frac{1}{2}\sum _{i,j}\frac{{\partial }^{2}e({\mathbf{z}}^{\mu },\mathbf{w})}{\partial {\mathbf{z}}_i{\mathbf{z}}_j}{\mathbf{\zeta }}_i{\mathbf{\zeta }}_j\right].\text{\hspace{1em}(10)}$$

而且注意，Hessen matrix 中非对角线元素全部是0 (由于假设2和3)， 只有对角线上元素还存在。令 $\mathbb{E}[{\mathbf{\zeta }}_i^2]=2{\sigma }_i^2$, (10) 式可以继续写为
$$P(\mathbf{w})\approx \frac{1}{N}\sum _{\mu }\sum _i\frac{{\partial }^{2}e({\mathbf{z}}^{\mu },\mathbf{w})}{{\partial }^2{\mathbf{z}}_i}{\sigma }_i^2.\text{\hspace{1em}(10)}$$

这是我们这一阶段想得到的最终的表达式，它衡量的输入输出数据上的噪声带来的 loss 函数上的变化。

D. Quadratic loss and Cross-entropy loss 下的 loss 变化

接下来，我们考虑两种常用的 loss 函数来measure loss 函数的变化。

Quadratic loss 的情况下:
$$e({\mathbf{z}}^{\mu },\mathbf{w})=\frac{1}{2}[f({\mathbf{x}}^{\mu },\mathbf{w})-y^{\mu }{]}^2;\text{\hspace{1em}(11)}$$

Cross-entropy loss 的情况下:
$$e({\mathbf{z}}^{\mu },\mathbf{w})=y^{\mu }\log \frac{y^{\mu }}{f({\mathbf{x}}^{\mu },\mathbf{w})}+(1-y^{\mu })\log \frac{1-y^{\mu }}{1-f({\mathbf{x}}^{\mu },\mathbf{w})}.\text{\hspace{1em}(12)}$$

注意，这个 cross-entropy 的定义实际上是 cross entropy 减去 entropy of distribution $(y,1-y)$.

接下来，假设噪声向量的每一项方差相同都是 $2{\sigma }^2$。把这两种 loss 代入 (10), 最终我们得到了同样的 $P$ 的形式:
$$P\approx {\sigma }^2(P_0+P_1+P_2).\text{\hspace{1em}(13)}$$

Quadratic loss

Quadratic loss 的情况下，我们有
$$P_0=1,\text{\hspace{1em}(14)}$$

$$P_1=\frac{1}{N}\sum _{\mu ,i}{\left|\frac{\partial f({\mathbf{x}}^{\mu },\mathbf{w})}{\partial {\mathbf{x}}_i^{\mu }}\right|}^2,\text{\hspace{1em}(15)}$$

$$P_2=\frac{1}{N}\sum _{\mu ,i}[f({\mathbf{x}}^{\mu },\mathbf{w})-y^{\mu }]\frac{{\partial }^{2}f({\mathbf{x}}^{\mu },\mathbf{w})}{{\partial }^2{\mathbf{x}}_i^{\mu }}.\text{\hspace{1em}(16)}$$

Cross-entropy loss

Cross-entropy loss 的情况下，我们有
$$P_0=\frac{1}{N}\sum _{\mu }[y^{\mu }(1-y^{\mu }){]}^{-1},$$

$$P_1=\frac{1}{N}\sum _{\mu ,i}\frac{f_{\mu }^2-2y^{\mu }{f}_{\mu }+y^{\mu }}{f_{\mu }^2(1-f_{\mu }{)}^2}{\left|\frac{\partial f({\mathbf{x}}^{\mu },\mathbf{w})}{\partial {\mathbf{x}}_i^{\mu }}\right|}^2,$$

$$P_2=\frac{1}{N}\sum _{\mu ,i}\frac{f_{\mu }-y^{\mu }}{f_{\mu }(1-f_{\mu })}\frac{{\partial }^{2}f({\mathbf{x}}^{\mu },\mathbf{w})}{{\partial }^2{\mathbf{x}}_i^{\mu }}.$$

分析

1. 我们是同时在输入输出数据$\mathbf{z}$上加的噪声，但是在输入上加的噪声和在输出上加的噪声的对loss函数的影响是不一样的。特别的，$P_0$ 是在输出上加噪声带来的 loss的改变 (这个比较直接)，而其他两项都是因为在输入上加噪声带来的loss的改变。
   注意到 $P_0$ 和 $\mathbf{w}$ 是没关系的，因此在求 gradients 的时候 $P_0$ 并不会影响 $\mathbf{w}$ 的改变。因此，

结论1： Zero-mean and constant-variance noise added to the labels have no effect on generalization.

2. 再来看，两个 $P_1$ 都是恒正的。这也就意味着在输入上加的噪声会在 loss function 上带来一个正偏置，在训练时候我们minimize loss的同时还会刻意minimize $P_1$. 换句话说，加了输入噪声之后，神经网络的训练会更倾向于 slow-varing $f(\mathbf{x},\mathbf{w})$ 因为一阶导更小。这也与 regularization 方法中加上的penalty terms 有异曲同工之妙。

结论2： Zero-mean and constant-variance noise added to the inputs 会 penalize 对不同输入变化剧烈的 $\mathbf{w}$. 训练最终得到的 $\mathbf{w}$ 会使得神经网络的输出是输入的一个平滑的函数.

3. 最后，$P_2$ 正是区分开 noise injection 和 regularization 方法的关键。可以看出，$P_2$ 取决于 $f(\mathbf{x},\mathbf{w})-y^{\mu }$ 和 二阶导 $\frac{{\partial }^{2}f({\mathbf{x}}^{\mu },\mathbf{w})}{{\partial }^2{\mathbf{x}}_i^{\mu }}$. In general, 它可正可负。

$$P_2=\frac{1}{N}\sum _{\mu ,i}\frac{f_{\mu }-y^{\mu }}{f_{\mu }(1-f_{\mu })}\frac{{\partial }^{2}f({\mathbf{x}}^{\mu },\mathbf{w})}{{\partial }^2{\mathbf{x}}_i^{\mu }}.\text{\hspace{1em}(17)}$$

注：prior works也推导到了这一步得出了 $P_0$, $P_1$, and $P_2$ 的形式。但是有些work中没有发现 $P_2$, 有些work中基于其假设得出的结论是 $P_2$ vanishes，which is not general.

III Training with weight noise

A. Weight noise 转换成 label noise

在上一部分中，我们分析了在输入输出数据中加噪声对训练的影响。我们的结论是，输入输出上的噪声使得训练的神经网络less sensitive to input variations。因此，overfitting被减轻了网络也有更好的generalization performance。在这一部分中，我们分析weight上的噪声对网络 generalizability 的影响。

首先，训练with noisy weights的收敛性是很难分析。因此，我们跳过这一part，直接计算在给定 $\mathbf{w}$ 上加噪声对loss函数的改变, 也就是上文中的 $P(\mathbf{w})$。

注意到，weight noise 影响 training 的方式是通过改变网络输出来实现的。即，训练时候 $\mathbf{w}$ 上的随机噪声会使得输出变为 $f(\mathbf{x},\mathbf{w}+\mathbf{\xi })$, loss 变为 $e(\mathbf{z},\mathbf{w}+\mathbf{\xi })$, gradient 变为 ${\nabla }_{\mathbf{w}}e({\mathbf{z}}^{\mu },\mathbf{w}+\mathbf{\xi })$.

假设1: 我们只考虑 quadratic loss $e(\mathbf{x},\mathbf{w}+\mathbf{\xi })=\frac{1}{2}{\left[y^{\mu }-f(\mathbf{x},\mathbf{w}+\mathbf{\xi })\right]}^2$.

这样一来， 任何 $f(\mathbf{z},\mathbf{w}+\mathbf{\xi })$ 的变化都可以看作输出 $y^{\mu }$ 的变化，只不过这种变化不再是简单的加上 i.i.d. 噪声的变化。接下来，我们就来分析 $f(\mathbf{z},\mathbf{w}+\mathbf{\xi })-f(\mathbf{z},\mathbf{w})$ 有什么规律。

同样的，将 $f(\mathbf{x},\mathbf{w}+\mathbf{\xi })$ 在 $(\mathbf{x},\mathbf{w})$ 点泰勒展开:
$$f(\mathbf{x},\mathbf{w}+\mathbf{\xi })=f(\mathbf{x},\mathbf{w})+\sum _i\frac{\partial f(\mathbf{x},\mathbf{w})}{\partial {\mathbf{w}}_i}{\mathbf{\xi }}_i+\frac{1}{2}\sum _{i,j}\frac{{\partial }^{2}f(\mathbf{x},\mathbf{w})}{\partial {\mathbf{w}}_i{\mathbf{w}}_j}{\mathbf{\xi }}_i{\mathbf{\xi }}_j+...\text{\hspace{1em}(18)}$$

Denote by ${\zeta }_0=f(\mathbf{x},\mathbf{w}+\mathbf{\xi })-f(\mathbf{x},\mathbf{w})$, 我们有
$${\zeta }_0=\sum _i\frac{\partial f(\mathbf{x},\mathbf{w})}{\partial {\mathbf{w}}_i}{\mathbf{\xi }}_i+\frac{1}{2}\sum _{i,j}\frac{{\partial }^{2}f(\mathbf{x},\mathbf{w})}{\partial {\mathbf{w}}_i{\mathbf{w}}_j}{\mathbf{\xi }}_i{\mathbf{\xi }}_j+...\text{\hspace{1em}(19)}$$

假设2: 噪声向量 $\mathbf{\xi }$ 各个分量 i.i.d. ${\mathbf{\xi }}_i$ 均值为 $0$，方差为 $2{\sigma }_i^2$

由假设2，我们有
$$\mathbb{E}[{\zeta }_0]=\sum _i\frac{{\partial }^{2}f(\mathbf{x},\mathbf{w})}{{\partial }^2{\mathbf{w}}_i}{\sigma }_i^2+\mathcal{O}({\sigma }_i^4)\text{\hspace{1em}(20)}$$

$$\mathbb{E}[{\zeta }_0^2]=2\sum _i|\frac{\partial f(\mathbf{x},\mathbf{w})}{\partial {\mathbf{w}}_i}{|}^2{\sigma }_i^2+\mathcal{O}({\sigma }_i^4)\text{\hspace{1em}(21)}$$

即，最终 weight 各个 dimension 上的noise 汇集成了输出上的一个random variable ${\zeta }_0$, 其非零均值方差由 (20) 和 (21) 给出。特别的，在quadratic noise 的情况下，${\zeta }_0$ 可以看做 labels 上加的噪声。 从而，我们可以进一步分析loss function的变化。

B. Weight noise 带来的 loss 的变化

还记得在上一部分，我们已经得出，$\mathbf{z}$ 上加噪声 $\mathbf{\zeta }$ 后带来的loss 函数的变化由 (7) 式给出，即
$$P(\mathbf{w})=\frac{1}{N}\sum _{\mu }\left\{{\mathbb{E}}_{\mathbf{\zeta }}\right[e({\mathbf{z}}^{\mu }+\mathbf{\zeta },\mathbf{w})]-e({\mathbf{z}}^{\mu },\mathbf{w})\}$$

其中 $e(\mathbf{z}+\mathbf{\zeta },\mathbf{w})$ 可以泰勒展开为 (8) 式，即
$$e(\mathbf{z}+\mathbf{\zeta },\mathbf{w})=e(\mathbf{z},\mathbf{w})+\sum _i\frac{\partial e(\mathbf{z},\mathbf{w})}{\partial {\mathbf{z}}_i}{\mathbf{\zeta }}_i+\frac{1}{2}\sum _{i,j}\frac{{\partial }^{2}e(\mathbf{z},\mathbf{w})}{\partial {\mathbf{z}}_i{\mathbf{z}}_j}{\mathbf{\zeta }}_i{\mathbf{\zeta }}_j+\cdots$$

现在，weight noise 带来的等价 data noise 是 $\mathbf{\zeta }=[0,0,...,0,0,{\zeta }_0{]}^{\top }$. 所以
$$e(\mathbf{z}+\mathbf{\zeta },\mathbf{w})-e(\mathbf{z},\mathbf{w})=\frac{\partial e(\mathbf{z},\mathbf{w})}{\partial y}{\zeta }_0+\frac{1}{2}\frac{{\partial }^{2}e(\mathbf{z},\mathbf{w})}{{\partial }^{2}y}{\zeta }_0^2+\cdots \text{\hspace{1em}(22)}$$

假设3: 假设 weak noise ${\sigma }_i^2\ll 1$,

两边求平均代入 $P(\mathbf{w})$,
$$P(\mathbf{w})\approx \frac{1}{N}\sum _{\mu }\{\frac{\partial e(\mathbf{z},\mathbf{w})}{\partial y}\sum _i\frac{{\partial }^{2}f(\mathbf{x},\mathbf{w})}{{\partial }^2{\mathbf{w}}_i}{\sigma }_i^2+\frac{1}{2}\frac{{\partial }^{2}e(\mathbf{z},\mathbf{w})}{{\partial }^{2}y}2\sum _i|\frac{\partial f(\mathbf{x},\mathbf{w})}{\partial {\mathbf{w}}_i}{|}^2{\sigma }_i^2\}$$

$$=\frac{1}{N}\sum _{\mu ,i}\{\frac{\partial e(\mathbf{z},\mathbf{w})}{\partial y}\frac{{\partial }^{2}f(\mathbf{x},\mathbf{w})}{{\partial }^2{\mathbf{w}}_i}{\sigma }_i^2+\frac{{\partial }^{2}e(\mathbf{z},\mathbf{w})}{{\partial }^{2}y}|\frac{\partial f(\mathbf{x},\mathbf{w})}{\partial {\mathbf{w}}_i}{|}^2{\sigma }_i^2\}.\text{\hspace{1em}(23)}$$

假设4: ${\sigma }_1^2={\sigma }_2^2=...={\sigma }^2$,

最后再把 quadratic noise 代入 $P(\mathbf{w})$, 得到
$$P=\frac{{\sigma }^2}{N}\sum _{\mu ,i}\frac{{\partial }^{2}f({\mathbf{x}}^{\mu },\mathbf{w})}{{\partial }^2{\mathbf{w}}_i}[y^{\mu }-f({\mathbf{x}}^{\mu },\mathbf{w})]+\frac{{\sigma }^2}{N}\sum _{\mu ,i}|\frac{\partial f({\mathbf{x}}^{\mu },\mathbf{w})}{\partial {\mathbf{w}}_i}{|}^2.\text{\hspace{1em}(24)}$$

可以看出，这个式子中的两项与quadratic noise中的 $P_1$ 和 $P_2$ 是很相似的。特别的，第一项主要取决于fitting residual $y^{\mu }-f({\mathbf{x}}^{\mu },\mathbf{w})$, 第二项是正的。

1. 当 fitting residual 比较小时，第二项比较重要。最终学习到的 NN 应该是 insensitive to weight perturbation. 这在其他文章中也有得出，即weight上的加的noise会让网络对connection failure的容忍度大大提升。这里作者也提及到一些应用，比如说 analog hardware/circuit 中的模拟噪声问题。
2. 总的来说，虽然input noise和weight noise 对weight更新梯度 $\Delta \mathbf{w}$ 的影响的形式差不多 (他们都是通过影响NN的outputs $f(\mathbf{x},\mathbf{w})$ 来影响$\Delta \mathbf{w}$), 且最终得到的 loss function 的改变量的形式也差不多，但是他们还有一些细微的差别的。主要在于，generalization主要还是指input-output mapping的平滑性，但是weight noise 主要影响的是weight-output的平滑性。

C. Case studies

单线性层的NN

接下来我们考虑一个具体的单层NN，其中没有activation function, 没有 hidden layers。令 ${\mathbf{x}}_0=1$, 那么bias也可以看做 multiplicative weight，因此神经网络可写为
$$f(\mathbf{x},\mathbf{w})={\mathbf{x}}^{\top }\mathbf{w}\text{\hspace{1em}(25)}$$

根据 (15) 和 (24), 我们可以写出 input noise 和 weight noise 对 quadratic noise 的改变量:
$$P=\{\begin{array}{ll}{\sigma }^2|\mathbf{w}{|}^2& \text{input noise;}\\ {\sigma }^2\frac{1}{N}{\sum }_{\mu }|{\mathbf{x}}^{\mu }{|}^2& \text{weight noise.}\end{array}$$

可以看出 input noise 带来的penalty term与weight decay 和 in ridge regression 是一样。但是weight noise带来的penalty却是一个constant。因此，它并不影响NN的generalization performance.

多层网络

接下来，我们来看看多层网络中 weight noise 对NN generalizability 的影响。注意到在 (24) 中，噪声的各个分量是加性关系，因此我们可以大概做一个划分 $P=P_o+P_h$，其中 $P_o$ 是加在输出层上的噪声的影响而 $P_h$ 是加在隐藏层上的噪声的影响。

输出层噪声的贡献$P_0$

对于隐藏层，我们有
$$f(\mathbf{x},\mathbf{w})=h(I)=h\left(\sum _j{a}_j{w}_j\right)$$

其中 $h$ 是激活函; $a_j$ 是第 $j$ 个隐藏层的值; $w_j$ 是第 $j$ 个隐藏节点到输出的weight. 特别的, $w_0$ 是bias and $a_0=1$; $a_j$ 是输入 $\mathbf{x}$ (和之前层weights) 的函数而不是最后一层参数 $w_j$ 的函数。

我们继而可以得出:
$$\frac{\partial f(\mathbf{x},\mathbf{w})}{\partial w_j}=h^{\prime }(I)a_j,\frac{{\partial }^{2}f(\mathbf{x},\mathbf{w})}{{\partial }^2{w}_j}=h^{\prime \prime }(I)|a_j{|}^2$$

代入 (24):
$$P_0=\frac{{\sigma }^2}{N}\sum _{\mu ,j}|a_j({\mathbf{x}}^{\mu }){|}^2[h^{\prime \prime }(I)(y^{\mu }-f({\mathbf{x}}^{\mu },\mathbf{w}))+h^{\prime }(I{)}^2]$$

这便是多层网络中加在输出层上的噪声对 $P$ 的contribution.

假设5: 假设右边括号中的两项被第二项dominant.

那么 $P_0=\frac{{\sigma }^2}{N}{\sum }_{\mu ,j}|a_j({\mathbf{x}}^{\mu }){|}^2{h}^{\prime }(I{)}^2$. 所以说，输出层上的噪声使得神经网络更偏爱

1. 隐藏层上小的 activated values {aj}\{a_j\}{aj​}，即限制了对输出有贡献的隐藏层结点的个数。
2. 输出层上使得 $h^{\prime }(I)$ 比较小的 pre-activated value $I$.

实际上，前者和后者并不是那么和谐的。比如说 sigmoid 函数，minimize前者使得隐藏层activated values更小，但是minimize后者却使得NN更倾向于比较大的 $I$ (so that sigmoid saturates)。

隐藏层噪声的贡献$P_h$

简单起见，我们仅考虑有一个隐藏层的NN, 多个隐藏层的NN可以相应得出。

根据以上模型我们可以写出神经网络输出关于参数的一阶导和二阶导:

$$\frac{\partial f(\mathbf{x},\mathbf{w})}{\partial w_{ji}}=h^{\prime }(I)H^{\prime }(I_j)w_j{x}_i$$

$$\frac{{\partial }^{2}f(\mathbf{x},\mathbf{w})}{{\partial }^2{w}_{ji}}=|x_i{|}^2[H^{\prime }(I_j{)}^2{h}^{\prime \prime }(I)w_j^2+h^{\prime }(I)H^{\prime \prime }(I_j)w_j]$$

将他们带入 (24) 即可得到
$$\begin{gathered} P_h=\frac{{\sigma }^2}{N}\sum _{\mu ,j}|{\mathbf{x}}^{\mu }{|}^2(y^{\mu }-f_{\mu })[H^{\prime }(I_j{)}^2{h}^{\prime \prime }(I)w_j^2+h^{\prime }(I)H^{\prime \prime }(I_j)w_j] \\ +\frac{{\sigma }^2}{N}\sum _{\mu ,j}|{\mathbf{x}}^{\mu }{|}^2{h}^{\prime }(I{)}^2{H}^{\prime }(I_j{)}^2{w}_j^2 \end{gathered}$$

可以看出, 隐藏层参数上加的噪声主要会惩罚一下三项：

1. 输出层比较大的导数 $h^{\prime }(I)$;
2. 输出层比较大的系数 $w_j$;
3. 隐藏层比较大的导数 $H^{\prime }(I_j)$.

综合考虑输出层和隐藏层上的噪声，他们对神经网络训练结果的影响是

• 他们减少了隐藏层节点的个数，从而防止过拟合
• 他们鼓励激活函数始终工作在saturation states (即要么是开要么是关). 这同时会鼓励网络学习到一个smooth input-output mapping, 因为 $|\partial f(\mathbf{x},\mathbf{w})/\partial \mathbf{x}|=h^{\prime }(I)|\partial I/\partial \mathbf{x}|$. 从这个角度看，它与输入噪声有很类似的作用。

IV Training with Langevin noise

以上我们考虑的两种噪声分别是直接加在输入输出数据和网络参数上的。他们通过影响 loss 函数从而最终影响到训练的结果。在这一部分中，我们考虑另外一种噪声: Langevin noise. 不同于以上两种噪声，Langevin noise无关于神经网络输出和loss的计算，而是直接加在了梯度上：$$\Delta \mathbf{w}=\Delta \mathbf{w}+\mathbf{\xi }.$$

正是由于这种直接对梯度的影响，它与以上我们考虑的噪声有着根本性的不同，因此我们需要使用另一种工具，即statistical mechanics，来分析 Langevin noise 的影响。

有 Langevin noise时，网络的更新方式如下:
$${\mathbf{w}}_{t+1}={\mathbf{w}}_t-\eta \nabla E(\mathbf{w})+\xi \sqrt{2{\sigma }^2\eta }$$

其中，噪声 $\xi$ 是高斯随机变量，均值是0，方差是1. 假设 $\Delta t=\eta$ 很小且是常数, 上式可以看做下面 continuous-time Langevin equation的离散形式
$$d\mathbf{w}=-\nabla E(\mathbf{w})dt+\xi \sqrt{2{\sigma }^{2}dt}$$