22、确定性学习理论与数值计算方法解析

确定性学习理论与数值计算方法解析

在实际的学习和计算场景中，我们常常会遇到各种复杂的情况，比如存在噪声干扰的数据学习，以及数值积分和寻找函数最小值等问题。下面将详细探讨这些方面的理论和方法。

1. 加性噪声下的函数估计

在实际情况中，输出变量往往会受到随机加性噪声的影响。假设输出变量 $y$ 与未知函数 $g(x)$ 的关系为 $y = g(x) + η$，其中 $η$ 是随机加性噪声，$x$ 是确定性输入样本，由确定性算法生成，而输出样本 $y(l)$ 则受到随机噪声 $η(l)$ 的影响。

我们考虑一个二次损失函数，对于给定基基数为 $n$ 的 OHL 网络 $\gamma(·, w_n)$（或给定模型复杂度为 $n$ 的 FSP 函数），期望风险 $R(w_n)$ 具有如下形式：
[
\begin{align }
R(w_n) &= \int_{X×E} [g(x) + η - \gamma(x, w_n)]^2 p(η)dη dx \
&= \int_{X} [g(x) - \gamma(x, w_n)]^2 dx + \int_{E} η^2 p(η)dη \
&+ 2\int_{X} [g(x) - \gamma(x, w_n)] dx \int_{E} η p(η)dη \
&= \int_{X} [g(x) - \gamma(x, w_n)]^2 dx + \int_{E} η^2 p(η)dη
\end{align }
]
由于 $η$ 的均值为零，所以上式成立。

经验风险 $R_{emp}(w_n,