34、机器学习中的最近邻与神经网络方法

机器学习中的最近邻与神经网络方法

在机器学习领域，最近邻算法和神经网络是两种重要的技术。下面将详细介绍它们的原理、实现和应用。

最近邻算法

原理

首先，我们定义了加权回归方程：
$$
\hat{y} w = \frac{\sum {x’ \in N} y(x’)e^{-\frac{1}{\beta} | x - x’ |^2_w}}{\sum_{x’ \in N} e^{-\frac{1}{\beta} | x - x’ |^2_w}}
$$
接着，定义了一个评分函数，用于评估每个权重向量 $w$ 的性能，评分定义为负均方误差：
$$
e(w) = -\frac{1}{2} \sum_{x} (y(x) - \hat{y}_w(x))^2
$$
该方法采用留一法交叉验证，即给定 $x$ 时，$y$ 的估计值不使用 $x$ 本身。函数在 $w$ 上是连续的，这使得我们可以得到评分关于权重的一阶导数的解析表达式，从而使用梯度下降法来寻找优化评分的权重。

特征选择算法步骤如下：
1. 初始化 $w = (1, 1, \cdots, 1)$，设置 $K = 1$。
2. 进行权重更新：
- 从训练集中选取数据 $x$。
- 计算损失函数（L2 范数）关于权重的梯度：
- $\nabla e(w) = -\sum_{x} (f(x) - \hat{f} w(x)) \nabla_w \hat{f}_w(x)$
- $\nabla_w \hat{f}_w(x) = -\frac{4}{\beta}