局部加权线性回归算法(Locally Weighted Linear Regression)及相关案例

局部加权线性回归算法(Locally Weighted Linear Regression)及相关案例

大家好，我是W

这次讲线性回归，之前有说逻辑回归（Logistic Regression），虽然逻辑回归负责分类，可是在数据到达二值函数之前的逻辑都是线性回归的逻辑，所以这两个回归是十分相似的。这篇文章的顺序是：1、线性回归算法原理 2、最小二乘法和算法评估标准 3、案例1-简单数据集标准线性回归 4、案例2-简单数据集局部加权线性回归 5、案例3-鲍鱼年龄预测。

案例2-简单数据集局部加权线性回归

接上一篇内容，之前使用标准线性回归还有欠拟合情况，那么存在一种局部加权的线性回归，其原理到底怎么样的?

案例2-局部加权线性回归原理

标准线性回归模型是一种无偏差估计，在计算所有点的时候都是无偏差地计算误差并且优化误差。这按道理来说没什么不好，但是会出现欠拟合的现象，即模型的优化是根据整体训练集的样本来优化的，考虑得过于整体，没办法针对不同的点来做相应的调整。

所以可以引入局部加权线性回归来改善欠拟合的现象。局部加权线性回归的思想是希望使用离待拟合样本较近的样本来描述。类似于质量相等的天体间的万有引力，距离越近引力越大。当对样本x_i预测目标值y_predict的时候，我们需要计算权重W，W权重由x_i周围的点来决定。

假设我们要预测x_i的目标值y_predict，我们需要得到第i个样本对应的w_i权重矩阵，那么损失函数变为（为区分权重矩阵跟回归系数，现改符号权重矩阵为W，回归系数为θ）：

用矩阵形式表示：

对θ求偏导并等于0（注意这里因为是矩阵表示，w表示某个样本i的权重矩阵，W表示全部样本的权重矩阵）：

即：

即：

最终可得θ：

经过上面这些步骤可以看出，只要知道W权重矩阵，那么剩下的跟标准线性回归求回归系数θ没有差别，那么W权重矩阵怎么求？

案例2-W权重矩阵求解

求解W权重矩阵需要使用到核函数，因为我们希望得到的是类似万有引力的效果（即距离越近权重越大引力越强），所以使用核函数来对附近的点赋予更高的权重，通常使用的是高斯核函数，形式如下：</