机器学习（一）——线性回归（Linear Regression）

问题陈述

用一个简单的例子来描述用线性回归——房价预测问题。
$y$表示房子的价格（单位：美元），$x_j$表示房子的特征（例如：面积、卧室的数目等等）。假设我们已经有了m个房子的样本，每个房子有n种特征值，用$x^{(i)}$和$y^{(i)}$分别表示第$i$个房子的特征和价格。

寻找目标函数

简而言之，我们希望找到一个目标函数（Hypothesis Function）$h(\theta)$使得对于每一个样本都有$y^{(i)}\approx h(x^{(i)})$。假设找到了一个这样的目标函数$h(\theta)$，那么我们希望$h(\theta)$不仅能够很好的拟合现有的样本，并且在我们提供一个未知房价的房子的特征时，$h(\theta)$能够预测出这个房子的房价。
如果我们用线性回归来解决这个问题，就可以设$h(\theta)$为如下形式：

$$h_\theta(x)=\sum_ {j=0}^{n} \theta_j x_j=\Theta^\top X$$
接下来，就要选择一组$\Theta$，使得$h_\theta(x^{(i)})$的值尽可能的接近$y^{(i)}$。可以采用一个代价函数（Cost Function）$J(\Theta)$来衡量实际输出$h_\theta(x^{(i)})$与目标输出$y^{(i)}$间的误差。当这个误差最小时，就表示我们找到了一组$\theta_j$（向量表示为$\Theta$），使得$h_\theta(x^{(i)})$最接近于$y^{(i)}$。设$J(\Theta)$形式如下：
$$J(\Theta)=\frac1{2m}\sum_ {i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2$$

最小化代价函数

有许多方法可以最小化代价函数$J(\Theta)$，这里介绍最常用的一种——梯度下降法（Gradient Descent）。
为了简化说明，现在考虑最简单的情况，即每个房子只有一种特征（n=1）。那么目标函数可表示为：$h_\theta(x)=\theta_0+ \theta_1x_1$，代价函数就只包含两个参数$\theta_0$和$\theta_1$，可表示为：$J(\theta_0,\theta_1)=\frac1{2m}\sum_ {i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2$。现在，x轴表示$\theta_0$，y轴表示$\theta_1$，z轴表示$J(\theta_0,\theta_1)$，作图如下：

由图可知，该图的谷底是$J(\theta_0,\theta_1)$最小的点。如何找到这个点呢？我们可以在该图上随机选取一个点，求该点的斜率，沿斜率下降（注意：沿斜率下降，也就是朝导数的反方向走），每次下降的步长由学习率$\alpha$决定。当下降到下一个点后，重复以上步骤，就可以逼近最低点。梯度下降法的公式表示如下：

$$\theta_j:=\theta_j - \alpha\frac{\partial}{\partial\theta_j }J(\theta_0,\theta_1)$$
其中，$j=0,1$，利用该公式迭代至收敛，求得的$\theta_0,\theta_1$就能够使$J(\theta_0,\theta_1)$最小。对于线性回归而言，该公式又可具体表述如下：
迭代至收敛{
$$\theta_0:=\theta_0- \frac\alpha{m}\sum_ {i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})$$
$$\theta_1:=\theta_1 - \frac\alpha{m}\sum_ {i=1}^{m}((h_\theta(x^{(i)})-y^{(i)})x^{(i)})$$
}
如果目标函数中包含有更多的特征，即$j > 1$。只需要根据梯度下降法的公式代入对应的偏导，并分别对$\theta_j$更新即可。

最后，我们把通过梯度下降法求得的最小化代价函数$J_{min}(\theta_j)$所对应的所有$\theta_j$代入目标函数$h(\theta)$，就可以对一个未知房价的房子进行房价预测了。