人工智能必备数学知识· 学习笔记 ·001【线性回归，最小二乘法&梯度下降法】

注：笔记 来自课程 人工智能必备数学知识
Tips①：只是记录从这个课程学到的东西，不是推广、没有安利
Tips②：本笔记主要目的是为了方便自己遗忘查阅，或过于冗长、或有所缺省、或杂乱无章，见谅
Tips③：本笔记使用markdown编写，相关缩进为了方便使用了LaTeX公式的\qquad，复制粘贴请注意
Tips④：本笔记部分内容为自己的整理拓展，课程中并未提及

一、定义

$\text{回归}$
$根据已有的数据，建立因变量Y与自变量X的函数关系的模型：$
$$y=f(x_1,x_2,\cdots ,x_n)$$

$\text{线性回归}$
$在回归的基础上，要求因变量Y与自变量X成线性关系：$
$$\begin{array}{rl}& y=w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n\\ & eg：y=ax+b\end{array}$$

$\text{回归}与\text{分类}的区别$
$回归的预测是连续的，而分类的预测是离散的$

二、评估

$通过回归求解，使模型预测值\hat{y}尽可能接近真实测量y$
$即最小化\text{均方误差}$
$$\text{MSE}=\frac{1}{n}\sum (y-\hat{y}{)}^2$$

三、求解

1、最小二乘法

$以一元输入为例，联立方程组，直接找到\underline{\text{全局最小值}}：$
$$\{\begin{array}{l}\text{loss}=\sum (\hat{y}-y{)}^2\\ \\ \hat{y}=ax+b\\ \\ \begin{array}{r}\frac{\partial \text{loss}}{\partial a}=0\end{array}\\ \\ \begin{array}{r}\frac{\partial \text{loss}}{\partial b}=0\end{array}\end{array}⟹\{\begin{array}{l}a=\begin{array}{r}\frac{\sum (x-\bar{x})(y-\bar{y})}{\sum (x-\bar{x}{)}^2}\end{array}\\ \\ b=\bar{y}-a\bar{x}\end{array}$$

$推导过程：$

$\begin{array}{r}\text{loss}=\sum (ax+b-y{)}^2\end{array}$

$\begin{array}{rl}故\frac{\partial \text{loss}}{\partial b}& =2\sum (ax+b-y)\\ & =2(a\sum x+\sum b+\sum y)\\ & =2(an\bar{x}+nb+n\bar{y})\\ & =0\end{array}$

$得：b=\bar{y}-a\bar{x}$

$\begin{array}{rl}故\frac{\partial \text{loss}}{\partial a}& =2\sum (ax+\bar{y}-a\bar{x}-y)x\\ & =2\sum (a{x}^2+x\bar{y}-a\bar{x}x-xy)\\ & =2\left[a\sum (x^2-\bar{x}x)-\sum (xy-x\bar{y})\right]\\ & =0\end{array}$

$\begin{array}{rl}得：a& =\frac{\sum (xy-x\bar{y})}{\sum (x^2-\bar{x}x)}\\ & \\ & =\frac{\sum (xy-x\bar{y})+n\bar{x}\bar{y}-n\bar{x}\bar{y}}{\sum (x^2-\bar{x}x)+n{\bar{x}}^2-n{\bar{x}}^2}\\ & \\ & =\frac{\sum (xy-x\bar{y})+\sum (-\bar{x}y+\bar{x}\bar{y})}{\sum (x^2-\bar{x}x)+\sum (-\bar{x}x+{\bar{x}}^2)}\\ & \\ & =\frac{\sum (x-\bar{x})(y-\bar{y})}{\sum (x-\bar{x}{)}^2}\end{array}$

$综上，\{\begin{array}{l}a=\begin{array}{r}\frac{\sum (x-\bar{x})(y-\bar{y})}{\sum (x-\bar{x}{)}^2}\end{array}\\ \\ b=\bar{y}-a\bar{x}\end{array}$

$例1：用最小二乘法为以下数据做线性回归$

$解：$

$\bar{x}=40,\bar{y}=390$

$故\{\begin{array}{l}a=\begin{array}{r}\frac{(-20)\times (-195)+(-10)\times (-85)+10\times 90+20\times 190}{20^2+10^2+10^2+20^2}=9.45\end{array}\\ \\ b=390-9.45\times 40=12\end{array}$

$故线性回归方程为y=9.45x+12$

$现在我们把问题推广到n元$

$因为问题涉及线性方程组，我分为两种形式进行讨论（个人认为，数值形式便于理解，矩阵形式便于计算）$

$数值形式：$

$\{\begin{array}{l}\text{loss}=\sum (\hat{y}-y{)}^2\\ \\ \hat{y}=w_0+w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n\\ \\ \begin{array}{r}\frac{\partial \text{loss}}{\partial w_0}=0\end{array}\\ \\ \begin{array}{r}\frac{\partial \text{loss}}{\partial w_1}=0\end{array}\\ \\ ⋮\\ \\ \begin{array}{r}\frac{\partial \text{loss}}{\partial w_n}=0\end{array}\end{array}$

$同样地，按照之前一元的做法，我们先计算关于常数项的偏导$

$\begin{array}{r}\text{loss}=\sum (w_0+\sum _{i=1}^n{w}_i{x}_i-y{)}^2\end{array}$

$\begin{array}{rl}故\frac{\partial \text{loss}}{\partial w_0}& =2\sum (w_0+\sum _{i=1}^n{w}_i{x}_i-y)\\ & =2\left[\sum w_0+\sum _{i=1}^n(w_i\sum x_i)-\sum y\right]\\ & =2\left(N{w}_0+\sum _{i=1}^n(w_{i}N{\bar{x}}_i)-N\bar{y}\right)\\ & =2N\left(w_0+\sum _{i=1}^n{w}_i{\bar{x}}_i-\bar{y}\right)\\ & =0\end{array}$

$得：\begin{array}{r}{w}_0=\bar{y}-\sum _{i=1}^n{w}_i{\bar{x}}_i\end{array}$

$\begin{array}{rl}故\frac{\partial \text{loss}}{\partial w_m}& =2\sum (w_0+\sum _{i=1}^n{w}_i{x}_i-y)x_m\\ & =2\sum \left[\sum _{i=1}^n{w}_i(x_i-{\bar{x}}_i)-(y-\bar{y})\right]x_m\\ & =0\end{array}$

$\begin{array}{rl}可知：& \\ & \sum \sum _{i=1}^n{w}_i(x_i-{\bar{x}}_i)x_m=\sum (y-\bar{y})x_m\\ 即& \sum _{i=1}^n\left(w_i\sum (x_i-{\bar{x}}_i)x_m\right)=\sum (y-\bar{y})x_m\\ 即& \sum _{i=1}^n\left[w_i\left(\sum (x_i-{\bar{x}}_i)x_m-N{\bar{x}}_i{\bar{x}}_m+N{\bar{x}}_i{\bar{x}}_m\right)\right]=\sum (y-\bar{y})x_m-N{\bar{x}}_{m}y+N{\bar{x}}_{m}y\\ 即& \sum _{i=1}^n\left[w_i\left(\sum (x_i-{\bar{x}}_i)x_m-\sum (x_i-{\bar{x}}_i){\bar{x}}_m\right)\right]=\sum (y-\bar{y})x_m-\sum (y-\bar{y}){\bar{x}}_m\\ 即& \sum _{i=1}^n\left[w_i\sum (x_i-{\bar{x}}_i)(x_m-{\bar{x}}_m)\right]=\sum (y-\bar{y})(x_m-{\bar{x}}_m)\end{array}$

$由此我们得到n个关于w_i的线性方程组：$

$$\begin{array}{rl}& \{\begin{array}{l}{a}_{11}{w}_1+a_{12}{w}_2+\cdots +a_{1n}{w}_n=b_1\\ a_{21}{w}_1+a_{22}{w}_2+\cdots +a_{2n}{w}_n=b_2\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \\ a_{n1}{w}_1+a_{n2}{w}_2+\cdots +a_{nn}{w}_n=b_n\end{array}\\ & \\ & 其中，\{\begin{array}{ll}{a}_{mn}& =\sum (x_m-{\bar{x}}_m)(x_n-{\bar{x}}_n)\\ b_i& =\sum (x_i-{\bar{x}}_i)(y-\bar{y})\end{array}\end{array}$$

$显然，根据线性代数的$ $\underline{\text{克莱姆法则}}$ $，我们很容易可以求出方程的解$

$\begin{array}{rl}令& D=\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right|\\ & \\ & D_i=\left|\begin{array}{cccccccc}{a}_{11}& a_{12}& \cdots & a_{1(i-1)}& b_1& a_{1(i+1)}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2(i-1)}& b_2& a_{1(i+1)}& \cdots & a_{1n}\\ ⋮& ⋮& \ddots & ⋮& ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{n(i-1)}& b_n& a_{1(i+1)}& \cdots & a_{1n}\end{array}\right|\\ & \end{array}$
$其中，D为系数行列式，D_i为将D中的第i列换成常数项后的行列式$

$\begin{array}{r}可求得：w_i=\frac{D_i}{D}\end{array}$

$综上，\{\begin{array}{l}\begin{array}{r}{w}_0=\bar{y}-\sum _{i=1}^n{w}_i{\bar{x}}_i\end{array}\\ \\ \begin{array}{r}{w}_i=\frac{D_i}{D}\end{array}\end{array}，其中\{\begin{array}{l}\begin{array}{r}D=\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right|\end{array}\\ \\ \begin{array}{r}{D}_i=\left|\begin{array}{cccccccc}{a}_{11}& a_{12}& \cdots & a_{1(i-1)}& b_1& a_{1(i+1)}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2(i-1)}& b_2& a_{1(i+1)}& \cdots & a_{1n}\\ ⋮& ⋮& \ddots & ⋮& ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{n(i-1)}& b_n& a_{1(i+1)}& \cdots & a_{1n}\end{array}\right|\end{array}\\ \\ \begin{array}{r}{a}_{mn}=\sum (x_m-{\bar{x}}_m)(x_n-{\bar{x}}_n)\end{array}\\ \\ \begin{array}{r}{b}_i=\sum (x_i-{\bar{x}}_i)(y-\bar{y})\end{array}\end{array}$

$就这样的结果来看，我们很明显地可以感觉到，手动计算的计算量非常之大$

$n^2个a_{mn}和n个b_i，每个都需要N次相乘累加计算$

$计算完后构成(n+1)个行列式D、D_i，共需要(n+1)次n阶行列式计算$

$而行列式计算的复杂度是比较高的（$ $\underline{\text{高斯消元法}}$ $的复杂度O(n^3)），因此\text{手动计算的计算量非常之大}$

$下面我们从矩阵形式来考虑$

$矩阵形式：$
\qquad\qquad $\underline{\text{参考链接1：多元线性回归最小二乘法及其应用}}$
\qquad\qquad $\underline{\text{参考链接2：计量经济学：多元线性回归的最小二乘估计}}$
\qquad\qquad $\underline{\text{参考链接3：线性回归与最小二乘法}}$

$共n个自变量，N个数据样例$

${\hat{y}}_i=w_0+w_1{x}_{1i}+w_2{x}_{2i}+\cdots +w_n{x}_{ni}(i=1,2,\cdots ,N)$

$则损失Q=\sum _{i=1}^N{e_i}^2=\sum _{i=1}^N(y_i-{\hat{y}}_i{)}^2=\sum _{i=1}^N[y_i-(w_0+w_1{x}_{1i}+w_2{x}_{2i}+\cdots +w_n{x}_{ni}){]}^2$

$根据最小二乘原理，有$

$\{\begin{array}{l}\begin{array}{r}\frac{\partial Q}{\partial w_0}=0\end{array}\\ \\ \begin{array}{r}\frac{\partial Q}{\partial w_1}=0\end{array}\\ \\ \begin{array}{r}\frac{\partial Q}{\partial w_2}=0\end{array}\\ \\ ⋮\\ \\ \begin{array}{r}\frac{\partial Q}{\partial w_n}=0\end{array}\end{array}$

$即$

$\{\begin{array}{l}\begin{array}{r}\sum (w_0+w_1{x}_{1i}+w_2{x}_{2i}+\cdots +w_n{x}_{ni})=\sum y_i\end{array}\\ \\ \begin{array}{r}\sum (w_0+w_1{x}_{1i}+w_2{x}_{2i}+\cdots +w_n{x}_{ni})x_{1i}=\sum y_i{x}_{1i}\end{array}\\ \\ \begin{array}{r}\sum (w_0+w_1{x}_{1i}+w_2{x}_{2i}+\cdots +w_n{x}_{ni})x_{2i}=\sum y_i{x}_{2i}\end{array}\\ \\ ⋮\\ \\ \begin{array}{r}\sum (w_0+w_1{x}_{1i}+w_2{x}_{2i}+\cdots +w_n{x}_{ni})x_{ni}=\sum y_i{x}_{ni}\end{array}\end{array}$

$解这n+1个方程组成的线性方程组，可以得到n+1个待估参数\beta =\left(\begin{array}{c}{w}_0\\ w_1\\ w_2\\ ⋮\\ w_n\end{array}\right)$

$即$

$\begin{array}{cccc}\left(\begin{array}{ccccc}N& \sum x_{1i}& \sum x_{2i}& \cdots & \sum x_{ni}\\ \sum x_{1i}& \sum {x_{1i}}^2& \sum x_{1i}{x}_{2i}& \cdots & \sum x_{1i}{x}_{n_i}\\ \sum x_{2i}& \sum x_{2i}{x}_{1i}& \sum {x_{2i}}^2& \cdots & \sum x_{2i}{x}_{n_i}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ \sum x_{ni}& \sum x_{ni}{x}_{1i}& \sum x_{ni}{x}_{2i}& \cdots & \sum {x_{n_i}}^2\end{array}\right)& \left(\begin{array}{c}{w}_0\\ w_1\\ w_2\\ ⋮\\ w_n\end{array}\right)=& \left(\begin{array}{cccc}1& 1& \cdots & 1\\ x_{11}& x_{12}& \cdots & x_{1N}\\ x_{21}& x_{22}& \cdots & x_{2N}\\ ⋮& ⋮& \ddots & ⋮\\ x_{n1}& x_{n2}& \cdots & x_{nN}\end{array}\right)& \left(\begin{array}{c}{y}_1\\ y_2\\ y_3\\ ⋮\\ y_N\end{array}\right)\\ & & & \\ (n+1)\times (n+1)& (n+1)\times 1& (n+1)\times N& N\times 1\end{array}$

$即$

$(X^{T}X)\beta =X^{T}Y$

$其中$

$\begin{array}{ll}\beta =\left(\begin{array}{c}{w}_0\\ w_1\\ w_2\\ ⋮\\ w_n\end{array}\right)& 每行表示线性回归的评估参数（系数）\\ & \\ X=\left(\begin{array}{cccc}1& x_{11}& \cdots & x_{n1}\\ 1& x_{12}& \cdots & x_{n2}\\ 1& x_{13}& \cdots & x_{n3}\\ ⋮& ⋮& \ddots & ⋮\\ 1& x_{1N}& \cdots & x_{nN}\end{array}\right)& 每行表示一个样本的各个输入参数\\ & \\ Y=\left(\begin{array}{c}{y}_1\\ y_2\\ y_3\\ ⋮\\ y_N\end{array}\right)& 每行表示一个样本的输出结果\end{array}$

$由于X^{T}X满秩（或者即便极少的情况不满秩，亦可对原始数据进行特征筛选或正则化处理）$

$可得：$

$\beta =(X^{T}X{)}^{-1}{X}^{T}Y$

$上述过程也可直接用矩阵表示：$

$Q=\sum _{i=1}^N{e_i}^2=e^{T}e=(Y-X\beta {)}^T(Y-X\beta )$

$令\begin{array}{r}\frac{\partial }{\partial \beta }(Y^T-{\beta }^T{X}^T)(Y-X\beta )=0\end{array}$

$即\begin{array}{r}\frac{\partial }{\partial \beta }(Y^{T}Y-Y^{T}X\beta -{\beta }^T{X}^{T}Y+{\beta }^T{X}^{T}X\beta )=0\end{array}$

$即\begin{array}{r}\frac{\partial }{\partial \beta }(Y^{T}Y-2Y^{T}X\beta +{\beta }^T{X}^{T}X\beta )=0\end{array}$

$根据矩阵向量求导的性质，可知：$

$\begin{array}{r}\frac{\partial Y^{T}Y}{\beta }=0，\frac{\partial Y^{T}X\beta }{\beta }=X^{T}Y，\frac{\partial {\beta }^T{X}^{T}X\beta }{\beta }=2X^{T}X\beta \end{array}$

$于是有-2X^{T}Y+2X^{T}X\beta =0$

$即X^{T}X\beta =X^{T}Y$

$即\beta =(X^{T}X{)}^{-1}{X}^{T}Y$

$综上，\beta =(X^{T}X{)}^{-1}{X}^{T}Y$

$其中\{\begin{array}{ll}\beta =\left(\begin{array}{c}{w}_0\\ w_1\\ w_2\\ ⋮\\ w_n\end{array}\right)& 每行表示线性回归的评估参数（系数）\\ & \\ X=\left(\begin{array}{cccc}1& x_{11}& \cdots & x_{n1}\\ 1& x_{12}& \cdots & x_{n2}\\ 1& x_{13}& \cdots & x_{n3}\\ ⋮& ⋮& \ddots & ⋮\\ 1& x_{1N}& \cdots & x_{nN}\end{array}\right)& 每行表示一个样本的各个输入参数\\ & \\ Y=\left(\begin{array}{c}{y}_1\\ y_2\\ y_3\\ ⋮\\ y_N\end{array}\right)& 每行表示一个样本的输出结果\end{array}$

$注：$
$\beta =(X^{T}X{)}^{-1}{X}^{T}Y=X^{-1}(X^T{)}^{-1}{X}^{T}Y=X^{-1}Y的化简方法是错误的$
$因为X不一定是方阵，即便是方阵也未必可逆$
$\beta =(X^{T}X{)}^{-1}{X}^{T}Y的记法已是最简$

$根据上述推广我们看到最小二乘法的解析解为\beta =(X^{T}X{)}^{-1}{X}^{T}Y$
$最小二乘法仍存在着一些缺点：$
$①.X^{T}X可能不可逆$
$包括以下情形：$
$1^{。}样本个数<参数个数$
$2^{。}一个样本的特征与其他样本线性相关$
$解决方法：$
$1^{。}增加样本量$
$2^{。}筛选出线性无关的特征，保证不存在线性相关的特征$
$3^{。}采用正则化的方法$
$如，\text{L}2正则化，解析解为$
$\beta =(X^{T}X+\lambda E{)}^{-1}{X}^{T}Y$
$或\beta =(X^{T}X+N\lambda E{)}^{-1}{X}^{T}Y$
$（有没有N取决于损失函数中均方误差部分有没有取平均）$
$②.最小二乘法直接求导，非线性回归中，不一定所有函数在有意义的空间内都有导数$
$③.最小二乘法直接将极小值作为最小值，非线性回归中，这样做有失偏颇）$
$（梯度下降则比较好的规避此项缺点）$

2、梯度下降法

$预测函数\hat{y}=p(X)$

$需要最小化误差G(\beta )=\sum (\hat{y}-y{)}^2$

$而最小化误差的过程，我们可以分多步迭代去搜索，如下图所示：$

$这个迭代的搜索过程，我们可以用公式表示为：$

$$\begin{array}{rl}& {{\beta }_i}_{\text{new}}={{\beta }_i}_{\text{old}}-\alpha \frac{\partial G(\beta )}{\partial {\beta }_i}{|}_{\beta ={\beta }_{\text{old}}}\\ & \\ & 其中，\alpha 代表学习率，即每步搜索下降的步伐大小，一般设置比较小（0.001\sim 0.1即可）\end{array}$$

$当梯度下降的高度\mid {\beta }_{\text{new}}-{\beta }_{\text{old}}\mid 小于某个阈值\theta 时，停止更新$

$总结一下，梯度下降法的上述步骤：$

$①.确定梯度下降的步伐大小\alpha ，即学习率$

$②.给定一个任意的初始参数值{\beta }_{初}$

$\begin{array}{rl}③.& 根据梯度\frac{\partial G(\beta )}{\partial \beta }，确定梯度下降的方向\\ & 根据{{\beta }_i}_{\text{new}}={{\beta }_i}_{\text{old}}-\alpha \frac{\partial G(\beta )}{\partial {\beta }_i}{|}_{\beta ={\beta }_{\text{old}}}更新\beta \end{array}$

$\begin{array}{rl}④.& 设置梯度下降高度的阈值\theta \\ & 当\mid {\beta }_{\text{new}}-{\beta }_{\text{old}}\mid <\theta 时，停止梯度下降\end{array}$

四、代码案例（Python）

$案例1：$

$根据y=5x+10生成100个带噪声的数据，为其进行线性回归$

$代码示例：$

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# 生成 100份 x 和对应的带噪声的 y，绘制散点图
x = np.linspace(1, 100, 100)
y = 5 * x + 10 + 10 * np.random.randn(100)
plt.plot(x, y, ".k")

"""
注意点：
	sklearn的线性回归模型，在拟合和预测时，输入和输出都是二维的
"""
# 加载sklearn的线性回归模型，根据二维的x、y进行拟合
model = LinearRegression()
model.fit(x.reshape(100, 1), y.reshape(100, 1))

# 根据拟合的模型预测结果，在散点图上绘制拟合的直线
y_p = model.predict(x.reshape(100, 1))
plt.plot(x, y, ".k")
plt.plot(x, y_p, "b")

# 单个案例的预测
print(model.predict(np.array(10).reshape(1, 1)))

$输出示例：$
\qquad
\qquad
$[[60.52575285]]$

$案例2：$

$读取\text{data.csv}文件，做出【食品消费】关于【家庭收入】和【人数】的线性回归模型$
$\text{data.csv}文件内容如下：$
\qquad\qquad

$代码示例：$

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# 读取csv文件数据
data = pd.read_csv("data.csv")

# 将数据类型转换为numpy
data = data.values

# 分离出输入x和输出y
x=data[:, 1:3]
y=data[:, 3]

# 加载sklearn的线性回归模型，根据二维的x、y进行拟合
model = LinearRegression()
model.fit(x, y)

# 根据模型加载预测结果
y_predict=model.predict(x)

# 绘图（横轴y，纵轴y_predict）
plt.plot(y, y_predict, ".b")

$输出示例：$
\qquad