最小二乘法的数学推导

网上看到的最小二乘法都是互相抄来抄去，一错一大片，连标点符号都错的一样，其实整个推导过程并不是很难的一件事，只需要简单的一步步按照最小化损失函数就可以得到，最终我们需要得到的线性方程为
$$\hat{y}={\beta }_0+{\beta }_1\hat{x}$$损失函数采用欧式距离定义，
$$\mathcal{L}=\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$于是问题变为最优化问题
$${\mathrm{argmin}}_{{\beta }_0,{\beta }_1}\mathcal{L}$$
于是对${\beta }_0$,${\beta }_1$求导即为
$$\frac{\partial \mathcal{L}}{\partial {\beta }_0}=\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i)$$
对${\beta }_1求导$即为
$$\frac{\partial \mathcal{L}}{\partial {\beta }_1}=\sum _{i=1}^n(y_1-{\beta }_0-{\beta }_1{x}_i)(-x_i)$$由${\beta }_0$求导式子得到
$${\beta }_0=\frac{1}{n}\sum _{i=1}^n{y}_i-\frac{1}{n}\sum _{i=1}^n{\beta }_1{x}_i=\overline{y}-{\beta }_1\overline{x}$$代入第二部分式子，
$$\sum _{i=1}^n{x}_i{y}_i-{\beta }_1\sum _{i=1}^n{x}_i^2-n{\beta }_0\overline{x}=0$$得到,
$${\beta }_1(\sum _{i=1}^n{x}_i^2-n(\overline{x}{)}^2)=\sum _{i=1}^n{x}_i{y}_i-n\overline{x}\ast \overline{y}$$则得到
$${\beta }_1=\frac{{\sum }_{i=1}^n{x}_i{y}_i-n\overline{x}\ast \overline{y}}{{\sum }_{i=1}^n{x}_i^2-n(\overline{x}{)}^2}$$或者写为
$${\beta }_1=\frac{n{\sum }_{i=1}^n{x}_i{y}_i-{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^{n}x{)}^2}$$代入到${\beta }_0$则有，
$${\beta }_0=\overline{y}-{\beta }_1\overline{x}=\frac{{\sum }_{i=1}^n{x}_i^2{\sum }_{i=1}^n{y}_i-{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i{y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}$$这两个式子即为最小二乘法得到的求解结果，求得${\beta }_0$和${\beta }_1$之后，即可得到回归方程：
$$\hat{y}={\beta }_0+{\beta }_1\hat{x}$$