本文深入探讨线性回归的基础知识，包括模型函数与损失函数的概念，详细介绍梯度下降法及最小二乘法等优化算法，并讨论了多项式回归、广义线性回归等扩展应用，最后介绍了用于防止过拟合的L1和L2正则化方法。
目录
一、线性回归的模型函数和损失函数：
二、线性回归的算法：
1.梯度下降法：
2.最小二乘法：
【机器学习】＜刘建平Pinard老师博客学习记录＞最小二乘法_故里的博客-CSDN博客目录一、最小二乘法的原理与解决的问题：二、最小二乘法代数解法：三、最小二乘法的矩阵解法：四、最小二乘法的局限性和适用场景：最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。一、最小二乘法的原理与解决的问题：最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，当然发现的过程是非常艰难的。形式如下式：观测值就是我们的多组样...
https://blog.csdn.net/weixin_52058417/article/details/122030332?spm=1001.2014.3001.5501
当然线性回归，还有其他的常用算法，比如牛顿法和拟牛顿法，这里不详细描述。
三、线性回归的推广：多项式回归
四、线性回归的推广：广义线性回归
五、线性回归的正则化：
为了防止模型的过拟合，我们在建立线性模型的时候经常需要加入正则化项。一般有L1正则化和L2正则化。
线性回归的正则化-Lasso回归：
除了上面这两种常见的线性回归正则化，还有一些其他的线性回归正则化算法，区别主要就在于正则化项的不同，和损失函数的优化方式不同，这里就不累述了。
线性回归原理小结 - 刘建平Pinard - 博客园 (cnblogs.com)
https://www.cnblogs.com/pinard/p/6004041.html
扫一扫
7036
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
