Stanford机器学习课程笔记——LR的公式推导和过拟合问题解决方案

最新推荐文章于 2026-06-24 11:37:06 发布
原创 最新推荐文章于 2026-06-24 11:37:06 发布 · 1.6w 阅读 · 11
标签
#逻辑回归 #梯度下降法 #过拟合 #正则项 #惩罚项
这篇博客详细介绍了斯坦福大学机器学习课程中的逻辑回归（Logistic Regression）概念，包括LR的S型函数假设模型、代价函数的设定原因及其非凸性质，以及梯度下降法的公式推导。此外，还探讨了解决过拟合问题的两种方法：降维（如PCA）和正则化，特别是在LR中如何通过正则项来防止过拟合，并解释了正则化对参数的影响。

Stanford机器学习课程笔记——LR的公式推导和过拟合问题解决方案

    

1. Logistic Regression


    前面说的单变量线性回归模型和多变量线性回归模型，它们都是线性的回归模型。实际上，很多应用情况下，数据的模型不是一个简单的线性表示就可以搞定的（后面的稀疏表示和字典学习又再次回到的线性表示，当然这个是后话）。更多的时候，我们需要建立一个非线性的模型。此时，Logistic Regression就诞生了。

    LR的假设模型：

    前面的线性模型都是线性方程作为假设模型，这里的LR使用的逻辑函数，又称为S型函数。





为什么使用这个逻辑函数呢？其实后面有着既内涵有巧妙地原因：

  • 这个函数对于给定的输入变量，会根据选择的参数计算输出变量=1的可能性，，也就是说它的输出表示概率，都是0到1之间；
  • 该S型假设模型函数融入到后面的代价函数中之后，在梯度下降法中求
最低0.47元/天 解锁文章
LR（logistic regression）逻辑回归Loss和梯度的推导及与Linear Regression的区别
taoqick的专栏
11-02 2782
LR太简单了，简单到经常被用，但是很多推导仍然迷糊的程度，这篇主要用来总结一下。 线性回归的表达式： f(x)=wTx+bf(x)=w^Tx+bf(x)=wTx+b 由于带一个b，我们可以令x′=[1,x]Tx'=[1, x]^Tx′=[1,x]T，同时w′=[b,w]Tw'=[b, w]^Tw′=[b,w]T，这样直线方程就可以简化成 f′(x)=w′Txf'(x)=w^{'T}xf′(x)=w...
【机器学习】面试常见问题1 LR、过拟合，欠拟合、损失函数、激活函数
学无止境
06-26 961
过拟合的处理方法、常见的损失函数、常见的激活函数、分类问题为什么不用MSE，而是要用交叉熵、逻辑回归是一个分类算法，那么它是在回归什么呢？ Sigmoid，ReLU,Softmax . 用了MSE后非凸，不好求全局最小值 >2. 对于错误分类的惩罚很小，即使完全分错 >3. 梯度消失
一文搞定注意力机制（Attention）
顺其自然~专栏
04-18 395
注意力机制是指人类的神经系统在面对复杂的感知信息时，通过选择性的关注和集中注意力来处理特定的刺激。注意力机制可以帮助我们过滤掉不相关或无用的信息，并专注于重要的刺激、任务或目标。这种机制可以通过自主调控或受到外界环境的影响而发生变化。例如，注意力可以集中于一个特定的刺激或任务，也可以在多个刺激之间进行转移和分配。注意力机制在认知过程中起着重要的作用，影响感知、思维、决策和行为等方面的表现。基于注意力机制的深度学习，核心在于让机器学会去感知数据中的重要和不重要的部分。或者说。
【机器学习算法笔记系列】逻辑回归(LR)算法详解和实战
Mr_Robert的博客
03-29 1万+
逻辑回归(LR)算法概述 逻辑回归（Logistic Regression）是用于处理因变量为分类变量的回归问题，常见的是二分类或二项分布问题，也可以处理多分类问题，它实际上是属于一种分类方法。 逻辑回归算法原理 预测函数和决策边界 逻辑回归的预测函数可以表示为： 举一个例子，假设我们有许多样本，并在图中表示出来了，并且假设我们已经通过某种方法求出了LR模型的参数（如下图）： 这时，直线上方所...
逻辑回归（LR）公式推导及代码实现
aift的专栏
04-07 2579
文章目录构造hypothesis构造损失函数通过“梯度下降法”求参数 θ\thetaθ 的更新式代码实现 逻辑回归是用来解决分类问题用的，与线性回归不同的是，逻辑回归输出的不是具体的值，而是一个概率。除去了sigmoid函数的逻辑归回和线性回归几乎是一样的。 构造hypothesis 逻辑回归的HHH可以看做是一个线性回归方程的结果经过一个sigmoid函数得到的结果（为正样本的概率），逻辑回归的...
过拟合的原因以及解决办法（深度学习）
热门推荐
大黄的博客
12-02 5万+
过拟合：模型在训练集上表现的非常好，但在测试集的数据下表现很差。 具体观察loss函数就是，train loss一直降低，而test loss先降低，而后随着epoach的增加，而不断增加。 过拟合的原因： 1.训练数据太少（比如只有几百组） 2.模型的复杂度太高（比如隐藏层层数设置的过多，神经元的数量设置的过大），举个简单的例子，你的模型是高射炮，结果你的数据是蚊子，这不就很扯淡了吗。 过拟合的解决方案： 解决过拟合问题有两个方向： 降低参数空间的维度或者降低每个维度上的有效规模（eff
LR的公式推导和过拟合问题解决方案
Britesun的博客
10-09 1680
原文链接 Stanford机器学习课程笔记——LR的公式推导和过拟合问题解决方案      1. Logistic Regression     前面说的单变量线性回归模型和多变量线性回归模型，它们都是线性的回归模型。实际上，很多应用情况下，数据的模型不是一个简单的线性表示就可以搞定的...
Stanford机器学习课程笔记——SVM
bigfacesafdasgfewgf
01-29 1585
Stanford机器学习课程笔记——SVM          前面已经学习过SVM，写了几片博文，如下： 入门SVM：http://blog.csdn.net/puqutogether/article/details/39894835 SVM中的线性不可分情况：http://blog.csdn.net/puqutogether/article/details/41309745 SVM中的
Stanford机器学习课程笔记——神经网络学习
bigfacesafdasgfewgf
01-28 1137
Stanford机器学习课程笔记——神经网络学习          前面引入了神经网络的概念，也说了如何通过输入层、中间层和输出层来表示一个神经网络，也说了如何通过前向传递来得到每一层的元素，最后可以得到输出层的假设。     这一篇中，我们来学习如何通过神经网络来训练它，具体而言，如何通过代价函数来学习每一层的每一个元素。     要完成神经网络的学习需要有如下两个步骤： 1）
xuexi
周红伟讲AI
08-18 352
 Stanford机器学习课程笔记——LR的公式推导和过拟合问题解决方案      1. Logistic Regression     前面说的单变量线性回归模型和多变量线性回归模型，它们都是线性的回归模型。实际上，很多应用情况下，数据的模型不是一个简单的线性表示就可以搞定的（后面的稀疏表示和字典学习又再次回到的线性表示，当然这个是后话）。更多的时候，我们需要建立一个非线性的
Andrew Ng Stanford机器学习公开课 总结(5) Lecture 5 高斯判别分析和朴素贝叶斯
weixin_40901056的博客
07-21 498
layout: post title: Andrew Ng Stanford机器学习公开课 总结（5） subtitle: Lecture 5 高斯判别分析和朴素贝叶斯 date: 2019-07-19 author: ZhangWenXiang header-img: img/post-bg-cook.jpg catalog: true tags: -...
机器学习实战书单：9本通过代码验证的工程师工具书
最新发布
weixin_30415113的博客
06-24 187
机器学习不是纯数学推演，也不是API调用堆砌，而是理论、代码与工程落地的三角闭环。理解梯度下降的链式法则如何映射到autograd，掌握PyTorch DataLoader的num_workers参数为何设为CPU核心数减一，是工程师突破‘知道但不会改bug’瓶颈的关键。这类能力依赖于具备数学可验证性、代码即时可运行、项目真实可部署的高质量学习资源。本文聚焦2022年实测筛选出的9本高时效性、强实践性的ML书籍，覆盖从线性回归脚本速启、模型可解释性交付，到大模型底层逻辑迁移等典型技术路径，特别适配在职工程师
机器学习资源集合初探
gdamichael的博客
06-28 244
最近在看机器学习的内容，买了西瓜书，TF 实战 Google深度学习框架。还是从大神的视频开始看吧，在网易云课堂上有视频，然后又找到下面的笔记，合起来看比较好。贺完结！CS231n官方笔记授权翻译总集篇发布 - 智能单元 - 知乎专栏  https://zhuanlan.zhihu.com/p/21930884网上果然资源多，又找到这个* UFLDL(Unsupervised Feature Le...
2025年ML工程师必修课：DPO与微调实战精要
weixin_30266885的博客
06-16 443
微调（Fine-tuning）已从模型适配手段演进为连接大模型能力与业务逻辑的核心工程范式。其原理在于通过低秩更新、偏好对齐或提示注入等方式，在冻结基座模型的前提下，将领域知识、合规约束与业务KPI可微分地嵌入权重空间；技术价值体现在资源可控（如QLoRA压缩显存70%）、迭代敏捷（DPO训练耗时缩短96%）、审计可信（LoRA权重差分可追溯）三大维度；典型应用场景覆盖金融风控、医疗文书生成、工业质检等强规则、小样本、高合规要求领域；而DPO作为2025年主流微调范式，正凭借绕过reward model、直
Stanford机器学习---第八讲. 支持向量机SVM
11-17 221
本栏目（Machine learning）包括单参数的线性回归、多参数的线性回归、Octave Tutorial、Logistic Regression、Regularization、神经网络、机器学习系统设计、SVM（Support Vector Machines 支持向量机）、聚类、降维、异常检测、大规模机器学习等章节。所有内容均来自Standford公开课machine learning
用Google图片搜索反向挖掘数据科学学习资源
记录技术点点之路
06-15 455
在数据科学学习中，技术图表（如算法流程图、模型结构图、公式推导图）是比文字更高效的知识载体，因其具备高信息密度、低语义歧义和强视觉锚定特性。Google图片搜索通过CNN提取图像的纹理、布局与关系特征，实现跨术语、跨语言、跨媒介的视觉语义检索，有效解决‘记不住准确关键词’‘搜不到原始出处’‘文字描述失真’等典型痛点。该能力本质是将非结构化视觉内容转化为可溯源、可验证、可复用的学习资产，广泛应用于新人自学、教学素材定位、技术文档审计及企业知识库构建。本文聚焦Google图片搜索在数据科学领域的反向检索原理与工
机器学习研究员的真实工作流：数据工程、工具链与职业生存指南
weixin_34228387的博客
06-17 394
机器学习研究员的核心能力远不止模型设计与论文写作，而是扎根于数据工程、系统调试与跨领域协作等基础技术实践。从数据清洗、基线复现到分布式训练排障，真实工作80%时间消耗在数据管道构建、工具链适配与生产环境落地等‘脏活’上。这些环节直接受限于数据质量、框架版本兼容性、硬件拓扑与部署算子支持度等底层因素。掌握数据血缘追踪、梯度流可视化、混合精度通信优化等硬技能，不仅能提升实验效率，更是保障模型从实验室走向工业场景的关键。本文聚焦ML研究员在实际项目中高频遭遇的数据加载瓶颈、DDP同步失效、Triton部署崩溃等典
读TextRCNN文章
huangqihao723的博客
04-28 371
refer：https://arxiv.org/pdf/1605.05101.pdfRecurrent Neural Network for Text Classification with Multi-Task Learning
别再为代码查重发愁了！手把手教你用斯坦福MOSS免费搞定（附Linux/Perl配置避坑指南）
weixin_30703911的博客
06-05 310
本文详细介绍了如何使用斯坦福MOSS工具进行代码查重，包括Linux/Perl环境的配置、邮件注册技巧、文件编码转换及高级参数组合。通过实战案例和避坑指南，帮助开发者快速搭建零成本的自动化查重方案，适用于学术竞赛和课程作业等场景。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值