【斯坦福《机器学习》笔记】[第9集] 学习理论——经验风险最小化

最新推荐文章于 2026-02-19 06:56:58 发布
原创 最新推荐文章于 2026-02-19 06:56:58 发布 · 469 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#机器学习 #学习理论 #经验风险 #训练误差 #泛化误差
博客围绕机器学习展开，涉及学习理论，重点探讨了经验风险、训练误差和泛化误差等内容，这些误差概念在机器学习中至关重要，影响着模型的性能和效果。


期望风险最小化、经验风险最小化、结构风险最小化
刘广鑫的博客
01-02 5569
本文为阅读《关于统计学习理论与支持向量机》论文笔记 风险最小化损失函数期望风险最小化经验风险最小化结构化风险最小化VC维推广性的界结构风险最小化 损失函数 损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。 有三类基本的机器学习问题 ,即模式识别、函数逼近和概率密度估计。 对模式识别问题 ,输出 y 是类别标号
机器学习理论 之 经验风险最小化（Empirical Risk Minimization）
Peace
02-19 2万+
  该理论探讨的是模型在training set上的error 与 generation error的关系。 训练模型时，需要多少个样本，达到什么精度，都是由理论依据的。 理论点： 偏差方差权衡（Bias/variance tradeoff） 训练误差和一般误差（Training error & generation error） 经验风险最小化（Empiried risk mi...
风险最小化原理
双杯献酒的专栏
04-07 1695
机器学习的“风险最小化原理”中， “风险”是指预测函数的预测结果与标记数据的结果之间的平均误差。 如果我们假设（超参数）在一组函数（函数类）F中， 寻找一个“效果最好的函数f”. 显然， 我们想要的是“泛化效果最好”， 也就是该函数对按概率分布的所有采样（无限的）误差最小。 一个显而易见的想法是， 把F中所有函数都应用于样本数据， 找出误差最小的那一个f。 这就是 “经验最小化原理...
学习理论之经验风险最小化——Andrew Ng机器学习笔记（七）
A_cainiao_A
01-06 6445
内容提要到现在监督式学习已经基本上学完了，这篇博客主要想写的是一些关于机器学习的理论，即什么时候用什么学习算法，什么样的学习算法有什么样的特点或者优点。在拟合的时候应该怎么选取拟合模型实际上是在欠拟合和过拟合之间做着权衡，我们训练集大小为多大时合适，最终得到的拟合函数效果怎么样，它的效果如何评价等等，下面我们主要介绍的经验风险最小理论，就是来回答这些问题。经验风险最小为了说明经验风险最小，我们首先介
学习理论_斯坦福CS229_学习笔记
11-07 673
Part VI 学习理论（Learning Theory） 在之前，我们主要对于常用的监督学习算法进行了阐述，现在做一个小小的回顾。 第1讲由回归问题常用的线性回归算法、分类问题常用的逻辑回归算法抛砖引玉，引出指数分布族以及广义线性模型，让我们明白线性回归与逻辑回归实则是广义线性模型在y建模于不同概率分布时的推导形式。 第2讲介绍了生成学习算法中常用的两个算法—高斯判别分析和朴素贝叶斯。...
斯坦福CS229机器学习笔记-Lecture9- Learning Theory 学习理论
朝花&夕拾
02-23 2128
声明：此系列博文根据斯坦福CS229课程，吴恩达主讲 所写，为本人自学笔记，写成博客分享出来           博文中部分图片和公式都来源于CS229官方notes。           CS229的视频和讲义均为互联网公开资源 Lecture 9 主要内容如下： · Bias/variance tradeoff （偏差/方差均衡） · Union Bound + Hoeffd...
【斯坦福---机器学习】复习笔记之经验风险最小化
ForLearning
09-16 4153
这一讲开始将是学习理论（Learning Theory）方面的内容.Bias/variance trade-off（偏差-方差权衡） 回到线性回归问题，如图： 泛化误差（generalization error）:可能出现的错误并不再已有的数据集中 上图中，左右两幅图的泛化误差都比较大. 左边是欠拟合（underfit）的，即使能够拟合很大一部分数据，但还是可能出现偏差（bias）.
斯坦福大学公开课机器学习课程（Andrew Ng）九经验风险最小化
一路前行
08-22 3444
课程概述： 1.偏差/方差（Bias/variance） 2.经验风险最小化（Empirical Risk Minization，ERM） 3.联合界引理与Hoeffding不等式 4.一致收敛（Uniform Convergence） 一、偏差/方差   偏差与方差对应的仍然是过拟合与欠拟合的问题，本篇主要解决的问题就在于构建一个模型，对何时出现过拟合和欠拟合进行说明
(斯坦福机器学习笔记)之经验风险最小化
万德1010的博客
02-07 1717
经验风险最小化这节课的内容全是算法，最终推导出了一个可供我们定性分析模型复杂度和所需最少训练样本数的关系的结论。 首先定义ϵ̂ (h)\hat{\epsilon}(h)定义为m个样本的平均误差,又叫训练误差，即ϵ̂ (hθ)=1m∑i=1kI{hθ(xi)≠yi}\hat{\epsilon}(h_{\theta})=\frac{1}{m}\sum\limits_{i=1}^{k}I\{h_{\th
斯坦福ML公开课笔记9—偏差/方差、经验风险最小化、联合界、一致收敛
雨石
09-27 1万+
本篇与前面不同，主要内容不是算法，而是机器学习的另一部分内容——学习理论。主要包括偏差/方差（Bias/variance）、经验风险最小化（Empirical Risk Minization，ERM）、联合界（Union bound）、一致收敛（Uniform Convergence）。 Ng对学习理论的重要性很是强调，他说理解了学习理论是对机器学习只懂皮毛的人和真正理解机器学习的人的区别。学习理论的重要性在于通过它能够针对实际问题更好的选择模型，修改模型。
] 斯坦福ML公开课笔记9——偏差/方差、经验风险最小化、联合界、一致收敛
pi9nc的专栏
09-30 4390
[置顶] 斯坦福ML公开课笔记9——偏差/方差、经验风险最小化、联合界、一致收敛 分类： 机器学习2013-09-27 20:29 184人阅读 评论(0) 收藏 举报 偏差方差联合界经验风险最小化一致收敛 本篇与前面不同，主要内容不是算法，而是机器学习的另一部分内容——学习理论。主要包括偏差/方差（Bias/variance）、经验风险最小化（Empirical Risk
斯坦福大学机器学习——误差理论（Error Theory）
热门推荐
linkin1005的专栏
01-09 3万+
一、偏倚（bias）和方差(variance) 在讨论线性回归时，我们用一次线性函数对训练样本进行拟合（如图1所示）；然而，我们可以通过二次多项式函数对训练样本进行拟合（如图2所示），函数对样本的拟合程序看上去更“好”；当我们利用五次多项式函数对样本进行拟合（如图3所示），函数通过了所有样本，成为了一次“完美”的拟合。 图3建立的模型，在训练集中通过x可以很好的预测y，然而
斯坦福CS229机器学习课程笔记六：学习理论、模型选择与正则化
diezhangu4106的博客
08-26 308
稍微了解有监督机器学习的人都会知道，我们先通过训练集训练出模型，然后在测试集上测试模型效果，最后在未知的数据集上部署算法。然而，我们的目标是希望算法在未知的数据集上有很好的分类效果（即最低的泛化误差），为什么训练误差最小的模型对控制泛化误差也会有效呢？这一节关于学习理论的知识就是让大家知其然也知其所以然。 学习理论 1.empirical riskminimization（经验风险...
机器学习第九课，经验风险最小化
u011826081的博客
12-01 789
本页博客基于对网上流传最广的斯坦福大学机器学习课程第九课的学习理解。别的课程笔记在网上已经有大批人做了，但是本课我在网上找了好久都没找到，只能自己做一个笔记以供大家简单学习记录。以下为我的课堂笔记： 第九节课主要是关于经验风险最小化问题
经验风险最小化
gracetrace9的博客
02-19 583
斯坦福机器学习课程之经验风险最小化，学习心得。 bias-variance trade-off（偏差-方差权衡） 欠拟合underfitting，偏差高 过拟合overfitting，方差高 训练误差e：在样本集中，错误分类训练样本所占的比例。训练误差也成为风险。 经验风险最小化（empirical risk minimization, ERM），就是
学习理论、模型选择、特征选择——斯坦福CS229机器学习个人总结（四）
Jiahe的博客
04-29 8445
这一份总结里的主要内容不是算法，是关于如何对偏差和方差进行权衡、如何选择模型、如何选择特征的内容，通过这些可以在实际中对问题进行更好地选择与修改模型。1、学习理论（Learning theory）1.1、偏差/方差（Bias/variance） 图一 对一个理想的模型来说，它不关心对训练集合的准确度，而是更关心对从未出现过的全新的测试集进行测试时的性能，即泛化能力（Generalization
斯坦福大学机器学习公开课视频及课件
wangzhengnb的专栏
04-17 4912
下面是这段时间学习机器学习时下载的一些视频学习资料，斯坦福这套机器学习公开课是其中相当牛X的一个。  公开课的教授Andrew Ng不得不提，能够把很抽象的机器学习过程讲得很清楚，小弟看了这套公开课资料表示那真叫一个受益匪浅啊。  Andrew Ng前段时间好像还到THU和百度做讲座来着。  这算是机器学习一套非常适合入门(不过到了后面也相当深)的敲门砖，不过一定一定记住要对着andrew
吴恩达的斯坦福机器学习完整课件及深度学习拓展
weixin_35794316的博客
07-07 745
机器学习（Machine Learning, ML）是人工智能的一个分支，它提供了一种让计算机通过经验自动学习和改进性能的方法，无需进行明确的编程。在机器学习中，计算机学习算法使用数据或以往的经验来改善性能。这种自动化的学习能力让机器能够识别出数据中的复杂模式，并且做出预测或决策。
斯坦福CS229课程笔记：机器学习中的损失函数详解
最新发布
gitblog_00593的博客
02-19 593
斯坦福CS229课程笔记的中文翻译项目为机器学习学习者提供了全面的理论基础，其中损失函数作为模型优化的核心工具，直接影响算法性能与训练效果。本文将结合斯坦福CS229课程讲义，深入解析机器学习中常见损失函数的原理、应用场景及实践意义，帮助新手快速掌握这一关键概念。 ## 损失函数的核心作用与基本特性 在机器学习中，损失函数（Loss Function）是衡量模型预测值与真实标签之间差异的量化指
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值