周志华机器学习（西瓜书）第二章模型评估与选择

最新推荐文章于 2024-08-29 22:42:35 发布
原创 最新推荐文章于 2024-08-29 22:42:35 发布 · 687 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#机器学习 #深度学习 #人工智能
本文介绍了机器学习中两种误差——训练误差与泛化误差的概念，并详细解释了三种常用的评估方法：留出法、交叉验证法和自助法。此外还讨论了错误率、查准率、查全率、PR曲线、F1值及ROC曲线等性能度量指标。
Python3.8

Python3.8

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

（一）两种误差

1.训练误差（经验误差）：样本的测试集（样本的一部分，测试集有不同划分方法）的误差

2.泛化误差：新样本上的误差

（二）评估方法（或者说是测试集的选取方法）

1.留出法

分层采样，使训练集和测试集类别比例尽量一样。

适用于数据较多的情况。

2.交叉验证法

k折交叉验证，分k组，每次用k-1个组作为训练集，一组作为测试集（k个组都会轮一遍，所以是k次）。

适用于数据较多的情况。

ps:10次10折交叉验证法和100次留出法都是训练/测试一百次

3.自助法

从含有m个数据的样本集D随机不放回取样m个，形成新样本集D'，D'作为训练集，D\D'作为测试集。

适用于数据较少的情况。

（三）性能度量

1.错误率与精度

精度=1-错误率

2.查准率与查全率（见书上公式2.8和2.9）

查准率：预测的正例中有多少预测对了（是真正的正例）

查全率：真正的正例中有多少被模型预测出来了

PR曲线：y轴：查准率 x轴:查全率

平衡点（BEP）：查准率=查全率 的点

F1：见P32公式

3.ROC：

纵轴—真正例率TPR：正例中有多少被检测出

横轴—假正例率FPR：反例中有多少没被检测出（被模型判定为正例）

AUC：RUC曲线的面积

您可能感兴趣的与本文相关的镜像

Python3.8

Python3.8

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

周志华机器学习西瓜书第二章 模型评估与选择学习笔记
最新发布
Sodas的博客
01-17 1402
西瓜书第二章，加入了很多自己的理解。
【机器学习】(西瓜书)第1章 绪论 & 第2章 模型评估与选择
admin11111111的博客
03-16 1040
一、 绪论 1. 什么是机器学习（Machine Learning）？ 致力于研究如何通过计算的手段，利用数据（经验）来改善系统自身的性能。 主要研究内容：是关于在计算机上从数据中产生“模型”（model）的算法，即“学习算法”（learning algorithm）——将经验数据提供给学习算法，学习算法就能基于数据产生模型；在面对新的情况时，模型会给我们提供相应的判断。（模型泛指数据中学到的结果。） 2. 基本术语 data set: 数据集，数据记录的集合。 sample(or ins.
西瓜书第二章（网上博客整理）
GodNotAMen的博客
01-17 449
2.4比较检验（可以理解其中的二项检验） https://blog.csdn.net/BLvren_/article/details/88170770 2.5偏差与方差 https://blog.csdn.net/weixin_40549144/article/details/86764031 3.2-1线性回归中的损失函数（最小二乘法） https://blog.csdn.net/al...
周志华西瓜书《机器学习笔记》学习笔记第二章《模型的评估与选择》
Yolo的博客
12-02 2227
本章是西瓜书的第二章，周志华老师在这一部分基础对机器学习中的基础知识进行介绍，主要阐述了误差、过拟合的相关概念和模型的评估度量方法。 博主在今年元旦之后就要正式开始做毕业设计了，所以我会努力在今年元旦假期结束之前把西瓜书的所有内容更新。也希望大家可以监督我嘻嘻。 一、经验误差与过拟合 错误率： 分类错误的样本数占样本总数的比例称为“错误率”，即如果我们在mmm个样本中有aaa个样本分类错误，...
《机器学习》周志华 第二章——模型评估与选择笔记
weixin_43840011的博客
02-14 836
3、贝叶斯优化：对目标函数的形状进行学习，找到使得目标函数向全局最优提升的参数，每一次用新的采样点测试目标函数时候，利用信息来更新目标函数的先验分布，但贝叶斯算法容易陷入局部最优，在局部反复采样。我们可根据学习器的预测结果对样例进行排序,排在前面的是学习器认为“最可能”是正例的样本,排在最后的则是学习器认为“最不可能”是正例的样本.按此顺序逐个把样本作为正例进行预测,即可计算出计算出当前的查全率、查准率.计算适应度：计算每个个体的适应度，即目标函数的值，如机器学习模型的准确率或损失函数。
（读书笔记）周志华-机器学习-第二章 模型评估与选择
Aylson的博客
08-08 1545
1.错误率（分类错误的样本数占样本总数的比例），即如果在 m 个样本中有α个样本分类错误，则错误率E=α/m;2.精度（1-错误率）即1-a/m；3.误差（学习器的实际预测输出与样本的真实输出之间的差异）；训练误差/经验误差（学习器在训练集上的误差）；泛化误差（在新样本上的误差）；我们实际希望的，是在新样本上能表现得很好的学习器.为了达到这个目的，应该从训练样本中尽可能学出适用于所有潜在样本的"普遍规律"，这样才能在遇到新样本时做出正确的判别。基于这个会出现“过拟合”和“欠拟合”两种现象。
《机器学习》周志华(西瓜书)学习笔记 第二章 模型评估与选择
sdm12345的博客
05-11 2073
第二章 模型评估与选择
机器学习理论 | 周志华西瓜书 第二章：模型评估与选择
Tinky2013的博客
03-20 509
第二章：模型评估与选择 此系列文章旨在提炼周志华《机器学习》的核心要点，不断完善中… 2.1 经验误差与过拟合 错误率与精度 错误率：分类错误的样本占样本总数的比例：E=a/mE=a/mE=a/m 精度：1−a/m1-a/m1−a/m 误差：训练误差/经验误差（训练集）；泛化误差（测试集） 过拟合与欠拟合 过拟合不可避免：PPP ≠ NPNPNP（算法多项式时间、问题NP-hard；不可完全通...
周志华机器学习西瓜书学习笔记（二）上 | 第二章：模型评估与选择
2201_75859438的博客
08-29 1754
在进行比较时，若一个学习器的P-R曲线被另一个学习器的曲线完全“包住”,则可断言后者的性能优于前者，例如图2.3中学习器A的性能优于学习器C;在很多情形下，我们可根据学习器的预测结果对样例进行排序，排在前面 的是学习器认为“最可能”是正例的样本，排在最后的则是学习器认为“最 不可能”是正例的样本，按此顺序逐个把样本作为正例进行预测，则每次可以 计算出当前的查全率、查准率，以查准率为纵轴、查全率为横轴作图，就得到 了查准率-查全率曲线，简称“P-R曲线”,显示该曲线的图称为“P-R图”这样的测试结果，亦称。
机器学习(西瓜书) 1-5章回顾
Weary_PJ的博客
09-17 1050
数据挖掘1-5章复习 文章目录数据挖掘1-5章复习第一章 绪论基本术语假设空间版本空间NFL定理第二章 模型评估与选择 准备一下开学的考试复习 第一章 绪论 基本术语 特征 标记 训练集 测试集 监督学习 分类 回归 无监督学习 聚类 泛化能力 假设空间 所有属性的可能性（可能取值）组合形成的假设（假设*，*，*为好瓜），组成假设空间 例如: 色泽属性可取（青绿，乌黑，浅白，*） 根蒂属性可取（蜷缩，稍蜷，硬挺，*） 敲声属性可取（浊响，清脆，沉闷，*） 以及
西瓜书第二章笔记及答案——模型评估与选择
qq_41889342的博客
12-22 3525
第2章 模型评估与选择 2.1经验误差与过拟合 错误率error rate：分类错误的样本占总样本的比例 精度accuracy：1-错误率 误差error：实际预测输出与真是输出之间的差异，在训练集上的误差成为训练误差training error或经验误差empirical error，在新样本上的误差成为泛化误差generalization error 训练的最终目标是获得较小的泛化误差，但是实际能做的是努力使训练误差较小，然而经验误差小的模型，其泛化误差不一定小。 为了获得较小的泛化误差，需要从训练集上
“西瓜书核心知识点”---第二章：模型评估与选择
多敲代码！
01-23 2515
1.错误率(error rate)： 分类错误的样本占样本总数的比例， 精度=1-错误率。 误差：学习器的实际预测输出与样本真是输出之间的差异。 训练误差or经验误差：学习器在训练集上的误差。 泛化误差：学习器在新样本上的误差。泛化误差越小越好。学的“太好了”（将训练样本本身的特点当成所有样本都会有的一般性质）就会导致泛化能力下降，即“过拟合”。“欠拟合”：对训练样本的一般性质尚未学好。 2.评估泛化误差：使用“测试集”来测试学习器对新样本的判别能力，得到“测试误差”即近似为“泛化误差”。 注意：测试集样
周志华-西瓜书笔记(第二章)上
zhuguanzhong的博客
04-21 404
误差：学习器的实际预测输出与样本的真实输出之间的差异。而误差又分为训练误差（经验误差）和泛化误差，我们在训练过程中以降低训练误差为目标这样会导致过拟合的发生，显然训练误差不能作为衡量模型的性能的标准，所以我们还需要求得泛化误差来衡量模型的性能。 过拟合和欠拟合：在训练集表现的很好，但是泛化误差却很大的情况叫做过拟合。在训练集上表现的都很差的是欠拟合。目前欠拟合很好处理，但是过拟合才是目前面临的关...
西瓜书第二章总结
ljm_99的博客
10-12 521
文章目录模型的评估与选择2.1 误差与过拟合 模型的评估与选择 2.1 误差与过拟合 我们将学习器对样本的实际预测结果与样本的真实值之间的差异成为：误差（error）。定义： 在训练集上的误差称为训练误差（training error）或经验误差（empirical error）。 在测试集上的误差称为测试误差（test error）。 学习器在所有新样本上的误差称为泛化误差（generalization error）。 显然，我们希望得到的是在新样本上表现得很好的学习器，即泛化误差小的学习器。因此，我们
西瓜书第二章学习笔记
UEVOLIshy的博客
06-20 1646
文章目录知识脉络详解与补充2.2节 评估方法2.3节 性能度量2.4节 比较检验 知识脉络 详解与补充 2.2节 评估方法 测试样本假设：从样本真实分布独立同分布采样而得。 分层采样：保留类别比例的采样方式，来保持样本类别比例类似的划分手段。 单次留出法往往不够稳定可靠，需要多次随机划分、重复进行实验评估后取平均值作为结果。 一般而言，测试集最少包含30个样例 留一法缺点补充：由于“没有免费午...
西瓜书学习笔记第2章（模型评估与选择）
zik的博客
04-09 1830
西瓜书学习笔记第二章（模型评估与选择） 2.1经验误差与过拟合 2.2评估方法 2.2.1留出法（hold-out） 2.2.2交叉验证法（cross validation） 2.2.3自助法（bootstrapping） 2.2.4调参与最终模型 2.3性能度量（performance measure） 2.3.1错误率与精度 2.3.2查准率、查全率与F1 2.3.3ROC 与 AUC 2.3.4代价敏感错误率与代价曲线 2.4比较检验 2.4.1假设检验 2.4.2交叉验证t检验 2.4.3McNem
周志华—机器学习学习记录（第二章）
heatrain的博客
09-23 594
第二章 模型评估与选择 数据集的划分 数据集的划分：训练集大约占样本的2/3~4/5 bootstrap部分。给定一个包含m个样本的数据集D，采样产生数据集D'，每次有放回地从D中取一个样本放入D'，样本在m次采样中始终不被采到的概率是，取极限得到 这样大约有36.8%的样本未出现在D'，D’作为训练集，D-D‘作为测试集，这样训练集也大约占了2/3 bootstrap方法适用...
周志华 机器学习笔记 第二章
weixin_39970417的博客
05-14 1161
名词解释：训练误差：学习器在训练集上的误差误差：学习器的实际预测输出与样本的真实输出之间的差异错误率：把分类错误的样本数占样本总数的比例泛化误差:在新样本上的误差过拟合:当学习器把训练样本学得"太好"了的时候，很可能巳经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降这种现象在机器学习中称为"过拟合" (overfitting). 误差评估方法："留出法" (...
周志华《机器学习》第二章 - 模型评估与选择
lens_的博客
05-12 2284
第二章 - 模型评估与选择1、课程笔记1.1 经验误差与过拟合1.2 评估方法1.2.1 留出法1.2.2 交叉验证法 1、课程笔记 1.1 经验误差与过拟合 我们将学习器对样本的实际预测结果与样本的真实值之间的差异成为：误差（error）。定义： 在训练集上的误差称为训练误差（training error）或经验误差（empirical error）。 在测试集上的误差称为测试误差（test ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值