一起来读西瓜书：第十一章 特征选择与稀疏学习

过滤式方法先对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器无关。这相当于先用特征选择过程对初始特征进行 “过滤”，再用过滤后的特征来训练模型。换而言之，过滤式特征选择是一种在特征选择过程中独立于具体机器学习模型的方法。与过滤式特征选择不考虑后续学习器不同，包裹式特征选择直接把最终将要使用的学习器的性能作为特征子集的评价准则。换言之，包裹式特征选择的目的就是为给学习器选择最有利于性能、“量身定做” 的特征子集。嵌入式特征选择。

11.1 编程实现 Relief 算法，并在西瓜数据集上测试。 Relief 是过滤式特征选择算法，根据设计的 “相关统计量” 来度量特征的重要性。该方法和后续的学习器无关，只根据数据集就可完成特征选择。相关的思想理论介绍见书P249-250 代码实现如下： import pandas as pd import numpy as np class Relief: def read...

对于1个学习任务来说,给定属性集,其中有些属性可能很关键、很有用，另一些属性则可能没什么用，我们将属性称为“特征”(feature),对当前学习任务有用的属性称为“相关特征”(relevant feature)、没什么用的属性称为“无关特征”(irrelevant feature).进行特征选择的原因：特征选择有两个环节，子集搜索是一种在特征选择中常用的策略，主。

机器学习 总目录 第十一章 特征选择与稀疏学习 11.1 子集搜索与评价 给定属性集，其中有些属性可能很关键、很有用，另一些 属性则可能没什么用.我们将属性称为"特征" (feature)： 对当前学习任务有 用的属性称为"相关特征" (relevant feature)、 没什么用的属性称为"无关特征" (irrelevant feature). 从给定的特征集合中选择出相关特征子集的过程，...

一般而言，由于包裹式特征选择方法直接针对给定学习器进行优化，因此从最终学习器性能来看，包裹式特征选择比过滤式特征选择更好，但另一方面，由于在特征选择过程中需多次训练学习器，因此包裹式特征选择的计算开销通常比过滤式特征选择大得多。因此，在实际应用中，需要根据问题的特点和计算资源的可用性来权衡使用包裹式特征选择的利弊。与过滤式特征选择不考虑后续学习器不同，包裹式特征选抒直接把最终将要使用的学习器的性能作为特征子集的评价准则换言之，包裹式特征选择的目的就是为给定学习器选择最有利于其性能、"量身定做"的特征子集。

第十一章   特征学习与稀疏学习https://stackedit.io/editor#1 子集搜索与评价 我们能用很多属性描述一个西瓜：色泽、根蒂、敲声、纹理、触感等！ 根蒂、敲声！ 属性⟺\iff 特征(feature)={相关特征(relevantfeature)无关特征(irrelevant)特征(feature)=\begin{cases} 相关特征(relevant

可以想象你在玩飞镖游戏，飞镖扎在靶盘上的位置有很多变化，PCA 就是要找到飞镖分布最分散的方向，把这些方向作为新的 “坐标轴”，然后把飞镖的位置都投影到这些新坐标轴上，这样就能用更少的 “坐标” 来表示飞镖的位置，实现了降维。通过给计算机很多鸟类图片进行训练，虽然不能保证计算机对每一张新的鸟类图片都能准确识别，但是我们可以通过调整训练数据的数量、模型的复杂度等，让计算机在大多数情况下（比如 90% 的情况）都能正确识别鸟类，这就是 PAC 学习所追求的，在一定概率下得到近似正确的结果。

分别计算每个分量，最终取平均便得到了整个相关统计量，分量值越大，对于属性的分类能力越强（越是相关特征）。目的：为普通稠密表达的样本找到合适的字典，将样本转化为合适的稀疏表示形式（稀疏编码），从而简化学习任务，降低模型复杂度。包裹式从初始特征集合中不断的选择特征子集，训练学习器，根据学习器的性能来对子集进行评价，直到选择出最佳的子集。初始的d个特征中仅有对应着w的非零分量的特征才会出现在最终模型中，于是求解L1范数正则化的结果是得到了。③特征子集的重要性则是由子集每个特征所对应的相关统计量分量之和决定的。

机器学习西瓜书——特征选择与稀疏表示子集搜索与评价过滤式包裹式嵌入式选择和L1正则化稀疏表示与字典学习压缩感知 子集搜索与评价 相关特征和无关特征，冗余特征。进行特征选择是一种数据预处理（data preprocessing） 如何进行特征选择，三种思考方式， 从全部特征逐个去除，直到无法得更好的特征为止，这种方式称为后向搜索； 选取一个特征子集，然后逐个增加特征，直到无法获得更好的特征子集，这...

chapter 11 特征选择与稀疏学习 11.1 子集搜索与评价 给定属性集，其中有些属性可能很关键，而另一些属性可能没什么用，我们将属性称为“特征”，对当前学习任务有用的属性称为“相关特征”，没什么用的称为“无关特征”，从给定的特征集合中选择出相关特征子集的过程，称为“特征选择”。 特征选择是重要的数据预处理过程，在现实机器学习任务中，获得数据后通常先进行特征选择，此后再训练学习器，那么为何要...

第十一章 特征选择与稀疏学习 此系列文章旨在提炼周志华《机器学习》的核心要点，不断完善中… 11.1 子集搜索与评价 1、一些概念 特征/相关特征/无关特征 冗余特征：所包含的信息能从其他特征中推演出来（多数时候不起作用，除去以减轻学习负担，但有时会降低学习任务的难度） 2、特征选择的原因：减轻维数灾难，降低学习难度 3、特征选择方法本质 特征子集搜索机制(subset search)（贪心策...

本文系统介绍了特征选择与稀疏学习的关键技术。特征选择根据与任务相关性将特征分为相关、无关和冗余三类，其核心是通过子集搜索（前向/后向/双向）和评价（如信息增益）筛选特征子集。主要方法包括：过滤式（如Relief算法快速评估）、包裹式（依赖学习器性能）和嵌入式（如L1正则化实现特征稀疏）。稀疏学习通过稀疏表示和字典学习（如KSVD算法）高效处理高维数据，在存储优化和特征提取中发挥重要作用。这些方法共同解决了维度灾难问题，提升了模型效率和可解释性。

特别是监督学习方法，包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与最大熵模型、支持向量机、提升方法、em算法、隐马尔可夫模型和条件随机场等。叙述从具体问题或实例入手，由浅入深，阐明思路，给出必要的数学推导，便于读者掌握统计学习方法的实质，学会运用。第3部分为进阶知识，内容涉及特征选择与稀疏学习、计算学习理论、半监督学习、概率图模型、规则学习以及强化学习等。全书的内容包括3个部分：第1部分介绍基本的数学工具和机器学习的概念，它们是深度学习的预备知识；1、超详细的人工智能学习路。

5. 稀疏表示与字典学习将数据集D表示为矩阵，每一行对应一个样本，每列对应于一种特征。特征选择所考虑的问题是特征具有稀疏性：即矩阵中的许多列与当前学习无关，通过特征选择去掉这些列，难度有所降低，计算开销减小，模型的可解释性提高。 模型的输入因素减少了，模型建立的输入输出关系会更清晰。 现在看另一种“稀疏性”：D对应的矩阵存在很多零元素，杂乱分布，而非整行整列的形式。比如文档分类中，每行是一个文档

特征选择 特征选择是一个重要的数据预处理过程，去除不相关的属性，可以减轻维数灾难，并且降低学习任务的难度。 1、子集搜索 2、子集评价 稀疏表示与字典学习 压缩感知

https://blog.csdn.net/icefire_tyh/article/details/52064910 机器学习(周志华西瓜书)参考答案总目录 从刚开始学习机器学习到现在也有几个月了，期间看过PDF，上过MOOC，总感觉知道一点了又不是特别明白，最后趁某东买书大减价弄了几本相关的书来看看，其中一本就是西瓜书。一口气看了前10章，感觉每章内容都很少，看完感觉还是和以前一样。每章的习题都...

通过这周对西瓜书第十一章的学习，记录笔记如下：

西瓜书”与“南瓜书”的组合为广大的机器学习爱好者提供了一个从入门到精通的有效途径。前者构建了坚实的理论基础，后者则在此基础上进一步深化理解，二者相辅相成，共同助力于推动中国乃至全球范围内机器学习教育事业的发展。如果您正在寻找一本既能满足初学者需求又能引导您走向更高层次的专业书籍，那么“西瓜书”加上“南瓜书”无疑是一个非常理想的选择.