西瓜书学习——第十一章特征选择与稀疏学习

5. 稀疏表示与字典学习将数据集D表示为矩阵，每一行对应一个样本，每列对应于一种特征。特征选择所考虑的问题是特征具有稀疏性：即矩阵中的许多列与当前学习无关，通过特征选择去掉这些列，难度有所降低，计算开销减小，模型的可解释性提高。 模型的输入因素减少了，模型建立的输入输出关系会更清晰。 现在看另一种“稀疏性”：D对应的矩阵存在很多零元素，杂乱分布，而非整行整列的形式。比如文档分类中，每行是一个文档

题目 从网上下载或自己变成实现衣蛾卷积神经网络，并在手写字符识别数据MNIST上进行试验测试。 代码直接从“python深度学习”这本书上copy下来的，用的是keras框架。以前看过，以后若有需要再细看这里的内容。 代码 from keras import layers from keras import models from keras.datasets import mnist from ...

11.特征选择与稀疏学习 11.1.子集搜索与评价 处理高维数据的两大主流技术：降维与特征选择。 降维从一定程度起到了提炼优质低维属性和降噪的效果，特征选择则是直接剔除那些与学习任务无关的属性而选择出最佳特征子集。 先介绍几个概念 “特征”（feature）：属性 “相关特征”（relevant feature）：对当前学习任务有用的属性 “无关特征”（irrelevant feature）：对当前学习任务没什么用的属性 “特征选择”（feature selection）：从给定的特征集合中

对于1个学习任务来说,给定属性集,其中有些属性可能很关键、很有用，另一些属性则可能没什么用，我们将属性称为“特征”(feature),对当前学习任务有用的属性称为“相关特征”(relevant feature)、没什么用的属性称为“无关特征”(irrelevant feature).进行特征选择的原因：特征选择有两个环节，子集搜索是一种在特征选择中常用的策略，主。

过滤式方法先对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器无关。这相当于先用特征选择过程对初始特征进行 “过滤”，再用过滤后的特征来训练模型。换而言之，过滤式特征选择是一种在特征选择过程中独立于具体机器学习模型的方法。与过滤式特征选择不考虑后续学习器不同，包裹式特征选择直接把最终将要使用的学习器的性能作为特征子集的评价准则。换言之，包裹式特征选择的目的就是为给学习器选择最有利于性能、“量身定做” 的特征子集。嵌入式特征选择。

第十一章：特征选择与稀疏学习

https://www.jianshu.com/p/d82b5d3048d2

11.1 编程实现 Relief 算法，并在西瓜数据集上测试。 Relief 是过滤式特征选择算法，根据设计的 “相关统计量” 来度量特征的重要性。该方法和后续的学习器无关，只根据数据集就可完成特征选择。相关的思想理论介绍见书P249-250 代码实现如下： import pandas as pd import numpy as np class Relief: def read...

机器学习 总目录 第十一章 特征选择与稀疏学习 11.1 子集搜索与评价 给定属性集，其中有些属性可能很关键、很有用，另一些 属性则可能没什么用.我们将属性称为"特征" (feature)： 对当前学习任务有 用的属性称为"相关特征" (relevant feature)、 没什么用的属性称为"无关特征" (irrelevant feature). 从给定的特征集合中选择出相关特征子集的过程，...

特征工程是机器学习中非常重要的一个环节，它的好坏直接影响了机器学习效果的优劣。而特征工程里非常关键的一步就是特征选择。 如果把机器学习比作是一个厨师做菜的过程，那么数据就是原材料（菜），模型可以理解为炒菜的方式（蒸、煮、炒、炖等等），算法就是这个厨师的炒菜水平。特征工程就是前期处理食材的过程，有了食材（数据），首先要看看食材是啥，长什么样（源数据分布情况），然后看看食材是否新鲜，是否有磕碰破损（数...

第十一章 特征选择与稀疏学习 此系列文章旨在提炼周志华《机器学习》的核心要点，不断完善中… 11.1 子集搜索与评价 1、一些概念 特征/相关特征/无关特征 冗余特征：所包含的信息能从其他特征中推演出来（多数时候不起作用，除去以减轻学习负担，但有时会降低学习任务的难度） 2、特征选择的原因：减轻维数灾难，降低学习难度 3、特征选择方法本质 特征子集搜索机制(subset search)（贪心策...

1. 子集搜索与评价1.1 概述从给定的特征集合中，选择出相关特征子集的过程，称为特征选择。为什么进行特征选择？ 维数灾难。属性过多，选择出重要特征，后续学习减轻。从此意义上看，特征选择与降维动机相似，这两者是处理高维数据的两大主流技术。 去除不相关的特征降低学习任务的难度。抽丝剥茧留下关键因素。 特征选择不能丢失重要特征，否则导致欠拟合。给定数据集，若学习任务不同，则相关特征不同。因此无关特征，指

光谱分析作为一种重要的化学计量学技术，能够通过物质对光的吸收、反射或散射特性，获取其分子结构和化学成分的指纹信息。其原理在于不同化学键和基团在特定波长下有特征振动，形成独特的光谱响应。这项技术的核心价值在于实现快速、无损、低成本的材料鉴别与成分分析，广泛应用于食品检测、药品鉴定、农业品控及工业过程监控等领域。机器学习算法，特别是回归与分类模型，能够从高维光谱数据中自动提取特征并建立预测模型，有效解决了传统感官评价主观性强、难以量化的问题。本文聚焦于葡萄酒行业，探讨如何结合近红外光谱与机器学习技术，构建从数据

上篇主要介绍了经典的降维方法与度量学习，首先从“维数灾难”导致的样本稀疏以及距离难计算两大难题出发，引出了降维的概念，即通过某种数学变换将原始高维空间转变到一个低维的子空间，接着分别介绍了kNN、MDS、PCA、KPCA以及两种经典的流形学习方法，最后度量学习试图去学习出一个距离度量来等效降维的效果。本篇将讨论另一种常用方法–特征选择与稀疏学习。

常见的特征选择方法： 过滤式 filter 包裹式 wrapper 嵌入式 embedding 2. 过滤式选择先对数据集进行特征选择，然后再训练分类器，特征选择过程与后续学习无关。相当于先用特征选择过程，对初始特征进行过滤，再用过滤后的特征来训练模型。Relief法：设计了一个相关统计量，度量特征重要性。这是一个向量，每个分量对应一个初始特征，特征子集的重要性是由子集中每个特征对应的相关统计分量之

机器学习（西瓜书）注解：第11章 特征选择与稀疏学习         本次更新第11章，特征选择与稀疏学习。针对该章注解有任何问题欢迎在此留言~         其实本章后三节的内容更多属于信号处理领域，前四节虽然在介绍机器学习中的特征选择问题，但也是一个很笼统的介绍，包括“过滤式”算法、“包裹式”算法、“嵌入式”算法也是通用的概念；因此本章与其说是介绍机器学习特征选择的相关知识，倒不如说是介...

通过这周对西瓜书第十二章的学习，记录笔记如下：