特征工程 - 特征筛选

基于量化交易，利用Alpha因子发掘思路，进行机器学习中的特征构造与筛选。

1.背景介绍 数据筛选和特征工程是数据挖掘和机器学习领域中的基础工作，它们在实际应用中具有重要的意义。数据筛选是指从大量原始数据中选择出与问题相关的特征，以便进行后续的数据分析和模型构建。特征工程则是指对选定特征进行处理和转换，以提高模型的性能。在本文中，我们将深入探讨数据筛选和特征工程的核心概念、算法原理和实例代码，并分析未来发展趋势和挑战。 2.核心概念与联系 2.1 数据筛选 数据筛...

1. 说明  本文并非介绍某个成熟算法或者工具，只是个人的一点感悟，写得可能不正确，不全面，希望能给大家带来一些启发，也欢迎各位回复讨论。 2. 特征工程  大数据相关的工作可简要地归纳为：模型部分和数据部分，在模型部分，目前大家的做法主要是拿现成的模型来用，对其做内部修改或重写的很少，主要工作在选型和调参。  相对来说，对数据部分做的工作更多，在比赛中数据都是固定的，且很多时候数据已脱敏，...

本文为数据茶水间群友原创，经授权在本公众号发表。关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~0x00...

过滤法更快速，但更粗糙。包装法和嵌入法更精确，比较适合具体到算法去调整，但计算量比较大，运行时间长。t检验和卡方检验、F检验、互信息法是常用的统计分析方法，它们在不同的情况下有不同的应用优先级。**t检验：适用于小样本情况下，用于比较两个样本均值是否有显著差异。当已知方差时，使用t检验；当方差未知时，使用t检验。

在机器学习和数据科学领域，特征筛选是优化模型性能和提高计算效率的关键步骤。当数据集包含大量特征时，不仅增加了计算成本，还可能引入噪声和冗余信息，影响模型的泛化能力。因此，通过特征筛选，让我们能够从原始特征集中挑选出最具信息量的特征，提高模型的预测准确性和可解释性。本文介绍了特征筛选三种方法：过滤法（Filter）、包装法（Wrapper）、嵌入法（Embedded）。

在机器学习和数据科学领域中，特征工程是提取、转换和选择原始数据以创建更具信息价值的特征的过程。假设拿到一份数据集之后，如何逐步完成特征工程呢？步骤1：特性类型分析不同类型的特征包含的信息不同的，首先需要按照赛题字段的说明去对每个字段的类型进行区分。下面是对不同类型的特征进行编码和操作的方法，其中取值特征本身包含的信息较多，因此可以直接考虑进行缩放：数值型特征：缩放：将数值特征缩放到一个范围，通常使...

1. 什么是特征选择 从现有的m个特征中选出n个特征(n<=m)，降低特征维度减少计算量的同时，使模型效果达到最优。 2. 为什么要做特征选择 在实际业务中，用于模型中的特征维度往往很高，几万维。如一些CTR预估问题中，特征维度高达上亿维，维度过高会增大模型计算复杂度。但实际情况是，并不是每个特征对模型的预测都是有效果的，所以需要去除一些不必要的特征，从而降低模型计算的复杂度。 3. 特征选择的基本原则 波动性：指特征取值的分布情况，用方差来衡量。 相关性：指特征和目标结果的相关性大小，常用皮尔逊

特征工程在机器学习中是很重要的一步，往往能决定模型的最终性能。所以在日常使用过程中，不论采用什么方法，我们最终的目的都是构造出有效特征，让模型具有更好的解释性和泛化能力。

离线筛选有效的特征从缺失率、IV值、后验CTR与CVR、xgb特征重要性 等维度进行筛选。

特征工程是提升模型性能的关键步骤，主要包括缺失值填充、归一化和特征筛选三个核心环节。：解决数据不完整问题，避免模型训练偏差。：降低维度、减少噪声、提升泛化能力。：消除特征量纲差异，加速模型收敛。（将特征缩放到[0,1]）（适用于高斯分布特征）

特征工程系列：特征筛选的原理与实现1. 什么是特征工程2. 特征选择的方法2.1 Filter方法 过滤法2.2 Wrapper方法 封装式2.3 Embedded方法 嵌入式3. 特征选择实现3.1 去掉取值变化小的特征 要有区分度3.2 单变量特征选择3.2.1 Pearson相关系数 连续型3.2.2 互信息 和 最大信息系数 MINE 离散型3.2.3 距离相关系数3.2.4 基于学习模型的特征排序 cross_val_score3.2.5 卡方检验 离散型 chi23.3 线性模型与正则化3.

特征工程——常用的特征筛选方法

机器学习项目实战-能源利用率 Part-3（特征工程与特征筛选）

1

特征工程是数据挖掘中的核心环节，它通过优化、创建和选择特征（即数据集中的变量）来提升模型的性能和准确性。对于初学者，掌握基础概念和常见筛选方法至关重要。下面我将逐步介绍这些内容，帮助你构建扎实的知识基础。回答基于标准数据挖掘理论，确保真实可靠。特征工程涉及对原始数据的处理和转换，目的是提取更有价值的特征，以支持后续建模。以下是关键概念：特征筛选是特征工程的核心步骤，旨在从原始特征集中选择最相关的子集，避免冗余或不相关特征。常见方法分为三类，适合初学者逐步掌握：基于统计指标独立评估每个特征，不依赖模型。简单高

0x00 前言 我们在《特征工程系列：特征筛选的原理与实现（上）》中介绍了特征选择的分类，并详细介绍了过滤式特征筛选的原理与实现。本篇继续介绍封装式和嵌入式特征筛选的原理与实现。 0x01 特征选择实现方法三：线性模型与正则化 1.主要思想 当所有特征在相同尺度上时，最重要的特征应该在模型中具有最高系数，而与输出变量不相关的特征应该具有接近零的系数值。即使使用简单的线性回归模型，当数据不是...