使用特征工程提升你的模型性能

原创 于 2025-09-28 09:38:47 发布 · 1k 阅读 · 20 ·
本内容遵循CC 4.0 BY-SA版权协议
原创文章，禁止转载，否则保留追究法律责任的权利。
GEO检测
收录于
AI技术前沿

当前文章被收录于：

AI技术前沿
182 篇文章 1 人学习

本专栏专注于人工智能领域的技术科普与实战讲解，涵盖数据处理、机器学习、深度学习、自然语言处理等核心内容。通过结合实例、代码解析和前沿应用，带你从零理解 AI 技术原理，掌握实用工具与技巧，帮助你快速提升在 AI 项目中的实战能力。

订阅专栏 查看详情

【精选优质专栏推荐】


每个专栏均配有案例与图文讲解，循序渐进，适合新手与进阶学习者，欢迎订阅。

文章目录

在这里插入图片描述

前言

特征工程有助于提升模型效果。它涉及选择和修改数据，以改进预测结果。本文将解释特征工程及其应用方法，以获得更佳效果。

什么是特征工程？

原始数据通常较为杂乱，无法直接用于预测。特征是数据中的重要细节，它们帮助模型理解并进行预测。特征工程通过改进这些特征，使其更有用。建模过程利用改进后的特征进行结果预测。对模型结果的分析能够提供洞见。经过良好设计的特征能让这些洞见更加清晰，从而帮助更好地理解数据模式并提升模型性能。

在这里插入图片描述

为什么特征工程很重要？

  • 提高准确率：
    优质特征能帮助模型学习更好的模式，从而提升预测准确性。

  • 减少过拟合：
    更好的特征能帮助模型在新数据上有更好的泛化能力，从而降低过拟合风险。

  • 提升算法灵活性：
    许多算法在处理干净且准备充分的特征时效果更好。

  • 易于解释：
    清晰的特征能让人更容易理解模型的决策过程。

特征工程过程

特征工程通常包含以下几个过程：

特征提取：从现有数据中生成新的特征，例如使用 PCA 或嵌入方法。

特征选择：选择最重要的特征来提升模型性能，使模型专注于关键细节。

特征构造：通过已有特征组合或衍生出新的特征，帮助模型做出更好的预测。

特征变换：修改特征以使其更适合模型。例如：

  • 归一化：将数值缩放到 0 到 1 的范围内。
  • 标准化：调整特征使其均值为 0，标准差为 1。

特征工程技术

以下是一些常见的特征工程技术：

处理缺失值

处理缺失数据对于构建准确模型非常关键。常见方法有：

  • 插补（Imputation）：用均值、中位数或众数填补缺失值。
  • 删除（Deletion）：如果缺失数据量较小，可以删除包含缺失值的行或列。
import pandas as pd
from sklearn.impute import SimpleImputer
 
# 从CSV文件加载数据
df = pd.read_csv('data.csv')  
 
# 清洗前打印数据
print("Data before cleaning:")
print(df.head())
 
# 去掉“Salary”列中的逗号并转为数值
df['Salary'] = df['Salary'].str.replace(',', '').astype(float)
 
# 用中位数填补数值型缺失值
imputer = SimpleImputer(strategy='median')
df[['Age', 'Salary']] = imputer.fit_transform(df[['Age', 'Salary']])
 
# 填补后打印数据
print("\nData after imputing missing values:")
print(df.head())

在上述示例中，“Age” 与 “Salary” 列中的缺失值会被中位数填补。

在这里插入图片描述

编码分类变量

在机器学习模型中，分类变量需要转换为数值型。常见方法包括：

  • 独热编码（One-Hot Encoding）：为每个类别生成新列，每列用 1 或 0 表示该类别是否存在。
  • 标签编码（Label Encoding）：为每个类别分配一个唯一数字。适用于有序数据（顺序有意义）。
  • 二进制编码（Binary Encoding）：将类别转换为二进制数，再拆分为多个列。适用于高基数数据。
import pandas as pd
from sklearn.preprocessing import LabelEncoder
 
# 读取数据集
df = pd.read_csv('data.csv')
 
# 对 Department 列进行独热编码
df = pd.get_dummies(df, columns=['Department'], drop_first=True)
 
# 显示编码后的数据
print("Data after encoding categorical variables:")
print(df.head())

在上述示例中，Department 列经过独热编码后被拆分为多个新列，每个列代表一个类别，并以二进制值表示。

在这里插入图片描述

分箱（Binning）

分箱是将连续数值划分为离散的区间或范围。它能简化数据，并对噪声数据起到一定缓解作用。

  • 等宽分箱（Equal-Width Binning）：将数值范围划分为宽度相同的区间，每个值落入某个区间。
  • 等频分箱（Equal-Frequency Binning）：将数据划分为区间，使每个区间包含大致相同数量的值。
import pandas as pd
 
# 读取数据集
df = pd.read_csv('data.csv')
 
# 将 Age 分为 3 个类别（Young, Middle-Aged, Senior）
df['Age_Binned'] = pd.cut(df['Age'], bins=3, labels=['Young', 'Middle-Aged', 'Senior'])
 
# 显示 Age 与 Age_Binned 列（前5行）
print("Data after binning Age (first 5 rows):")
print(df[['Age', 'Age_Binned']].head())

在上述示例中，Age 被分箱为 “Young”、“Middle-Aged” 或 “Senior” 三类。

在这里插入图片描述

处理异常值（Outliers）

异常值是与大多数数据差异较大的点。它们可能影响结果，降低模型性能。常见处理方法：

  • 移除（Removal）：删除不符合整体模式的极端值。
  • 截断（Capping）：将极端值限制在最大或最小阈值范围内。
  • 变换（Transformation）：通过对数变换等方法降低异常值的影响。
import pandas as pd
import numpy as np
from scipy import stats
 
# 读取数据集
df = pd.read_csv('data.csv')
 
# 去掉 Salary 列中的逗号并转为数值
df['Salary'] = df['Salary'].str.replace(',', '').astype(float)
 
# 使用四分位距（IQR）方法检测异常值
Q1 = df['Salary'].quantile(0.25)
Q3 = df['Salary'].quantile(0.75)
IQR = Q3 - Q1
 
# 定义异常值边界
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
 
# 标记异常值
df['IQR_Outlier'] = (df['Salary'] < lower_bound) | (df['Salary'] > upper_bound)
 
# 根据 IQR 移除异常值
df_cleaned_iqr = df[~df['IQR_Outlier']]
 
# 打印清理后的前5行数据
print(df_cleaned_iqr.head())

上述输出展示了基于四分位距（IQR）方法移除异常值后的数据集，这些行不再包含超出定义边界的工资记录。

在这里插入图片描述

缩放（Scaling）

缩放用于调整特征值的范围，确保各特征在模型训练中贡献均衡。

  • 归一化（Normalization）：将数值缩放到固定范围，通常为 0 到 1。例如：最小-最大（Min-Max）缩放。
  • 标准化（Standardization）：以均值为 0、标准差为 1 对数据进行缩放。例如：Z-score 标准化。
import pandas as pd
from sklearn.preprocessing import MinMaxScaler, StandardScaler
 
# 读取数据集
df = pd.read_csv('data.csv')
 
# 去掉 Salary 列中的逗号并转为数值
df['Salary'] = df['Salary'].str.replace(',', '').astype(float)
 
# 归一化（Min-Max Scaling）
min_max_scaler = MinMaxScaler()
df[['Salary_Norm', 'Age_Norm']] = min_max_scaler.fit_transform(df[['Salary', 'Age']])
 
# 标准化（Z-score Normalization）
standard_scaler = StandardScaler()
df[['Salary_Std', 'Age_Std']] = standard_scaler.fit_transform(df[['Salary', 'Age']])
 
# 打印原始数据前5行
print("Original Data:")
print(df[['EmployeeID', 'Salary', 'Age']].head())
 
# 打印归一化结果前5行
print("\nData after normalization (Min-Max Scaling):")
print(df[['EmployeeID', 'Salary_Norm', 'Age_Norm']].head())
 
# 打印标准化结果前5行
print("\nData after standardization (Z-score Normalization):")
print(df[['EmployeeID', 'Salary_Std', 'Age_Std']].head())

在该示例中：

  • Salary 和 Age 经过 Min-Max 缩放 得到 Salary_Norm 与 Age_Norm。
  • 同时，这些特征也通过 Z-score 标准化 得到 Salary_Std 与 Age_Std。

在这里插入图片描述

特征工程最佳实践

以下是一些提升特征工程效果的建议：

  • 迭代与实验：特征工程通常是一个迭代过程。尝试不同的转换与交互，并通过交叉验证进行验证。
  • 工具自动化：利用 Featuretools 等工具实现自动化特征工程，或使用 AutoML 框架执行特征选择与转换。
  • 理解特征影响：始终跟踪新特征对模型性能的影响。有时复杂特征带来的收益可能并不如预期。
  • 利用领域知识：结合领域专家的见解，创建能捕捉行业特有模式与细节的特征。这能提供宝贵的上下文并提升模型相关性。

总结

特征工程有助于提升机器学习模型的性能，使数据更具价值。通过创建和选择合适的特征，可以获得更准确的预测。这一过程是机器学习成功的关键。

标签
#机器学习 #特征工程 #数据预处理 #模型优化 #数据科学
70B大模型为何无法单卡部署？揭秘多卡并行的四层架构设计
最新发布
weixin_33912453的博客
06-23 1333
大语言模型推理中，'70B参数量'已成为衡量工程复杂度的关键标尺。其本质并非单纯显存容量问题，而是涉及参数存储、计算访存比、KV Cache动态增长与服务韧性等多重系统约束。在FP16精度下，70B模型权重达140GB，叠加推理时KV Cache与框架开销后显存需求远超单卡上限；更关键的是，单卡难以突破计算单元利用率瓶颈，而张量并行通过权重切分与数据本地化显著提升SM利用率。现代推理框架如vLLM正是基于这一原理，构建硬件互联、NCCL通信、PagedAttention内存管理与OpenAI API兼容四层
特征工程
weixin_44888486的博客
11-27 2294
特征工程 1 机器学习 机器学习简单来说就是选择一种学习算法，从数据中学习并建立成模型来对新的数据进行预测的计算机科学 。 机器学习是人工智能的一个分支。人工智能的研究是从以“推理”为重点—以“知识”为重点—再到以“学习”为重点，一条自然、清晰的脉络。机器学习是实现人工智能的一个途径，即以机器学习为手段解决人工智能中的问题。机器学习算法是一类从数据中自动分析获得规律(模型)，并利用规律对未知数据进...
机器学习 | 特征工程综述
05-12 2712
一、前言 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。特征工程指的是把原始数据转变为模型的训练数据的过程，它的目的就是获取更好的训练数据特征，使得机器学习模型逼近这个上限。 构建一个算法模型需要几个步骤，包括数据准备、特征工程、模型构建、模型调优等，其中特征工程是最重要的步骤，需要 70% 甚至以上的工作量。特征工程主要包括数据预处理、特征选择、特征构造、特征降维等。 通过总结和归纳的特征工程包括以下方面： 二、数据预处理 数据预处理是特征工程的最重要的起始步骤，..
【机器学习-09】特征工程
qq_38614074的博客
03-24 2万+
特征工程是机器学习模型构建的初步工作，但它的重要性却贯穿整个模型生命周期。在进行特征工程时，我们需要充分利用数据科学的知识和技巧，结合具体的应用场景和业务需求，来制定出最合适的特征提取和转换策略。只有这样，我们才能为机器学习模型提供最有价值的输入，从而使其发挥出最大的潜力。总之，特征工程是机器学习中的一项关键任务，它需要我们用心去探索、去实践、去创新。只有不断地优化和完善特征工程的过程，我们才能构建出更加准确、更加可靠的机器学习模型，为实际应用带来更大的价值。
机器学习之特征工程详解
weixin_46880696的博客
12-30 8864
本文以特征工程的基本概念为引，着重介绍了特征工程的主要工作流程和实现方法，供大家学习参考。
什么是特征工程？如何进行特征工程？
热门推荐
Machine Learning with Tutors
12-22 10万+
再让我们回归一下本文开始的特征工程的思维导图，我们可以使用sklearn完成几乎所有特征处理的工作，而且不管是数据预处理，还是特征选择，抑或降维，它们都是通过某个类的方法fit_transform完成的，fit_transform要不只带一个参数：特征矩阵，要不带两个参数：特征矩阵加目标向量。这些难道都是巧合吗？还是故意设计成这样？方法fit_transform中有fit这一单词，它和训练模型的fit方法有关联吗？接下来，我将在《使用sklearn优雅地进行数据挖掘》中阐述其中的奥妙！
特征工程特征工程指的是把原始数据转变为模型训练数据的过程，目的是获取更好的训练数据特征。特征工程能使得模型的性能得到提升，有时甚至在简单的模型上也能取得不错的效果。SMILES转换：使用RDKi
kzWhite的博客
07-07 277
函数定义：cv_model 函数接受分类器对象 clf，训练特征集 train_x 和标签集 train_y，测试特征集 test_x，分类器名称 clf_name，以及可选的随机种子 seed。特征和标签的筛选：从训练集和测试集中筛选出特征列（不包括uuid、Label和smiles_list），并从训练集中提取标签列。保存结果：将验证集的预测结果存储在 train 数组中，将测试集的预测结果累加到 test 数组中，并计算当前折的 F1 分数。
【Python特征工程系列】教你利用XGBoost模型分析特征重要性（源码）
数据杂坛
12-31 3108
教你利用XGBoost模型分析特征重要性（源码）
Java中的特征工程：提高模型性能的关键步骤
微赚淘客系统开发者博客
09-26 627
特征工程是机器学习项目中至关重要的一环，它通过提取、转换、选择合适的特征，直接影响模型的最终性能。在Java中，可以通过多种方法进行特征提取，通常依赖于特定的库和工具，如Apache Spark、Weka或自定义代码。通过特征工程，我们不仅能够提升模型的训练速度，还可以提高模型的准确性。在大数据场景下，特征工程可以帮助我们在不增加模型复杂度的情况下，最大限度地挖掘数据中的有用信息。今天我们来谈谈特征工程在Java中的实现与实践。特征转换是另一个常见的步骤，主要是将特征调整到相同的尺度，以提高模型的表现。
使用 DeepSeek 进行数据预处理和特征工程
一碗黄焖鸡三碗米饭的博客
03-01 2148
数据预处理是指在模型训练之前对数据进行清洗、转换和格式化的过程。其目标是确保输入的数据符合模型的需求，提高数据质量，进而提升模型的性能。特征工程是从原始数据中提取出对模型训练有意义的特征的过程。特征工程的好坏直接影响机器学习模型的效果，好的特征可以使模型学到更有意义的规律，从而提高预测的准确性。在 DeepSeek 框架中，数据预处理和特征工程的实现相对直观。DeepSeek 提供了多种工具来帮助我们处理数据、转换数据格式、标准化和归一化等。数据预处理和特征工程是深度学习和机器学习过程中不可或缺的部分。
Python中的特征工程与模型训练
master_chenchen的博客
10-26 947
感激不尽，咱们一起加油哦！让我们一起探索新奇的事物，分享生活的点滴，让这个小角落成为我们共同的精神家园。你可以把这里当作自己的家，无论是工作之余的小憩，还是寻找灵感的驿站，我都希望你能在这里找到属于你的那份快乐和满足。有时候，原始数据中的特征并不能很好地反映问题的本质，这时我们就需要创造一些新的特征来提升模型的表现力。不同特征的量纲可能差异很大，为了消除这种影响，我们通常会对数据进行标准化处理，使其均值为0，方差为1。
Python 机器学习 基础 之 数据表示与特征工程 【分箱、离散化、线性模型与树 / 交互特征与多项式特征】的简单说明
仙魁XAN
05-23 1216
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
深度学习：特征工程
weixin_43868020的博客
07-10 3088
搬运：使用sklearn做单机特征工程 特征工程： 有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳，人们认为特征工程包括以下方面： sklearn 特征处理是特征工程的核心部分，sklearn提供了较为完整的特征处理方法，包括数据预处理，特征选择，降维等。 数据预处理 通过特征提取，我们能得到未经处理的特征，这时的特征可能有以下问题：
独家 | 用Python Featuretools库实现自动化特征工程（附链接）
数据派THU
11-01 1875
作者：Prateek Joshi翻译：张玲校对：李润嘉本文约4000字，建议阅读10分钟。本文简要介绍特征工程的基本组成部分，并用直观的示例理解它们，最后给出使用Pyth...
手把手教你用Python实现自动特征工程
weixin_38168590的博客
07-08 309
任何参与过机器学习比赛的人，都能深深体会特征工程在构建机器学习模型中的重要性，它决定了你在比赛排行榜中的位置。 特征工程具有强大的潜力，但是手动操作是个缓慢且艰巨的过程。Prateek Joshi，是一名数据科学家，花了不少时间研究多种特征，并从不同角度分析其可行性。 现在，整个特征工程过程可实现自动化，他将通过这篇文章进行详细介绍。 下面会使用Python特征工程库Feat...
机器学习：基于scikit-learn进行特征工程
尤尔小屋
07-22 982
公众号：尤而小屋编辑：Peter作者：Peter大家好，我是Peter~今天给大家分享如何基于机器学习建模全能包scikit-learn进行特征工程feature-engineering。
python做特征工程_手把手教你用Python实现自动特征工程
weixin_39722946的博客
11-26 390
原作 Prateek Joshi王小新 编译自 Analytics Vidhya量子位 出品 | 公众号 QbitAI任何参与过机器学习比赛的人，都能深深体会特征工程在构建机器学习模型中的重要性，它决定了你在比赛排行榜中的位置。特征工程具有强大的潜力，但是手动操作是个缓慢且艰巨的过程。Prateek Joshi，是一名数据科学家，花了不少时间研究多种特征，并从不同角度分析其可行性。现在，整个特征工...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

秋说

感谢打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值