16、机器学习模型评估与超参数调优最佳实践

机器学习模型评估与超参数调优最佳实践

1. 特征提取的降维技术概述

在特征提取方面，有两种基础的降维技术：主成分分析（PCA）和线性判别分析（LDA）。
- PCA ：将数据投影到低维子空间，以最大化正交特征轴上的方差，且不考虑类别标签。
- LDA ：一种有监督的降维技术，会考虑训练数据集中的类别信息，试图在线性特征空间中最大化类别可分性。
- t - SNE ：一种非线性特征提取技术，可用于在二维或三维空间中可视化数据。

2. 模型评估与超参数调优的重要性

在构建机器学习模型时，需要学习如何微调算法并评估模型性能，具体包括以下方面：
- 评估机器学习模型的性能。
- 诊断机器学习算法的常见问题。
- 微调机器学习模型。
- 使用不同的性能指标评估预测模型。

3. 利用管道简化工作流程

3.1 管道类简介

在之前应用不同预处理技术时，需要重用训练数据拟合时获得的参数来缩放和压缩新数据。而scikit - learn中的Pipeline类是一个非常实用的工具，它允许我们拟合包含任意数量转换步骤的模型，并将其应用于对新数据进行预测。

3.2 加载威斯康星乳腺癌数据集

我们将使用威斯康星乳腺癌数据集，该数据集包含569个恶性和良性肿瘤细胞的样本。具体操作步骤如下：
1. 直接从UCI网站读取数据集：