交叉验证的不同命运：在机器学习与深度学习中的应用差异

拓展参考文章请阅读

交叉验证的详细讲解，请阅读： 深度解析——机器学习“照妖镜”：交叉验证如何让模型现出原形？

本文总结置顶

交叉验证这个概念在传统的机器学习中应用得更多、更普遍，而在深度学习中由于其特点应用得相对较少，但仍然在某些场景下非常重要。

下面我们来详细解释一下为什么会出现这种情况。

1. 交叉验证在传统机器学习中占主导地位

在传统机器学习（如SVM、决策树、随机森林、逻辑回归等）中，交叉验证是模型评估和超参数调优的标准工具和核心流程。

为什么？

• 数据量通常较小： 传统机器学习方法在很多场景下，数据集规模可能是几百、几千或几万条。在这种情况下，数据非常宝贵，我们舍不得拿出一大块（比如20%）只做验证而不用来训练。
• 核心目标是泛化能力： 我们需要一个可靠的方法来估计模型在未知数据上的表现（泛化能力）。单一的训练-测试集划分结果可能不稳定，严重依赖于具体的划分方式。交叉验证通过多次划分、多次验证，能得到一个更稳定、更可靠的性能评估均值。
• 防止过拟合： 在超参数调优时，如果只用一个固定的验证集，可能会不小心“过拟合”到这个特定的验证集上。K折交叉验证可以有效缓解这个问题，因为它让模型在所有的数据子集上都进行了训练和验证。

在传统机器学习中的典型工作流：

1. 将全部数据划分为训练集和一个独立的测试集。
2. 在训练集上，使用K折交叉验证来尝试不同的超参数组合。
3. 选择在交叉验证上平均得分最高的那组超参数。
4. 用这组最优超参数，在整个训练集上重新训练一个最终模型。
5. 最后，用一开始留出的那个独立的测试集来评估最终模型的泛化性能。

2. 交叉验证在深度学习中的应用和局限

在深度学习中，交叉验证的使用频率显著下降，主要原因如下：

• 数据量巨大： 深度学习模型通常需要海量数据（数十万、数百万甚至更多）才能发挥威力。在这种情况下，我们可以直接拿出一个足够大的固定数据集作为验证集（例如10万条数据），这个验证集已经能够很好地代表数据分布，提供可靠的评估。我们不再那么“心疼”数据。
• 计算成本极高： 这是最关键的原因。训练一个深度学习模型需要巨大的计算资源和时间（几小时、几天甚至几周）。进行K折交叉验证（比如5折或10折）意味着需要从头开始训练K个模型。这在实际操作中计算成本是难以承受的。训练一个模型已经很贵了，训练5个或10个的成本会呈线性增长。

那么，深度学习中如何评估和调优？
深度学习领域发展出了更适合自身特点的方法：

1. 单次划分： 最主流的方法是简单地将数据分为三个固定的部分：
   • 训练集： 用于模型训练。
   • 验证集： 用于在训练过程中监控模型表现、进行早停和超参数调优。
   • 测试集： 用于最终评估模型性能，在整个流程中只使用一次。
2. 早停： 这是一种非常有效的正则化方法。在训练过程中，持续监控模型在验证集上的表现。一旦验证集性能不再提升甚至开始下降，就停止训练，防止模型过拟合到训练集上。

3. 深度学习中使用交叉验证的特殊场景

尽管不常用，但交叉验证在深度学习中依然有其用武之地，主要出现在以下情况：

• 小样本数据集： 当你在一个数据量很小的领域进行深度学习研究时（例如医疗影像数据只有几千张），数据极其珍贵。这时，交叉验证就重新变得重要起来，可以最大限度地利用有限的数据进行可靠的模型评估。
• 基准测试和研究： 在学术论文或严格的模型对比中，为了获得最稳健、偏差最小的性能估计，研究者可能会使用交叉验证（通常是2折或3折，因为计算限制）来报告结果。
• 数据分布非常不稳定： 如果数据集很小且分布很不均匀，单次划分可能导致训练集和验证集/测试集分布差异很大。交叉验证可以帮助平均掉这种划分带来的随机性。

总结对比

结论：
交叉验证是一个源于统计学的通用概念，它更常见、更标准地应用于传统机器学习。而在深度学习中，由于计算成本的限制，它退居次席，让位给了更实用的单次划分+早停的方法。但当深度学习遇到“小数据”问题时，交叉验证的价值又会重新凸显。