偏差与方差的基本概念

在机器学习中，Bias-Variance Tradeoff（偏差-方差权衡） 是一个核心概念，帮助我们理解模型的误差来源以及如何调节模型复杂度以达到更好的泛化性能。在这篇博客中，我们将深入讨论什么是偏差和方差，以及如何平衡二者来构建出色的模型。

1. 偏差与方差的基本概念

偏差和方差是误差的两个主要来源，它们定义了模型对数据的拟合程度及其在不同数据集上的稳定性。

• Bias（偏差）：

  • 偏差描述了模型在单一数据集上的拟合程度。简单来说，它衡量了模型的预测平均值与真实值之间的差距。
  • 高偏差的模型往往过于简单，忽略数据的复杂性，导致系统性误差，称为欠拟合。
  • 例如，假设我们用线性模型来拟合复杂的非线性数据集，模型的偏差就会很高，因为它无法捕捉数据中的非线性关系。

• Variance（方差）：

  • 方差描述了模型在不同数据集之间的差异。即它反映了模型在不同训练集上的预测结果的波动性。
  • 高方差的模型通常过于复杂，对训练数据非常敏感，容易过度拟合数据中的噪声，称为过拟合。
  • 例如，一个深层神经网络可能对训练数据中的细节（包括噪声）过度拟合，导致在新数据上表现不佳。

一个形象的例子

下图的例子统计身高和体重的分布情况，将数据集合分成蓝色的训练集和绿色的测试集。