解决欠拟合和过拟合的几种方法

深度学习

前言

一、介绍

  对于欠拟合的模型产生的结果是对已有数据的匹配性很差，不过对数据中的噪声不敏感:
  对于过拟合特性的模型对数据的匹配性太好，所以对数据中的噪声非常敏感。

二、如何解决欠拟合问题

解决欠拟合问题时，主要从以下三方面着手：
  (1) 增加特征项:在大多数情况下出现欠拟合是因为我们没有准确地把握数据的主要特征，所以我们可以尝试在模型中加入更多的和原数据有重要相关性的特征来训练搭建的模型，这样得到的模型可能会有更好的泛化能力。
  (2) 构造复杂的多项式:这种方法很容易理解，我们知道一次项函数就是一条直线，二次项函数是一条揽物线、一次项和二次项函数的特性决定了它们的泛化能力是有局限性的，如果数据不在直线或者抛物线附近，那么必然出现欠拟合的情形，所以我们可以通过增加函数中的次项来增强模型的变化能力，从而提升其泛化能力。
  (3) 减少正则化参数:正则化参数出现的目的其实是防止过拟合情形的出现，但是如果我们的模型已经出现了欠拟合的情形，就可以通过减少正则化参数来消除欠拟合。

三、如何解决过拟合问题

解决在实践中遇到的过拟合问题，主要也有三种手段：
  (1) 增大训练的数据量:在大多数情况下发生过拟合是因为我们用于模型训练的数据量太小，搭建的模型过度捕获了数据的有限特征，这时就会出现过拟合，在增加参与模型训练的数据量后，模型自