欠拟合、过拟合产生的原因及其解决的方法

欠拟合、过拟合产生的原因及其解决的方法

（一）欠拟合主要产生的原因：模型复杂度过低，无法很好的去拟合所有的训练数据，导致训练误差大
1.增加模型复杂度，尝试使用核SVM、决策树、深度神经网络（DNN）
2.增加新特征，增大假设空间
3.如果有正则项，可以调小正则项参数

（二）过拟合主要产生的原因：模型复杂度过高，训练数据少，训练误差小，但是测试误差大
1.增加训练数据可以有限的避免过拟合
2.正则化，L1、L2；如果有正则项，则考虑增大正则项参数
3.交叉验证
4.特征选择，减少特征数或使用较少的特征组合

（三）深度神经网络（DNN）中常用的方法
1.早停策略：选择合适的epoch，避免过度训练网络，在交叉验证过程中可以观察验证集的loss有没有再减小
2.集成学习策略：对原始M个训练样本进行有放回的随机采用，构建N组M个样本的数据集，然后分别用这N组数据集去训练DNN，最后对模型输出的参数值进行加权平均或者是投票法决定最终输出（会有参数过多的问题存在）
3.DropOut：在模型前向传播或者反向传播的训练过程中，让神经元以一定概率p停止工作，使模型泛化能力强，不至于太过依赖局部的特征。

（四）关于L1和L2正则化
正则化方法指的是在进行目标函数和代价函数优化时，在他们后面加上一个正则项

1. L1正则项会产生稀疏解。
2. L2正则项会产生比较小的解。
   
   参考链接：https://zhuanlan.zhihu.com/p/29707029