减小泛化误差为什么称“正则化（Regularization）”——深度学习Note

深度学习的一个重要方面是正则化（Regularization），Ian Goodfellow在《Deep Learning 》称正则化（Regularization）就是减小泛化误差。那么，为什么减小泛化误差称为正则化呢？

首先看正则化——Regularization这个单词，Regularization是创造出来的词，在牛津词典和柯林斯词典上都没有，但是有regularize。柯林斯词典对regularize的解释：

If someone regularizes a situation or system, they make it officially acceptable.

说白了，regularize的意思就是把一样东西“打整打整”，使它显得“正规”、“正经”，好让别人正儿八经认同、接受（make it officially acceptable ）。

Regularization是regularize的名词，意思相同。

对于深度学习，用“参数范数惩罚”等策略打整打整模型，减小泛化误差，使大家觉得模型“正规”并认同、接受——得到应用，这自然就是Regularization——正则化。

模型训练——减小训练误差是深度学习的核心。不属于核心的正则化是对模型打整打整，以便减小泛化误差，使之得到应用，也是深度学习的重要方面。

Regularization翻译为正则化这个有点费解的词不是很合适，这个翻译应该是受到regular 在数学上翻译为“正则”的影响。不过，Regularization也确实不好翻译，中文中似乎没有确切的词与之对应，也只有慢慢接受“正则化”这个词了。