机器学习中的范数规则化

机器学习中的范数规则化之（一）L0、L1与L2范数

https://blog.csdn.net/zouxy09/article/details/24971995

 L1范数是指向量中各个元素绝对值之和，也有个美称叫“稀疏规则算子”（Lasso regularization）。现在我们来分析下这个价值一个亿的问题：为什么L1范数会使权值稀疏？有人可能会这样给你回答“它是L0范数的最优凸近似”。实际上，还存在一个更美的回答：任何的规则化算子，如果他在Wi=0的地方不可微，并且可以分解为一个“求和”的形式，那么这个规则化算子就可以实现稀疏。这说是这么说，W的L1范数是绝对值，|w|在w=0处是不可微，但这还是不够直观。

机器学习中的范数规则化之（二）核范数与规则项参数选择

https://blog.csdn.net/zouxy09/article/details/24972869