学习理论-贝叶斯统计和正则化

之前为了降低产生过拟合的可能性，我们从样本的所有属性中选取一部分属性集用以训练模型，这里介绍一种防止过拟合的不同的方法—正则化，它将会保留所有属性。

之前我们一直是通过求最大似然值确定参数（maximum likelihood (ML)）：

上式中的$\theta$是基于频率学派(frequentist)的观点对待的，频率学派认为，$\theta$是一个固定不变的常量，只是我们现在还不知道它的值，而我们的目的就是基于统计学原理获得$\theta$的近似值。
然而，贝叶斯学派(Bayesian)对于$\theta$的观点与频率学派的观点是不同的，它们认为，$\theta$是一个未知的随机变量，因此可以给出关于$\theta$分布情况的先验概率$p(\theta)$,例如$\theta$可能满足高斯分布等等（这是一种假设或者说是统计结果，此时并未考虑我们的训练样本）.给定训练样本集$S=\{(x^{(i)},y^{(i)})\}_{i=1}^m$， 我们可以求θ的后验概率：

注：
1、显然$\theta$是一个向量，包含了θ1,θ2...,