机器学习-白板推导系列(一)-绪论（机器学习的MLE(最大似然估计)和MAP(最大后验估计)）

频率学派 - Frequentist - Maximum Likelihood Estimation (MLE，最大似然估计)
贝叶斯学派 - Bayesian - Maximum A Posteriori (MAP，最大后验估计)

现代机器学习的终极问题都会转化为解目标函数的优化问题，MLE和MAP是生成这个函数的很基本的思想，因此我们对二者的认知是非常重要的。这次就和大家认真聊一聊MLE和MAP这两种estimator。

1.频率学派和贝叶斯学派

1.1 抽象理解

频率学派和贝叶斯学派对世界的认知有本质不同：

• 频率(概率)学派认为世界是确定的，有一个本体，这个本体的真值是不变的，我们的目标就是要找到这个真值或真值所在的范围。

  概率研究的问题是，已知一个模型和参数，怎么去预测这个模型产生的结果的特性（例如均值，方差，协方差等等）。 举个例子，我想研究怎么养猪（模型是猪），我选好了想养的品种、喂养方式、猪棚的设计等等（选择参数），我想知道我养出来的猪大概能有多肥，肉质怎么样（预测结果）。

• 而贝叶斯学派认为世界是不确定的，人们对世界先有一个预判，而后通过观测数据对这个预判做调整，我们的目标是要找到最优的描述这个世界的概率分布。

  统计研究的问题则相反。统计是，有一堆数据，要利用这堆数据去预测模型和参数。仍以猪为例。现在我买到了一堆肉，通过观察和判断，我确定这是猪肉（这就确定了模型。在实际研究中，也是通过观察数据推测模型是／像高斯分布的、指数分布的、拉普拉斯分布的等等），然后，可以进一步研究，判定这猪的品种、这是圈养猪还是跑山猪还是网易猪，等等（推测模型参数）。

一句话总结：$概率是已知模型和参数，推数据。统计是已知数据，推模型和参数。$

1.2 求解$\theta$的角度

​ 假设有一堆数据$X$，其中$X={\left(x_1,x_2,...,x_n\right)}^T$，每个$x_i$都是一个数据样本，都是i,i,d，有一个参数$\theta$，使得每个数据样本$x$都服从概率分布$x\sim p\left(x|\theta \right)$。

1.2.1 频率派估计（统计机器学习）

频率派认为$\theta$是$未知常量$，而$X=(x_1,x_2,...,x_n)$是$随机变量$，我们需要通过数据$X$来估计出$\theta$，常用的方式是采用最大似然估计（Maximum Likelihood Estimate，MLE），也叫极大似然估计。
$$P\left(X|\theta \right)=\prod _{i=1}^{n}p(x_i|\theta )\text{\hspace{1em}(1.1)}$$
则：
$$\begin{array}{rc}{\hat{\theta }}_{\text{MLE}}& =\underset{\theta }{\mathrm{argmax}}P(X|\theta )\\ & =\underset{\theta }{\mathrm{argmax}}{\prod }_{i=1}^{n}P(x_i|\theta )\\ & =\underset{\theta }{\mathrm{argmax}}\\ & \end{array}$$