详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解

概率和统计

概率（probabilty）和统计（statistics）看似两个相近的概念，其实研究的问题刚好相反。

概率研究的问题是，已知一个模型和参数，怎么去预测这个模型产生的结果的特性（例如均值，方差，协方差等等）。 举个例子，我想研究怎么养猪（模型是猪），我选好了想养的品种、喂养方式、猪棚的设计等等（选择参数），我想知道我养出来的猪大概能有多肥，肉质怎么样（预测结果）。

统计研究的问题则相反。统计是，有一堆数据，要利用这堆数据去预测模型和参数。仍以猪为例。现在我买到了一堆肉，通过观察和判断，我确定这是猪肉（这就确定了模型。在实际研究中，也是通过观察数据推测模型是／像高斯分布的、指数分布的、拉普拉斯分布的等等），然后，可以进一步研究，判定这猪的品种、这是圈养猪还是跑山猪还是网易猪，等等（推测模型参数）。

概率是已知模型和参数，推数据。统计是已知数据，推模型和参数。

本文解释的MLE和MAP都是统计领域的问题

贝叶斯公式

贝叶斯公式就是在描述，你有多大把握能相信一件证据？（how much you can trust the evidence）

东西被偷了，那么是A偷得概率有多大

最大似然估计（MLE）

似然函数

在统计里面，似然函数和概率函数却是两个不同的概念（其实也很相近就是了）

对于一个函数：

P(x|θ)P(x|θ)

输入有两个：x表示某一个具体的数据；θθ表示模型的参数。

如果θθ是已知确定的，xx是变量，这个函数叫做概率函数(probability function)，它描述对于不同的样本点x，其出现概率是多少。

如果xx是已知确定的，θθ是变量，这个函数叫做似