为什么极大似然估计得到的方差是有偏估计

问题来源

在学习模式分类过程中，我们会用到极大似然估计，最常见的是用它来估计期望和方差，而概率论中有这个结论，就是极大似然估计得到的方差是有偏的，那么为什么呢？

估计的无偏性

如果 $\hat{\theta }$ 是我们对$\theta$ 的估计，则满足 $E(\hat{\theta })=\theta$ 时我们说该估计是无偏的.

极大似然估计

假设样本集$D$中有$n$个样本：$x_1,x_2,\dots x_n$.我们需要估计的参数是$\theta$，由于这些样本是独立抽取的，所以有下式成立：
$$p(D|\theta )=\prod _{k=1}^{n}p(x_k|\theta )$$
为简化计算，使用对数似然函数：
$$l(\theta )=\ln (p(D|\theta ))=\sum _{k=1}^n\ln (p(x_k|\theta )$$
我们要求其极大值，对其求梯度，梯度为零的地方就是可能的极大值处：
$${\nabla }_{\theta }=\sum _{k=1}^n{\nabla }_{\theta }\ln (p(x_k|\theta ))$$
对于一维的正态分布，有:
$$\ln p(x)=-\frac{1}{2}2\pi \sigma -$$