统计信号处理中的似然函数与最大似然估计

假设条件

1、参数为标量形式，$\theta$
2、加性模型（$x[n]=s[n;\theta ]+w[n],n=0,1,\dots N-1$） ：观测数据$x[n]$、信号模型$s[n;\theta ]$、噪声$w[n]$，这里的观测数据$x[n]$并不是代表一个具体的实现，而是一个随机变量。
3、噪声的概率密度$p_w(w[n])$。这个概率密度的意思是$w[n]$取不同值的概率密度是多少。这里的$p_w(\bullet )$是概率密度的形状，比如说如果是高斯分布，这个形状就是钟形
4、本文中没有严格区分概率分布列和概率密度函数之间的区别

概述

  如果我们把待估计参数$\theta$看作是确定性的未知常数，有一特定真值，并不具有随机性。说$\theta ={\theta }_0$的可能性是不正确的，这里只能做出判断，即等式成立或等式不成立。
  那么我们通常说的$\theta ={\theta }_0$的可能性的意义是什么呢？这涉及到“似然”的概念。这个可能性就是“似然”，是指参数$\theta ={\theta }_0$时，观测数据x可能出现的概率。比如说，高斯电平的估计（$x[n]=A+w[n]$）中，噪声服从零均值高斯分布。比如参数$A$的真值为$2$（这个$2$是我们不知道的），而且我们测量得到的数据$x[n]$在$2$的附近比较集中，那么我们此时会说$A=2$的可能性很大，实际意思是如果$A=2$时测量数据，那么得到现在手上的数据的可能性很大。
  自然而然，我们想知道让观测数据$x$可能出现的概率最大的参数值是多少。这样的思想指导下的估计就是最大似然估计。
  最大似然估计就是要找到这样一个估计，基于已知的观测数据，$\theta$取该估计值时可使这组观测数据最可能出现。通俗一点说，令取得手上数据$x[n]$的可能性取最大，看看此时的参数$\theta$应该取什么值。翻译成数学语言就是使得似然函数取得最大值的参数值$\hat{\theta }$，作为对未知参数θ的估计。这里涉及到了似然函数，似然函数与观测的概率密度函数有关系，所以我们先看一下观测的概率密度函数。

观测的概率密度函数

  当被估计参数$\theta$为确定性的未知常数时，观测数据$x[n]$呈现的随机特性是由噪声$w[n]$带来的，每个单次观测的概率密度，如果抛去确定性的部分，就和剩余的噪声项的概率密度是一样的。也就是说$x[n]-s[n;\theta ]$，呈现出和$w[n]$一样的随机特性
$$p(x[n]-s[n;\theta ])=p_w(x[n]-s[n;\theta ])$$
$p(x[n]-s[n;\theta ])$这样的函数，可以统一写为$p(x[n];\theta )$，这就是观测的概率密度函数。实际上，是用观测数据和信号模型表示噪声，进而体现随机性。
  我们可以从两方面来看这个函数，一方面，固定$\theta$，则$p(x[n];\theta )$是观测的概率密度函数；另一方面，固定$x[n]$，则是不同$\theta$取值下，观测数据x[n]可能出现的概率。还是用高斯电平的估计（$x[n]=A+w[n]$）来举例，参数A的每个不同的值对应一个观测数据的概率密度函数$p(x[n];A)$，如$A=2$时，$x[n]\sim N(2,{\sigma }^2)$，$A=3$时，$x[n]\sim N(3,{\sigma }^2)$。那么，当$A$固定时，比如$A=2$，则$p(x[n];A)=p(x[n];2)$，它的图像就在$x=2$附近呈现左右对称的钟形高斯分布的随机特性；如果固定$x[n]=2$，则$p(x[n];A)=p(x[n]=2;A)$，它的自变量为$A$，因变量是不同的概率密度函数$p(x[n];A)$中，$x[n]=2$时的概率$p(x[n]=2;A)$，这也就是单次观测的似然函数。

似然函数

  通过之前讨论的“似然”，我们可以理解什么叫做似然函数。似然函数是在参数$\theta$的函数，反映了不同的$\theta$取值下，取得当前这组观测数据的概率。那么，似然函数和观测数据的概率密度函数有什么关系呢？
  首先，似然函数表示的是取得当前这组观测数据的概率，那么一组数据出现的概率我们用什么来描述呢？离散情况下，我们用联合概率分布列来描述
$$p_X(x[0],x[1],\dots ,x[N-1])$$
  其次，这个联合概率分布列是受参数θ影响的，从而改写成
$$p_X(x[0],x[1],\dots ,x[N-1];\theta )$$
  这样，我们得到了似然函数。总结一下，它是不同θ取值下，观测数据的联合概率分布列。为了简化数学计算，我们再通过加上独立观测的条件，就可以将似然函数与单次观测的概率密度函数联系起来，将联合分布列写成单次观测概率密度乘积的形式
$$p_X(x[0],x[1],\dots ,x[N-1];\theta )=\prod _{n=0}^{N-1}{p}_X(x[n];\theta )$$
  如此，我们得到了似然函数的最终形式
$$\prod _{n=0}^{N-1}{p}_X(x[n];\theta )$$
  为了简化计算（将乘除化为加减），通常也会对似然函数取对数，得到对数似然函数
$$\sum _{n=0}^{N-1}\ln p_X(x[n];\theta )$$

最大似然估计

  之前已经讨论了，最大似然估计是使得似然函数取得最大值的参数值$\hat{\theta }$，作为对未知参数$\theta$的估计。函数取得最大值是一个函数极値问题，一般的处理方法是如果可以写出似然函数的解析表达式，可以用似然函数对参数$\theta$求一阶导数，令一阶导数为零的参数值$\hat{\theta }$作为参数的估计。如果这种方法行不通，我们可以画出似然函数的图像，从而找到最大值，进而确定最大似然估计。
通过这种方法我们能够得到最大似然估计，那么最大似然估计的性能怎么样呢？它有着什么样的优点和弊端呢？

进一步完善：

1、最大似然估计的性质
2、矢量参数情况

问题：

1. 如何得到独立的观测？
2. 加性模型代表什么意思？有没有其他的模型?

参考文献

[1] Kay S , 罗鹏飞. 统计信号处理基础[M]. 电子工业出版社, 2014.
[2] Tsitsiklis D B J N . 概率导论(第2版)(图灵数学统计学丛书40)[M]. 人民邮电出版社, 2009.