两个多元高斯分布的KL

两个多元高斯分布的KL散度

高斯分布，是定义在 $R^n$ 上的连续型概率分布，概率密度函数为：
$$p(x)=\frac{1}{\sqrt{(2\pi {)}^n\det (\Sigma )}}exp\left\{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right\}$$
这里 $x,\mu \in R^n$，$\Sigma \in R^{n\times n}$ 是协方差矩阵,它要求是正定对称的。当 $\mu =0,\Sigma =I$ 时，即为标准正态分布。

正定对称：
$\Sigma$ 是一个正定对称矩阵，那么：
（1）对称性：$\Sigma ={\Sigma }^T$
（2）正定性：对任意非零 $\xi \in R^n$，有 ${\xi }^T\Sigma \xi >0$
正定矩阵的逆也是正定矩阵。两个正定矩阵的和也是正定矩阵。

正态分布的一些性质：

1. $E_x[x]=\mu$
2. $E_x[(x-\mu)(x-\mu)^T]=\Sigma $
3. $E_x[xx^T]=\mu\muT+E_x[(x-\mu)(x-\mu)^T]=\mu\muT+\Sigma $
4. 熵：
   $$\mathcal{H}=E_x[-\log p(x)]=\frac{n}{2}(1+\log 2\pi )+\frac{1}{2}\log \det (\Sigma )$$

KL散度

对于 $p(x)=\mathcal{N}({\mu }_p,{\Sigma }_p)$，$q(x)=\mathcal{N}({\mu }_q,{\Sigma }_q)$

计算结果：

$$KL(p(x)||q(x))=\frac{1}{2}\left[({\mu }_p-{\mu }_q{)}^T{\Sigma }_q^{-1}({\mu }_p-{\mu }_q)-\log \det ({\Sigma }_q^{-1}{\Sigma }_p)+Tr({\Sigma }_q^{-1}{\Sigma }_p)-n\right]$$
特别地，当 $q$ 是标准正态分布时，结果简化为：
$$KL(p(x)||q(x))=\frac{1}{2}\left[||{\mu }_p|{|}^2+Tr({\Sigma }_p)-\log \det ({\Sigma }_p)-n\right]$$

推导过程：

$$KL(p(x)||q(x))=E_{x\sim p(x)}\left[\log \frac{p(x)}{q(x)}\right]=E_{x\sim p(x)}[\log p(x)]+E_{x\sim p(x)}[-\log q(x)]$$
先计算 $E_{x\sim p(x)}[-\log q(x)]$：
$$\begin{array}{rl}{E}_{x\sim p(x)}[-\log q(x)]& =E_{x\sim p(x)}\left[\frac{n}{2}\log (2\pi )+\frac{1}{2}\log \det ({\Sigma }_q)+\frac{1}{2}(x-{\mu }_q{)}^T{\Sigma }_q^{-1}(x-{\mu }_q)\right]\\ & =\frac{n}{2}\log (2\pi )+\frac{1}{2}\log \det ({\Sigma }_q)+\frac{1}{2}{E}_{x\sim p(x)}\left[(x-{\mu }_q{)}^T{\Sigma }_q^{-1}(x-{\mu }_q)\right]\end{array}$$

Frobenius内积:
对于 $m\times n$ 的矩阵 $A,B$，它们的 Frobenius内积被定义为：
$$<A,B{>}_F=\sum _{i=1}^m\sum _{j=1}^n{A}_{ij}{B}_{ij}$$
Frobenius内积有如下性质：
$$<A,B{>}_F=Tr(A^{T}B)=Tr(B{A}^T)=Tr(A{B}^T)=Tr(B^{T}A)$$

根据 Frobenius内积 的性质：
$$\begin{array}{rl}{E}_{x\sim p(x)}\left[(x-{\mu }_q{)}^T{\Sigma }_q^{-1}(x-{\mu }_q)\right]& =E_{x\sim p(x)}\left[Tr((x-{\mu }_q{)}^T{\Sigma }_q^{-1}(x-{\mu }_q))\right]\\ & =E_{x\sim p(x)}\left[Tr({\Sigma }_q^{-1}(x-{\mu }_q)(x-{\mu }_q{)}^T)\right]\\ & =Tr\left({\Sigma }_q^{-1}{E}_{x\sim p(x)}[(x-{\mu }_q)(x-{\mu }_q{)}^T]\right)\\ & =Tr\left({\Sigma }_q^{-1}{E}_{x\sim p(x)}[x{x}^T-x{\mu }_q^T-{\mu }_q{x}^T+{\mu }_q{\mu }_q^T\right)\\ & =Tr({\Sigma }_q^{-1}({\Sigma }_p+{\mu }_p{\mu }_p^T-{\mu }_p{\mu }_q^T-{\mu }_q{\mu }_p^T+{\mu }_q{\mu }_q^T))\\ & =Tr({\Sigma }_q^{-1}{\Sigma }_p)+({\mu }_p-{\mu }_q{)}^T{\Sigma }_q^{-1}({\mu }_p-{\mu }_q)\end{array}$$
至于 $E_{x\sim p(x)}[\log p(x)]$，即是上面提到的熵的负数。所以最终结果为：
$$\begin{array}{rl}KL(p(x)||q(x))& =E_{x\sim p(x)}[\log p(x)]+E_{x\sim p(x)}[-\log q(x)]\\ & =[-\frac{n}{2}(1+\log 2\pi )-\frac{1}{2}\log \det ({\Sigma }_p)]\\ & +\frac{n}{2}\log (2\pi )+\frac{1}{2}\log \det ({\Sigma }_q)+\frac{1}{2}[Tr({\Sigma }_q^{-1}{\Sigma }_p)+({\mu }_p-{\mu }_q{)}^T{\Sigma }_q^{-1}({\mu }_p-{\mu }_q)]\\ & =\frac{1}{2}\left[Tr({\Sigma }_q^{-1}{\Sigma }_p)+({\mu }_p-{\mu }_q{)}^T{\Sigma }_q^{-1}({\mu }_p-{\mu }_q)-n-\log \det ({\Sigma }_q^{-1}{\Sigma }_p)\right]\end{array}$$