多元高斯分布(python示例)

多元高斯分布（也称为多变量正态分布）是单变量高斯分布的推广，用于描述多个随机变量之间的联合分布，这些变量之间可能存在线性相关性。多元高斯分布的概率密度函数的形式比较复杂，主要依赖于均值向量和协方差矩阵。

多元高斯分布的表达式

对于一个$k$-维的多元高斯分布，其概率密度函数可以表达为：

$$f(\mathbf{x})=\frac{1}{(2\pi {)}^{k/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(\mathbf{x}-\mu {)}^T{\Sigma }^{-1}(\mathbf{x}-\mu )\right)$$

其中：

• $\mathbf{x}$ 是一个 $k$-维随机向量。
• $\mu$ 是一个 $k$-维均值向量。
• $\Sigma$ 是一个 $k\times k$ 的协方差矩阵，它是对称的，且正定。
• $|\Sigma |$ 表示协方差矩阵的行列式。

三元高斯分布的例子

假设我们有一个三元高斯分布，其随机向量 $\mathbf{x}=(X_1,X_2,X_3{)}^T$，均值向量 $\mu =({\mu }_1,{\mu }_2,{\mu }_3{)}^T$，和协方差矩阵 $\Sigma$ 如下：

$$\mu =\left[\begin{array}{c}1\\ -1\\ 0\end{array}\right],\Sigma =\left[\begin{array}{ccc}1& 0.3& 0.2\\ 0.3& 2& 0.5\\ 0.2& 0.5& 3\end{array}\right]$$

因此，这个三元高斯分布的概率密度函数为：

$$f(\mathbf{x})=\frac{1}{(2\pi {)}^{3/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(\mathbf{x}-\mu {)}^T{\Sigma }^{-1}(\mathbf{x}-\mu )\right)$$

其中 $|\Sigma |$ 是协方差矩阵的行列式，${\Sigma }^{-1}$ 是协方差矩阵的逆。

计算示例

让我们用Python计算一下这个分布的行列式以及逆矩阵，并展示如何使用这个表达式计算某个具体点的概率密度。

import numpy as np

# 定义均值向量和协方差矩阵
mu = np.array([1, -1, 0])
Sigma = np.array([
    [1, 0.3, 0.2],
    [0.3, 2, 0.5],
    [0.2, 0.5, 3]
])

# 计算协方差矩阵的行列式和逆矩阵
Sigma_det = np.linalg.det(Sigma)
Sigma_inv = np.linalg.inv(Sigma)

# 设置一个具体的点x
x = np.array([0, 0, 0])

# 计算多元正态分布的概率密度函数值
k = len(mu)  # 维数
denominator = (2 * np.pi) ** (k / 2) * np.sqrt(Sigma_det)
exponent = -0.5 * (x - mu).T.dot(Sigma_inv).dot(x - mu)
pdf_value = (1 / denominator) * np.exp(exponent)

print(Sigma_det)
print(Sigma_inv)
print(pdf_value)

对于给定的三元高斯分布参数和随机向量 $\mathbf{x}=(0,0,0)$，计算结果如下：

• 协方差矩阵 $\Sigma$ 的行列式：$5.46$
• 协方差矩阵 $\Sigma$ 的逆矩阵：
  $$\left[\begin{array}{ccc}1.053& -0.147& -0.046\\ -0.147& 0.542& -0.081\\ -0.046& -0.081& 0.350\end{array}\right]$$
• 在点 $\mathbf{x}=(0,0,0)$ 的概率密度值：$0.01057$.

概率密度函数的解释

这个概率密度值表示，在给定的三元高斯分布下，随机变量 $\mathbf{x}=(0,0,0)$ 出现的概率密度。由于高斯分布的特性，这个值不是概率本身，而是在这个点的密度值，用于概率计算和统计推断。

这个具体的概率密度函数值告诉我们，在均值 $\mu =(1,-1,0)$ 附近，向量 $\mathbf{x}=(0,0,0)$ 的出现相对较为罕见，因为其概率密度较低。如果我们计算离均值更近的点，概率密度值通常会更高。