19、贝叶斯统计与决策理论详解

贝叶斯统计与决策理论详解

1. 贝叶斯统计中的边缘似然与超参数估计

在贝叶斯统计中，边缘似然的表达式为：
[p(D|\mu, \tau^2, \sigma^2) = \prod_{j=1}^{D} N(x_j|\mu, \tau^2 + \sigma^2)]
对于超参数的估计，我们可以使用高斯分布的最大似然估计（MLE）方法。
- 均值 $\mu$ 的估计 ：
[\hat{\mu} = \frac{1}{D} \sum_{j=1}^{D} x_j = \bar{x}]
这里的 $\hat{\mu}$ 就是总体均值。
- 方差的估计 ：
我们采用矩匹配的方法（这与高斯分布的 MLE 等价），将模型方差与经验方差相等：
[\hat{\tau}^2 + \sigma^2 = \frac{1}{D} \sum_{j=1}^{D} (x_j - \bar{x})^2 \triangleq s^2]
所以 (\hat{\tau}^2 = s^2 - \sigma^2)。由于 (\tau^2) 必须为正，通常使用修正后的估计：
[\hat{\tau}^2 = \max{0, s^2 - \sigma^2} = (s^2 - \sigma^2)^+]
由此可得收缩因子为：
[\hat{B} = \frac{\sigma^2}{\sigma^2 + \hat{\tau}^2} = \frac{\sigma^2}{\sigma^2 + (s^2 - \sigma^2)^+}]
当 (\sigma_j^2) 不同时，无法得到封闭形式的解。