统计决策与贝叶斯估计

最新推荐文章于 2025-08-27 14:12:56 发布

翻译最新推荐文章于 2025-08-27 14:12:56 发布 · 476 阅读

收录于

高等统计学笔记

博客探讨了贝叶斯统计中的决策理论，包括平方损失函数、风险函数和贝叶斯风险的概念。它详细介绍了后验概率公式以及如何通过共轭先验分布求解问题。此外，还解释了贝叶斯估计量的定义，并给出了一个二项分布与贝塔分布共轭的例子。整个讨论聚焦于如何在已知先验分布和损失函数的情况下，找到最优的决策函数以最小化贝叶斯风险。

统计决策与贝叶斯估计

平方损失函数：L( $θ,d\theta,d$ ) = $(θ−d)2(\theta-d)^2$
其中: $d (X)$ -决策函数
R( $θ,d\theta,d$ ) = $Eθ[L(θ,d(X))]E_\theta[L(\theta,d(X))]$ 称为决策函数 $d (X)$ 的风险函数,表示当真参数为 $θ\theta$ 时，采用决策 $d$ 所遭受的平均损失.
$RB(d)=E[R(θ,d)]R_B(d) = E[R(\theta,d)]$ 称为d的贝叶斯风险.

后验概率公式
$h(θ∣x)=π(θ)q(x∣θ)m(x)h(\theta|x) = \frac{\pi(\theta)q(x|\theta)}{m(x)}$
后验分布集中体现了样本和先验分布两者所提供的关于总体信息的总和。

共轭先验分布求解：
1.求解似然函数 $q(x∣θ)q(x|\theta)$ ;
2.根据 $q(x∣θ)q(x|\theta)$ 中所含的 $θ\theta$ 因式的情况，选取与似然函数具有相同核的分布作为先验分布，这个分布往往就是共轭先验分布.
eg: 总体服从二项分布B(N, $θ\theta$ ), 共轭先验分布是贝塔分布 Be( $α,β\alpha,\beta$ )

贝叶斯估计
$RB(d∗)=inf⁡dRB(d)R_B(d^*) =\displaystyle\inf_{d}R_B(d)$ , $∀d∈D\forall d\in D$
贝叶斯估计量 $d^*(X)$ 就是使贝叶斯风险 $R_B(d)$ 达到最小的决策函数.
设 $θ\theta$ 的先验分布为 $π(θ)\pi(\theta)$ 和损失函数为 L( $θ,d\theta,d$ ) = $(θ−d)2(\theta-d)^2$ ，则 $θ\theta$ 的贝叶斯估计是
$d∗(X)=E(θ∣X=x)=∫Θθh(θ∣x)dθd^*(X) = E(\theta|X=x) = \int_\Theta\theta h(\theta |x)d\theta$ 其中： $h(θ∣x)h(\theta |x)$ 为参数 $θ\theta$ 的后验密度.

标签

#概率论