从统计决策到贝叶斯估计

原创

已于 2026-08-12 21:30:13 修改 · 340 阅读

于 2026-08-11 19:38:57 首次发布

从统计决策到贝叶斯估计

统计决策问题的基本要素（统计决策引入风险）

在统计决策理论中，统计决策问题（Statistical decision problem）通常包含三个基本要素：

样本空间（Sample space）与样本分布族（Family of distributions）
- 样本所有可能的取值构成样本空间 $X\mathscr{X}$ 。
- 样本 $,Xn)⊤∈X\boldsymbol X = \left(X_1, X_2, \cdots, X_n\right)^{\top} \in \mathscr{X}$ 的联合分布属于一族分布 $Fθ(x):x∈X,θ∈Θ}\{F_\theta\left(\boldsymbol x\right) : \boldsymbol x \in \mathscr{X}, \theta \in \varTheta\}$ ，其中 $θ\theta$ 是未知参数， $Θ\varTheta$ 为参数空间。
决策空间（Decision space） $A\mathscr{A}$ ：全体决策 $a$ 组成的集合。
损失函数 $L(θ,a)L\left(\theta, a\right)$ ：当真实参数为 $θ\theta$ ，而做出决策 $a$ 时，所付出的代价。定义在 $Θ×A\varTheta \times \mathscr{A}$ 上的二元非负函数
$L\left(\theta, a\right) \geqslant 0, \quad \forall \theta \in \varTheta, \, a \in \mathscr{A}$

类比 $L(y,f(x))⩾0L\left(y, f\left(\boldsymbol x\right)\right) \geqslant 0$

决策函数

给定统计决策问题的三个基本要素：样本空间 $X\mathscr{X}$ 及样本分布族 $Fθ(x):θ∈Θ}\{F_\theta\left(\boldsymbol x\right): \theta \in \varTheta\}$ ，决策空间 $A\mathscr{A}$ 及损失函数 $L(θ,a)L\left(\theta, a\right)$ 。

统计决策是在某种准则下寻找一个函数 $f$ ，对每一个样本观测值 $,xn)⊤∈X\boldsymbol x = \left(x_1, x_2, \cdots, x_n\right)^{\top} \in \mathscr{X}$ ，确定一个决策 $\in \mathscr{A}$ 。称这个函数为统计决策函数，简称决策函数（Decision function）或判决规则（Decision rule）。决策函数是从样本空间 $X\mathscr{X}$ 到决策空间 $A\mathscr{A}$ 的映射 $\mathscr{X} \to \mathscr{A}$ ，将样本 $x\boldsymbol x$ 映射到决策 $f\left(\boldsymbol x\right)$ 。对于样本 $,Xn)⊤\boldsymbol X = \left(X_1, X_2, \cdots, X_n\right)^{\top}$ ，决策函数 $,Xn)f\left(\boldsymbol X\right) = f\left(X_1, X_2, \cdots, X_n\right)$ 是一个统计量，它是样本的函数。

决策函数 $f(x)f\left(x\right)$ 是所给定的统计决策问题的一个解，决定如何根据观测数据做出最优决策。常见的统计决策准则有贝叶斯决策（最小化期望损失）、Neyman-Pearson（N-P）决策、最小最大决策、一致最优决策等。

风险函数

为了评价决策函数 $f$ 的性能，定义风险函数（Risk Function）。在损失函数 $L(θ,a)L\left(\theta, a\right)$ 的基础上，风险函数 $R(θ,f)R\left(\theta, f\right)$ 定义为损失函数关于样本分布（似然函数） $p(x∣θ)p\left(\boldsymbol x\mid \theta\right)$ 的数学期望：
$R\left(\theta, f\right) = {E}_{\boldsymbol X\mid \theta}[L\left(\theta, f\left(\boldsymbol X\right)\right) \mid \theta] = \int_{\mathscr{X}} L\left(\theta, f\left(\boldsymbol x\right)\right) p\left(\boldsymbol x\mid \theta\right)\,{\rm d} \boldsymbol x$