伯努利模型的极大似然估计和贝叶斯估计

最新推荐文章于 2026-04-25 13:55:00 发布

转载最新推荐文章于 2026-04-25 13:55:00 发布 · 7.8k 阅读

本文探讨了在伯努利试验中如何估计参数θ，分别介绍了极大似然估计和贝叶斯估计的方法，详细推导了两种方法下θ的最佳估计值。

定义随机变量A为一次伯努利试验的结果， $A$ 的取值为[0,1]，概率分布为 $P (A)$ : $P(A=1)=θP(A=0)=1−θP(A=1)=\theta\\P(A=0)=1-\theta$ 下面分别使用极大似然估计和贝叶斯估计来估计 $θ\theta$ 。

极大似然估计
$L(\theta) = \prod_{i=1}^{n}P(A_i) = \theta^k(1-\theta)^{n-k}$

$A_i$ 代表第 $i$ 次随机试验

$\begin{aligned} logL(\theta)&=log\prod_{i=1}^{n}P(A_i) = log\theta^k + log(1-\theta)^{n-k}\\ &=klog\theta+(n-k)log(1-\theta) \end{aligned}$
对公式两边同时求导，并求当导数等于零时的 $θ\theta$ 值，如下
$\dfrac{\partial{L(\theta)}}{\partial{\theta}}=k·\dfrac{1}{\theta} + (n-k)·\dfrac{-1}{1-\theta}$
$令∂L(θ)∂θ=0令\dfrac{\partial{L(\theta)}}{\partial{\theta}}=0$ ，可得 $θ=kn\theta=\dfrac{k}{n}$ 。此时 $θ\theta$ 满足 $θ=arg⁡max⁡θL(θ)\theta = \mathop{\arg\max} \limits_{\theta}L(\theta)$ 。

贝叶斯估计
$P(\theta |A_1,A_2,\dots,A_n)=\dfrac{P(A_1,A_2,\dots,A_n|\theta)·\pi(\theta)}{P(A_1,A_2,\dots,A_n)}$

根据观察到的结果修正 $θ\theta$ ,也就是假设 $θ\theta$ 是随机变量， $θ\theta$ 服从 $β\beta$ 分布，有很多可能取值，我们要取的值是在已知观察结果的条件下使 $θ\theta$ 出现概率最大的值。
$\begin{aligned} \theta&=\mathop{\arg\max} \limits_{\theta} \ P(A_1,A_2,\dots,A_n|\theta)·P(\theta) \\ &=\mathop{\arg\max} \limits_{\theta} \prod P(A_i|\theta)P(\theta)\\ &=\mathop{\arg\max} \limits_{\theta} \theta^k(1-\theta)^{n-k}\theta^{a-1}(1-\theta)^{b-1} \end{aligned}$

求解同上，得 $θ=k+(a−1)n+(a−1)+(b−1)\theta = \dfrac{k+(a-1)}{n+(a-1)+(b-1)}$ ,其中 $a, b$ 是 $β\beta$ 分布中的参数 $β(θ;a,b)=θa−1(1−θ)b−1C\beta(\theta;a,b)=\dfrac{\theta^{a-1}(1-\theta)^{b-1}}{C}$ , $C$ 为常数，选定 $a, b$ 后就可以确定 $θ\theta$ 。