机器学习之极大似然估计

最新推荐文章于 2025-05-21 20:30:53 发布

原创最新推荐文章于 2025-05-21 20:30:53 发布 · 3.9k 阅读

5 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#机器学习

机器学习专栏收录该内容

16 篇文章

订阅专栏

极大似然估计

基本思想

极大似然估计是在总体类型已知的条件下使用的一种参数估计方法。
首先是德国数学家高斯在1821年提出的，然而这个方法常归功于英国统计学家费歇。
极大似然法的基本思想通过一个例子说明：
一个猎人和一个二逼外出打猎，一只野兔从前方窜过，一声枪响，野兔应声倒下。如果要你推测，是谁打中的？你会如何想？
选择一个参数使得实验结果有最大的概率
（1）若总体X属离散型，其分布律 $P \{X=x\}=p(x;\theta),\theta\in \Theta$ 的形式是已知， $\theta$ 为待估参数， $\Theta$ 是 $\theta$ 可能取值的范围。
设 $X_1,X_2,\cdot\cdot\cdot,X_n$ 是来自 $X$ 的样本；则 $X_1,X_2,\cdot\cdot\cdot,X_n$ 的联合分布律：

\prod i = 1 n p (x i; θ)

$\prod_{i=1}^{n}p(x_i;\theta)$
又设

x1,x2,⋅⋅⋅,xn $x_1,x_2,\cdot\cdot\cdot,x_n$ 是

X1,X2,⋅⋅⋅,Xn $X_1,X_2,\cdot\cdot\cdot,X_n$ 的一个样本值;易知样本

X1,X2,⋅⋅⋅,Xn $X_1,X_2,\cdot\cdot\cdot,X_n$ 取

x1,x2,⋅⋅⋅,xn $x_1,x_2,\cdot\cdot\cdot,x_n$ 得概率，为事件

{X1=x1,X2=x2,⋅⋅⋅,Xn=xn} $\{X_1=x_1,X_2=x_2,\cdot\cdot\cdot,X_n=x_n\}$ 发生的概率为

L (θ) = L (x 1, x 2, \cdot \cdot \cdot, x n; θ) = \prod i = 1 n p (x i; θ) θ \in Θ

$L(\theta)=L(x_1,x_2,\cdot\cdot\cdot,x_n;\theta)=\prod_{i=1}^{n}p(x_i;\theta) \theta\in \Theta$
它是

θ $\theta$ 的函数，

L(θ) $L(\theta)$ 称为样本的似然函数
由最大似然估计法：固定

x1,x2,⋅⋅⋅,xn $x_1,x_2,\cdot\cdot\cdot,x_n$ ；挑选使得概率

L(θ)=L(x1,x2,⋅⋅⋅,xn;θ) $L(\theta)=L(x_1,x_2,\cdot\cdot\cdot,x_n;\theta)$ 达到最大的参数

L (x 1, x 2, \cdot \cdot \cdot, x n; θ) = m a x L (x 1, x 2, \cdot \cdot \cdot, x n; θ)

$L(x_1,x_2,\cdot\cdot\cdot,x_n;\theta)=max \ L(x_1,x_2,\cdot\cdot\cdot,x_n;\theta)$

θ $\theta$ 与

x1,x2,⋅⋅⋅,xn $x_1,x_2,\cdot\cdot\cdot,x_n$ 有关，记

θ(x1,x2,⋅⋅⋅,xn) $\theta (x_1,x_2,\cdot\cdot\cdot,x_n)$ ;称其为参数

θ $\theta$ 的极大似然估计值。

θ(X1,X2,⋅⋅⋅,Xn) $\theta (X_1,X_2,\cdot\cdot\cdot,X_n)$ 称为参数

θ $\theta$ 的极大似然估计量

求参数的最大似然函数的步骤：
1.写出似然函数

$L (θ 1, (θ 1, \cdot \cdot \cdot, θ k) = L (x 1, x 2, \cdot \cdot \cdot, x n; θ 1, \cdot \cdot \cdot, θ k) = \prod i = 1 n f (x i; θ 1, \cdot \cdot \cdot, θ k)$ $L(\theta_1,(\theta_1,\cdot\cdot\cdot,\theta_k)=L(x_1,x_2,\cdot\cdot\cdot,x_n;\theta_1,\cdot\cdot\cdot,\theta_k)=\prod_{i=1}^{n}f(x_i;\theta_1,\cdot\cdot\cdot,\theta_k)$
2.取对数
3.将对数似然函数对各参数求偏导数并令其为零，得对数似然方程组。若总体分布中只有一个未知参数，则为一个方程，称对数似然方程
4.从方程组中解出 $\theta_1,\cdot\cdot\cdot,\theta_k$ ，并记为

示例

这里写图片描述