最大似然估计(MLE)与最小二乘估计(LSE)的区别

最大似然估计与最小二乘估计的区别

标签（空格分隔）： 概率论与数理统计

最小二乘估计

对于最小二乘估计来说，最合理的参数估计量应该使得模型能最好地拟合样本数据，也就是估计值与观测值之差的平方和最小。

设Q表示平方误差，$Y_{i}$表示估计值，$\hat{Y}_{i}$表示观测值，即$Q = \sum_{i=1}^{n}(Y_{i} - \hat{Y}_{i})^{2}$

最大似然估计

对于最大似然估计来说，最合理的参数估计量应该使得从模型中抽取该n组样本的观测值的概率最大，也就是概率分布函数或者似然函数最大。

显然，最大似然估计需要已知这个概率分布函数，一般假设其满足正态分布函数的特性，在这种情况下，最大似然估计与最小二乘估计是等价的，也就是估计的结果是相同的。
最大似然估计原理：
1. 当给定样本$x_{1}, x_{2}, ... ,x_{n}$时，定义似然函数为L(θ)=f(x1,x2,...,xn