极大似然估计与机器学习

复习概统的时候突然发现好像极大似然估计MLE与机器学习的数据驱动非常相似，都是采样样本然后估计模型参数。貌似，后知后觉的才意识到极大似然估计就是机器学习有效的数学保证

下面以拟合线性分布的最小二乘与分类问题为例推到以下如何从似然函数推导出MSE损失与交叉熵损失

一、线性回归的最小二乘法

1. 概率模型设定

假设数据由线性模型生成，且观测噪声服从 正态分布：
$$y={\mathbf{w}}^T\mathbf{x}+ϵ,ϵ\sim \mathcal{N}(0,{\sigma }^2)$$
则给定输入$\mathbf{x}$ 时，$y$ 的条件概率密度为：
$$p(y|\mathbf{x};\mathbf{w})=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(y-{\mathbf{w}}^T\mathbf{x}{)}^2}{2{\sigma }^2}\right)$$
均值即为$(y-{\mathbf{w}}^T\mathbf{x}{)}^2$

2. 似然函数与对数似然

对于独立同分布的 $N$ 个样本 { (xi,yi)}i=1N\{(\mathbf{x}_i, y_i)\}_{i=1}^N{(xi​,y