本文深入探讨了在深度学习中常用的损失函数MAE（均方绝对误差）和MSE（均方误差）的区别，以及它们在模型训练中的影响。MAE以其稳定性对抗异常值，而MSE的梯度变化大，导致更快的收敛速度。此外，文章还介绍了熵的概念，作为信息理论中的重要概念，与概率和信息量的关系，以及在分类问题中选择损失函数的考虑因素。
这节主要讨论大家都会用，但是可能需要梳理得更清晰明白的损失函数,散度，模型验证......
我本来寻思是写在深度学习那章的，这两天和人讨论强化学习，尤其DPO，PPO啥的，都绕不开KL散度，我发现一说KL散度大家就糊涂，我就单开一个章节，把这几个损失函数都给写了算了，保证大家一看就懂，不扯玄学
讲之前我们先规定几个变量
Yt：真实值
Yp: 预测值
第一个概念：MAE Loss
MAE全称是Mean Absolute Error Loss, 就是绝对值的损失，也被定义为L1 Loss
它的定义很简单 , 预测值和真实值的差的绝对值（因为不一定谁大）然后加和求平均值
第二个概念：MSE Loss
MSE全称是Mean Squared Error Loss, 就是方差的损失，也被定义为L2 Loss
它的定义也很简单 , 预测值和真实值的差的平方（因为不一定谁大，平方一定还是
扫一扫
934
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
