[机器学习] Pytorch19种损失函数理解[上]— L1、MSE、CrossEntropy、KL、BCE、BCEWithLogits loss function

最新推荐文章于 2024-09-18 20:41:41 发布
原创 最新推荐文章于 2024-09-18 20:41:41 发布 · 717 阅读 · 0
本文介绍了PyTorch中常用的六种损失函数，包括L1范数损失、均方误差损失、交叉熵损失、KL散度损失、二元交叉熵损失和BCEWithLogitsLoss。详细解释了各损失函数的计算方式、应用场景及参数含义，帮助理解它们在机器学习和深度学习中的作用。

损失函数通过torch.nn包实现。

文章目录

1 基本用法

criterion = LossCriterion() #构造函数有自己的参数
loss = criterion(x, y) #调用标准时也有参数

2 损失函数（前6种）

2-1 L1范数损失 —— L1_Loss

计算 output 和 target 之差的绝对值。

torch.nn.L1L
订阅专栏 解锁全文 限时秒杀 ¥14.95 限时期限 超级会员免费看
Pytorch深度学习-----损失函数（L1Loss、MSELoss、CrossEntropyLoss）
LGL
08-07 2558
如果设置为 True，则对输入批次的输出进行减少，返回一个标量。如果设置为 False，则返回每个输入批次的输出的张量。如果设置为 True，则对输入批次的输出进行减少，返回一个标量。如果设置为 False，则返回每个输入批次的输出的张量。如果设置为 ‘mean’，则对输入批次的输出进行平均。如果设置为 ‘none’，则不进行减少，返回每个输入批次的输出的张量。如果设置为 ‘mean’，则对输入批次的输出进行平均。如果设置为 ‘none’，则不进行减少，返回每个输入批次的输出的张量。
[计算机视觉]-MSE、MEA、L1、L2、smooth L1解释及优缺点
ai_faker的博客
05-31 7670
MAE损失函数 MAE=∑i=1n∣yi−yip1∣nM A E=\frac{\sum_{i=1}^{n} \mid y_{i}-y_{i}^{p_{1}} \mid}{n}MAE=n∑i=1n​∣yi​−yip1​​∣​ 以分类问题举例。 对于上式中，yiy_{i}yi​代表真实值，yipy_{i}^{p}yip​代表预测值。 下面是一个MAE函数的图，其中真实目标值为100，预测值在-10,000至10,000之间。预测值（X轴）= 100时，MSE损失（Y轴）达到其最小值。损失范围为0至∞。 优点
L1损失（MAE）、L2损失（MSE）
Drug discovery
06-05 3万+
目录 均绝对误差(L1Loss) 均方误差MSE (L2 Loss) MSE和MAE的选择 总结 均绝对误差(L1Loss) 均绝对误差（Mean Absolute Error,MAE) 是指模型预测值f(x)和真实值y之间距离的均值，其公式如下： 忽略下标i，设n=1，以f(x)−y为横轴，MAE的值为纵轴，得到函数的图形如下： MAE曲线连续，但是在y−f(x)=0处不可导。而且 MAE 大部分情况下梯度都是相等的，这意味着即使对于小的损失值，其梯度也是大的。这不利于函数的收敛...
深度学习——常见损失函数Loss：L1 ，L2 ，MSE ，Binary Cross ，Categorical Cross ，Charbonnier ，Weighted TV ，PSNR
qq_40280673的博客
11-08 3万+
在深度学习中，损失函数是一个核心组件，它度量模型的预测结果与真实值之间的差异。通过最小化损失函数的值，模型能够在训练过程中逐渐改善其性能。损失函数为神经网络提供了一个明确的优化目标，是连接数据和模型性能的重要桥梁。
L1 Loss VS L2 loss（MSE Loss）对比
子燕若水的博客
03-28 3780
L1损失和MSE(L2)损失的主要区别是，L1损失测量的是预测值和实际值之间的绝对差值，而MSE损失测量的是预测值和实际值之间的平方差值。这意味着L1损失对离群值更加稳健，因为绝对值函数对所有的错误都一视同仁，而MSE损失由于是平方运算，对较大的错误给予更多的权重。总之，L1损失和MSE损失是衡量回归问题中预测值和实际值之间误差的两种不同方式，L1损失对离群值更加稳健，MSE损失对较大的误差给予更多的权重。
25_PyTorch的十九个损失函数（L1Loss、MSELoss、CrossEntropyLoss 、CTCLoss、NLLLoss、PoissonNLLLoss 、KLDivLoss等）
涂作权的博客
02-10 5413
1.20.PyTorch的十九个损失函数 1.20.1.L1Loss（L1范数损失） 1.20.2.MSELoss（均方误差损失） 1.20.3.CrossEntropyLoss （交叉熵损失） 1.20.4.CTCLoss（连接时序分类损失） 1.20.5.NLLLoss（负对数似然损失） 1.20.6.PoissonNLLLoss (目标泊松分布的负对数似然损失) 1.20.7.KLDivLoss（KL散度损失） 1.20.8.BCELoss（二进制交叉熵损失） 1.20.9.BCEWithLogits
dbnet字符检测详细网络结构图
一千零一夜的博客
04-22 691
1. dbnet网络 原始论文： https://arxiv.org/abs/1911.08947https://arxiv.org/abs/1911.08947 2. 论文中的网络结构图 3. 详细网络结构图
神经网络的损失函数
myc的博客
10-22 2万+
1、L1loss 这个就是我们常说的L1范数，简单说就是计算输出值与真实值之间误差的绝对值大小。loss=∣xi−yi∣loss=|x_{i}-y_{i}|loss=∣xi​−yi​∣由于L1 loss在零点不平滑，所以用的比较少。 2、SmoothL1Loss L1loss的平滑版。如果绝对元素误差低于1则使用平方项的标准，否则L1项。 它对异常值的敏感度低于MSELoss，并且在某些情况下可以...
几种常见的损失函数解析以及适用条件
最新发布
qq_61600833的博客
09-18 929
在机器学习和深度学习领域，损失函数（Loss Function）是评估模型预测结果与真实值差异的重要工具。合理选择损失函数对于模型的训练和性能优化至关重要。本文将介绍几种常见的损失函数：L1Loss、NLLLoss、MSELoss、BCELoss 和 CrossEntropyLoss，以及它们的适用条件。选择合适的损失函数对于模型的训练和性能优化至关重要。本文介绍了五种常见的损失函数及其适用条件，希望对您在实际应用中有所帮助。在实际应用中，还需根据具体问题、数据分布和模型结构来合理选择损失函数。
L1范数、L2范数、MAE、MSE、RMSE的定义及其在PyTorch中的计算方式
weixin_43185874的博客
10-19 9033
一范数：元素绝对值之和 二范数：元素平方和的平方根 MAE：Mean Absolute Error，平均绝对误差 MSE：Mean Square Error，均方误差
mseloss 与 smooth_l1_loss比较
jacke121的专栏
01-19 6148
测试代码： import torch import torch.nn.functional as F conf_mask = torch.FloatTensor([0.0, 10.0, 0.0, 1.0, 1.0]) conf_data = torch.FloatTensor([10.1, 0.9, 0.0, 10.2, 10.2]) loss_fn = torch.nn.MSELoss(...
L1正则和L2正则的比较分析详解
Learning from the mistakes
09-20 4万+
感受 上次有个面试官问我l1正则和l2正则有什么区别，当时把我给问傻了，于是就回来找了资料写了这篇博客，我参照的是英文博客，吸取别人的长处，希望能帮助大家，如有错误或者需要补充的，欢迎指正，咱们共同进步   范数(norm） 数学上，范数是一个向量空间或矩阵上所有向量的长度和大小的求和。简单一点，我们可以说范数越大，矩阵或者向量就越大。范数有许多种形式和名字，包括最常见的：欧几里得距离（E...
【回归损失函数】L1（MAE）、L2（MSE）、Smooth L1 Loss详解
Roaddd的博客
03-14 2万+
1. L1 Loss（Mean Absolute Error，MAE）        平均绝对误差（MAE）是一种用于回归模型的损失函数。MAE 是目标变量和预测变量之间绝对差值之和，因此它衡量的是一组预测值中的平均误差大小，而不考虑它们的方向，范围为 0~∞。 MAE公式如下： 导数： MAE图像如下： 主要问题：        导数为常数，在 Loss 函数最
L1 loss 和 L2 loss 比较
ls83776736的博客
07-10 1万+
1、L1 loss 在零点不平滑，用的较少  2、Smooth L1 Loss 修改零点不平滑问题  3、L2 loss：对离群点比较敏感，如果feature 是 unbounded的话，需要好好调整学习率，防止出现梯度爆炸的情况[fast rcnn]   4、一般来说，L1正则会制造稀疏的特征，大部分无用特征的权重会被置为0。 L2正则会让特征的权重不过大，使得特征的权重比较平均。 5、...
【代价函数】MSE：均方误差（L2 loss）
热门推荐
yuanCruise
08-27 8万+
MSE均方误差（L2 loss） 1.代码展示MAE和MSE图片特性 import tensorflow as tf import matplotlib.pyplot as plt sess = tf.Session() x_val = tf.linspace(-1.,-1.,500) target = tf.constant(0.) #计算L2_loss l2_y_val = tf...
损失与损失函数L1、L2、MSE
weixin_43951831的博客
03-28 2746
损失 是一个数值，表示对样本而言模型预测的准确程度。 如果模型的预测完全正确，则损失为零，反之损失会很大。 训练模型的目标是从所有的样本当中，找到一组损失较小的权重与偏差。其“损失较小”的考量取决于具体需要 损失函数 L1损失： 基于模型预测的值与标签的实际值之差的绝对值 L2 损失： 平方损失 MSE均方误差 标签是我...
Pytorch学习 day10（L1Loss、MSELoss、交叉熵Loss、反向传播）
丿罗小黑的博客
03-10 1070
loss
Torch 的几个损失函数
qq_16305985的专栏
01-19 3万+
初步了解一下，pytorch里面的损失函数及使用方法。如有不对的地方，欢迎指出。谢谢！1.  L1LossInput:    X、Y可以是任意形状的输入，X与Y的 shape相同。Output: 标量用途：计算X与Y的差的绝对值， 1/n * (|Xi -Yi|)2. MSELossInput:  x, y 任意具有相同shape的tensor。Output: 计算均方差3. CrossEntro...
【MSE/BCE/CE】均方差、交叉熵损失函数理解
计算机视觉方面的点点滴滴，欢迎一起讨论
04-07 9051
文章目录1 均方误差(Mean Squared Error, MSE)1.1 MSE介绍1.2 MSE为何不常用于分类1.3 那什么常用于分类呢?2 二值交叉熵损失(Binary Cross Entropy Loss, BCE)2.1 BCE介绍2.2 pytorch中的BCELoss3 交叉熵损失(Cross Entropy Loss, CE)3.1 CE介绍3.2 分类损失到底怎么得到的3.3 pytorch中的CELoss4 解释BCE并不是只能学习0或1的label5 参考链接： 1 均方误差(Me
PyTorch 常用的损失函数(目标函数)介绍
weixin_43276033的博客
04-29 1273
损失函数（目标函数），在机器学习中计算真实值和目标值之间的差异。Pytorch 中定义了大量的目标函数类，这里简单介绍几种常用的目标函数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值