[机器学习] Pytorch19种损失函数理解[中]— MarginRanking、Hinge&HingeEmbedding、MultiLabelMargin、SoftMargin、SmoothL1

最新推荐文章于 2024-04-26 11:55:26 发布
原创 最新推荐文章于 2024-04-26 11:55:26 发布 · 666 阅读 · 0
本文详细介绍了PyTorch中的19种损失函数，包括MarginRankingLoss、HingeLoss和HingeEmbeddingLoss、MultiLabelMarginLoss、SoftMarginLoss以及SmoothL1Loss，阐述了它们在不同场景下的应用和计算原理。

参考：https://www.shuzhiduo.com/A/1O5EZv6Wd7/
参考：https

文章目录

2 损失函数

2.7 MarginRankingLoss 边距排序损失

torch.nn.MarginRankingLoss(margin=0.0, reduction='mean')

对于 mini-batch(小批量) 中每个实例的损失函数如下:
在这里插入图片描述
Ranking：如果排序的内容仅仅是两个元素而已，那么对于某一个元素，只有两个结果，那就是在第二个元素之前或者在第二个元素之前。其实这就是该损失函数的核心了。

订阅专栏 解锁全文 限时秒杀 ¥14.95 限时期限 超级会员免费看
ptranking:在PyTorch中学习排名
05-10
介绍 这个开源项目称为PTRanking （在PyTorch中学习排名），旨在提供基于PyTorch的典型的按等级学习方法的可扩展和可扩展的实现。 一方面，该项目可以对多个基准数据集进行统一比较，从而可以深入了解以前的学习排名方法。 另一方面，该项目使开发和合并新提出的模型变得容易，从而扩展了等级学习技术的领域。 主要特点： 许多具有代表性的学习排名模型，不仅包括通过经验风险最小化的传统优化框架，还包括对抗性优化框架 支持广泛使用的基准数据集。 同时，还支持以指定比例随机掩盖真实标签 支持不同的指标，例如Precision，MAP，nDCG和nERR 高度可配置的功能，用于微调超参数，例如，对特定模型的超参数进行网格搜索 提供易于使用的API，以开发新的按等级学习模型 请参考以获取更多详细信息。
pytorch中的loss函数（2）：SoftMarginLoss
yuxiafan的博客
03-21 8104
SoftMarginLoss针对two-class classification（二分类）问题。 loss计算公式： 其中，； 是pytorch中统计tensor中元素的个数，例如： x = torch.randn(size = (1,3,4,6)) print(x.nelement()) 结果为元素个数1 * 3 * 4 * 6 的函数曲线如图1所示： 当y[i]=...
损失函数总结（九）：SoftMarginLoss、MultiLabelSoftMarginLoss
走在深度学习前沿的小宋
10-28 1452
本文对损失函数进行了部分总结，包括：SoftMarginLoss、MultiLabelSoftMarginLoss等损失函数及其在当前损失函数众多的情况下使用的环境。
loss函数之SoftMarginLoss
ltochange的博客
06-19 2543
SoftMarginLoss 用于二分类任务 对于包含NNN个样本的batch数据 D(x,y)D(x, y)D(x,y), xxx代表模型输出，yyy代表真实的类别标签，yyy中元素的值属于{1,−1}\{1,-1\}{1,−1}。losslossloss计算如下: loss=∑ilog⁡(1+exp⁡(−y[i]∗x[i])) x.nelement ()loss= \frac{\sum_{i}\log (1+\exp (-y[i] * x[i]))}{\text { x.neleme
loss函数之MarginRankingLoss
ltochange的博客
07-12 1万+
MarginRankingLoss 排序损失函数 对于包含NNN个样本的batch数据 D(x1,x2,y)D(x1,x2,y)D(x1,x2,y), x1x1x1, x2x2x2是给定的待排序的两个输入，yyy代表真实的标签，属于{1,−1}\{1,-1\}{1,−1}。当y=1y=1y=1是，x1x1x1应该排在x2x2x2之前，y=−1y=-1y=−1是，x1x1x1应该排在x2x2x2之后。第nnn个样本对应的losslossloss计算如下: ln=max⁡(0,−y∗(x1−x2)+margin
深度学习损失函数原理分析（四）
智市科技博客
12-13 2712
本章节主要介绍深度学习中损失函数。2分类的logistic损失 SoftMarginLoss、多标签分类损失 MultiLabelMarginLoss、 多标签 one-versus-all 损失 MultiLabelSoftMarginLoss 2.10 SoftMarginLoss SoftMarginLoss用于计算二分类logistic损失 功能：创建一个优化器用来做二分类逻辑回归，输入X与标签y(含有1 or -1). nn.SoftMarginLoss（size_average=None,
Pytorch-18种经典的损失函数
斯人若彩虹，遇上方知有！
08-11 1万+
一、18种损失函数 损失函数：衡量模型输出与真实标签的差异； 目标函数 = 代价函数 + 正则化项（L1或者L2等，惩罚项） 1、nn.CrossEntropyLoss(交叉熵损失） （1）什么是熵？：熵是信息论中最基本、最核心的一个概念，它衡量了一个概率分布的随机程度，或者说包含的信息量的大小。 具体公式推导可以参考这篇博主的讲解：一文搞懂交叉损失，讲解浅显易懂！ （2）功能： nn.LogSoftmax ()与nn.NLLLoss ()结合，进行交叉熵计算 nn.C..
pytorch学习九---损失函数
abcdrachel的博客
11-07 1741
损失函数（一) 损失函数概念 损失函数是衡量模型输出与真实标签的差异 在我们讨论损失函数时，经常会出现以下概念：损失函数（Loss Function）、代价函数（Cost Function）、目标函数（Objective Function)。这三者有什么区别及联系呢？ Loss Function是计算一个样本的差异， 代价函数是计算整个样本集的差异的平均值： 目标函数是更广泛的概念...
损失函数总结（七）：MarginRankingLoss、HingeEmbeddingLoss
走在深度学习前沿的小宋
10-27 1566
本文对损失函数进行了部分总结，包括：MarginRankingLoss、HingeEmbeddingLoss等损失函数及其在当前损失函数众多的情况下使用的环境。
PyTorch学习笔记：nn.MarginRankingLoss——排序损失
qq_50001789的博客
02-10 7973
PyTorch学习笔记：nn.MarginRankingLoss——排序损失
MarginRankingLoss
VIEO
08-23 7721
https://zhuanlan.zhihu.com/p/83364904 MarginRankingLoss 大家可能对这个损失函数比较陌生。在机器学习领域，了解一个概念最直观的最快速的方式便是从它的名字开始。 MarginRankingLoss也是如此，拆分一下，Margin，Ranking，Loss。 Margin：前端同学对Margin是再熟悉不过了，它表示两个元素之间的间隔。在机器学习中其实Margin也有类似的意思，它可以理解为一个可变的加在loss上的一个偏移量。也就是表明这个方法
MultiLabelSoftMarginLoss函数
qq_42362891的博客
12-07 6342
前言 MultiLabelSoftMarginLoss损失函数，多标签分类损失。 很多文章都有介绍这个函数，他们给出的公式是： 但是我通过这个公式计算的值总是与直接引用损失函数计算的值不同，后来我把log换成了ln，结果就一致了。 MultiLabelSoftMarginLoss这个损失函数其实就是 sigmoid 加BCEloss。 sigmoid ...
【PyTorch】PyTorch的各个组件和实战
Katniss的Blog
09-14 762
包来完成，这是PyTorch官方用于图像处理的工具库，上面提到的使用内置数据集的方式也要用到。PyTorch的一大方便之处就在于它是一整套“生态”，有着官方和第三方各个领域的支持。数据集中包含已经预先划分好的训练集和测试集，其中训练集共60,000张图像，测试集共10,000张图像。每张图像均为单通道黑白图像，大小为32*32pixel，分属10个类别。我们将通过FashionMNIST时装分类来学习PyTorch进行深度学习的流程。如果需要对每一个batch进行一些操作，可以使用。
Pytorch-搭建网络框架(二)
c_Qyaya的博客
10-01 439
Hello SYT 损失函数模块： 损失函数的构建分为选择损失函数，在循环中得到损失值并反向传播三步 loss_function = nn.CrossEntropyLoss() # 选择损失函数 #训练之后，获得outputs loss = loss_function(outputs, labels) # 得到损失值 loss.backward() # 反向传播 损失函数的选择： pytorch中有如下18种损失函数 nn.CrossEntropyLoss nn.NLLLoss nn.BCELoss
Edge loss 解读
06-24 1万+
Edge loss
边缘损失edge loss
qq_45753667的博客
04-26 1706
其实公式很好理解， |X-Y|表示了超分图像与真实图像的绝对误差， 但是我们更关心边缘的信息， 所以用E 去加权， 边缘部分的占比就会变大，那么这个loss就能更好地优化边缘信息。MSE的评价指标与人的对图像的主观感知效果没有很好的相关性， 因为它考虑的是平均， 没有很好地考虑一些显著特征的影响， 而显著的结构和纹理信息与人的主观感知效果有高度相关。其中X 和Y分别是网络输出的超分图像和真实的超分图像，E 是求得的边缘特征。
深度学习损失函数原理分析（三）
智市科技博客
12-06 2028
上一章主要介绍了L1_loss、L2_loss、SmoothL1三个函数，本章主要介绍二进制交叉熵损失 BCELoss、BCEWithLogitsLoss、HingeEmbeddingLoss三个损失函数 2.7 二分类交叉熵损失BCELoss BCELoss主要用于二分类的损失函数，先对参数进行sigmod函数归一化，在采用交叉熵求损失，过程Sigmoid-BCELoss。 sigmod函数： sigmod函数也叫Logistic函数，用于隐层神经单元输出，取值范围（0,1），他可将一个实数映射到（0,1
pytorch损失函数踩坑记：Hinge Embedding Loss并不是HingeLoss
qq_36771396的博客
03-31 2223
今天学习HingeLoss损失函数，看了下其他的博客示例代码，运行得到一个负数的损失函数。百思不得期解，于是仔细的分析了下错误原因。原来是Hinge Embedding Loss和HingeLoss混淆了。Hinge Loss（合页损失）通常用于支持向量机（Support Vector Machine，SVM）等模型中，特别是在二分类问题中。它的目标是使正确类别的分数与错误类别的最高分之间的差异达到一个固定的边界，从而促使模型学会产生更大的间隔。
[机器学习] 无偏估计和有偏估计及公式证明
热门推荐
心宝的博客
05-06 1万+
关于无偏估计 无偏估计：对于总体，样本均值是总体均值的无偏估计，如果k阶原点距期望存在，则样本的k阶原点矩也是无偏估计， 但中心距不是。 有偏方差和无偏方差 有偏估计方差 无偏估计方差 当样本数趋于无穷时，有偏估计和无偏估计等价。 无偏估计方差的公式证明 关于分母为什么是n-1的通俗的理解 自由度，通俗来讲，就是不受约束的变量的个数。 因为μ已知，x1,…xn，n个变量只需要知道n-1个就能知道最后一个，所以自由度是n-1。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值