pytorch的cross_entropy实现

最新推荐文章于 2026-05-05 10:29:55 发布
原创 最新推荐文章于 2026-05-05 10:29:55 发布 · 5.9k 阅读 · 8
标签
#pytorch #深度学习 #机器学习 #神经网络
本文详细解析了PyTorch中交叉熵损失函数的原理，并通过原函数手动复现，加深理解。介绍了输入输出形状，reduction参数含义，以及与官方函数结果对比。

据pytorch的官方文档，torch.nn.functional里的cross_entropy是基于log_softmax和nll_loss实现的。
没关系，通过最简单的torch原函数复现，可以较深理解当中的原理。

import torch

def my_cross_entropy(input, target, reduction="mean"):
	# input.shape: torch.size([-1, class])
	# target.shape: torch.size([-1])
	# reduction = "mean" or "sum"
	# input是模型输出的结果，与target求loss
	# target的长度和input第一维的长度一致
	# target的元素值为目标class
	# reduction默认为mean，即对loss求均值
	# 还有另一种为sum，对loss求和

	# 这里对input所有元素求exp
    exp = torch.exp(
最低0.47元/天 解锁文章
PyTorch学习笔记（二）——torch.nn解析
Candyerer的博客
01-27 3249
PyTorch提供了方便漂亮的类和模块，来帮助我们创建和训练神经网络，例如 torch.nn, torch.optim 等。 为了更好地理解这些模块的功能和原理，我们在手动搭建的神经网络上，逐步添加这些模块，以显示每部分模块的功能，以及每部分是如何让代码更加灵活简洁的。 1、手动搭建神经网络 使用MNIST数据集，该数据集共有50000个图片，每一图片大小为2828，储存在长度为2828=784的扁平行。 #定义权重和偏执值,需要requires_grad=True，以便自动计算梯度，完成反馈 weight
Pytorch的torch.nn.functional.cross_entropy的ignore_index细解
anshiquanshu的专栏
05-13 911
假设有两类{0:背景，1：前景}，若想在计算交叉熵时忽略背景(0)类，则可令ignore_index=0（同理忽略前景计算可设ignore_index=1）。例如我的pred是(b,2,w,h),而label索引是(b,1,w,h)的矩阵，其中只有0，1值，0值代表从pred的第0个通道选择像素值，1值代表从pred的第1个通道选择像素值。而此时我发现因为程序的错误，label矩阵中混入了一些-1值，这样正常的话是会报错的，因为pred矩阵没有-1通道。ignore_index表示计算。
别再被CrossEntropyLoss搞晕了！手把手教你用PyTorch搞定多分类损失（附代码避坑）
最新发布
weixin_28222493的博客
05-05 200
本文深入解析PyTorch中的CrossEntropyLoss，从交叉熵原理到实际应用，详细讲解如何避免常见误区。通过代码示例展示正确使用方法，包括输入格式、标签处理及高级技巧如类别权重调整，帮助开发者高效实现多分类任务。
交叉熵函数
weixin_42924890的博客
01-21 3365
交叉熵损失函数的定义和计算公式。torch中交叉熵损失函数的用法和公式理解。自己实现代码熟悉交叉熵函数计算的过程。
torch.nn.functional.cross_entropy（交叉熵）使用
qq_36892712的博客
04-14 1万+
是用于计算交叉熵损失函数的函数。它的输出是一个表示给定输入的损失值的张量。具体地说，函数与类是相似的，但前者更适合于控制更多的细节，并且不需要像后者一样在前面添加一个Softmax层。。input：(N, C)形状的张量，其中N为Batch_size，C为类别数。该参数对应于神经网络最后一个全连接层输出的未经Softmax处理的结果。target：一个大小为(N,)张量，其值是0
torch的交叉熵损失函数(cross_entropy)计算(含python代码)
热门推荐
向上生长的程序媛的博客
12-01 1万+
1.调用 首先，torch的交叉熵损失函数调用方式为： torch.nn.functional.cross_entropy(input, target, weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean') 一般会写成： import torch.nn.functional as F F.cross_entropy(input, target) 2.参数说明 输入（张量）–(N,
pytorch中实现Balanced Cross-Entropy
code_plus的博客
04-16 5195
当你明白了pytorch中F.cross_entropy以及F.binary_cross_entropy是如何实现的之后，你再基于它们做改进重新实现一个损失函数就很容易了。 1、背景 变化检测中，往往存在样本不均衡的情况，也就是changed pixel很少，而unchange pixel占据大多数，论文DASNet: Dual Attentive Fully Convolutional Siamese Networks for Change Detection in High-Resolution Sat
binary_cross_entropy_with_logits的PyTorch实现
ben1010101010的博客
04-20 7026
参考链接 需要的包 import torch import torch.nn as nn import torch.nn.functional as F 模拟的输入x变量：4分类问题 batch_size, n_classes = 10, 4 x = torch.randn(batch_size, n_classes) x.shape x维度 torch.Size([10, 4]...
pytorch 实现cross entropy损失函数计算的三种方式
WYXHAHAHA123的博客
03-08 4456
import torch import torch.nn.functional as F ''' 实现cross entropy损失函数计算的三种方式 ''' input = torch.randn(3, 5, requires_grad=True) # each element in target has to have 0 <= value < C target = torch....
【pytorch】pytorch自我实现cross entropy
怡宝2号
04-25 1078
修改自:https://blog.csdn.net/WYXHAHAHA123/article/details/88342571 特点 支持ignore_index 和pytorch内置函数进行结果对比 code import torch import torch.nn.functional as F ''' 实现cross entropy损失函数计算的三种方式 ''' input = torc...
【pytorch】使用numpy实现pytorch的softmax函数与cross_entropy函数
安安爸Chris的专栏
06-03 4921
公式 Softmax(xi)=exp⁡(xi)∑jexp⁡(xj) {Softmax}(x_{i}) = \frac{\exp(x_i)}{\sum_j \exp(x_j)} Softmax(xi​)=∑j​exp(xj​)exp(xi​)​ 结果一致 从源码上来看，torch.nn.functional.F.softmax实际上调用的是Tensor自身的softmax函数 公式 Log_softmax(xi)=lnexp⁡(xi)∑jexp⁡(xj) {Log\_softmax}(x_{i}) = ln
torch.nn.functional.cross_entropy()和torch.nn.CrossEntropyLoss()的使用
敲代码的小风
12-24 1万+
参考链接: torch.nn.functional.cross_entropy(input, target, weight=None, size_average=None, ignore_index=-100, reduce=None, reduction=‘mean’) 参考链接: class torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction=‘mean’)
交叉熵总览
maxphoenix的博客
12-26 320
binary_cross_entropy 用于二分类问题，需要经过 sigmoid 激活函数，而 cross_entropy 用于多分类问题，不需要 softmax 激活函数。选择合适的函数取决于你的问题和模型的输出形式。output位置的输入是模型输入的原始分数即可，不需要经过softmax的激活函数。输入的target即为样本的标签，要求其元素的数据类型为整数类型，表示每个样本的真实类别。部分可以看出，这个位置的输入需要经过归一化，将值映射到0-1之间的对样本的预测。下面举例说明：# 示例用法。
【PyTorch】torch.nn.functional.cross_entropy() 函数：分类任务的交叉熵损失函数
彬彬侠的博客
03-14 1815
torch.nn.functional.cross_entropy是PyTorch中用于分类任务的交叉熵损失函数，用于衡量预测概率分布与真实类别分布之间的差异，常用于多分类任务（multi-classclassification）。内部包含softmax+log+nll_loss，无需手动计算softmax。适用于多分类问题（input为logits，target为类别索引）。可以使用weight处理类别不均衡，使用ignore_index处理padding。在PyTorch分类任务中，推荐使用F.cros
CrossEntropy的numpy实现和Pytorch调用
weixin_43508499的博客
07-31 5980
目录1. Numpy实现2. Pytorch实现3. nn.CrossEntropy的weight参数 1. Numpy实现 import torch import numpy as np from torch.nn import functional as F # 定义softmax函数 def softmax(x): return np.exp(x) / np.sum(np.exp(x)) # 利用numpy计算 def cross_entropy_np(x, y): x_soft
PyTorch中的cross_entropy损失 (交叉熵)解析
wzjwj的博客
03-03 4589
在PyTorch 中有 torch.nn.functional.cross_entropy() 与 torch.nn.CrossEntropyLoss() 区别可以参考 nn 与 nn.functional 有什么区别 1.交叉熵公式 其中是经过softmax后表征属于某个标签的概率，y表示其实属于某类的概率，在实际样本中，只有0或者1。多分类时，就会变为：yi就是上面而分类的y，可以看作是一个...
Python和PyTorch对比实现多标签softmax + cross-entropy交叉熵损失及反向传播
BrightLamp的博客
11-14 8123
相关 关于 softmax + cross-entropy 的详细介绍, 请参考 : BrightLamp. 多标签softmax + cross-entropy交叉熵损失函数详解及反向传播中的梯度求导[EB/OL]. https://blog.csdn.net/oBrightLamp/article/details/84069835. 正文 变量有仔细命名, 注释我就不写了 ^ _ ^ imp...
Python和PyTorch对比实现cross-entropy交叉熵损失函数及反向传播
BrightLamp的博客
11-13 8531
关于cross-entropy交叉熵损失函数的详细介绍, 请参考 通过案例详解cross-entropy交叉熵损失函数: https://blog.csdn.net/oBrightLamp/article/details/83962147 1. 定义: E=−∑i=1kyilog(si) E = -\sum_{i = 1}^{k}y_{i}log(s_{i})\\ E=−i=1∑k​yi​log(...
pytorch实现cross entropy函数
gtwell的博客
06-18 2543
转onehot格式 1.首先用到scatter函数（scatter_原地改变数值） >>> x = torch.rand(2, 5) >>> x tensor([[ 0.3992, 0.2908, 0.9044, 0.4850, 0.6004], [ 0.5735, 0.9006, 0.6797, ...
Pytorch实现Softmax和Cross-entropy
m0_47746932的博客
08-17 962
Softmax  将输出归一化到（0，1）区间，可以将Softmax输出当作概率，从而使用Cross Entropy计算 Loss。 def softmax(X): X_exp = torch.exp(X) partition = X_exp.sum(1, keepdim = True) return X_exp / partition Cross-entropy  这样子输出的应该是 y_hat[0, 0] 和 y_hat[2, 1] y = torch.tensor([0, 2
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值