Transformers：TypeError: _softmax_backward_data() ...报错解决办法

最新推荐文章于 2026-06-19 15:18:24 发布
原创 最新推荐文章于 2026-06-19 15:18:24 发布 · 1.3k 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#transformer #pytorch #python #深度学习
这篇博客讲述了在使用transformers库时遇到的TypeError，原因是调用_softmax_backward_data方法接口改变。解决方案是修改源文件中相应部分，将output_dtype加入参数。参考了GitHub Issue#14375。

TypeError: _softmax_backward_data(): argument ‘input_dtype’ (position 4) must be torch.dtype, not Tensor

错误原因

transformers的一个bug，‘_softmax_backward_data()’这个方法的接口改了之后，调用的方式没有跟上。

解决方法

更改transformers源文件(报错的对应文件）

inputGrad = _softmax_backward_data(grad_output, output, self.dim, output)

更改成

inputGrad = _softmax_backward_data(grad_output, output, self.dim, output.dtype)

Github Issue

https://github.com/huggingface/transformers/issues/14375

修复 Python 错误TypeError: Missing 1 Required Positional Argument
迹忆客
06-06 3万+
本篇文章讨论了 Python 中的错误以及我们如何解决它。我们讨论了可能发生此错误的情况以及如何通过实例化类的对象来修复错误。我们也可以使用静态方法来解决这个错误。
Missing 1 required positional argument 解决方法
cerise__的博客
07-24 15万+
用scrapy写爬虫异步存mysql数据库的时候遇到了这个问题，找了一天也没找到解决方法，后来发现是没有加修饰符。 刚开始在借鉴别人方法的时候没有敲@classmethod这个修饰符，一直从外部找解决方法，重新装python还有库都没有用，最后加上修饰符就跑通了。百度到了这个修饰符的作用： 1、@classmethod声明一个类方法，而对于平常我们见到的则叫做实例方法。 2...
【Python】Missing 1 required positional argument 解决方案
热门推荐
02-09 25万+
1. 报错描述 2. 报错原因 从报错代码能够看出，我这里涉及了两个类，我用A类和B类来进行描述。 A类：一个方法类，其中报错的 get_element() 就是这个类下的一个方法。在该类我没有实例化 B类：在 get_element() 中调用了A的 get_element() 方法。只在开头 from A import A. 因为A类没有实例化，B类我也没有进行实例化，只是直接引入了这个类。...
pytorch深度学习基础（五）——SoftMax函数反向传递公式推导及代码实现
艾醒的博客
03-31 6597
SoftMax函数的简介、公式推导、公式化简，以及代码实现
SoftMax回归的实现，注重数据维度变化
kingirlder的博客
11-11 5047
softmax回归虽然叫回归，但其实是一个分类问题，对输出的每一个值，通过softmax就可以得到一个概率
从零实现PyTorch Seq2Seq翻译器：LSTM+Attention工程实践
最新发布
weixin_34198453的博客
06-19 366
序列到序列（Seq2Seq）是神经机器翻译（NMT）的基础建模范式，其核心在于编码器-解码器（encoder-decoder）结构与注意力机制（attention）的协同工作。PyTorch凭借动态计算图和细粒度张量控制，成为深入理解隐状态传递、梯度流与padding语义一致性的首选框架。相比黑箱式Transformer API，LSTM+Attention构成最小可行系统（MVP），可直观揭示信息单向编码、上下文加权检索与长程依赖建模的本质原理。该技术路径在工业场景中具备强可解释性、可监控性与轻量化部署优
【深度学习】Softmax回归（二）Python从零开始实现
qq_28869927的博客
12-19 2451
文章目录概述实现步骤导入需要的包读取数据初始化参数实现softmax运算定义Softmax模型定义损失函数计算准确率对模型进行训练进行测试完整代码和实验结果备注 概述 本文不使用深度学习框架来构建Softmax模型，从零开始实现Softmax回归，并使用Fashion-MNIXT数据集进行了实验。本文需要的前导知识可参考我之前的几篇博客： MXNET框架中NDArray的基本操作：【深度学习】M...
python报错：TypeError: missing 1 required positional argument: ‘self‘
qsmy_an的博客
06-01 10万+
python报错：TypeError: missing 1 required positional argument: 'self' 问题： class test: def test01(self): pass if __name__ == "__main__": test.test01() -------------------------------------- 如上执行，会报错：TypeError: test missing 1 required ...
机器学习之softmax
tt丫的博客
12-23 4057
###################全连接网络定义部分########################def __init__(self, num_input, num_output): # 全连接层初始化# 参数初始化def forward(self, input): # 前向传播计算# 全连接层的前向传播，计算输出结果self.output = np.matmul(self.input,self.w)+self.b#利用矩阵乘法(Y=XW+B)——（n,c）
softmax回归原理及从零开始实现+简洁实现
m0_51158998的博客
03-25 1097
softmax回归原理及从零开始实现+简洁实现
pytorch 出现forward() missing 1 required positional argument: 'input'的可能原因
weixin_41919571的博客
03-16 1万+
pytorch 出现forward() missing 1 required positional argument: 'input’的可能原因 问题溯源 ----> 6 out = model(img_feature, assistant_feature) ~/.local/lib/python3.7/site-packages/torch/nn/modules/module.py in...
pytorch torch.softmax()函数
浩瀚之水的专栏
09-07 2891
函数是 PyTorch 中一个非常有用的函数，它主要用于将一组未归一化的分数（logits）转换成归一化的概率分布。这个转换过程是通过应用 softmax 函数来实现的，softmax 函数会将输入张量的每个元素压缩到 (0, 1) 区间内，并且确保输出张量中所有元素的和为 1，从而形成一个概率分布。
Softmax反向传播
虚拟地球
05-30 1630
softmax 公式： 假设有一个向量，其长度为,表示中的第个元素，那么这个元素的softmax值为: Softmax反向传播 当j!=i时， 当j=i时， 所以 将上面两个式子加起来得到 注意上式括号里面的量与无关，并且其值为与的乘积之和，设其为 则 有人问这有什么意义？ 其实这样就说明softmax的反向传播在编程的时候并不需要 分i=j和i...
深度学习实现——softmax回归
2301_78829965的博客
08-20 2376
介绍softmax回归的实现方法
torch.max和torch.softmax python max
jacke121的专栏
01-08 2万+
torch.max和torch.softmaxpythonmax
Pytorch: loss.backward()背后的原理
日常学习与专研的记录
05-28 8780
本文介绍pytorch的 loss.backward()的背后原理
动手学深度学习--softmax回归和MLP的pytorch实现
iwill323的博客
09-20 1269
softmax和MLP的pytorch实现
Simplify the Usage of Lexicon in Chinese NER跑论文代码遇坑及解决方法
weixin_44192983的博客
01-20 2031
github上给出的版本信息是：python3.6，pytorch0.4.1
【动手学深度学习】softmax回归
weixin_45057858的博客
08-14 955
【动手学深度学习】softmax回归
【Pytorch】RuntimeError: one of the variables needed for gradient computation has been modified by
Allen_Duke的博客
06-02 2434
最近在用Pytorch训练网络的时候出现了一个奇怪的错误，找了很久在偶然间试出了解决方法，因此记录一下，以作备忘。但具体原理还不是很清楚，也请各位大佬指教。RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [19, 24, 30]], which is output 0 of SoftmaxBackwa
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值