optimizer.step() 出现 Expected all tensors to be on the same device

最新推荐文章于 2026-06-10 16:48:44 发布
原创 最新推荐文章于 2026-06-10 16:48:44 发布 · 674 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#深度学习 #人工智能
在使用PyTorch进行深度学习训练时，遇到RuntimeError，提示预期所有张量在同一设备上，但发现至少有两个设备。问题出在加载预训练模型及其优化器时，模型已移动到GPU，而优化器状态没有同步。解决方案是先将优化器的状态移动到GPU上再加载。

在加载预训练模型进行训练时，在optimizer.step()行会出现

RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0

因为加载预训练模型时，也加载优化器，如下所示

optimizer.load_state_dict(torch.load(optimizer_path))

可以尝试把模型先移动到GPU上，然后在加载optimizer.load_state_dict(...)

lanlinbuaa
关注
【已解决】RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cu
BetrayFree的博客
11-16 2万+
其实写到这里会发现上面两部分代码是一样的，无所谓，主要是证明两个得是一样的，仅此而已。
加载模型后optimizer.step()处报错：RuntimeError: expected device cpu but got device cuda:0
Mr_Xuf的博客
06-01 6449
整体的思路如下： 1、保存每个epoch模型的参数； 2、如果在训练时意外终止，，则自定义再次加载意外终止处保存的模型； 3、然后一切再开始，，比如接着训练测试什么的，，但是问题来了，，出现错误：RuntimeError: expected device cpu but got device cuda:0。。期望CPU设备而得到的是CUDA（GPU）。。 原因：optimizer加载参数时,tensor默认在CPU上，故需将所有的tensor都放到GPU上，否则:在optimizer.s
optimizer.step()处报错：RuntimeError: Expected all tensors to be on the same device, but found cuda:0
qq_44971458的博客
02-16 2547
pytorch在加载预训练模型续训时在optimizer.step()处报错：RuntimeError: Expected all tensors to be on the same device, but found cuda:0 and cpu!
pytorch加载模型继续训练时optimizer参数被加载到cpu
huhuhuhu0908的博客
08-11 1876
pytorch加载模型位置
RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0
zk_ken的博客
10-13 732
如果加载 optimizer.load_state_dict(checkpoint['opt_dict'])这行代码就会报上面的错误。在加载预训练模型进行训练时，在optimizer.step()行会出现。解决办法：注释掉这一行解决问题。
RuntimeError: Expected all tensors to be on the same device, but found at least two device【多GPU训练】
m0_59469365的博客
10-19 529
（我用了三张卡），在网上找了很多办法都没有解决，后问了博士师兄，看了代码后便找到了问题。对于双域模型（投影+图像两个模型）进行训练，受限于显卡显存不够，需要将两个模型分别放到一张卡上进行计算，我实现的是：在前向过程中（forward函数里）分别将模型置于对应卡上，然后进行计算，所以第一次训练正常，但是下载模型再训练时，导致参数加载仍然在cpu上，出现不在同一设备问题。
3个方案彻底解决PyTorch Geometric中PGExplainer设备不匹配问题
最新发布
gitblog_00548的博客
06-10 600
PyTorch Geometric的PGExplainer作为图神经网络解释器，在节点分类和图分类任务中发挥着重要作用。然而，许多开发者在实际使用过程中常遇到"Expected all tensors to be on the same device"的设备不匹配错误，这严重影响了模型解释的效率和准确性。本文将深入解析PGExplainer设备问题的根源，并提供三种经过验证的解决方案，帮助你在GP
解决RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:
aminghhhh的博客
05-24 2万+
一个核心思路解决报错RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0，cpu等
RuntimeError: Expected all tensors to be on the same device, but found at least two devices
Viviane_2022的博客
01-11 1万+
运行以下代码时报错，这是在函数定义里，且当时loss和model都有.to(device)的操作在网上找了很久都没有找到原因，报错的地方在cat：即在在数据拼接的时候，即一个数据在GPU0上，一个数据在GPU1上，这就会出现错误修改地方：一定要注意，产生随机数的地方也要用.to(device)
已解决YOLOv5训练报错：RuntimeError: Expected all tensors to be on the same device......
qq_44442727的博客
07-17 5579
这是发生在集成一个yolov5中没有的检测头head的情况下发生的错误，出现的时候是已经训练起来了，在训练结束时发生的报错，下面是我的解决办法。
Pytorch模型保存与加载模型继续训练
ZYX的博客
05-17 1356
定义网络模型与基本参数，以及模型训练和模型保存使用torch.save()方法保存模型在save_dict={}中可以保存epoch,model,optimizer,scheduler,loss等参数。
记录pytorch中DataLoader()过程中遇到的问题
hfw6310的博客
06-28 1万+
RuntimeError: stack expects each tensor to be equal size, but got [3, 60, 32] at entry 0 and [3, 54, 32] at entry 2 原因是训练集和测试集中图片中既有灰度图又有RGB图像， 解决办法：把RGB图像全部转换为灰度图
Pytorch加载模型后optimizer.step()报RuntimeError: output with shape...错误
iioSnail的博客
10-28 1847
存储模型参数后，重新加载接着训练，结果optimizer.step()报错。
解决RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cp
热门推荐
与君共勉，一起学习
05-26 6万+
今天在把.pt文件转ONNX文件时，遇到此错误。 报错 RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cpu and cuda:0! (when checking argument for argument mat2 in method wrapper_mm) 原因 代码中的Tensor**，一会在CPU中运行，一会在GPU中运行**，所以最好是都放在同一个devic
【Pytorch】Expected all tensors to be on the same device, but found at least two devices
JustPeanut的博客
11-10 1万+
Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu! 大意是“预期所有张量处于相同的设备上，但是发现至少在两种设备上存在张量。”。 也就是说有一些张量被放到了CPU，有一些张量被放在了GPU上，导致异常出现。建议是排查一下代码，是否在做GPU加速时，有一些张量被忘记放到GPU上了。特别是优化器（optimization）也应该处于GPU上（保持与模型在同一类设备上）。 //
解决【Expected all tensors to be on the same device, but found at least two devices,】
renkke的博客
06-15 5万+
Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu! (when checking argument for argument index in method wrapper__index_select)例如：例如：
解决Expected all tensors to be on the same device, but found at least two devices, cuda:0
发现问题，并解决问题，批判性思维
08-18 5262
（1）可能是模型没有移动到和数据相同的device上：`model.to(device)` （2）可能是input和参数没有在相同device上
PyTorch-Lightning：trining_step的自动优化
weixin_45668967的博客
04-11 2323
在自动优化中，training_step必须返回一个tensor或者dict或者None(跳过)，对于简单的使用，在training_step可以return一个tensor会作为Loss回传，也可以return一个字典，其中必须包括key"loss"，字典中的"loss"会提取出来作为Loss回传，具体过程主要包含在lightning\pytorch\loop\sautomatic.py中的_ AutomaticOptimization()类。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值