pytorch 模型参数不更新，模型不训练，loss不变，参数没有梯度

今天下午编写代码的时候，发现不同的输入输出内容几乎一致 for epoch in range(1): print('epoch {}'.format(epoch+1)) train_loss = 0 train_acc = 0 device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") model.train() model = model.to(device) mod

网络梯度为None、参数不更新的解决思路

今天写代码写到半夜，遇到了2次pytorch的loss不下降的问题。打印出网络参数，印证了参数并没有更新。通过搜集网上的资料，总结出了解决问题的3种办法。 (1) 用torch.autograd.Variable，把输入转换为Variable。但是对于离散型输入不适用 (2)计算出loss后，loss = loss.requires_grad_()。此方法有效。 (3)检查optimizer，如果model更新了，那么要重新运行一次 optimizer = optim.Adam(model.paramete

pytorch训练过程模型参数没有梯度

常见原因-1 一般来说，出现NaN有以下几种情况： 相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（梯度截断来解决）

文章目录一、训练完整流程二、高阶操作1.自定义学习率2. 只训练特定的网络层3. 逐层释放/冻结网络参数4.恢复优化器状态时参数不match的解决方案5. 梯度反传，loss反传，梯度裁剪三、恢复保存的优化器状态，继续优化四、加载模型到指定的卡上 一、训练完整流程 使用Pytorch训练神经网络的一般流程为（伪代码，许多功能需要自己实现，这里只列出了流程）： import torch import...

一项针对图像分类任务的研究发现，不同随机种子下，同一模型的训练损失曲线会出现明显的波动，最终的准确率也会相差2% - 3% [4]。以SGD优化器为例，如果在初次训练时学习率为0.1，在继续训练时直接将学习率设置为0.001，而没有考虑到模型当前的状态，可能会导致模型陷入局部最优解。如果你在初次训练时使用的是ResNet - 50，但在加载参数继续训练时不小心使用了ResNet - 34，即使两个模型都是基于残差结构，由于它们的层数不同，内部参数对应关系也会发生变化，从而导致训练效果变差。

pytorch逻辑回归梯度、权重等所有参数不更新的问题(Logistic Regression)

本文记录了一个在训练过程中遇到的有关无法更新参数的小问题

这是在需要多次使用backward(),step()时会出现的问题，当第一次调用loss.backward(retain_graph=True)时，保留了计算图，因此这个被冻住的层的梯度并不会被清空为None，而是保留了下来，当使用optimizer.zero_grad()后，所有的梯度被置为0，也并不会清除掉。解决方案也十分简单，我们的目的是不更新该层梯度，现在虽然没有计算梯度还是更新了，但只要将该层从optimizer要更新的参数的列表中踢出，即可避免该层被更新。

最近做了一个简单的强化学习模型，过程中发现loss一直增加，但是模型的参数不会发生改变，输入不变的情况无论loss多大输出永远唯一，这种情况下，是由于loss的输入尺寸必须与模型最后一层的输出尺寸一致。只需要调节loss的输入或者模型输出即可。 ...

首先，我们知道，深度学习网络中的参数是通过计算梯度，在反向传播进行更新的，从而能得到一个优秀的参数，但是有的时候，我们想固定其中的某些层的参数不参与反向传播。比如说，进行微调时，我们想固定已经加载预训练模型的参数部分，指向更新最后一层的分类器，这时应该怎么做呢。 首先我们的模型定义为： class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Con

深度学习实验中遇到了这样一个问题，使用torch.optim.Adam()优化器训练网络更新参数，但是奇怪的是参数一直不更新，loss也一直不变，使用 [x.grad for x in solver.param_groups[0]['params']] 把梯度打印出来发现全部是none，我一口老血喷出天际。 经过了重新配置环境，修修补补网络模型等一系列除了浪费几天时间而对解决问题丝毫没有帮助的操作（当然也不是完全的无用功，利用找问题的这几天我也更好的理解了优化器的原理和优化过程） 就在今天上午，事

如果你是一个在神经网络中做过诸多尝试，尤其是自己设计很多结构而不是照搬的话，那么在实际应用构建网络的时候，我相信经常有这样一个需求：需要让某些参数不更新。这样的场景可能出现在训练好的词向量、预训练好的带参数的网络模块、信度分配容易出现问题的底层中等。如何在Lasagne中实现参数的差异化呢？这里有两个方法：1. 通过在网络参数初始化时候给参数通过拟定不同的标签来过滤。 2. 直接修改网络参数列表

RuntimeError: grad can be implicitly created only for scalar outputs 错误原因及其解决办法

在图像分割任务中，我换了个MS-SSIM+L1损失函数，该损失函数的要求是输入两张图片，我的网络输出的是经过softmax的概率值。上述train过程中使用了argmax函数，影响了losses反向传播的过程，导致训练没有任何效果（损失值固定不变）

torch.argmax是不会向后传梯度，但是被选中的部分还是可以传梯度的 import torch s=torch.rand(1,3,6,6,requires_grad=True) d=torch.rand(1,3,6,6,requires_grad=True) p=torch.argmax(s,dim=1).unsqueeze(1) q=torch.gather(d,dim=1,index=p) q=q.sum() loss=(q-1)*(q-1) loss.backward() print(s.

这三个函数的作用是将梯度归零（optimizer.zero_grad()），然后反向传播计算得到每个参数的梯度值（loss.backward()），最后通过梯度下降执行一步参数更新（optimizer.step()）。简单的说就是进来一个batch的数据，先将梯度归零，计算一次梯度，更新一次网络。另外一种：将**optimizer.zero_grad()放在optimizer.step()**后面，即梯度累加。获取loss：输入图像和标签，通过infer计算得到预测值，计算损失函数；

关于使用pytorch时loss不收敛或者grad为None的问题，以及笔者常用的demo