为什么要设置torch.backends.cudnn.deterministic=True

下面这段为知乎上的解释

为什么使用相同的网络结构，跑出来的效果完全不同，用的学习率，迭代次数，batch size 都是一样？固定随机数种子是非常重要的。但是如果你使用的是PyTorch等框架，还要看一下框架的种子是否固定了。还有，如果你用了cuda，别忘了cuda的随机数种子。这里还需要用到torch.backends.cudnn.deterministic.

torch.backends.cudnn.deterministic是啥？顾名思义，将这个 flag 置为True的话，每次返回的卷积算法将是确定的，即默认算法。如果配合上设置 Torch 的随机种子为固定值的话，应该可以保证每次运行网络的时候相同输入的输出是固定的

但是，如何理解：“每次返回的卷积算法将是确定的”？第一行设置的那些不是就够了吗

区别在于：使用cpu时不需要设置，使用gpu时需要设置

• 在cpu中，我们只需要保证：

  • 所有参数的初始化相同
  • 学习率、迭代次数、batch size相同

  那么，参数的更新都是由梯度计算得到的，快慢、次数都相同，所以最后得到的模型的参数也相同，输出结果就相同。

• 而当使用gpu训练模型时，可能引入额外的随机源，使得结果不能准确再现（gpu提供了多核并行计算的基础结构）

总结

所以我们在进行深度学习实验时，为了能够使得结果可复现，我们需要固定随机源，可以采用设置随机数字生成器的种子

myseed = 42069  # set a random seed for reproducibility
torch.backends.cudnn.deterministic = True
np.random.seed(myseed)
torch.manual_seed(myseed)
if torch.cuda.is_available():
    torch.cuda.manual_seed_all(myseed)