deterministic和benchmark

在 PyTorch 中，torch.backends.cudnn.deterministic 和 torch.backends.cudnn.benchmark 常常一起出现，主要控制 cuDNN 算法选择策略。
区别

• torch.backends.cudnn.deterministic

• 作用：强制 cuDNN 只使用确定性的算法。

• 优点：结果可复现。

• 缺点：可能降低性能，因为很多快速算法是非确定性的。

• torch.backends.cudnn.benchmark

• 作用：让 cuDNN 根据当前硬件配置和输入数据大小，动态寻找最优的卷积实现算法，并缓存结果。

• 优点：训练速度快（尤其是输入大小固定时）。

• 缺点：结果可能不可复现，因为不同环境或运行中选择的算法可能不一样。

推荐实践

• 科研/复现论文

torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False

确保结果完全一致。

• 生产/训练加速

torch.backends.cudnn.deterministic = False
torch.backends.cudnn.benchmark = True

保证更快训练速度，容忍不可复现性。