torch.autograd.set_detect_anomaly在mmdetection中的用法

引言 在test阶段有以下几个方法： single_gpu_test()：顾名思义，就是单GPU测试，该方法在main()中调用，当不分布式测试的时候，则运行次测试方法，该方法的实现中，其实是调用了检测器测试过程的forward()前向计算过程，以cascade_rcnn为例，在cascade_rcnn的父类中的forward()方法中，通过判断test_mode当前处于训练还是测试阶段，来调用...

在深度学习中，自动微分是计算导数的一种技术，它通过构建计算图并沿着计算图反向传播梯度，从而有效地计算一个函数相对于其输入变量的导数。这种技术使得训练神经网络成为可能，因为我们可以自动地获得关于网络权重的梯度信息，并使用优化算法进行参数更新。PyTorch的自动微分模块负责动态构建计算图并计算梯度。在大多数情况下，PyTorch的自动微分功能能够正常工作并产生正确的梯度。然而，当计算图非常复杂或存在其他问题时，可能会出现梯度计算错误，导致训练不稳定或结果不准确。

正向传播以及反向传播时添加异常侦测，减少找代码bug的时间。

1.加载数据函数&数据保存 import numpy as np import dill #dill.dump_session('GAT.pkl') dill.load_session('t20.pkl') save_path = "../../data/Enron/graph.pkl" with open(save_path, "wb") as f: pkl.dump(graphs, f) print("Processed Data Saved at {}".format(sa.

调试模式下运行代码，并按以下代码设置torch配置， torch.autograd.set_detect_anomaly(True) with torch.autograd.detect_anomaly(): loss = loss_func() 发生梯度爆炸时，torch会显示存在梯度爆炸的代码，如

本文详细介绍了在Docker环境中为特定CUDA版本（如CUDA 11.1+PyTorch 1.7）编译mmdetection的完整指南，包括环境准备、源码定制化编译、Docker镜像构建策略以及常见问题排查。特别针对OBB detection和DOTA数据集处理提供了实用技巧，帮助开发者避免兼容性问题并提升性能。

深度学习不是数学推导的练习，而是解决真实业务问题的工程系统。其核心在于理解模型原理与数据本质的耦合关系，通过数据预处理、损失函数设计、模型轻量化等关键技术手段，将算法能力转化为可部署、可监控、可迭代的生产价值。尤其在工业质检、时序预测、边缘部署等典型场景中，Focal Loss、Quantile标准化、知识蒸馏等实操方法直接决定项目成败。本文聚焦于从A（问题定义）到Z（业务闭环）的全链路落地经验，提供带油渍和咖啡渍的硬核工程指南。

所以用torch.amp.GradScaler的时候即使出现nan也没关系，但如果加上torch.autograd.set_detect_anomaly(True)，就还是会报错；如果梯度中出现 NaN/Inf，这步 backward 会生成异常，但 GradScaler 会记录。→ 出现 NaN，GradScaler 会跳过梯度更新，训练继续。，正式训练最好关掉，否则容易被 FP16 的梯度溢出报错打断。也就是说，它不会让 NaN 自动“吞掉”，会直接中断训练。→ 出现 NaN，会触发异常，训练中断。

gradient 为nan可能原因： 梯度爆炸 学习率太大 数据本身有问题 backward时，某些方法造成0在分母上， 如：使用方法sqrt() 定位造成nan的代码： import torch # 异常检测开启 torch.autograd.set_detect_anomaly(True) # 反向传播时检测是否有异常值，定位code with torch.autograd.detect_anomaly(): loss.backward() ...

torch.autograd提供了实现自动计算任意标量值函数的类别核函数，需要手动修改现有代码（需要重新定义需要计算梯度Tensor，加上关键词requires_grad=True）。本文更新于2019.06.12。 文章目录torch.autograd.backwardtorch.autograd.grad局部梯度计算失效（Locally disabling gradient computati...

神经网络训练出现 NaN，如何一步步排查？

关于pytorch中多个backward出现的问题：enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly (True)

模型训练----对输入变量原地操作（inplace operation）报错

这个错误通常是由于在计算梯度时，某些变量被原地（inplace）操作修改导致的。原地操作是指直接在原始张量上进行修改，而不创建新的张量。这样PyTorch 将会输出更详细的错误信息，帮助你找到具体的原地操作导致错误的位置。2.检查你的代码，确保没有在计算梯度的过程中对张量进行原地操作。等函数或者形如x += 1，它们会直接修改原始张量的值。你可以尝试使用相应的非原地操作，如。等，并将结果赋值给一个新的变量;又或者使用detach()方法。可以看到报错位置是这段代码。

排查方法：在backward()前面加上torch.autograd.set_detect_anomaly(True)

没有放到循环里面，没有随着 x 的优化而相应变化。

一、报错提示 FutureWarning: Non-finite norm encountered in torch.nn.utils.clip_grad_norm_; continuing anyway. Note that the default behavior will change in a future release to error out if a non-finite total norm is encountered. At that point, setting error_if_n

pytorch遇到Nan数值的排查思路