Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.

原创 已于 2023-10-28 21:43:24 修改 · 2.7w 阅读 · 14 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#深度学习 #python #人工智能
于 2023-04-24 20:58:32 首次发布
当遇到CompilewithTORCH_USE_CUDA_DSAtoenabledevice-sideassertions的错误时，建议将设备设置为CPU来运行代码，这可能有助于揭示实际问题所在。通过设置device为cpu，然后重新执行代码，可能会得到更明确的错误信息。
AudioSeal 音频水印系统

**AudioSeal** 是 Meta 开源的语音水印系统，用于 AI 生成音频的检测和溯源。

Compile with TORCH_USE_CUDA_DSA to enable device-side assertions.
遇到这个报错，先别急着干其他的，先把device改成CPU试一试，可能就把真正的问题报出来了。

即
device='cpu'
然后重新运行代码

您可能感兴趣的与本文相关的镜像

AudioSeal 音频水印系统

AudioSeal 音频水印系统

语音合成
PyTorch
Cuda

**AudioSeal** 是 Meta 开源的语音水印系统，用于 AI 生成音频的检测和溯源。

RuntimeError: CUDA error: invalid device ordinal
jacke121的专栏
01-07 712
RuntimeError: CUDA error: invalid device ordinal
AssertionError: Torch not compiled with CUDA enabled解決方案
m0_47096428的博客
12-31 2188
pytorch gpu is not enabled 解决办法
CUDA error: device-side assert triggered的其中一个解决方法——数据集标签
Jacknbv的博客
09-03 1071
摘要：CUDA内核运行时触发assert失败但未立即暴露，可能在后续NCCL通信中才显现。建议使用TORCH_USE_CUDA_DSA启用设备端断言。主要原因可能包括：1)标签索引越界；2)非法张量操作；3)NaN或无效值。解决方法包括检查标签范围、映射负数类别ID等。针对D-FINE模型，可参考相关博客和代码（如coco_dataset.py）进行调试优化。
conda环境下Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions问题解决
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
11-11 1万+
Bert-VITS2语音训练语料中，不能包含英文字母，如果包含英文字母，则可能出现以上问题，通过正则表达式过滤掉包含英文字母的语料，问题解决。经过尝试发现，只保留一个人的100句语料进行语音训练，没有发生问题。尝试更换多个版本的torch和cuda，问题依旧存在。查看cuda和torch的版本。
YOLOv8实战中国交通标志识别
07-16
在无人驾驶中，交通标志识别是一项重要的任务。YOLOv8是前沿的目标检测技术，它基于先前 YOLO 版本在目标检测任务上的成功，进一步提升性能和灵活性。本课程将手把手地带大家使用YOLOv8训练TT100K中国交通标志数据集，完成一个多目标检测实战项目。可实时检测图像、视频、摄像头和流媒体(http/rtsp)中的交通标志，并提供PySide6开发的可视化演示界面 。TT100K（Tsinghua-Tencent 100K）是一个专门用于交通标志检测的大规模数据集。该数据集由清华大学与腾讯公司联合开发。TT100K数据集包含了超过10万张图片。图片中包含了不同类型的交通标志，总计约有200,000个标签。本课程会讲述使用Python程序将TT100K数据集的格式转换成PASCAL VOC格式和YOLO格式的方法，并提供相应代码。本课程分别在Windows和Ubuntu系统上做项目演示。包括：安装软件环境（Nvidia显卡驱动、cuda和cudnn）、安装PyTorch、安装YOLOv8、 TT00K数据集数据格式转换、准备数据集（自动划分训练集和验证集）、修改配置文件、训练数据集（合适的命令参数选择）、测试训练出的网络模型和性能统计、项目可视化演示界面。 本课程新增了在阿里云上使用免费GPU算力的项目实战演示流程。GPU免费算力的领取方式和阿里云平台上的项目实战操作流程可见课程视频。
能用就行——玄学问题：Compile with TORCH_USE_CUDA_DSA to enable device-side assertions
饮tom的博客
09-18 3万+
尝试了网上的各种方法都无法解决，比如降低batchsize(之前设置128也成功跑完，现在设为16也无法跑完)、各种意义上的重装重启、设。点开任务管理器，发现每次都是提示这个问题都是因为爆显存了orz（但之前不会啊…搁置了一个月之后，再次使用就显示报错。，暂时没出现问题，能用就行🤪🤪。
问题：Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.
weixin_42127276的博客
07-30 2090
之前不知道原来维度没对上，也会报CUDA的错误，这个解决方法不适用于所有出这个问题的情况，这里仅仅做一个记录。模型的时候，只要开始训练，就会报上面这个错。找了很多方法，但都无济于事。模型的时候，代码还一切正常，直到更换成。
【异常错误】Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.
Drug discovery
07-09 4370
我是直接将y变为了（1,512），但是现在的y的值位于[0-1485]之间，所以导致无法找到该embedding，这种错误，在CPU调试的时候可以出现，但是GPU报错太抽象。得知，应该是我在推理过程中使用了较短的Embedding，导致无法找到该类对应的标签。在运行项目的时候，出现了错误，但是却不知道为什么错误，因为GPU报的错误太抽象。直接删除这一行即可，或者修改nn.Embedding的字典的大小。整得人头晕，不知道咋回事。
comfyui 报 Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions 错误解决方案
深山技术宅的博客
01-08 1170
ComfyUI系统在执行TextEncodeQwenImageEditPlus节点（ID:69）时发生CUDA运行时错误，报错信息为"invalid argument"。错误发生在文本编码处理阶段，具体在调用Qwen图像处理模型的encode_token_weights方法时触发。系统建议通过设置CUDA_LAUNCH_BLOCKING=1进行调试，或启用TORCH_USE_CUDA_DSA编译选项以获取更详细的设备端断言信息。错误堆栈显示问题源自SD1_CLIP模块在处理tokens时
解决 Kubernetes 集群中 GPU 资源无法使用的问题Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.
qq_17405059的博客
02-01 1570
在 Kubernetes 集群中管理 GPU 资源时，可能会遇到 GPU 无法正常使用的问题。通过检查 GPU 状态、更新驱动和库、正确设置环境变量以及调试 CUDA 错误，可以解决大多数问题。如果问题依然存在，可能需要进一步检查硬件或联系技术支持。希望本文能帮助你顺利解决 GPU 资源无法使用的问题！如果你有其他问题或建议，欢迎在评论区留言。参考资料TensorFlow GPU 支持PyTorch CUDA 版本支持NVIDIA 官方文档。
CUDA索引越界问题（Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions）
最新发布
qq_45767840的博客
03-27 49
去年6月份发布了一篇文章也是关于CUDA索引越界问题的博客，只不过报错的信息不一样。为什么我还要再写一遍，因为我这次错误的原因，确实是因为图结构一行全0了。也发现我的这两篇文章的索引越界都是和时空模型常见错误相关，如果你运行的其他模型报此错误，解决这个错误的思想还是很重要的。，那确实是硬伤，但更多的是由于运算或逻辑错误，这可能确实由数据集引起的，也可能是代码计算过程中产生的。遇到这种问题最重要的是静下心来分析出错的位置和所涉及到的数据和运算。这里的第一步是找到问题所在的关键。有的说是：数据集导入错误；
Win + L（锁屏）以后，Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.
Drug discovery
11-23 547
起初我以为是代码哪里写错了，后面发现每次win + L一段时间以后就会出现这个错误。
深度学习报错“Compile with TORCH_USE_CUDA_DSA to enable device-side assertions”解决方法
xxiaot的博客
03-06 1万+
在使用PyTorch进行深度学习模型训练时，尤其是依赖GPU加速的情况下，偶尔会遇到一些与CUDA相关的错误提示。最近我在训练模型时，就碰到了一个这样的报错：Compile with ‘TORCH_USE_CUDA_DSA’ to enable device-side assertions.这个错误是在调用进行反向传播时触发的。经过一番排查，我发现问题的根源是GPU显存不足，最终通过降低batch_size解决了这个报错。今天，我就把这个问题的分析和解决过程分享出来，希望能帮到遇到类似问题的朋友！
RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors might be asynchronously re
m0_74982304的博客
06-16 9414
解决办法：先测试自己的代码有没有代码上的问题，再考虑有没有cuda内存泄漏的问题，但内存泄漏基本上不会发生。在消除这两种可能后，可以在代码最前面加上下面这段代码，这个方法是gpt告诉我的，这也是报错中所提示的，但是并没有解决我的问题，各位老铁不妨一试。我用的是COCO2017数据集，这个数据集比较大，其中图片很多，我在我的dataloader中将所有图片都调成了[3,256,256]的大小。有意思的是，在训练最开始时一切顺利，到了几千张图片后就发生了上述的报错。到此为止跑了十几万张图片都没有再报错。
问题解决 | RuntimeError: CUDA error: invalid device ordinalCUDA kernel errors
weixin_44649780的博客
03-04 5932
RuntimeError（运行时错误）： CUDA 错误：设备序号无效CUDA 内核错误可能会在其他 API 调用中异步报告，因此下面的堆栈跟踪可能不正确。为便于调试，可考虑通过 CUDA_LAUNCH_BLOCKING=1。使用 `TORCH_USE_CUDA_DSA` 进行编译，以启用设备端断言。
pytorch cuda 运行错误
weixin_51199822的博客
06-08 1866
CUDA error: misaligned address CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1. Compile with `TORCH_USE_CUDA_DSA` to enable device
torch报错AssertionError: Torch not compiled with CUDA enabled解决方法 torch适配CUDA降版本、选择gpu版本最终方案
热门推荐
当年月明的博客
02-27 8万+
torch适配CUDA降版本、选择gpu版本最终方案 torch报错RuntimeError: The NVIDIA driver on your system is too old (found version 10020). 以及AssertionError: Torch not compiled with CUDA enabled解决方法
PyTorch如何使用GPU加速（CPU与GPU数据的相互转换）
Andrew_SJ的博客
11-18 1077
1.问题描述 在进行深度学习开发时，GPU加速可以提升我们开发的效率，速度的对比可以参照笔者这篇博文：[深度应用]·主流深度学习硬件速度对比（CPU，GPU，TPU）结论：通过对比看出相较于普通比较笔记本的(i5 8250u)CPU，一个入门级显卡(GPU MX150)可以提升8倍左右的速度，而高性能的显卡(GPU GTX1080ti)可以提升80倍的速度，如果采用多个GPU将会获得更快速度，所以经常用于训练的话还是建议使用GPU。 在PyTorch中使用GPU和TensorFlow中不同，在TensorF
评论 17
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值