【经验】FlashAttention is only supported on CUDA 11.6 and above. Note: make sure nvcc has a supported ve

原创 已于 2025-04-12 22:14:43 修改 · 905 阅读 · 6
标签
#linux #运维 #服务器
于 2025-04-12 22:14:05 首次发布

低功耗蓝牙项目，需要一块懂省电的板

思澈 SF32LB52 芯片，BLE 协议栈深度优化，上手即开发

点击查看

在安装FlashAttention时碰到CUDA版本过低的问题。

Description

lucy66666

opened on Feb 14, 2024

I receive the error below:
RuntimeError: FlashAttention is only supported on CUDA 11.6 and above. Note: make sure nvcc has a supported version by running nvcc -V.
But my pytorch version is 2.2.0+cu118, why is it giving me the error?

RuntimeError: FlashAttention is only supported on CUDA 11 and above #1070

发现nvcc -V 版本出来确实是11.5

没有root权限，没法整体更新

然后发现自己本地目录下其实是有CUDA 12.0 的

解决办法，进入home目录下的用户目录，去修改.bashrc
 

cd /hom

低功耗蓝牙项目，需要一块懂省电的板

思澈 SF32LB52 芯片，BLE 协议栈深度优化，上手即开发

点击查看
最低0.47元/天 解锁文章
快速内存高效的注意力算法：FlashAttention
01-13
一种快速、内存高效的注意力算法。它无需任何近似即可加速注意力并减少内存占用。许多机构和研究实验室已经采用FlashAttention来加速训练和推理。对于需要高性能注意力算法的人工智能研究者和工程师，这个项目提供了一个有用的解决方案。
FlashAttention2 安装；报错 RuntimeError: FlashAttention only supports Ampere GPUs or newer.
weixin_42357472的博客
02-22 2752
英伟达 GPU 架构的演变中，从最先 Tesla 架构，分别经过 Fermi、Kepler、Maxwell、Pascal、Volta、Turing、Ampere至发展为今天的 Hopper 架构。cuda12.0环境；这是因为FlashAttention只支持A\H系列卡；T4卡是属于Turing架构不支持。参考：https://zhuanlan.zhihu.com/p/629388609。
解决PyTorch CUDA扩展编译错误的方案
HackSquad的博客
09-07 797
当遇到PyTorch CUDA扩展编译错误时，您可以通过确保CUDA版本与PyTorch兼容，安装正确的CUDA工具包，更新PyTorch和相关软件包，清理缓存并重新编译，以及检查CUDA和CuDNN路径来解决问题。确保CUDA版本与PyTorch兼容：首先，您需要确保您的CUDA版本与您安装的PyTorch版本兼容。安装正确的CUDA工具包：如果您已经安装了正确版本的CUDA，但仍然遇到编译错误，那么可能是因为您的CUDA工具包没有正确安装或配置。请确保按照CUDA官方文档的说明正确安装和配置CUDA。
RuntimeError: FlashAttention is only supported on CUDA 11 and above
zik的博客
05-08 7440
此错误的原因可能是 nvcc 的 CUDA 版本（通过键入“nvcc -V”获得，可能 < 11.0）与 torch (11.7) 的 CUDA 版本不匹配。注意这里的cuda-11.7需要依据自己电脑或者服务器上面的版本来改，找到/usr/local目录下来看。改成自己需要的版本。
pip install flash_attn 报错
G果的博客
05-05 7209
使用的是远程服务器，个人账户没有权限安装新的cuda，考虑现成的。发现已有cuda-11.1和cuda-12.0两个版本。
安装或更新 CUDA Toolkit - Ubuntu - RuntimeError
u014677900的博客
05-10 1070
RuntimeError: FlashAttention is only supported on CUDA 11.7 and above，原因是当前nvcc版本为11.5，不符合要求。解决方法如下：首先，从NVIDIA开发者网站下载并安装CUDA Toolkit 12.8版本，通过运行.run文件完成安装。安装后，配置环境变量。最后，通过nvcc --version验证安装。
【多模态大模型学习--llava部署踩坑：conda虚拟环境flash-attn安装】RuntimeError: FlashAttention is only supported on CUDA11
Mugi_jiang的博客
04-25 4223
flash-attn无法pip安装
FlashAttention CUDA不匹配问题（CUDA的正确安装）与编译卡住问题解决方法
03-04 6201
在安装flash_attn的过程中，解决CUDA 版本不匹配
解决RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors...CUDA_LAUNCH_BLOCKING=1
热门推荐
AI小白炼金术师
04-30 8万+
RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
问题解决 |关于CUDA的代码错误总结以及解决方法
weixin_44649780的博客
06-26 1万+
本博客主要关于常见的CUDA的代码错误总结以及解决方法~
RuntimeError: FlashAttention only supports Ampere GPUs or newer.
吉米_王
04-23 5996
详细描述请查看：https://github.com/Dao-AILab/flash-attention。是否有解决方案，暂无，除非能搞到A100或者H100以及更高版本的机器；GPU机器配置低，不支持 特斯拉-V100；哎，无奈手里机器不支持玩Llama 3；
causal_conv1d和mamba_ssm安装报错问题
Jedikiah的博客
03-20 3399
causal_conv1d和mamba_ssm安装报错
Mamba 环境安装踩坑问题汇总及解决方法（Windows已解决）
yyywxk的博客
02-07 7万+
最近Mamba有关的论文引起了众多人的关注，虽然Mamba论文自身被ICLR 2024拒稿，但是其衍生的模型层出不穷，诸如和等。；）时，发现按照他们给的安装方法安装时会遇到非常多的bug，主要集中在和mamba-ssm上，原因都是问题，特此记录。
配置mamba环境时pip install mamba-ssm和causal-conv1d报错
buaayunjc的博客
12-05 2676
配置mamba环境时pip install mamba-ssm和causal-conv1d报错
完美解决-RuntimeError: CUDA error: device-side assert triggered
jh035的博客
11-23 6653
epoch： 1 的第 0 个inputs torch.Size([8, 3, 224, 224]) labels tensor([4, 4, 3, 4, 4, 4, 4, 4])epoch： 1 的第 4 个inputs torch.Size([8, 3, 224, 224]) labels tensor([3, 4, 2, 4, 1, 1, 4, 1])
ubuntu环境安装mamba时配置causal-conv1d的错误记录
qq_48211251的博客
07-22 1663
cuda版本的问题，mamba最低支持的是cuda11.6的版本，我当时使用的是cuda11.3，因为当时电脑的显卡驱动没有更新，所以最高支持cuda版本是11.4，后续更新显卡驱动之后，cuda最高支持的版本是12.2。查看cuda版本的方法是nvidia-smi。
FlashAttention（flash-attn）安装
MurphyStar的博客
05-08 5万+
Flash Attention是一种注意力算法，更有效地缩放基于transformer的模型，从而实现更快的训练和推理。由于很多llm模型运行的时候都需要安装flash_attn，比如Llama3，趟了不少坑，最后建议按照已有环境中Python、PyTorch和CUDA的版本精确下载特定的whl文件安装是最佳方式。
突破编译困境：Flash-Attention全场景错误解决方案
最新发布
gitblog_00060的博客
09-10 1133
你是否在编译Flash-Attention时遇到过"nvcc not found"错误？是否因CUDA版本不兼容导致编译失败？本文将系统梳理五大类常见编译错误，提供基于官方源码的解决方案，让你3分钟内定位问题，5分钟完成修复。 ## 环境检查：编译前的必要验证 在开始编译前，必须确保系统满足最基本的环境要求。Flash-Attention对CUDA版本有严格要求，根据[setup.py](ht...
安装mamba_ssm报错
qq_45571006的博客
04-11 4622
最近想跑一下VM-UNet的代码，结果发现需要安装mamba_ssm，于是我直接pip install mamba_ssm,发现报错，错误提示说需要安装cuda11.6及以上的版本。然后我就默默地安装cuda11.6，后来我才发现不用安装cuda11.6也可以。我们直接把这两个.whl文件下载下来，上传到服务器上面，打开.whl文件所在的文件夹位置，然后运行下面两句代码就可以直接安装所需的包了。上面作者给出了百度网盘链接下载causal_conv1d 和mamba_ssm。
mamba复现—mamba+yolov8魔改（win）
锁我喉是吧
05-11 8021
将Mamba结合到Yolov8架构中的方法，旨在展示其在目标检测任务中的潜力。通过结合Mamba的优势，Yolov8_MambaCBAM旨在改善长距离信息捕获和全局建模能力，以提高目标检测任务的性能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值