【深度学习】复现Vision Mamba时报错“TypeError: causal_conv1d_fwd(): incompatible function arguments.”

最简单的方法:
https://blog.csdn.net/Qanyh/article/details/138812171?spm=1001.2014.3001.5501
按照他这个运行即可。
但是我现在装的的cuda 12.x, causal_conv1d 1.1.0 不能安装。
因此采用以下方法:
selective_scan_interface.py 中的 causal_conv1d 输入输出进行微调即可:

正向:

conv1d_out = causal_conv1d_cuda.causal_conv1d_fwd(x, conv1d_weight, conv1d_bias, None, True)

改为:

conv1d_out = causal_conv1d_cuda.causal_conv1d_fwd(x, conv1d_weight, conv1d_bias,None,None, None, True)

反向:

dx, dconv1d_weight, dconv1d_bias= causal_conv1d_cuda.causal_conv1d_bwd(
            x, conv1d_weight, conv1d_bias, dconv1d_out, None, dx, True
        )

改为:

dx, dconv1d_weight, dconv1d_bias, *_ = causal_conv1d_cuda.causal_conv1d_bwd(
            x, conv1d_weight, conv1d_bias, dconv1d_out, None, None,None, dx, False, True
        )

复现效果是否有变化暂时不知道。

在IT行业中,管理和配置开发环境是一项重要的任务,特别是在深度学习人工智能领域。MambaCausal-Conv1D是两个在此领域中常见的工具,这里我们将深入探讨这两个组件以及如何通过提供的`.whl`文件进行安装。 让我们来了解**Mamba**。Mamba是一个强大的包管理器,它是Conda的替代品,旨在解决Conda环境中包管理和依赖关系的复杂性问题。Mamba由Biocore团队开发,其设计目标是提供更快、更稳定、更简洁的环境管理体验。Mamba使用了与Conda相同的包格式和生态系统,但它的性能优化使得安装、升级和管理软件包的速度显著提高。`mamba_ssm-1.0.1+cu118torch2.1cxx11abiFALSE-cp310-cp310-linux_x86_64.whl`这个文件是针对Python 3.10的Mamba SSM模块的特定版本,其中`cu118`表示它支持CUDA 11.8,`torch2.1`意味着它兼容PyTorch 2.1,`cxx11abiFALSE`可能指的是C++ ABI的设置,而`linux_x86_64`则表明它是适用于64位Linux系统的。 接下来,我们讨论**Causal-Conv1D**。在深度学习中,卷积神经网络(CNNs)常用于图像处理,但Causal-Conv1D是一种特殊类型的1维卷积层,主要应用于序列数据,如间序列分析或自然语言处理。Causal-Conv1D确保了卷积操作的“自回归”性质,即当前输出仅依赖于之前的输入,这在处理序列模型(如LSTM或Transformer)非常有用。`causal_conv1d-1.1.1+cu118torch2.1cxx11abiFALSE-cp310-cp310-linux_x86_64.whl`这个文件同样是针对Python 3.10的,它与Mamba
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值