CANN/ops-nn Mish梯度算子

MishGradV2

【免费下载链接】ops-nn 本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。 项目地址: https://gitcode.com/cann/ops-nn

产品支持情况

功能说明

• 算子功能：计算 Mish 的反向梯度。
• 目录 experimental/activation/mish_grad_v2 复用 ascend-kernel/csrc/ops/mish_grad 中已经验证的 AscendC 实现，目录名保留 v2 仅用于区分新实现，对外导出的 ACLNN 接口仍为 aclnnMishBackward。
• op_host/op_api/aclnn_mish_backward_v2.cpp 是对外 ACLNN 两段式接口入口。
• op_host/op_api/mish_grad_v2.h 和 op_host/op_api/mish_grad_v2.cpp 提供内部 l0op::MishGradV2 封装。

计算公式：

$$ xGrad = grad * \left(tanhx + x * \frac{1 - tanhx^2}{1 + e^{-x}}\right) $$

其中：

$$ tanhx = tanh(softplus(x)),\ softplus(x) = relu(x) + log(1 + e^{-|x|}) $$

调用方式

ACLNN 接口

函数原型

aclnnStatus aclnnMishBackwardGetWorkspaceSize(
    const aclTensor *gradOutput,
    const aclTensor *self,
    aclTensor *gradInput,
    uint64_t *workspaceSize,
    aclOpExecutor **executor);

aclnnStatus aclnnMishBackward(
    void *workspace,
    uint64_t workspaceSize,
    aclOpExecutor *executor,
    const aclrtStream stream);

详细参数和返回值说明见 docs/aclnnMishBackward.md。

参数说明

约束说明

• gradOutput、self 和 gradInput 的 shape 必须完全一致，不支持 broadcast。
• gradOutput、self 和 gradInput 的数据类型必须完全一致，不支持隐式类型提升。
• 支持非连续 Tensor，内部会执行连续化和 ViewCopy。
• 支持空 Tensor。

目录说明

Example 运行

source /usr/local/Ascend/cann/set_env.sh
export LD_LIBRARY_PATH=/usr/local/Ascend/cann/opp/vendors/customize_nn/op_api/lib:${LD_LIBRARY_PATH}
cd <ops-nn-repo>/experimental/activation/mish_grad_v2/examples
bash run.sh

Tests 运行

source /usr/local/Ascend/cann/set_env.sh
cd <ops-nn-repo>
bash build.sh --experimental --ops=mish_grad_v2 -u --opapi -j8 -O2

【免费下载链接】ops-nn 本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。 项目地址: https://gitcode.com/cann/ops-nn