【Ascendc】【A2】昇腾Ascendc matmul算子入门开发——如何手写pingpong

昇腾Ascendc matmul算子入门开发-如何手写pingpong

1 背景介绍

A2机器上写一个Ascendc低阶API实现的Matmul算子,没有手写pingpong的情况下,可以很明显得看到流水图中MTE2、MTE1、CUBE、MTE3这几条流水之间是完全串行的。因此需要手写pingpong,实现流水并行提升性能。
在这里插入图片描述
pingpong/double buffer的介绍见昇腾社区:
https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/900beta2/opdevg/Ascendcopdevg/atlas_ascendc_10_0090.html

2 如何手写pingpong

以X1左矩阵L1开pingpong为例介绍,其他部分开pingpong操作过程类似。
开pingpong的最终效果是,空间有2份,并且分别用不同的EVENT_ID控制。实现空间0被消费时(无法搬运数据进空间0),可以同时做搬运数据进空间1的操作,相反同理。
1、注意点:EVENT_ID要和空间绑定。一个EVENT_ID可以控制多个空间,但一个空间不能由多个EVENT_ID控制。一个空间多个EVENT_ID控制,0锁住了空间,开始计算,但是1可能释放了空间,开始搬运,于是结果不对。就像一把钥匙可以开多个锁,但不能多把钥匙开同一个锁,因为单次只能进一个人。
2、具体步骤:
Step1:左矩阵L1空间开辟2份,用同一个EVENT_ID。没有实现真正的pingpong。
---------------------------------->校验精度<----------------------------------
Step2:EVENT_ID开辟2个,分别控制2份L1空间。实现真正的pingpong。
Step3:首尾配对增加。
---------------------------------->校验精度<----------------------------------
在这里插入图片描述

3 代码附件

见最上方

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值