昇腾Ascendc matmul算子入门开发-如何手写pingpong
1 背景介绍
A2机器上写一个Ascendc低阶API实现的Matmul算子,没有手写pingpong的情况下,可以很明显得看到流水图中MTE2、MTE1、CUBE、MTE3这几条流水之间是完全串行的。因此需要手写pingpong,实现流水并行提升性能。

pingpong/double buffer的介绍见昇腾社区:
https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/900beta2/opdevg/Ascendcopdevg/atlas_ascendc_10_0090.html
2 如何手写pingpong
以X1左矩阵L1开pingpong为例介绍,其他部分开pingpong操作过程类似。
开pingpong的最终效果是,空间有2份,并且分别用不同的EVENT_ID控制。实现空间0被消费时(无法搬运数据进空间0),可以同时做搬运数据进空间1的操作,相反同理。
1、注意点:EVENT_ID要和空间绑定。一个EVENT_ID可以控制多个空间,但一个空间不能由多个EVENT_ID控制。一个空间多个EVENT_ID控制,0锁住了空间,开始计算,但是1可能释放了空间,开始搬运,于是结果不对。就像一把钥匙可以开多个锁,但不能多把钥匙开同一个锁,因为单次只能进一个人。
2、具体步骤:
Step1:左矩阵L1空间开辟2份,用同一个EVENT_ID。没有实现真正的pingpong。
---------------------------------->校验精度<----------------------------------
Step2:EVENT_ID开辟2个,分别控制2份L1空间。实现真正的pingpong。
Step3:首尾配对增加。
---------------------------------->校验精度<----------------------------------

3 代码附件
见最上方

208

被折叠的 条评论
为什么被折叠?



