flash attention的重点解读和CUDA编程实现-V2

在上一篇博客添加链接描述我们介绍了flash attention的基本原理以及基本实现，然而有许多地方有无法解释的内容，这里本人尝试对flash attention做一个细致的解释，下面我们描述的都是如下图的flash attention V2。

flash attention的并行度

上面这个图片展示的是串行算法的思想，但是我们并行CUDA代码肯定是并行的，因此我们需要考虑上面这个算法的并行度从何而来。我们来看下面这个分块过程：
直接考虑输出矩阵 O i ∈ R B T × d O_i \in R^{B_{T} \times d}