CUDA加速——基于规约思想的数组元素求和

数组元素求和，顾名思义就是求数组中所有元素的和，比如有数组X：

X的所有元素和就是：

如果按串行顺序求上式还是很好理解的，就是一个逐渐累加的过程，如下图，按照step1~stepn的步骤，依次计算S0，S1，S2，...，Sn-1，最后得到的Sn-1即是所有元素的和：

01

规约求和思想

以上串行顺序计算的step1~stepn是按照先后顺序依次执行的，那么如果是并行顺序求和呢？也即将多个求和步骤并行执行，而不是按照先后顺序执行，这时该怎么办？

由于step1~stepn中后步骤的计算结果依赖于前步骤的结果，必须等待前步骤计算结果出来之后才能开始后步骤的计算，如果直接对step1~stepn这n个步骤并行执行，显然是不能得到正确结果的，因为前步骤的结果还没出来后步骤就开始计算了。

为解上述问题，通常采用规约思想来并行计算。下面我们举一个简单的例子来说明规约思想，假设数组X有8个元素，现要使用规约思想求其元素和：

步骤如下：

• 将x0~x7两两分组：(x0,x1)、(x2,x3)、(x4,x5)、(x6,x7)。然后使用4个线程并行计算每组的