《Better Performance at Lower Occupancy》解读

背景

• CUDA的通常建议在SM或者Block中使用更多的线程来隐藏访存时延。
  但是作者提出$这种方式可能不是完全正确的$
  有关occupancy的含义：The multiprocessor occupancy is the ratio of active warps to the
  maximum number of warps supported on a multiprocessor of the GPU
• 作者列举了两个实验数据来说明这件事情，结果一目了然：
  
  作者提出使用CUDA编程时的两点谬论：

1. 多线程是隐藏时延仅有的一种方式。这里的时延包括两种：一种是算数延时；一种是访存延时
2. shared memroy 和 register 的访存速度一样快

优化点1：使用更少的线程来隐藏计算延时

首先将计算延迟与访存延迟做一个对比，计算延迟要比访存延迟要快