Cuda并行编程笔记（三）Reduce & Scan & Histogram

最新推荐文章于 2026-05-17 09:08:36 发布
原创 最新推荐文章于 2026-05-17 09:08:36 发布 · 4k 阅读 · 4
标签
#cuda #parallel programming #gpu
本文是Udacity的CUDA并行编程课程笔记，介绍了Reduce、Scan和Histogram的概念与实现。Reduce操作通过二元可结合运算进行并行计算，复杂度为log2(n)。Scan包括Hillis & Steele’s算法和Blelloch扫描算法，不同算法具有不同的计算复杂度。Histograms部分探讨了直方图统计的不同方法，包括原子操作、线程局部直方图和按键排序后再归约。

Intro to Parallel Programming CUDA - Udacity 458
https://www.youtube.com/playlist?list=PLGvfHSgImk4aweyWlhBXNF6XISY3um82_

这是udacity的一个cuda并行编程的视频笔记，网址在上，翻墙即得。
顺便附上源码：https://github.com/aramadia/udacity-cs344

这是原视频的Unit3, 之前的笔记暂未整理，有空附上。

Reduce

reduce操作: 对二元可结合运算（没有先后顺序），前一项结果作为后一项输入。

  • a) Binary
  • b) Associativity

并行reduce: 两两结合, 复杂度：log2(n)
Parellel reduce

编程实现：
比如我们要reduce 1024*1024的矩阵
我们会运行1024个block, 每个block开1024个线程。
每个block中将后一半加到前一半，直到值归到第一个线程，将1024*1024 reduce为1024，再用一个block reduce到一个值。

kernel:

reduce with global memory:

最低0.47元/天 解锁文章
Cuda-Histogram:支持CUDA的GPU的广义直方图
05-12
广义CUDA直方图v0.1自述文件 版权所有Teemu Rantalaiho 2011-2012-电子邮件：“ firstname”。“ lastname” @ helsinki.fi 此文件包含快速介绍，以及有关如何将通用直方图代码用于支持CUDA的GPU的快速说明。 该代码快速且通用，并且已通过使用功能对象作为模板参数来实现抽象。 因此，API是C ++，但是具有最少的C ++功能。 我们这里所说的快速是指在常见用例中，它赢得了CUDA已知的直方图算法多达40％到135％（例如NVIDIA Performance Primitives的1通道和4通道256 bin直方图-在v.4.0.17）。 我们所说的泛型是指它支持任意的bin大小和类型，这意味着您基本上可以使用此代码执行任何直方图类型的操作。 只要您需要将某些值“汇总”到bin中，此代码就可以做到； 您也可以用任何关联和可交换的
CUDA系列学习（五）GPU基础算法: Reduce, Scan, Histogram
热门推荐
Rachel Zhang的专栏
06-25 4万+
喵~不知不觉到了CUDA系列学习第五讲，前几讲中我们主要介绍了基础GPU中的软硬件结构，内存管理，task类型等；这一讲中我们将介绍3个基础的GPU算法：reduce，scan，histogram，它们在并行算法中非常常用，我们在本文中分别就其功能用处，串行与并行实现进行阐述。 1. Task complexitytask complexity包括step complexity（可以并行成几个操作
并行scan算法 Hillis Steels 和 Blelloch
shungry的博客
07-01 1781
Hillis/Steels算法 Blelloch算法： 相互比较：
别再暴力循环了！用CUDA并行扫描(Scan)优化你的前缀和计算，性能提升10倍+
最新发布
weixin_28683391的博客
05-17 203
本文深入探讨了如何利用CUDA并行扫描(Scan)算法优化前缀和计算，显著提升性能。通过对比Hillis-Steele和Blelloch两种并行算法，结合实战代码和性能数据，展示了在GPU上实现10倍+性能提升的关键技术，包括共享内存优化、分治策略和现代CUDA特性应用。
【Udacity并行计算课程笔记】- Lesson 3 Fundamental GPU Algorithms (Reduce, Scan, Histogram)
aiwanghuan5017的博客
07-09 563
本周主要内容如下： 如何分析GPU算法的速度和效率 ​​3个新的基本算法：归约、扫描和直方图(Reduce、Scan、Histogram) 一、评估标准 首先介绍用于评估GPU计算的两个标准： step ：完成某特定计算所需时间--挖洞操作（Operation Hole Digging） work：工作总量 如下图示，第一种情况只有一个工人挖洞，他需要8小时才能完成，所以工作总量...
Python CUDA并行算法：扫描(Scan)算法 - 前缀和的Work-Efficient并行实现 (12)
qq_43410673的博客
01-24 628
Scan（扫描）是一种并行前缀和算法，将输入数组的每个位置替换为该位置之前所有元素的累积结果。# ↑ ↑ ↑ ↑# ↑ ↑ ↑ ↑Exclusive Scan将第i个元素的结果存储在第i+1个位置。从数组中移除所有不满足条件的元素# 输入数组# 条件：保留非零元素# 输出：[3, 5, 2, 1]✅Scan是前缀和的并行实现，应用广泛✅Inclusive Scan包含当前元素，Exclusive不包含✅Hillis-Steele简单但低效（O(N log N) work）✅。
并行计算 week3
XUYH6904的博客
03-11 537
identity element:标识值：标识值需要满足 identity op a=a;例如 op为乘的时候，i为1.得出横向时间复杂度为O(n),纵向step复杂度为O(logn),所以总的work时间复杂度为O（nlogn)step的时间复杂度与reduce相同，都是O(logn)，具体过程不再复述。得出step的复杂度为O(2logn),work的时间复杂度为O（n)区别（exclusive的输出不包含当前的输入值）并行的step时间复杂度为O（logn)串行的step的复杂度为O(N-1)
CUDA 基础算法之reduce、scan、histogram
lei_h11的博客
12-30 3199
前言 之前对于CUDA的学习基本上就是不会就查，拿来就用的状况，对一些基础算法的了解不是特别深，之前在面试的时候还有被问到scan扫描算法计算数组的前缀和，表示还没有详细的了解以致只能尴尬地说不清楚，是真的贼尴尬啊，后来去学了些视频课，才逐渐有了一些些基础。（说起来之前还不知道有step complexity 和 work complexity这两种复杂度呢） 1、step and work co...
CUDA系列学习（五）GPU基础算法 Reduce Scan Histogram
kahncc的博客
11-10 684
CUDA系列学习（五）GPU基础算法 Reduce Scan Histogram
[架构设计] CUDA系列学习（五）GPU基础算法: Reduce, Scan, Histogram
stswordman的专栏
06-26 922
喵~不知不觉到了CUDA系列学习第五讲，前几讲中我们主要介绍了基础GPU中的软硬件结构，内存管理，task类型等；这一讲中我们将介绍3个基础的GPU算法：reduce，scan，histogram，它们在并行算法中非常常用，我们在本文中分别就其功能用处，串行与并行实现进行阐述。  ———- 1. Task complexity task complexity包括step comple
第25节：并行前缀和（Scan）算法详解
yumeiguo的博客
08-11 270
内容说明算法核心上升归约 + 下降扫描适用范围大量数据的并行前缀和计算应用领域流式处理、排序、图算法等。
js数组API的时间复杂度大全
weixin_49035434的博客
04-17 2947
为了避免最坏情况，可以使用一些优化措施，例如在排序前随机打乱数组的顺序，或者使用基于归并排序（mergesort）或堆排序（heapsort）的算法，这些算法的时间复杂度为稳定的 O(n log n)。迭代器对象会按顺序遍历数组中的每一项，并返回一个包含键（索引）和值的键值对，每次迭代都只需要访问数组中的一个元素，因此时间复杂度为 O(1)。因此，时间复杂度为 O(n)。，其中 n 是数组的长度，但是最坏情况下的时间复杂度为 O(n^2)，如果数组本身已经有序（升序或降序），则可能会产生最坏情况，导致。
CUDA算法：统计直方图（以及优化加速）
DevinTT的专栏
04-17 4608
直方图是用来统计像素灰度值分布的一种方法，同理也可以统计RGB色素的分布。调整图像的对比度则需要直方图分布概率，才能进行灰度变换。 对于CUDA来说，可以并行读取多个像素点的值，然后进行统计，但是统计过程则是串行的。这里需要使用CUDA串行指令“原子操作”。 核函数： __global__ void cudaMatHistogram(CudaImg8Mat *cudaMat, unsign...
5.2 CUDA Histogram直方图
weixin_34159110的博客
01-08 490
什么是Histogramming Histogramming是一种从大的数据集中提取典型特征和模式的方式. 在统计学中，直方图（英语：Histogram）是一种对数据分布情况的图形表示，是一种二维统计图表，它的两个坐标分别是统计样本和该样本对应的某个属性的度量。 图像直方图（英语：Image Histogram）是用以表示数字图像中亮度分布的直方图，标绘了图像中每个亮度值的像素数。可以借助观...
【CUDA】 直方图 Histogram
weixin_68880273的博客
06-28 1538
为了并行计算直方图，我们需要将给定范围内数据分成块，并将每个块分配给一个线程。每个线程将使用原子操作来更新直方图。 使用这种方法，我们可以并行地计算一组数据的直方图。然而，这种方法有一个主要缺点。全局内存上的原子操作具有较高的延迟。这意味着线程将等待原子操作完成，然后才能继续。这将导致GPU的利用率降低。 一个解决方案是在共享内存上使用原子操作。这将减少原子操作的延迟。每个块将在共享内存中初始化和更新自己的直方图。然后线程将使用全局内存上的原子操作来更新最终直方图。这种技术称为私有化
CUDA global_reduce实现
zgh136608的博客
11-17 355
CUDA global_reduce实现 #include <stdio.h> #include <time.h> #include <stdlib.h> #include <cuda_runtime.h> __global__ void global_reduce(float* d_out, float* d_in) { int myID = blockIdx.x * blockDim.x + threadIdx.x;//得到该线程在全局的线程号 int
CUDA直方图统计
taifyang的博客
01-02 1081
然后为了统计这个直方图，我们需要遍历h_a中的所有1 000个元素，为h_a中的每一个特定元素值，将对应的特定直方图数组索引处的结果值增加1。具体是通过第二个循环来完成的，遍历0到1 000个该数组中的元素，为这1 000个元素中的每个值，计算对应的直方图索引处的结果值。本例中，块中的256个线程进行共享内存上的256个元素位置的访问，而原本的代码则在全局内存上的16个元素位置上进行访问。当我们试图测量使用了原子操作的该代码的性能的时候，你会发现相比CPU的性能,对于很大规模的数组，GPU的实现更慢。
CUDA：实现对渲染目标的位置产生一个可视化直方图(附完整源码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
03-02 196
CUDA：实现对渲染目标的位置产生一个可视化直方图(附完整源码)
Cuda编程3：模型部署优化（量化与剪枝概念）
qq_44753080的博客
04-07 2830
量化与剪枝
cuda编程笔记（15）--使用 CUB 和 atomicAdd 实现 histogram
ouliten的博客
08-16 879
直方图（）是一种的表示方法。它的核心思想：把数据按数值范围分成若干个（bin）。统计每个区间里有多少个数据。最终得到一个数组，表示“每个区间的数量”。假设我有 10 个数字：如果我按下面的区间划分：Bin 0: 0–2Bin 1: 3–5Bin 2: 6–8如果画出来，就是典型的直方图柱状图。在 GPU 上计算 histogram，就是每个数据属于哪个 bin，然后更新计数。常见场景：图像灰度统计（0–255）、点云密度分析、特征分布统计等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值