softmax的高效CUDA编程和oneflow实现初步解析

原创 已于 2023-12-07 09:39:55 修改 · 785 阅读 · 1
标签
#oneflow #人工智能 #深度学习
于 2023-10-31 09:19:27 首次发布
本文深入探讨了softmax的CUDA实现，通过分析oneflow的源代码，介绍了blockAllreduce和warpReduce的概念及其优化手段。针对[4,1200,700]等特殊案例，提出了自适应线程块形状、寄存器优化等方法，以提高计算速度，与pytorch自带的softmax进行了对比，并展示了不同优化版本的代码实现。" 133223049,19671515,使用jQuery动态移除元素readonly属性,"['jQuery', '前端开发', 'HTML', '属性操作']

本文参考了添加链接描述，其中oneflow实现softmax的CUDA编程源代码参考链接添加链接描述
关于softmax的解读以及CUDA代码实现可以参考本人之前编写的几篇文章添加链接描述，添加链接描述，添加链接描述
下面这个图片是之前本人实现的softmax.cu经过接入python接口，最终和pytorch自带的softmax对比的数值结果，可以看出本人之前编写的softmax算法在大部分情况下速度都比pytorch快，但是面对[4,1200,700],[700,1200,24]这样的张量却出现明显的时间差异，因此本人接下来的算法都会围绕这几个特殊案例进行分析和加速。

在这里插入图片描述

了解本专栏 订阅专栏 解锁全文
softmax的cuda编程详细解读——算子融合
forrestguang的博客
09-03 1536
在上一篇博客我们介绍了softmax的内容以及相关的编程实现，总结一下softmax的特点如下：（没有特殊说明的情况下，考虑的仍然只是1D向量x1：获得向量的全局最大值M2：针对向量xexpxi​−Mi​求和得到S3：输出向量yxS从常理来看，我们至少需要发动3次kernel才能获得数值结果，但是这样非常耗时，有没有什么办法可以发动一次kernel就获得结果呢，下面不妨看看我们的分析过程。
CUDA 算子优化：Softmax
qq_56047026的博客
06-11 2655
把输入映射为0-1之间的实数，并且归一化保证和为1。max非黑即白，soft，输出是每个分类被取到的概率。定义：该元素的softmax值就是该元素的指数和所有元素指数和的比值定义的原因：1.softmax设计的初衷是希望特征对概率的影响是乘性的。2.多类目标分类问题的目标函数常常选为cross-entropy。
cuda从入门到精通（五）CUDA实现AI模型中的softmax
xiangxianghehe的博客
03-19 2021
NVIDIA提供了许多CUDA库，如cuBLAS和cuDNN，这些库为许多常见的线性代数运算提供了高效的实现。例如，在上述示例中，我们在GPU上分配了额外的内存来存储输入和输出的副本。为了避免这种情况，我们可以从每个输入值中减去最大值，这样可以确保所有的输入值都在可接受的范围内。：了解你正在使用的硬件的特性，并根据这些特性进行优化。例如，不同的GPU可能有不同的内存带宽和计算能力，这可能会影响你的代码的性能。这些只是优化CUDA代码的一些基本建议，具体的优化策略可能会根据你的应用和硬件的特性而有所不同。
cuda优化之softmax
youzjuer的博客
07-14 1226
对于内存访问来说，我们是一次性加载整个向量，然后一次性保存它。Bytes=2*N*4(每个浮点值占四字节)先求max(x)//N次浮点操作，再求x-m//N次浮点操作，exp=e^x//N次浮点操作，s=sum(exp)//N次浮点操作，out=exp/s//N次浮点操作。FLOPS=5*N这样得到的信息就是这个算子每加载8字节，我们进行5次浮点运算。TheoreticalMaximum = (5/8)*理论带宽 1TB/s = 625GFLOPs//理论最高算力。
如何实现一个高效的Softmax CUDA kernel？——OneFlow 性能优化分享
OneFlow深度学习框架
01-04 1401
Softmax操作是深度学习模型中最常用的操作之一。在深度学习的分类任务中，网络最后的分类器往往是Softmax + CrossEntropy的组合： 尽管当Softmax和CrossEntropy联合使用时，其数学推导可以约简，但还是有很多场景会单独使用Softmax Op。如BERT的Encoder每一层的attention layer中就单独使用了Softmax求解attention的概率分布；GPT-2的attention的multi-head部分也单独使用了Softmax 等等。 深度学习框架
OneFlow 中的 Softmax
yiran103的专栏
08-10 3062
Softmax 是深度学习模型中的常见算子。PyTorch 的 Softmax 算子直接调用 cuDNN 的接口。而 OneFlow 内部针对输入数据的类别数量，采用3个 kernel 来分别处理，在多数情况下都可以获得比 cuDNN 更优的性能表现。下面对其实现进行介绍。OneFlow 的静态分层结构如下图所示：
【CUDA学习笔记】OneFlow公众号CUDA算子优化文章学习笔记
墨门
12-07 2157
【OneFlow博文目录】岁末年初，为你打包了一份技术合订本《如何实现一个高效的Softmax CUDA kernel？——OneFlow 性能优化分享》
CUDA并行加速实现softmax函数
weixin_30415591的博客
05-06 1425
简介：本教程详细介绍了如何使用CUDA编程模型来并行化实现softmax函数，这是一种在机器学习和深度学习中常用的函数，用于将实数值向量转换为概率分布。由于softmax的计算密集型特性，传统的串行实现可能导致效率低下，CUDA提供了一种加速这些计算的有效方式。教程中将介绍CUDA编程基础，如何在GPU上高效分配和同步线程，以及提供一个CUDA代码示例来展示softmax函数的并行计算。通过CUDA并行加速softmax，可以显著提高处理大规模数据集时的性能。
深度学习 —— 个人学习笔记3（Softmax_cuda）
Springer的博客
06-25 384
本文章为个人学习使用，版面观感若有不适请谅解，文中知识仅代表个人观点，若出现错误，欢迎各位批评指正。文中部分知识参考：B 站 —— 跟李沐学AI；
3.7. softmax回归的简洁实现
weixin_48192326的博客
04-03 436
【代码】3.7. softmax回归的简洁实现。
CUDA高性能计算系列10：实战手写深度学习算子(Softmax)
最新发布
weixin_52694742的博客
01-10 1300
本文深入探讨了深度学习常见算子Softmax的高性能CUDA实现。首先分析了Softmax的数值稳定性问题，提出减去最大值防止溢出的解决方案。文章详细介绍了Three-Pass实现策略，包括Reduce Max、Reduce Sum和Element-wise Update三个阶段，并给出了CUDA内核代码示例。进一步讨论了Online Softmax等优化算法，可减少遍历次数。最后指出了性能瓶颈主要在内存访问，建议采用向量化读取等优化技术。文章为后续将CUDA算子集成到PyTorch奠定了基础，完整展示了从
Softmax CUDA优化分析
qq_33562636的博客
07-17 387
Softmax 操作是深度学习模型中最常用的操作之一，作为一个被广泛使用的算子，很多大佬已经对优化方法有过详细讲解（参考链接），这里不再赘述，只是对softmax常用优化方法代码复现。所有的优化版本中softmax输入为(m,n)，输出为(m,n)。
c++高性能多进程 cuda编程: naive_softmax实现和图示
ResumeProject的博客
03-13 984
分母d_total_inverse的计算图示： Layer 1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 SM BlockReduce 0 1 2 3 4 5 6 7 8 9
cuda算子--softmax算子与优化
PeterPan的博客
08-08 994
本文介绍了softmax函数在CUDA上的实现方法。首先解释了softmax函数的数学原理，该函数能将多个线性输出转化为概率值。随后详细描述了CUDA实现的三步流程：1）求每行最大值；2）计算exp_sum；3）计算概率值。实现中采用了二维线程块设计，x维度处理softmax，y维度和grid维度处理batch。文章提供了完整的CUDA核心代码，包括模板操作、归约计算和向量化处理等关键实现细节，特别展示了如何利用float4类型进行向量化优化以提高计算效率。
softmax算子实现与优化
qq_45642593的博客
02-25 1568
实现一个包含1
【BBuf的CUDA笔记】八，对比学习OneFlow 和 FasterTransformer 的 Softmax Cuda实现
I good vegetable a!
02-24 1016
这篇文章主要学习了oneflow的softmax kernel实现以及Faster Transformer softmax kernel的实现，并以个人的角度分别解析了原理和代码实现，最后对性能做一个对比方便大家直观的感受到oneflow softmax kernel相比于FasterTransformer的优越性。我目前处于尽可能去理解oneflow的一些优秀的cuda实现的阶段，做一些知识储备，同时也调研和学习下相关的一些优化库的的cuda kernel。
深度学习笔记8：softmax层的实现
热门推荐
l691899397的博客
08-23 6万+
如果有什么疑问或者发现什么错误，欢迎在评论区留言，有时间我会一一回复 softmax简介 Softmax回归模型是logistic回归模型在多分类问题上的推广，在多分类问题中，待分类的类别数量大于2，且类别之间互斥。比如我们的网络要完成的功能是识别0-9这10个手写数字，若最后一层的输出为[0,1,0, 0, 0, 0, 0, 0, 0, 0]，则表明我们网络的识别结果为数字1。 S
TVM Relay softmax算子调度分析
Eurypterid的博客
08-05 966
tvm relay 算子调度分析
搭建深度学习框架（七)：softmax+交叉熵损失函数的实现
qq_43790749的博客
02-21 3050
上一节已经实现了LSTM网络的搭建，这一节将实现交叉熵损失函数的搭建和运用，实现对物体的分类。 代码下载地址：xhpxiaohaipeng/xhp_flow_frame 一、softmax+交叉熵损失函数代码实现的原理 1.在经过交叉熵损失函数处理前，输出结果应先经过一个softmax函数处理得到一个总和为1的概率分布。 softmax函数实现如下： 那么softmax函数对y求导，可得导数为： softmax(y)-softmax(y)**2 2.最终将softmax函数的结果输入交叉熵损失函数计算损
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

谨慎付费（看不懂试读博客不要订阅）

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值