nc4hw4排布配合neon加速im2col+gemm的卷积推理

最新推荐文章于 2026-03-11 00:12:31 发布
原创 最新推荐文章于 2026-03-11 00:12:31 发布 · 1.5k 阅读 · 11
标签
#深度学习 #卷积 #内存优化
本文介绍了nc4hw4内存排布方式及其如何通过配合Neon指令集提升卷积推理性能。nc4hw4排布能够简化矩阵乘法（GEMM）操作，特别适用于矢量操作，实验证明其显著提高了运算效率。

nc4hw4排布配合neon加速im2col+gemm的卷积推理

一:前言

一个tensor常见的内存排布有nchw和nhwc,除此之外,MNN还有一种内存排布方式叫做nc4hw4,如何理解这个排布呢?这种排布对性能又有什么提升呢?

二:什么是nc4hw4

图片中已标明来源
图片中已标明来源

概念本身很简单,两幅图就很能说明.其实nc4hw4准确的说应该是n(c/4)h(w*4).一句话来说就是:沿着c方向取4个数按照w方向排列.如果c不是4的倍数,则全用0补上.

三:nc4hw4如何提升卷积推理性能

nc4hw4的出现就是为了配合矢量操作,如矢量读写,矢量乘累加,在arm上就是neon指令.由于在进行hw平面上的二维gemm时,不同c维度之间是互不影响的,正适合作为矢量操作的不同元素.nc4hw4排布配合neon加速im2col+gemm的卷积推理的具体过程如下:

  • 3.1.初始状态
    在这里插入图片描述

所有的图在内存中的排列都是从左到右从上到下从前到后依次分布的.本文以filter对input进行卷积为例

  • 3.2.转成nc4
最低0.47元/天 解锁文章
大前端CPU优化技术--NEON技术
jh1988abc的专栏
08-23 1328
ARM NEON 技术本质上是一种高级的单指令多数据（SIMD）架构扩展，支持64位或者128位的寄存器。
CNN加速器中的NC4HW4内存排布格式
qq_40268672的博客
02-02 3646
传统的存储格式(NCHW和NHWC) 在卷积神经网络（CNN）中，特征图是一个4维的张量，分别为batch维度N，通道维度C,特征图高H和特征图宽W，在不同的深度学习框架中，特征图也有着不同的存储格式，例如NCHW和NHWC，两者的区别就是通道所在的维度不同，在不同的情况下，这两种存储格式都有各自的优点，下图即为两种存储格式的示意图。 在使用FPGA设计加速器时，由于FPGA的片上BRAM资源十分有限，无法一次性容纳所有的特征图数据，因此往往会采取分片的策略，即对于一个C×H×WC \times H \t
图解神秘的NC4HW4
Oner.wv的专栏
11-17 2370
【GiantPandaCV导语】以卷积和im2col+gemm实现卷积操作举例,来图解深度学习中Tensor的NC4HW4(其实应该是N{C/4+C%4>0?1:0}HW4),写成...
Tensor中数据摆放顺序NC4HW4是什么意思，只知道NCHW格式，能解释以下NC4HW4格式吗？
taoqick的专栏
12-19 1640
深度学习框架TF的feature map的数据摆放格式是CHWC，onnx格式是HCHW，最近看到格式是HC4HW4不知道是什么意思？ 作者：梁德澎 链接：https://www.zhihu.com/question/337513515/answer/768632471 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 简单来说NC4HW4的数据排布其实就是和RGBA这种交织的数据排布类似。下面简单描述下NCHW如何转换成NC4HW4，首先batch维度就是N不变，然.
如何加速矩阵乘法——优化GEMM (CPU单线程篇)
sinat_22510827的博客
07-22 9803
矩阵乘法GEMM(Generalmatrixmultiply)是一个被广泛使用的基础算法，各种领域都需要应用，例如神经网络的核心计算任务就是矩阵乘法，交易中的各种信号计算也可能用到矩阵乘法。因此矩阵乘法的效率是极其关键的。关于如何优化矩阵乘法，我准备写一个较短的系列博文，包括CPU单线程篇、CPU多线程篇、GPU篇。原本计划还有一个稀疏矩阵乘法篇，由于这学期毕业前也没有时间把GPU篇做到满意，因此，稀疏矩阵篇就没了，GPU篇也很不完整。如果日后有时间且有那冲动可能会补上（大概率没有）。...
MNN NC4HW4
wuqi1003的专栏
11-24 285
524288=512*512*2]156, [..89]158, [..90]158, [..91]158, [..92]159, [..93]160, [..94]157, [..95]156, [..96]159, 这是第三channel，82, 141, 156, 0, 0, 0, 0, 0, 84, 143, 158, 五个零, 84,143,158, 五个零, 84,143,158, 五个零... ...float *outDat = （即input Tensor host内容）
【mnn】——输入tensor NC4HW4的可视化检查
怡宝2号
01-12 967
mnn, NC4HW4 1. NC4HW4的排布 请参考：NC4HW4数据的排布 2. 打印检查 输入tensor 为1x3x180x640，格式为NC4HW4。可以看到第二个数据恰好隔了HxW
e-a乘a的转置的秩_通用矩阵乘（GEMM）优化与卷积计算
weixin_39975486的博客
10-19 1500
GEMM 主题文章写了两版，这是第一版，第二版参见我的博客。采用知识共享 署名-非商业性使用-禁止演绎 4.0 国际许可授权，转载请注明出处。引言气象预报、石油勘探、核子物理等现代科学技术大多依赖计算机的计算模拟，模拟计算的核心是表示状态转移的矩阵计算。另一方面，计算机图形处理以及近年来兴起的深度学习也和矩阵乘高度相关。而矩阵乘对计算资源消耗较大，除了计算机体系结构的不断更新外，软件优化方面也有大...
neon优化二维卷积算法
nan的博客
10-27 5799
卷积在图像处理中使用很频繁，由于数据量大，计算多，未经优化的卷积算法很慢。利用neon的并行计算，可以对其进行优化。
有关NEON并行加速优化的两个实例
qq_52911516的博客
06-02 4119
本次neon优化针对两处循环重复性的工作进行并行加速处理
NCHW与NC4HW4数据排布在卷积优化上的优劣分析
独行侠
09-28 2827
数据布局对性能影响巨大。 先来看一看在 NCHW 的布局下，怎么利用 SIMD 加速 3x3 的 depth-wise 卷积。 首先，读取数据时，需要一次性读取四个 float 作为第一行的数据，后两行的读取也是相似的；此时，读取出的三行数据已经足够计算两列输出，即，可以复用部分数据；而后，为了提高数据复用，会再读取出第四行数据，一次计算两行两列，即，可以引入循环展开；然而，残留的 5~25 和 21~25 亮度眼边界无法利用 SIMD 计算，只能逐一循环读写完成计算；按照这样的方式，就可以相应完...
AISystem项目解析：推理引擎内存布局优化技术详解
gitblog_00323的博客
06-03 499
在AI推理系统的性能优化中，内存布局优化是决定推理效率的关键技术之一。随着神经网络模型规模的不断增大和硬件资源的相对有限性，如何高效利用内存资源、减少内存访问延迟、提升缓存命中率，成为推理引擎设计的核心挑战。 本文将深入解析AISystem项目中推理引擎内存布局优化技术，从基础原理到高级优化策略，为您全面揭示内存布局优化在AI推理系统中的技术实现和价值。 ## 内存架构基础：CPU与GPU的内...
通用矩阵乘(GEMM)优化(卷积加速/卷积优化)(FFT & Winograd& Strassen)
hxxjxw的博客
04-04 3881
通用矩阵乘( GEMM, General Matrix Multiplication），是一个名词，是对常规矩阵乘法的一种优化 GEMM在深度学习中是十分重要的，全连接层以及卷积层基本上都是通过GEMM来实现的，而网络中大约90%的运算都是在这两层中。而一个良好的GEMM的实现可以充分利用系统的多级存储结构和程序执行的局部性来充分加速运算 ...
NEON加速im2col+gemm的卷积推理
hsqyc的博客
09-26 2627
前言 主流框架包括caffe、tf、darknet实现卷积的时候不是直接进行卷积计算，而是往往采用im2col+gemm的方式来进行加速，加速的思路是“空间换时间”提高读取数据过程cache的命中。本文主要利用ARM的NEON汇编指令来加速darknet框架的CPU卷积计算 darknet相关 卷积实现原理 具体的im2col原理 卷积实现时，卷积核第一个元素与经过im2col操作后的feature map的第一行对应的的每个元素先后分别相乘，结果值分别存到不同位置，如图中所示。然后以此类推，卷积核第二个
GEMM算法及优化流程详解
热门推荐
独行侠
02-16 3万+
前言 神经网络前向耗时主要由卷积的耗时决定，参考賈杨青毕业论文，那么如何对卷积加速便成了重要的一个点，主流的加速方法有 以下几种： im2col+GEMM：目前几乎所有的主流计算框架包括 Caffe, MXNet 等都实现了该方法. 该方法把整个卷积过程转化成了GEMM过程，而GEMM在各种 BLAS 库中都是被极致优化的，一般来说，速度较快。 Winograd： Winograd 是存在...
为什么im2col+gemm能加速卷积？从内存访问角度深度解析
最新发布
weixin_29063681的博客
03-11 214
本文从内存访问角度深度解析了im2col+gemm加速卷积的原理。传统滑窗卷积因数据局部性差、缓存命中率低导致性能瓶颈。im2col通过数据重组将卷积转化为矩阵乘法，使内存访问从跳跃式变为连续，极大提升了缓存友好度。结合高度优化的GEMM计算库，能充分利用SIMD指令、缓存分块和并行计算，从而突破“内存墙”，实现显著加速。
神经网络高性能计算 卷积计算优化 openblas GEMM 矩阵乘法优化 ncnn mobileNet-ssd shueezeNet-ssd
万有文的博客
08-25 6330
HighPerformanceComputing 高性能计算(High performance computing， 缩写HPC) 指通常使用很多处理器（作为单个机器的一部分） 或者某一集群中组织的几台计算机（作为单个计 算资源操作）的计算系统和环境。 有许多类型的HPC 系统，其范围从标准计算机的大型集群，到高度专用的硬件。 大多数基于集群的HPC系统使用高性能网络互连，...
im2col+gemm实现卷积基础
LuchangLi 的专栏
05-10 4647
im2col+gemm实现卷积基础 NCHW/NHWC到NC1HWC0数据格式图解
卷积实现—im2col+gemm
two_apples的博客
06-25 2882
看卷积的实现，先看其普通的计算方式：滑窗计算和其计算shape大小的公式，以及各个卷积特性对其计算的影响，比如：stride，group，dilation，pad等。Hout​Hin​−kh​pt​pb​strideh​1Wout​Win​−kw​pl​pr​stridew​1上面公式以2D卷积为例，输出特征图的形状计算公式。
使用MNN踩过的坑
蜗牛博客
09-03 5426
个人觉得从19年8月份开始尝试使用MNN，整体感觉还是挺不错的，阿里的东西还是挺高级的，但是感觉这个东西现在还是太新了，遇到的坑很多，整体对pytorch还不太友好，这个链接下是https://github.com/alibaba/MNN/issues/74，MNN针对不同框架不支持的操作，个人看来pytorch是整体偏多的，tensorflow到2.0版本之后，个人更倾向于使用pytorch，因...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值