基于FPGA的一维卷积神经网络CNN的实现（六）卷积层实现

原创 已于 2022-06-29 10:56:38 修改 · 3.1k 阅读 · 10
标签
#fpga开发 #cnn #人工智能
于 2022-06-11 10:00:00 首次发布
本文详细介绍了如何在FPGA上实现一维卷积神经网络的卷积层，采用脉动阵列结构，利用DSP48E2单元进行乘加运算。讨论了卷积运算的基础、原理，并提供了具体的FPGA卷积电路设计和多通道卷积电路的搭建方法。

卷积层实现

环境： Pytorch，Pycham，Matlab。（订阅后有问题，或者需要该节的文件 请私信）

说明： 上一节已经通过Matlab将CNN网络所需的权重参数转换为定点数。

该节在FPGA端进行卷积层的实现。

第一节：基于FPGA的一维卷积神经网络CNN的实现（一）框架
第二节：基于FPGA的一维卷积神经网络CNN的实现（二）资源分配
第三节：基于FPGA的一维卷积神经网络CNN的实现（三）训练网络搭建及参数导出（附代码）
第四节：基于FPGA的一维卷积神经网络CNN的实现（四）Matlab前向验证（附代码）
第五节：基于FPGA的一维卷积神经网络CNN的实现（五）数据量化（附代码）
第六节：基于FPGA的一维卷积神经网络CNN的实现（六）卷积层实现
第七节：基于FPGA的一维卷积神经网络CNN的实现（七）池化层实现
第八节：基于FPGA的一维卷积神经网络CNN的实现（八）激活层实现

文章目录

1.FPGA实现卷积运算的必备基础

卷积运算，实质为大量的乘加计算，而FPGA内部做大量的乘加运算需要借助内部专用的DSP单元。

请添加图片描述

本文使用的FPGA内嵌的专用DSP资源为DSP48E2，DSP48E2的结构如下图所示

在这里插入图片描述

DS48E2内置27bit预加器（加法器），27×18的乘法器可以完成27bit与18bit的乘法运算。

例如在Vivado中选设备的时候就可以看到该设备内部有多少DSP单元

在这里插入图片描述

2.FPGA端卷积实现原理

  本文卷积层的设计是采用脉动阵列的方式搭建，当数据在时钟的推动下流过处理单元，在脉动阵列的末端就会得到相应的卷积结果输出，数据无需重新输入网络，而且只有首端和末端的单元与外界进行交互。脉动阵列所需的处理单元均为结构相同的子单元，在构建过程中可以做

了解本专栏 订阅专栏 解锁全文
CNN-FPGA:使用Verilog实现的CNN模块，可以方便的在FPGA项目中使用
05-12
CNN - FPGA 项目由来   毕业设计，为了蹭热点，选了几个和人工智能相关的课题，本意是希望通过毕业设计让自己了解一下机器学习，比如CNN一类的。很不幸，被体系结构实验室的老师抢走了。于是就面临了这个偏硬件的课题，用FPGA加速人工智能算法。   毕竟只是本科毕业设计，这个课题在我手里就变成了用FPGA加速CNN，本来的目的还是要完成，在大致了解了CNN之后，还是在极不情愿中做完了这个项目。   项目本质很简单，使用Verilog实现了一些CNN的模块。几乎没有多少实用价值。 另外，和大多数FPGA加速CNN的项目一样，本项目只能运行推断，不能学习，所以没有后向传播这不怪我，Xilinx自己都已经放弃治疗了。 使用   模块设计上参照了tensorflow。因为使用了全并行的设计，所以没有引入时序，也没有做流水线我不信哪块FPGA板子的部件延迟会大过总线周期，所以在资源占用上很不合理
图解一维卷积层（PyTorch）
wzy628810的博客
12-08 5508
图解一维卷积层（PyTorch） 在NLP中，我们需要对文本做embedding表示，那么embedding之后的文本做一维卷积运算的过程到底是什么样子的呢？我们给出下图加以说明
基于FPGA的一维卷积神经网络CNN的实现（一）框架
Crazzy_M的博客
11-23 2万+
理论建立与效果展示 正在写。。。 环境：Vivado2019.2。 Part：xcku040-ffva1156-2-i，内嵌DSP个数 1920个，BRAM 600个也就是21.1Mb。 说明：通过识别加高斯白噪声的正弦波、余弦波、三角波较简单的实例来利用FPGA实现一维CNN网络，主要是实现CNN网络的搭建。 也就是将下列数据传输至FPGA，识别出下面哪些是正弦波、余弦波、三角波，通过简单实例实践，在融会贯通。 实现流程： 训练参数：通过pytorch对10000个训练集进行训练获得训练参数，反向计算不
训练好后的神经网络如何快速定点化？
It is me 的博客
08-08 2029
训练好后的神经网络如何快速定点化？ 如何把浮点权重快速定点化后使用在嵌入式设备中 tensorflow模型的定点化 如何量化和量化意义？ 网络参数是按层组织，每层数值都在同一数量级，即范围相差不大，如[-6.0,4.0]，有大量论文研究表明确认值最大和最小后每层数据使用8bit定点化量化已可以很好满足推断计算。 量化最直接结果是参数存储空间要求变小，经验值是减少约3/4；减少内存读取数据量，节省带宽；使用simd进行计算加速，如果有dsp进行8bit加速计算节能，使得移动设备上进行推断计算变得更.
基于FPGA的卷积神经网络实现（五）数据量化（1）
qq_38798425的博客
07-18 1万+
这一节主要是软件层面的处理。之所以要进行数据的量化，一个是为了能够使用低bit来表达整个网络从而达到对其压缩的目的，减小对存储空间的需求；二就是FPGA中的DSP单元属于定点数DPS单元，更善于处理定点数运算。 定点数量化方面的研究有很多，基本上16bit不会对模型造成损失，使用8bit经过一些trick之后损失也很小，研究方面人们已经开始关注更低的位宽，但是目前在实现上，完全使用更低位宽确实会带来较大的损失，因此最佳的办法是使用动态的量化方式，也就是说对于不同的层不同的数据使用不同的量化位宽。动态量化方面
一起学习用Verilog在FPGA上实现CNN----(六)SoftMax层设计
鲁棒最小二乘支持向量机
02-10 7027
一起学习用Verilog在FPGA上实现CNN----SoftMax层设计
基于FPGA的一维卷积神经网络CNN的实现（二）资源分配
Crazzy_M的博客
11-30 1万+
资源分配 环境：Vivado2019.2。 Part：xcku040-ffva1156-2-i，内嵌DSP个数 1920个，BRAM 600个也就是21.1Mb。 说明：通过识别加高斯白噪声的正弦波、余弦波、三角波较简单的实例来利用FPGA实现一维CNN网络，也就是将下列数据传输至FPGA，识别出下面哪些是正弦波、余弦波、三角波，通过简单实例实践，从而实现更复杂的网络。主要是实现CNN网络的搭建，本文因为追求速度利用了大量的DSP，后期加入复杂网络进行DSP复用。 文章目录一、DSP资源分配1.第一层卷积2
基于FPGA的一维卷积神经网络CNN的实现（三）训练网络搭建及参数导出（附代码）
Crazzy_M的博客
05-24 5832
训练网络搭建 环境：Pytorch，Pycham，Matlab。 说明：该网络反向传播是通过软件方式生成，FPGA内部不进行反向传播计算。 该节通过Python获取训练数据集，并通过Pytorch框架搭建的CNN网络进行网络的训练。 并将训练的最优参数导出，这一节先导出至Matalb进行网络的验证以及数据的量化。 文章目录1.数据集的获取1.1 正弦波的获取1.2 余弦波的获取1.3 三角波的获取 1.数据集的获取 首先明白我们识别的波形为，正弦波，余弦波，三角波。 没有噪声的信号波形如下所示，没有噪声的
基于FPGA的一维卷积神经网络CNN的实现（八）激活层实现
Crazzy_M的博客
06-29 2724
激活层实现环境： Pytorch，Pycham，Matlab。（订阅后有问题，或者需要该节的文件 请私信）说明： 上一节已经介绍了池化层电路实现的原理，这一节主要介绍线性激活层实现的原理 。第一节：基于FPGA的一维卷积神经网络CNN的实现（一）框架 第二节：基于FPGA的一维卷积神经网络CNN的实现（二）资源分配 第三节：基于FPGA的一维卷积神经网络CNN的实现（三）训练网络搭建及参数导出（附代码） 第四节：基于FPGA的一维卷积神经网络CNN的实现（四）Matlab前向验证（附代码） ......
复现-基于FPGA的CNN的实现
weixin_62773931的博客
11-07 2862
基于FPGA的CNN复现
基于卷积神经网络的多特征序列数据分类方法Matlab——附代码
不定时分享电力优化、神经网络、数学建模等技术等
03-05 2493
本文要用到的卷积神经网络(ConvolutionalNeural Network，CNN),主要包含卷积技术以及深度神经网络。区别传统的机器学习,卷积神经网络将特征提取器与机器学习有机的结合了起来。卷积神经网络处理的数据形式,具有局部与整体的关系,并且由低层次特征组合可以形成高层次的特征,还能得到不同特征间的空间相关性。本文基于Matlab平台与自带的深度学习工具箱（Deep Learing toolbox），构建了一维卷积神经网络，实现多输入特征的一维向量分类任务。
matlab实现卷积神经网络CNN（二）——代码实现与解析
Mono的博客
05-23 1万+
用来随机划分训练集、测试集和验证集，当然你也可以自行划分好后分别导入。总之，train_x、test_x和val_x数据格式应该分别为。
fpga 之cnn高效实现方式
a52228254的博客
06-02 9957
在fpga实现cnn中最重要的模块部分-conv计算部分，可以称为是用fpga加速的根本。而计算最重要的关键则是如何充分利用fpga内的DSP，目前本人用的主要是ultrascale+，对应的dsp为DSP48e2。 实现conv的两种方式： （1）并行方式，目前大多数fpga的conv计算都不是采用的此种方式，简单的说，如果要计算一个3*3的conv，则需要9个dsp，可以在一个时钟内...
基于FPGA的卷积神经网络实现（一）简介
热门推荐
qq_38798425的博客
06-02 3万+
目录： 简介 框架 资源分配（1） 资源分配（2） 数据量化（1） 数据量化（2） 数据读写 卷积模块 池化、全连接与输出 事先声明，仅用于记录和讨论，有任何问题欢迎批评指正，只是觉得菜的大佬们请绕路，就不用在这里说大实话了，因为本身就是一个粗糙的demo。ISE的v文件在github，由于大家想要vivado工程，我就做了一个，有点大，传到了百度网盘。 链接：https://pan.baidu.com/s/1OEUPTEQ3miRcPFCaWy-3MA 提取码：bqit 提起把项目代码讲解一下的念头主
基于 FPGA 的 CNN 卷积神经网络整体实现
最新发布
走向CTO的路上...
02-04 2034
卷积神经网络（CNN）是一种强大的深度学习架构，广泛用于图像识别、物体检测和自然语言处理等领域。FPGA 以其并行处理能力、低延迟和灵活性，是加速 CNN 推理的理想硬件平台。通过在 FPGA 上实现 CNN，可以显著提高实时应用中的推理效率。FPGA 在 CNN 加速中提供了并发处理的优势，通过流水线和并行计算大幅提升计算效率。在 FPGA 上实现 CNN，不仅能满足实时性要求，还能通过硬件优化降低功耗。
【亲测免费】 探索高效能：CNN在FPGA上的实现
gitblog_00905的博客
08-12 723
在人工智能的浪潮中，卷积神经网络（CNN）已成为图像识别、语音分析等领域的核心技术。然而，随着数据量的激增和计算需求的提升，传统的CPU和GPU加速方案已逐渐显露出局限性。在这样的背景下，FPGA（现场可编程门阵列）以其卓越的并行处理能力和灵活的可编程性，成为加速CNN的新宠。本文将深入介绍一个基于FPGA的CNN加速项目，探讨其技术细节、应用场景及独特优势。 ## 项目介绍 本项目起源于一位...
FPGA人工智能网络模型设计简介
平时工作较为繁忙,私信消息一般晚上回复,谢谢大家~~
07-02 1358
人工智能（Artificial Intelligence, AI）是近年来广受关注的技术领域之一。随着深度学习算法的发展，卷积神经网络（Convolutional Neural Networks, CNN）和循环神经网络（Recurrent Neural Networks, RNN）等模型在计算机视觉、自然语言处理等领域得到广泛应用。FPGA（Field-Programmable Gate Array）作为一种可编程逻辑器件，具有并行性强、功耗低、时延小等优点，在实现人工智能方面具有一定的优势。
【FPGA教程案例58】深度学习案例5——基于FPGA的CNN卷积神经网络之图像缓存verilog实现
FPGA/MATLAB学习教程/源码/项目合作开发
08-24 2018
​ 在课程54.深度学习案例1——基于FPGA的CNN卷积神经网络之理论分析和FPGA模块划分，我们对CNN的基本原理有了初步认识。 在上一个课程，我们完成了CNN的Relu激活层、pool池化层、卷积层的FPGA实现，如下图所示： ​
一起学习用Verilog在FPGA上实现CNN----(一)总体概述
鲁棒最小二乘支持向量机
12-09 1万+
一起学习用Verilog在FPGA上实现CNN----总体概述
FPGA-CNN常见问题解决方案
gitblog_00745的博客
12-17 909
FPGA-CNN常见问题解决方案 1. 项目基础介绍 FPGA-CNN项目是一个在FPGA（现场可编程门阵列）上实现的细胞神经网络（CNN）的开源实现。该项目使用Verilog硬件描述语言进行编程，并结合Quartus等工具进行综合和实现。通过在FPGA上实现CNN，该项目可以提供高效的并行处理能力，适用于实时的图像和信号处理应用。 2. 主要编程语言 Verilog: 主要用于编写硬件描述代码...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数字硬鉴

你的鼓励就是我创作的最大动力。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值