NNIE-lite 为算法工程师而生

原创 已于 2022-05-11 16:59:06 修改 · 置顶 · 6.5k 阅读 · 15
标签
#算法 #计算机视觉 #深度学习
于 2020-07-03 11:51:06 首次发布
NNIE-lite项目极大简化了在海思芯片上移植算法的过程，尤其适合擅长C++和OpenCV的算法工程师。通过使用NNIE-lite，工程师可以专注于模型效果和效率，而不必深究NNIE的细节。此项目提供了模型转换、数据预处理、模型推理和后处理的通用步骤，以及模型推理时间的比较。

《NNIE-lite》

  趟过NNIE的小伙伴可能都知道，NNIE是有很多坑的，而且是纯C的环境，除非你有几年C的开发经验，否则阅读起来不是那么容易的，而作为算法工程师，我相信更多人和我一样擅长Python和C++，所以在把NNIE用起来还是有些费力的。而作为算法工程师，你的工作更应该 concentrate on 模型上，现在有了NNIE-lite这个项目，极大的帮助大家脱离苦海，算法工程师可以把目光聚焦在模型效果和效率上，而不用再为其他的琐事担心了，使用NNIE像用ncnn一样简单。

Key Words：NNIE、 C++、 OpenCV


Beijing, 2020

作者：RaySue

Code：https://github.com/mxsurui/NNIE-lite

Agile Pioneer  

写在前面

  • 如果你有摄像头端（海思NNIE）移植算法的需求

  • 如果你更擅长于C++编程

  • 如果你擅长使用cmake构建工程

  • 恰好你喜欢

最低0.47元/天 解锁文章
皮卡鱼nnue免费中国象棋引擎20220919
09-24
免费开源最强象棋引擎
Halogen:C ++国际象棋引擎
04-10
卤素国际象棋引擎 关于 卤素灯是一款功能强大的世界级程序，能够分析和下棋。 目前，它一直是有史以来前30名国际象棋引擎中的佼佼者。 细节 Halogen用c ++编写，实现了空移动修剪，减少后期移动，静止搜索以及使用Zobrist Hashing的换位表。 搜索例程使用SMP并行化技术进行多线程处理。 目前， 框架支持卤素开发。 OpenBench（由创建）是一个开放源代码顺序概率比测试（SPRT）框架，旨在对引擎进行自测试。 OpenBench利用分布式计算，使任何人都可以贡献CPU时间来进一步开发一些世界上最强大的引擎。 自从Halogen 7开始，H​​alogen就使用了神经网络来进行评估。 卤素（Halogen）利用了逐步更新的体系结构，这一结构受到了新的NNUE网络的启发。 卤素灯具有创新的神经网络实现和抽象的体系结构，该体系结构使网络可以随意插入和替换。 通过与Andr
NNIE
u010451780的专栏
07-02 2218
https://blog.csdn.net/ywcpig/article/details/85260752 1. NNIE介绍 NNIE 是 Neural Network Inference Engine 的简称,是海思媒体 SoC 中专门针对神经网络特别是深度学习卷积神经网络进行加速处理的硬件单元,支持现有大部分的公开网络,如 Alexnet、VGG16、Googlenet、Resnet18、Resnet50 等分类网络,Faster R- CNN、YOLO、SSD、RFCN 等检测网络,以及 Seg
NNIE与Caffe学习
guolele2010的专栏
08-10 1093
NNIE是海思的一个AI加速硬件，他是硬件实现了caffe的一些层 NNIE是Neural Network Inference Engine的简称，是海思媒体SoC中专门针对神经网 络特别是深度学习卷积神经网络进行加速处理的硬件单元，支持现有大部分的公开网 络，如Alexnet、VGG16、Googlenet、Resnet18、Resnet50等分类网络，Faster R- CNN、YOLO、SSD、RFCN等检测网络，以及SegNet、FCN等场景分割网络。实质他是将Caffe网络定义的几个层
NNIE的运行机制
Binbin_Sun的博客
03-07 7901
NNIE的运行机制 一：背景 由于当前主流算法中都使用了深度学习算法，而深度学习算法在移植过程中，基于带有的NNIE推理单元的Hisi芯片将极大的提高算法模型的推理，加速算法计算，从而便于算法落地上车。故而本文将简要说明NNIE的运行机制，主要包括如下部分： a:NNIE的运行机制 b:单/双核NNIE的调度逻辑 c:多算法并行的可能资源限制条件 二: NNIE的运行机制 NNIE 是 Neural Network Inference Engine 的简称，是海思媒...
海思NNIE Hi3559量化部署Mobilefacenet与RetinaFace
Will_young111的博客
05-19 7999
目录海思NNIE Hi3559量化部署Mobileface模型环境介绍前言准备工作1、完成Ruyi Studio的安装2、下载模型、数据集NNIE量化1、创建工程2、配置cfg文件并生成仿真wk3、中间层结果对比验证4、生成inst WK板上运行代码附录海思NNIE Hi3559量化部署Retinaface模型环境介绍Retinaface介绍NNIE量化工作cfg文件配置向量对比结果板上运行 海思NNIE Hi3559量化部署Mobileface模型 参考博文 Hanson：海思NNIE之Mobilefa
引领游戏创新：基于Unreal Engine 5的神经网络推断插件(NNI)体验之旅
最新发布
gitblog_00293的博客
08-28 525
引领游戏创新：基于Unreal Engine 5的神经网络推断插件(NNI)体验之旅 在今天的游戏开发前沿，机器学习(ML)已不再仅仅是科技巨头的专有领域。随着【FPStyleTransfer】项目的开源，开发者们现在可以探索如何利用神经网络的强大功能，在Unreal Engine 5中实现令人惊叹的艺术风格转换。该项目巧妙地集成了ONNX Runtime，打开了通往实时风格化渲染的新大门。让我们...
推荐文章：NNIE-lite —— 摄像头模型推理的加速神器
gitblog_00242的博客
08-16 923
推荐文章：NNIE-lite —— 摄像头模型推理的加速神器 项目介绍 在人工智能应用日新月异的今天，高效、快速地执行深度学习模型成为了众多算法工程师追求的目标。NNIE-lite 正是为此而生的一个开源项目，它旨在简化在海思媒体 SoC 上使用 NNIE（Neural Network Inference Engine）进行模型推理的过程，让算法工程师能够聚焦于提升模型性能和减少延迟，而无需深究...
NNIE-lite 开源项目教程
gitblog_01179的博客
08-16 385
NNIE-lite 开源项目教程 项目介绍 NNIE-lite 是一个旨在简化使用 NNIE（Neural Network Inference Engine）的项目，它使得在摄像头上加速模型推理时间变得更加容易。NNIE 是海思媒体 SoC 中专门针对神经网络，特别是深度学习卷积神经网络进行加速处理的硬件单元。该项目更适合不关心 NNIE 底层细节或摄像头系统的算法工程师，他们可以专注于模型的性能...
推荐文章：NNIE-lite —— 简化深度学习推理的新引擎
gitblog_00467的博客
08-21 434
推荐文章：NNIE-lite —— 简化深度学习推理的新引擎 项目介绍 在人工智能应用日益广泛的今天，如何高效地在嵌入式设备上运行复杂的神经网络模型成为了算法工程师们的一大挑战。为此，【NNIE-lite】应运而生，它如同一个轻量级的桥梁，让开发者能够像使用成熟的ncnn框架一样便捷地利用海思SoC中的NNIE硬件加速单元，显著提升摄像头上的模型推理速度。这是一套专为不想深入了解NNIE底层细节...
NNIE-lite：让NNIE使用如同ncnn般简单
gitblog_00049的博客
05-29 362
NNIE-lite：让NNIE使用如同ncnn般简单 项目介绍 NNIE-lite 是一个旨在简化海思媒体SoC中神经网络推理引擎（NNIE）使用的开源项目。NNIE是海思专门为神经网络，特别是深度学习卷积神经网络加速处理的硬件单元。通过 NNIE-lite，算法工程师可以专注于模型的性能和延迟，而无需深入了解NNIE的底层细节或相机系统。 项目采用CMake构建系统，支持Hi3516CV500和...
海思Hi3519A SVP从入门到精通（二 NNIE开发指南）
热门推荐
Enjoy Coding
12-27 4万+
1. NNIE介绍 NNIE 是 Neural Network Inference Engine 的简称,是海思媒体 SoC 中专门针对神经网络特别是深度学习卷积神经网络进行加速处理的硬件单元,支持现有大部分的公开网络,如 Alexnet、VGG16、Googlenet、Resnet18、Resnet50 等分类网络,Faster R- CNN、YOLO、SSD、RFCN 等检测网络,以及 Se...
NN(Neural Network神经网络)
If you can dream it,you can do it.
08-13 4736
NN(Neural Network神经网络)： 　　ANN(ArtificialNeural Network 人工神经网络)，BP(Error Back Propagation 误差反向传播)，HN（Hopfield Network）， 　　RNN(Recurrent Neural Network，循环神经网络），SRN（Simple Recurrent Network，简单的循环神经
HiSi 3516CV500 NNIE(Neural Network Inference Engine) 摸鱼记录(1) --- 环境搭建
Sky的专栏
06-07 1万+
#PS：要转载请注明出处，本人版权所有 #PS:这个只是 《 我自己 》理解，如果和你的 #原则相冲突，请谅解，勿喷 背景 深度学习的爆发期已经到了瓶颈了，为啥这样说，因为没有突破性的理论进展，都是靠着网络更深、更广，算力更强大来做相应的功能。至少在我的世界观里面是这样的，虽然这样的认知可能会有局限性，或者说是错误的。 现在深度学习的方向已经不是以前的泡沫鼓吹了，而是落地，踏踏实实的把...
棋盘代码_国际象棋程序Stockfish NNUE设计简介（二）棋盘表示
weixin_36396555的博客
01-02 2347
棋盘表示，即将一个静态的棋盘状态信息量化为一个向量表示，也就是问题形式化的过程。机器学习中也称这个步骤为“特征工程”。这里仅介绍在Stockfish 12中使用的网络结构，也就是HalfKP_256X2_32_32。NNUE的棋盘表示并未用到任何需要复杂计算的高级信息，仅使用了朴素的棋子与所在格子的组合枚举。作为NNUE估值网络的输入，每一个棋盘局面被表示成为一个41024 x 2 = 82048...
神经网络NN算法Nerual Networks
许进进的博客
09-30 8516
一. 背景:     人脑中的神经网络是一个非常复杂的组织，成人的大脑中估计有1000亿个神经元之多。以人脑中的神经网络为启发，历史上出现过很多不同版本的算法，最著名的算法是1980年Rumelhar和Hinton等人提出的反向传播（ Backpropagation ，BP）算法。              二. 多层向前神经网络(Multilayer Feed-Forward Neural Network)              多层向前神经网络由三部分组成：输入层(input layer), 隐
机器学习必知的八大神经网络架构
aliyunyunqi的博客
01-30 901
为什么需要机器学习？ 有些任务直接编码较为复杂，我们不能处理所有的细微之处和简单编码，因此，机器学习很有必要。相反，我们向机器学习算法提供大量数据，让算法不断探索数据并构建模型来解决问题。比如：在新的杂乱照明场景内，从新的角度识别三维物体；编写一个计算信用卡交易诈骗概率的程序。 机器学习方法如下：它没有为每个特定的任务编写相应的程序，而是收集大量事例，为给定输入
NNIE量化算法
weixin_43615373的博客
09-24 3371
神经网络的端侧部署与量化技术 神经网络在端侧的部署由于内存、带宽、计算能力的限制，相比服务器的模型，所占的空间和计算资源小，通常使用模型量化技术来优化。模型量化将模型的参数离散化，原本32bit的浮点数被映射到8bit的整数上，模型的大小压缩4倍左右；将计算层的输入进行离散化，原本32bit浮点数的乘加操作变为8bit的整数乘加操作，减少了模型推理的计算量，在cpu上能够有2到3倍的速度提升，在DSP上能够有10倍左右的速度提升。 FP32浮点数能够表示的数值范围为 ，INT8能表示的数值
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值