EffNet: An Efficient Structure for Convolutional Neural Networks

最新推荐文章于 2024-08-15 20:38:21 发布
原创 最新推荐文章于 2024-08-15 20:38:21 发布 · 1.3k 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#CNN
EffeNet通过改进MoblieNet网络结构,将3×3的depthwise卷积层分解为两个3×1,1×3层,并在第一个卷积层后采用1×2最大池化操作,第二个卷积层后用2×1,stride=1的卷积核代替1×1点wise卷积,提高了模型精度。

EffeNet对MoblieNet网络进行改进,主要思想为:

首先,将MoblieNet的3×3的depthwise convolution层分解为两个3×1,1×3depthwise convolution层.这样便可以在第一层之后就采用pool操作,从而减少第二层的计算量.
这里写图片描述

如图1所示,在第一个卷积层之后,使用1×2 max pooling操作.在第二个卷积层之后,用2×1,stride=1的卷积核代替1×1pointwise convolution.这样计算量相同,但是可以有更高的精度.

作者试验了MobileNet,ShuffleNet,EffNet三种模块的分类网络,模型结构参数如下,

这里写图片描述

在Cifar10数据分类精度为,

这里写图片描述
EffNet large参数量基本与Baseline相同,精度提高接近8%.

efficientnet-tf2:TensorFlow 2.0和Keras中EfficientNet的可重用实现
05-17
高效网-tf2 TensorFlow 2.0实现（又称EfficientNet）的。 动机 EfficientNet仍然是最有效的图像分类架构之一。 考虑到TensorFlow 2.0已经发布了beta1版本，我认为TF 2.0中灵活高效且可重用的EfficientNet实现可能对从业者有用。 执行 我使用实现了运行均值和标准差计算，从而消除了将整个数据集加载到内存中的问题。 计算平均值和标准偏差的Normalizer类也用作tf.keras.preprocessing.image.ImageDataGenerator的preprocessing_function参数。 安装 conda create -n effnet python=3.6.8 conda activate effnet git clone https://github.com/monatis/effnet-tf2
模型剪枝四：Pruning Convolutional Neural Networks For Resource Efficient Inference
cdknight_happy的专栏
05-13 5907
论文地址：https://arxiv.org/abs/1611.06440v2 英伟达出品的模型剪枝论文，NVIDIA Transfer Learning Toolkit就是基于这篇论文进行实现的？ 0 摘要 我们提出了一种新的对神经网络中卷积核进行剪枝的算法以实现高效推理。我们将基于贪婪标准的修剪与通过反向传播的微调交错 - 实现了一种高效的的过程，在修剪后的网络中保持了良好的泛化能力。我们提出...
【Pruning Convolutional Neural Networks for Resource Efficient Inference】论文笔记
我是一只比菜鸟还菜的菜鸟！
06-11 6424
论文链接：https://arxiv.org/abs/1611.06440 这篇论文也是修剪卷积核的。 论文中提出了一种用于修剪神经网络中的卷积核的新公式，以实现有效的推理。 论文中提出了一个基于泰勒展开的修剪新准则，用它去近似由于修剪网络参数引起的损失函数的变化。
《EffNet--卷积神经网络的一种高效结构》论文笔记
JR_Chan的博客
09-20 2317
EffNet  这篇文章主要是在MobileNet之上做修改，增加了一个空间可分离卷积，发表在2018 25th IEEE International Conference on Image Processing (ICIP)上。原文可见EffNet: An Efficient Structure for Convolutional Neural Networks。 摘要  随着卷积神经网络在客...
EffNet: An efficient structure for convolutional neural network
liguandong
03-18 1096
EffNet: An efficient structure for convolutional neural network Abstract: 随着卷积神经网络在客户产品中的应用不断增加，模型需要在嵌入式移动硬件上高效运行。 因此，较薄的模型已成为热门的研究课题，其各种方法从二进制网络到修订的卷积层变化。 我们为后者提供了贡献，并提出了一种新颖的卷积模块，它可以显着减少计算负担，同时超越当前...
初入神经网络剪枝量化5（大白话）
weixin_42638415的博客
04-23 5529
最近看了很多篇关于剪枝的文章，今天在这里简单介绍一下每一篇的思想。 ①PRUNING FILTERS FOR EFFICIENT CONVNETS​​​​​​: https://arxiv.org/pdf/1608.08710.pdf 这篇论文之前也说过，在我看来就是非常经典的，非常传统的一篇剪枝的论文。 核心思想就是首先计算卷积核的绝对值和即 ∑|Fi,j| , (L1范数)，选择前m个最小的绝对值删除， 认为权重的绝对值越小，则权重的作用也就越小。 ②Pru...
【论文解读】EffNet: AN EFFICIENT STRUCTURE FOR CONVOLUTIONAL NEURAL NETWORKS
c20081052的专栏
02-22 2002
题目：EffNet: AN EFFICIENT STRUCTURE FOR CONVOLUTIONAL NEURAL NETWORKS 日期：2018.6.5 链接：https://arxiv.org/abs/1801.06434v1   【摘要】 随着CNN在用户产品应用上不断增加，对模型能够高效运行在嵌入式，移动硬件设备上的需求也逐渐热化。模型轻量化因此变为一个热门研究话题，也涌现出...
How to design DL model(1):Efficient Convolutional Neural Networks for Mobile Vision Applications
Focusing on your own Mind :) －> 站在巨人的肩膀上
08-08 1426
论文地址：MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications  民间实现：caffe | Tensorflow  官方代码：tensorflow/models reference: http://blog.csdn.net/jesse_mx/article/details/7
轻量化网络：EffNet解析
zhw864680355的博客
02-19 3142
原文： EffNet: AN EFFICIENT STRUCTURE FOR CONVOLUTIONAL NEURAL NETWORKS 论文链接：https://arxiv.org/abs/1801.06434 原文链接：https://blog.csdn.net/u011961856/article/details/79143137?utm_source=blogxgwz5 EffeNe...
Pruning Convolutional Neural Networks for Resource Efficient Inference代码详解
qq_23225921的博客
12-14 4200
Pruning Filter代码详解 对论文Pruning Convolutional Neural Networks for Resource Efficient Inference的pytorch版本的代码详解
经典CNN模型（十三）：EfficientNetV2（PyTorch详细注释版）
最新发布
qq_51872445的博客
08-15 1万+
EfficientNet V2 是 EfficientNet 系列的第二代模型，由谷歌的研究人员在 2021 年的 ICML 会议上提出。EfficientNet V2 继承了EfficientNet V1的核心理念，即复合缩放方法(Compound Scaling)，但在此基础上进行了多项改进，以实现更小的模型体积、更快的训练速度和更好的参数效率。
深度学习量化总结（PTQ、QAT）
Sriven的博客
04-27 1万+
并不是所有的模型，都很适合量化。在实际的生产环境中，我们经常会遇到一些模型，量化之后精度不好，其根本原因是因为浮点阶段的模型并不适合量化。这里说明一些常见的不适合量化的浮点情况。在实际执行的时候，可以通过 debug 工具去发现模型当中不适合量化的部分。受限于量化的方法和编译器的限制，目前量化的 op 实现，会有一些限制或者误差。这种算子的误差一般有两种体现，第一种是 QAT 的时候精度会有影响（情况很少），第二种是 QAT 转 Quantized 的时候精度会有影响。
Implementing Pruning Convolutional Neural Networks for Resource Efficient Inference in Mxnet
weixin_42071277的博客
05-09 616
一、代码分析： 参考pytorch代码对论文《Pruning Convolutional Neural Networks for Resource Efficient Inference》使用mxnet框架进行了复现，代码来自于一个GitHub的项目，本文主要是在其代码的基础之上，移植到mxnet的框架之上，移植的过程中发现了很多的问题算是好好学习了一下mxnet吧。 首先剪枝过程主要是通过P...
EfficientNet网络简介
热门推荐
FPGA/MATLAB学习教程/源码/项目合作开发
03-25 1万+
都有使用，直觉上更深的网络可以捕获到更丰富和更复杂的特征，在新任务上也可以泛化的更好。这是一种穷举搜索方法，可以在固定资源的限定下，列出所有参数之间的关系，显示出改变某一种维度时，基线网络模型会受到什么样的影响。综合考虑所有情况之后，他们确定了每个维度最合适的调整系数，然后将它们一同应用到基线网络中，对每个维度都进行适当的缩放，并且确保其符合目标模型的大小和计算预算。）为核心的机器学习模型时，我们通常会先使用固定的资源成本，构建最初的模型，然后增加更多资源（层数）扩展模型，获得更高的准确率。
Pruning convolutional neural networks for resource efficent inference
langzi453的博客
02-14 996
这是篇2017年ICLR的会议，文章提出了一种基于泰勒展开的网络剪枝方法。文章认为，这里一类的剪枝方法一般分为三类： 一个已经训练好的网络 基于一定的准则在修剪和微调反复 适时地停止   所以，这个修剪的“准则”就十分的重要，文章列出了一些以往的准则： Minimun weight：训练时加入L1或L2正则化，并修剪权值小于某一阈值的权重 Activation：修剪经激活层后与sm...
PRUNING-卷积神经网络剪枝
acx0000的博客
09-25 2385
本文提出了一种新的对神经网络中卷积核进行剪枝的算法以实现高效推理。作者交错进行基于贪婪标准的剪枝和通过反向传播的微调，实现了高效的剪枝，并且剪枝后的模型保持了良好的泛化能力。作者提出了一种基于泰勒展开的新的评价标准，该标准近似于修剪网络参数引起的代价函数的变化。与其他标准(例如，对用于细粒度分类的大型CNN使用卷积核或特征图的范数进行剪枝只使用了一阶梯度信息)相比，本文提出的标准性能更好。实验表明，本文算法在理论上可以在基本不影响模型准确率的情况下将3D卷积滤波器的大小压缩超过10倍，本文的算法也适用于基于
EfficientNetV2深度学习记录——代码复现
diyuxiaoguaishou的博客
05-27 2134
本文主要是复现efficientnetv2网络代码，训练自己的材质分类模型，学习记录下来。主要分类是材质的分类。
【模型剪枝】|Pruning Convolutional Neural Networks for Resource Efficient Inference
qq_35608277的博客
04-05 696
https://github.com/jacobgil/pytorch-pruning 剪枝之后的VGG准确率从98.7% 掉到97.5%. 网络大小从 538 MB压缩到 150 MB. 在i7 CPU上，对一张图的推断时间从 0.78 减少为 0.277 s，几乎是3倍加速。 裁剪filter的依据是： 用Taylor展开来近似pruning的优化问题。 需要注意的是，裁剪某一层的filter后，下一层的weight也需要更新。 ...
结构虽简单，但性能强悍——3个小型卷积神经网络简介
weixin_33728708的博客
05-14 390
人工智能、深度学习太火了，火到哪一个领域都有讨论的声音。稍微对深度学习有所了解的人们，尤其是对于计算机视觉领域有所涉猎的人们，当一听到深度学习、卷积神经网络时，脑海里不由得自动脑补这样一幅画面——一台满和负载嗡嗡响的GPU服务器、一台满屏代码不断跳跃的显示屏以及坐在电脑前不断尝试不同卷积神经网络模型的科研人员。这幅场景在各个实验室不断的重复...
论文品读：Pruning Convolutional Neural Networks for Resource Efficient Inference
hsqyc的博客
12-12 3849
  模型裁剪系列相关论文品读博客： 1.论文品读：Learning both Weights and Connections for Efficient Neural Networks https://blog.csdn.net/hsqyc/article/details/83421061 2.论文品读：Network Trimming: A Data-Driven Neuron Pruni...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值