(CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 动态剪枝方法

原创 已于 2023-04-11 23:34:38 修改 · 1.9k 阅读 · 9
标签
#深度学习 #人工智能 #机器学习
于 2023-04-11 23:22:04 首次发布
动态剪枝是一种在训练和推理阶段优化神经网络的方法，包括软修剪和硬修剪策略。训练时的动态剪枝允许模型在训练过程中自我调整，如DNS、SFP等方法。推理时的动态剪枝则根据输入样本调整网络，如RNP、FBS等，提高资源效率和准确性。这些技术旨在平衡模型性能与计算需求。

动态剪枝可以应用于训练和推理阶段，训练过程中的动态旨在通过在训练过程中保持动态修剪掩码来保持模型的表示能力。它也被称为软修剪，以确保以后可以恢复不正确的修剪决策。另一方面，硬修剪通过固定的掩码永久地去除权重。推理过程中的动态表示根据不同的输入样本对网络进行动态修剪。例如，与复杂图像相比，包含清晰目标的简单图像所需的模型容量较小。因此，动态推理提供了更好的资源准确性权衡。

训练中的动态剪枝

训练时间动态修剪的概念首次在 Dynamic Network Surgery (DNS)（2016）中提出，这是一种非结构化修剪方法，作用在权重上的二值mast T会和权重M一起更新，使错误的修剪有机会得到改正

Soft filter Pruning 软滤波器修剪(SFP)（2018）以结构化的方式应用了动态剪枝的思想，在整个训练过程中使用固定掩码的硬修剪将减少优化空间。因此，它在每个epoch基于滤波器的“2-范数”动态生成掩码。软修剪意味着将过滤器的值设置为零，而不是删除过滤器。允许在下一个epoch更新以前的软修剪滤波器，在此期间，将基于新的权重对掩码进行重组。

Globally Dynamic Pruning (GDP-Lin) （2018）采用一阶泰勒展开来近似每个滤波器的全局重要性。<

最低0.47元/天 解锁文章
动态剪枝方向文献笔记：Feature Boosting and Suppression, Runtime Neural Pruning
ExcitingYi的博客
08-15 4804
剪枝方向文献笔记：写在笔记之前的话文章1：Dynamic Channel Pruning: Feature Boosting and Suppression摘要：存在的问题：具体实现：个人想法：文章2：Runtime Neural Pruning摘要：存在的问题：具体实现：State：Action：Reward:具体算法：实验效果和分析：个人想法： 写在笔记之前的话    博主是一名刚刚进入大三的本科生，正在做一项关于模型压缩的科研项目。之前一直是在ipad在notebility上做笔记，但实在无法忍受自己
(CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 神经网络架构搜索
jinyi763776890的博客
04-11 973
与同时使用 DDPG 和 的 AMC [1-1] 相比，该方法使用近端策略优化 (PPO) 算法 [261] 作为策略，因为 PPO 给出了更好的实验结果。此外，由于专门设计的图环境，RL 系统的奖励不需要包含稀疏约束。此外，zero pruning indicator将归零权重的梯度，保持修剪层的权重以便于重新评估。多个agents 的存在来自于为层中的所有通道分配专用agents ，每个agents 只学习一个表示二元决策的参数。此外，通过将保留的通道限制为给定的空间，它大大减少了修剪结构的组合。
深度学习中的动态网络剪枝：从Dropout到Stochastic Depth的演进与实践
最新发布
weixin_29069131的博客
03-26 317
本文深入探讨了深度学习中的动态网络剪枝技术，从经典的Dropout到Stochastic Depth的演进与实践。通过分析神经元级别的随机屏蔽（Dropout）、连接权重的细粒度屏蔽（DropConnect）以及网络块级别的动态调整（Stochastic Depth），揭示了这些技术在防止过拟合、加速训练和提升模型泛化性方面的核心优势。文章还提供了实战中的调优技巧和组合策略，帮助开发者在计算机视觉等任务中有效应用动态剪枝技术。
静态剪枝与动态剪枝
qq_41823532的博客
11-08 1295
通道修剪方法可以分为两种类型：静态和运行时。 静态方法：评估每个通道在训练数据集上的重要性,并删除最不重要的通道,以最大限度地减少修剪后的性能损失。 运行时：实现对每个单独实例的动态通道修剪，即旨在评估运行时的通道重要性，假设在不同的输入实例上它是不同的。通过动态修剪通道,可以将不同的修剪结构视为CNN内数据流的不同路径。与静态方法相比,运行时修剪能够显着提高CNN的表示能力,从而在预测精度方面取得更好的性能。然而,运行时方法以存储成本与动态灵活性为代价。至实现对不同个体实例的动态剪枝,需要存储内核的所有参
深度学习-模型剪枝详解
Joker_D_K的博客
10-14 2670
深度学习_剪枝讲解和公式函数讲解
(CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 一些优化工具
jinyi763776890的博客
04-11 987
当涉及到大量数据时P（x）的积分难以计算，变分贝叶斯通过变分分布q（x）来近似后验分布P（θ|x），具体的说，就是最小化q（x）和P（θ|x）的Kullback–Leibler（KL）距离，由于计算KL涉及到棘手的后验分布P（θ|x），因此该问题通过等价转化，计算最大化证据下限Evidence Lower BOund (ELBO).贝叶斯推断是利用参数θ和观测数据x的已知先验分布P（θ）来推断后验概率分布P（θ|x）的方法，其计算公式如下。其中L对w的二阶导由H表示，是一个Hessian矩阵，
(CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 基于正则的剪枝
jinyi763776890的博客
04-11 810
(ResRep)（2021）将CNN重参数化为两个部分，一个为记忆部分，保持学习性能，第二个为遗忘部分，在BN层之后插入1*1卷积或者compactors，训练更新梯度时仅作用于compactors，即只允许compactors遗忘，而其他卷积层保持不变（记忆）权重为0，激活值仍然是非零的，因为还有卷积的偏置，BN的方差和平均值，所以该方法不止对滤波器分组，而是将导致非零激活的参数分组在一起，引入混合L1-L2范数来进行稀疏。，在训练之后，对具有接近于零的γ的相应通道进行修剪。
(CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 剪枝相关扩展知识
jinyi763776890的博客
04-11 705
在彩票假说的背景下，权重回溯有助于确定一个具有良好初始化权重的子网络，使其能够在较少的训练迭代次数内达到与原始网络相似的性能。Lottery Ticket 假设 (LTH)（2018）声称“密集、随机初始化的前馈网络包含子网络（中奖彩票），当单独训练时——在相似的迭代次数下达到与原始网络相当的测试精度。在权重回溯中，我们首先训练一个大型神经网络（也称为原始网络），然后剪枝该网络，保留一些重要的权重并去除其他不重要的权重。除了在权重级别的非结构化修剪和在滤波器级别的结构化修剪之外，还有其他粒度的修剪方法。
【模型压缩】（二）—— 剪枝
热门推荐
weixin_40620310的博客
04-01 1万+
一、概述 剪枝（Pruning）的一些概念： 当提及神经网络的"参数"时，大多数情况指的是网络的学习型参数，也就是权重矩阵weights和偏置bias； 现代网络的参数量大概在百万至数十亿之间，因此实际上在一个网络中也并不是所有权值都是重要的，剪枝的作用就是削减那些不重要权重矩阵的一种直接压缩模型的方式； 对于一个已经训练好的模型，切断或删除某些连接，同时保证不对精度造成重大影响，这样得到的模型就是一个参数较少的剪枝模型； 从生物学的角度来说，人类在成长过程中突触会减少，但思维能力反而更强了； 和drop
深度卷积神经网络通过动态通道剪枝模块（DCP）进行优化
不断积累不断学习
05-01 1476
正常的深度卷积神经网络是如下图所示，当输入数据量非常庞大时，可能会有很多冗余的计算，造成不必要的算力损失，降低效率。而当网络模型在完成迭代式的训练后，推理时就不需要这么多的参数，因此我们就可以通过剪枝，减少网络模型的计算量而达到优化的效果。我们要根据输入的内容对网络通道进行动态调整，在保证模型性能的前提下，减少冗余计算。与静态剪枝的区别就是，动态剪枝可以根据输入的不同，有选择地关闭部分通道，自适应平衡精度和效率。
(CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 未来发展方向
jinyi763776890的博客
04-11 404
此外，修剪过程可以通过利用模型[182]、loss landscape损失景观[110]、generalizationstability trade-off可推广性权衡[183]和模型熵[184]的解释来指导。此外，不同的训练方法[186]、[187]、[188]可以与修剪一起考虑。其次，单次修剪[189]，[190]只修剪一次，得到修剪后的模型。这里有一些简单的例子：超分辨率[202]、个人识别[203]、医学成像诊断[204]、人脸属性分类[205]和集成学习[206]，[207]。
大模型剪枝系列——非结构化剪枝、结构化剪枝、动态结构化剪枝
Arthur Guo 的专栏
09-24 2108
这三者代表了模型“瘦身”艺术从“粗放雕琢”到“精细手术”再到“自适应变形”的演进路径。| 相对简单 (基于幅值) | 较复杂 (需评估结构重要性) | 非常复杂 (需训练路由/门控网络) || | 结构化剪枝是动态剪枝的基础，动态剪枝是一种特殊的、运行时的结构化剪枝。| 可达极高稀疏度 (90%+) | 压缩率通常适中 (30%-70%) | 不减少存储，只降低。未来的模型优化将不再是单一技术的胜利，而是三者的融合。| 单个权重 | 整个结构 (通道/头/层) | 推理路径上的结构 |
实验六 动态剪枝
qq_21765237的博客
09-07 1007
通过分区剪枝可以大大减少从磁盘检索的数据量，提高查询性能。当分区列的条件有绑定变量时，在SQL解析过程中，数据库无法确定需要扫描的分区，只能通过执行时具体参数值来确定，所以动态剪枝发生在 SQL 执行过程中。本实验以TPCC业务表为例，通过分析分区表动态剪枝的基本行为、触发条件、剪枝前后行为对比，了解数据库是如何通过分区动态剪枝提升分区表的查询性能。本实验通过分析分区表动态剪枝的行为、触发条件，了解数据库是如何使用动态剪枝对分区表进行查询优化的。
(CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 基于激活的剪枝
jinyi763776890的博客
04-11 560
论文阅读Structured Pruning for Deep Convolutional Neural Networks: A survey - 2.2节基于激活的剪枝
基于动态稀疏和特征学习增强的模型剪枝
qq_44703968的博客
11-22 1627
为了减轻深度学习算法在实际应用中庞大的参数量和繁重的计算量, 剪枝已经被广泛地应用在模型压缩任务中. 然而, 大多数剪枝方法仅仅利用已经训练好的模型参数作为训练的初始参数, 而模型本身的特征信息没有被利用. 为此, 本文提出了一种基于模型特征学习增强的动态剪枝方法, 在训练过程中, 提出的方法不需要数据集类别标签. 一方面, 本文利用基准模型(训练好的模型)输出的预测类别信息和中间层特征作为监督信息指导压缩子模型的任务学习, 增强了压缩模型学习基准模型特征的能力;另一方面, 本文利用不同压缩子模型的输出信。
T-PAMI2023: PAGCP-基于性能感知近似的多任务模型全局通道剪枝
qq_43812519的博客
03-23 6051
本文提出了一种基于性能感知近似的全局通道剪枝框架（PAGCP），可以有效并广泛应用于包括目标检测、多任务密集预测甚至分类等各种模型的压缩中。作者从理论上推导出PAGCP的优化目标，并设计了序贯式贪心剪枝策略来近似解决目标问题。该剪枝策略通过分步的序贯式通道剪枝来考虑层内和层间不同卷积核对压缩性能的相互影响，并通过性能感知的Oracle约束准则来考虑卷积核对不同任务的敏感程度不同这一特性。
(Weight) Sparsity in Deep Learning
maxzcl的博客
04-20 3971
SOTA* Overview *[Submitted on 31 Jan 2021] Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks https://arxiv.org/abs/2102.00554 The growing energy and performance costs of deep learning have driven th.
【论文阅读笔记】---《A Survey of Model Compression and Acceleration for Deep Neural Networks》
u012101561的博客
05-03 6332
  论文：A Survey of Model Compression and Acceleration for Deep Neural Networks               深度神经网络模型压缩与加速综述       摘要--深度卷积神经网络（CNN）目前在很多视觉识别任务中有非常良好的表现。然而，目前的深度卷积神经网络模型非常耗费计算资源和内存，面临着在终端部署和低延迟需求场景下难...
初入神经网络剪枝量化5（大白话）
weixin_42638415的博客
04-23 5529
最近看了很多篇关于剪枝的文章，今天在这里简单介绍一下每一篇的思想。 ①PRUNING FILTERS FOR EFFICIENT CONVNETS​​​​​​: https://arxiv.org/pdf/1608.08710.pdf 这篇论文之前也说过，在我看来就是非常经典的，非常传统的一篇剪枝的论文。 核心思想就是首先计算卷积核的绝对值和即 ∑|Fi,j| , (L1范数)，选择前m个最小的绝对值删除， 认为权重的绝对值越小，则权重的作用也就越小。 ②Pru...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值