【模型压缩】通道剪枝《Pruning Filters For Efficient ConvNets》论文翻译

论文题目：《Pruning Filters For Efficient ConvNets》
论文地址：https://arxiv.org/abs/1608.08710

主要思想：

这篇文章主要讲了对filters的裁剪，裁剪方法是计算L1范数，然后裁剪掉较小的，多少取决于加速比。

实现效果：

1.VGG-16 34%加速
2.ResNet-110 38%加速

概述：

在模型压缩的方法中，包括剪枝，量化，多值网络，模型蒸馏等。这篇论文是模型剪枝。剪枝最初应用应该是在决策树算法中，通过降低决策树的模型复杂度防止过拟合。在CNN中也是类似的思想，因为在大型的模型中，总是不可避免的存在大量的权重冗余，这种冗余甚至有可能降低模型的准确率。因此需要借助剪枝的方法压缩模型，在压缩率合适的条件下，可以提高模型的准确率的同时减少模型大小。同时，在往移动端部署模型的时候也会考虑牺牲一点精度换取时间和空间的节约。CNN的剪枝主要分为两种，一种是基于幅度的权值剪枝，一种是基于通道的剪枝。基于幅值的剪枝主要思想是将小于一定阈值的权重抛弃，阈值用剪枝率来确定。而基于通道的剪枝主要思想是将不重要的整个权重通道剪掉，从而将模型变小。这篇论文就属于第二类。

摘要

       CNNs在各种应用中的成功伴随着计算量和参数存储成本的显著增加。最近为减少这些开销所做的努力包括在不损害原有精度的情况下修剪和压缩各层的权重。然而，基于幅度（magnitude-based）的权值剪枝从完全连通的层中减少了大量的参数，由于剪枝后的网络具有不规则的稀疏性，可能不能充分降低卷积层的计算成本。我们提出了一种CNNs的加速方法，删除CNN中对输出精度影响很小的卷积核（filter）。通过去除网络中的整个卷积核（filter）及其连接的特征映射（feature maps），大大降低了计算成本。与权重剪枝相反，这种方法不会导致稀疏连接模式。因此，它不需要稀疏卷积库的支持，并且可以使用现有的高效BLAS库进行密集矩阵乘法。我们表明，即使是简单的卷积核（filter）剪枝也可以在CIFAR10上降低高达34%的VGG-16和高达38%的ResNet-110的推理成本，同时通过重新训练网络恢复接近原始的准确性。

1. 引言

       ImageNet的挑战在探索CNNs的各种架构选择方面带来了重大进展(Russakovsky等人(2015);Krizhevsky等人(2012);Simonyan & Zisserman (2015);Szegedy等(2015a);He等(2016))。过去几年的总体趋势是，随着参数量和卷积运算的