神经网络压缩（3）：Learning both Weights and Connections for Efficient Neural Network

这是2015年斯坦福和英伟达的一篇论文。

转载自：http://blog.csdn.net/meanme/article/details/48713327 之前介绍的两篇关于神经网络压缩的文章都是以这篇文章为基础进行的

1.简介：

通过修剪训练后网络中的不重要连接（connections），来减少网络所需要的参数，减少内存和cpu的消耗，使网络更加适应在移动设备上运行。

2.idea思想：

1）首先训练整个网络，判断哪些是重要连接。

2）修剪不重要的连接。

3）重新训练修剪后的网络，微调保留下来的参数。

3.达到的效果：

1）在ImageNet上，减少了AlexNet 9倍的参数，从61 million的参数减少到6.1 million的参数；VGG网络则更是减少了16倍，并且修剪后的网路的accuracy没有下降。

2）可以防止过拟合

4.其它相关的工作：

1）用8位int型的activation代替16位float。

2）Network in Network和GoogleNet模型中使用了global average pooling代替FC层来减少参数，但在使用ImageNet的参数时，需要另外增加一个线性层。

3）dropout和本文的方法不同，dropout主要用来防止过拟合，并且是在训练过程中就产生0连接，而本文的方法则是在网络训练完之后对网络进行修剪，产生0连接。

4）HashNet这个本人没有看过，论文里作者猜想HashNet和pruning结合可能效果更好。

5.具体流程：

首先训练整个网络，目的是找出哪些是重要的连接；接着设置一个threshold，pruning掉low-weight的连接，将密集的网络变成稀疏的网络；最后则是对余下来的params进行微调，如果不微调，那么对网络的性能会有很大的影响。如图：

而使用本文的方法需要很大的技巧性：

1）Regularization：需要选择合适的regularization。L1范式会将更多的params转换成接近0，这在进行pruning之后，reTrain之前有很好的accuracy；L2范式在pruning和reTrain之后会降低accuracy。

2）Dropout and capacity control：dropout被当做“soft dropout”，而本文的方法则被当做“hard dropout”；这是因为dropout中被drop的在新的训练批时，可以被重新训练；而本文的则是直接去掉连接connections。而在使用本文方法的时候，dropout的ratio也分pruning之前和pruning不一样，具体如图所示：

3）Local Pruning and Parameter Co-adaptation：在reTrain的过程中，重新训练pruning后保存下来的weights比训练再次初始化的weights更好。其次，为了克服vanish gradient problem的问题，作者只训练pruning后shallow layer保存下来的params。

4）Iterative Pruning:其实就是重复的pruning，反复的找出不重要的连接然后pruning。

5）Pruning Neurons：一些0输入或者0输出的 neurons也能被pruned。