压缩神经网络（一）：剪枝的基本思想

最新推荐文章于 2026-06-27 00:00:00 发布

原创

最新推荐文章于 2026-06-27 00:00:00 发布 · 4.2k 阅读

本文介绍了压缩神经网络的剪枝技术，通过训练确定网络连接的重要性，并设定阈值剪切不重要的连接。经过反复剪切和再训练，得到参数最小化的网络。正则化中，L1和L2范式在剪切前后效果不同，同时剪切过程会影响dropout比率，需要调整。此外，局部剪切和参数协同适应能减少计算量并缓解梯度消失问题。实验中，依据层的标准差选择阈值。最后提供了代码链接，但表示代码组织较混乱。

                    
                        
                    
                    Learning both Weights and Connections for Efficient Neural Networks 
主要思想 
训练网络来得知哪些网络连接important和unimportant。 
 设定一个临界值（shreshold），权重w小于临界值的连接 不重要
剪切掉不重要的连接
再训练剪切后得到的网络，调整剪切剩下的参数。
反复进行2,3 得到一个参数最少的神经网络。
 
注意点 
正则化 
 使用L1范式和L2范式对参数W进行约束。 
 在剪切后，retrain前的效果L1范式比L2范式的效果。 
 但在retrain后，L2范式的效果比L1范式要好 
dropout比率的调整 
 deopout ：在训练过程中，按照一定概率将连接的权重置为0，但是下一次训练的时候还是一直存在，文中的pruning（剪切），会使得连接不在存在。 
 随着剪切的进行，需要按照文中给的公式，进行dropout的比率进行调整。 
Local Pruning and Parameter Co-adaptation 
 在retrain时直接训练上一次pruning后保留下来的参数，而不是重新初始化参数。这样有两个好处： 
 
  计算量小
避免了梯度消失的问题
反复迭代进行pruning和retrain。
去掉输入或输出为0的神经元（neurous）
 
实验 
选择临界值（shreshold）：

                