网络轻量化 - 非结构化剪枝

原文：《Learning both Weights and Connections for Efficient Neural Networks》

前期知识

参数量和计算量

参数量

参数量：模型中所有带参数的层的权重参数总量

cv类网络中主要有：卷积层、BN层、全连接层等
（注意：激活函数层、Pooling层、Upsample层是没有可学习参数的，只是提供了非线性变换）
卷积层：$K\ast K\ast C_i\ast C_o+C_o$ （最后的 $C_o$ 是指 bias）（$K$ 为卷积核边长）
BN层：$2\ast C_i$
全连接层：$C_i\ast C_o+C_o$

计算量

FLOPs：floating-point operations per second，即每秒浮点运算次数

卷积层：如下图所示

全连接层：$(2\ast C_i-1)\ast C$