【DL笔记】神经网络轻量化（CV方向）的一些论文记录

现在大模型爆火，但俺这种组里只有10系显卡的下水道科研老鼠也要混毕业的，于是选择做小模型（x）。本人纯科研飞舞一个，刚入学有段时间爱看论文，今天有空把那会看到论文总结下。

轻量化，相关文章的关键字可能是lightweight/compact/efficient，比较老生常谈的就是蒸馏、剪枝、量化，其实从模型本身出发也有不少方向可以看看（guan shui）。

Compact Design

做神经元轻量化基本上就是低秩分解（也就是拆算子）或特征复用.

• SqueezeNet系列：常规卷积分解得到Fire Module

  • SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size (2016)
  • SqueezeNext: Hardware-Aware Neural Network Design (2018)

• MobileNet系列：经典的深度可分离卷积

  • Mobilenets: Efficient convolutional neural networks for mobile vision applications（2017）
  • MobileNetV2: Inverted Residuals and Linear Bottlenecks (2019)</