神经网络压缩：Mimic（一）Do Deep Nets Really Need to be Deep

最新推荐文章于 2025-05-15 09:00:04 发布

原创

最新推荐文章于 2025-05-15 09:00:04 发布 · 3.2k 阅读

标签

#神经网络 #压缩

收录于

本文探讨了深度网络是否必须深，研究表明浅层网络也能通过模仿深度网络学到复杂功能，达到相近的准确性。通过训练深度模型然后训练浅层模型模拟深度模型，使用未标记数据，避免深度模型的过拟合问题。添加线性层优化浅层模型的参数量和收敛速度，证明浅层模型具备与深度模型相当的表达能力。

论文链接： http://arxiv.org/abs/1312.6184

文章主旨
Shallow feed-forward nets can learn the complex functions previously learned by deep nets and achieve accuracies previously only achievable with deep models.
文章采用一种模型压缩（model compression）的方法模拟深度网络训练浅层网络，新的浅层模型的准确率能够达到和深度模型几乎一样的效果。（但直接训练浅层网络得到的准确率和深度网络还是没法比的）
Train Shallow Nets to Mimic Deep Nets
浅层网络的训练是通过两步得到的：
- train a state-of-the-art deep model
- train a shallow model to mimic the deep model
  采用训练好的深度网络和 unlabeled data 共同训练浅层网络。这个浅层网络（mimic model）不是直接在原始数据及标签上训出来的，而是通过将数据输入深度网络，来学习深度网络已经学习到的函数。文章后面的实验中unlabeled data是将原始数据标签丢弃得到的，但要注意：第一，unlabeled的样本最好不能只是将deep model的训练集中的label去掉而得到的样本，因为deep model往往在这些样本点上有overfitting；第二，unlabel的样本数需要比deep model的训练集中的样本数要多