Dropout、DropBlock、AdaptiveDrop

最新推荐文章于 2026-05-09 06:48:25 发布

原创最新推荐文章于 2026-05-09 06:48:25 发布 · 2.5k 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#深度学习 #神经网络 #机器学习

收录于

本文介绍了几种常用的正则化技巧，包括Dropout、DropBlock及AdapativeDrop，旨在通过这些方法减少神经网络模型的过拟合现象。Dropout通过随机使部分节点失活来提高模型泛化能力；DropBlock则针对卷积网络，通过按块丢弃节点来实现正则化；AdapativeDrop结合注意力机制，避免因丢弃过多特征而导致性能下降。

都是防止过拟合、对参数进行正则化的一种方法

Dropout:

Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂时认为不是网络结构的一部分，但是它的权重得保留下来（只是暂时不更新而已），因为下次样本输入时它可能又得工作了。训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。（适用于全连接层）

DropBlock：

针对卷积网络，我们需要一种结构形式的dropout来正则化，即按块来丢弃。在本文中，我们引入DropBlock，这是一种结构化的dropout形式，它将feature map相邻区域中的单元放在一起drop掉。（适合用于卷积神经网络）

AdapativeDrop：

DropBlock,按区域抛弃特征，这样会引起相邻像素特征的丢失，DropBlock丢弃太多特征信息的话，会造成分类性能的降低，Adaptive Drop是一种结构化正则方法，其与注意力机制相结合，Drop特征时，没有固定的形状，故而不会抛弃太多的特征信息。