在尝试复现剑桥大学论文的过程中，作者发现使用ResNet网络结合Dropout时，batch-norm在评估阶段可能影响输出。论文提出高斯过程和变分推断能等价于神经网络加Dropout的损失函数。Dropout通过随机关闭神经元增加模型的不确定性，同一输入在多次前向传播中产生不同的输出。为保持Dropout效果，作者建议在评估时禁用batch-norm的训练模式。
这是我在复现剑桥大学论文遇到的一个问题：
Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning
我使用ResNet网络+Dropout，但是batch-norm会影响评估时的输出结果，如果直接开始eval()会同时关闭Dropout，但是上述论文的核心思想就是：高斯过程+变分推断可以得到与NN+dropout相同的损失函数，在传统的神经网络中添加dropout之后，由于每个输入和每次前向传播dropout选择激活哪个神经元都是随机的，即使是相同的输入样本，得到的输出也有可能不一样，多次输入同一个样本，输出围绕均值上下浮动的程度就可以看成是模型的一种不确定性。
方法：
for m in model.modules():
if isinstance(m, nn.BatchNorm2d):
m.eval()
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
