残差网络ResNet由何凯明在2015年提出，解决了深度学习中网络退化的难题，尤其是梯度消失问题。通过引入残差块的“短路”机制，ResNet使得深层网络的梯度能直接传递到浅层，避免了梯度消失，从而可以构建更深的网络并提高计算效率。
一、 引言
残差网络（ResNet）是何凯明在2015年提出的。可以说该网络模型的提出是CNN图像史上的里程碑事件。它解决了当时传统CNN网络发展所遇到的瓶颈——网络深度问题。当时，人们普遍认为网络的深度越深，网络的效果会越好。但是随着人们的研究发现，更深的网络居然会使得网络效果变差，这也就是网络的退化，而梯度消失则是导致网络退化的一个重要因素。何凯明提出的ResNet正是解决了问题，将14年VGG的19层网络提高到了ResNet惊人的152层，并且获得了更好的网络效果。
二、梯度消失：
当一个深层网络的激活函数全部采用sigmod函数时，会导致梯度消失的出现。可以从数学角度计算一下为什么会出现梯度消失（非严格证明）。
假设一个最简单的网络，如图。
其中，XiX_{i}Xi，Xi+1X_{i+1}Xi+1
扫一扫
1508
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
