论文阅读：ImageNet Classification with Deep Convolutional Neural Networks

论文题目：ImageNet Classification with Deep Convolutional Neural Networks

作者：Alex Krizhevsky、Ilya Sutskever、Geoffrey E. Hinton

论文要点

1. 论文简述
2. 论文要点
3. 网络架构
4. 学习细节
5. 实验结果
6. 结果讨论

1 论文简述

本文主要使用深度学习技术，讲述了一种可实现的神经网络架构，在ImageNet LSVRC-2010比赛中将120万张高分辨率图像分为1000个类别，获得的top-1和top-5错误率的分别是37.5%和17.0%。并在ILSVRC-2012挑战赛中表现突出，top-5 错误率达到15.4%，远远超过第二名26.2%，证实了CNN网络结构的可实现性及高优越性。此外，文章中还提到了许多现在仍在使用的技术，如dropout，数据扩增，ReLU激活函数等。

2 论文要点

本文介绍使用了众多现在还在沿用的方法，例如：ReLU非饱和神经元、局部响应归一化、重叠池、数据扩增、dropout等。

2.1 CNN优势

CNN网络结构的容量可以通过改变深度和广度来控制，它们还可以对图像的性质（即统计的平稳性和像素依赖的局部性）作出强有力且最正确的假设，相比于全连接神经网络， CNN具有更少的连接和参数，因此它们更易于训练，而理论上它们的最佳性能可能只差一点点。 CNN主要特征是局部感受野和权值共享。

2.2 ReLU-非饱和神经元

non-saturating neurons = 没有被挤压（到一个特定的区间）处理过的值

• relu：input neurons的值，要么变0， 要么保持原值（无挤压，无最大最小值限制）
• leaky_relu：input neurons的值， 要么按照某比例缩小，要么保持原值（无挤压，无最大最小值限制）

saturating neurons = 被挤压（到一个特定的区间）过的值

• sigmoid: input neurons的值会被挤压到[0,1]的区间