神经网络与深度学习课程学习(二)
一、为什么要深度学习?
深度学习是人工智能技术朝新的研究方向迈出的第一步。简单地说,深度学习包含了构建能够模仿人类大脑行为的神经网络。这些多层次的电脑网络像人类大脑一样, 可以收集信息,并基于收集到的信息产生相应的行为。这些电脑网络可以逐渐对事物的外形和声音进行感知和理解,也就是“认识”事物。比如,为了赋予机器“视觉”,研究人员需要建立最基本的一层人工神经元,用来探知如物体的边缘形状等基本信息,第二层神经元可以将第一层感知到了物体边缘性状拼凑 起来,鉴定较大块的物体形状,然后再加一层将第二层检测到的信息再拼凑从而使机器明白物体整体的形态。这里面关键的一点是,软件可以自行做到这一切——旧的“伪人工智能”往往需要工程师人工输入物体视觉或者声音的信息,然后由机器学习算法来处理这些信息数据。
深度学习包含的平台:

二、卷积神经网络基础
2.1进化史

2.2卷积神经网络基本概念。
构成:由多个卷积层和下采样层构成,后面可连接全连接网络
卷积层:𝑘个滤波器
下采样层:采用mean或max
后面:连着全连接网络

2.3经典BP算法

三、LeNet-5网络

由卷积层、池化层、全连接层和输出层构成
普遍规律:随网络深入,宽、高衰减,通道数增加
与现在网络区别:
-卷积时不进行填充(padding)
-池化层选用平均池化而非最大池化
-选用Sigmoid或tanh而非ReLU作为非线性环节激活函数
-层数较浅,参数数量小(约为6万)
四、基本卷积神经网络
AlexNet

网络说明
网络一共有8层可学习层(5层卷积层和3层全连接层)
改进
池化层均采用最大池化
选用ReLU作为非线性环节激活函数
网络规模扩大,参数数量接近6000万
出现“多个卷积层+一个池化层”的结构
普遍规律
随着网络深入,宽、高衰减,通道数增加
1.最简单、通用的图像数据变形的方式:平移变换、反射变换、随机的光照
2. 采用ReLU替代 Tan Sigmoid
3. 在每个全连接层后面使用一个 Dropout 层,以概率 p 随机关闭激活函数
4. AlexNet使用两块GTX580显卡进行训练,两块显卡只需要在特定的层进行通信
5988



被折叠的 条评论
为什么被折叠?



