卷积神经网络（AI达人养成营）

卷积神经网络（适合小白，初学者）

前言：使用机器学习（深度学习）的目的是什么？
寻找一个合适的函数。

机器怎样做才能选出最好的函数?——带标签的数据

一：全连接神经网络的步骤

Step1：建立模型

• 选择什么样的网络结构

• 选择多少层数，每层选择多少神经元
  神经元：
  

• 神经元的不同连接方式构成不同的网络结构
  
  激活函数：
  引入激活函数的意义：

• 为了增强网络的表达能力，我们需要激活函数将”线性函数转变为“非线性函数”

• 非线性的激活函数需要有连续性，因为连续非线性激活函数是可导的，可以用最优化的方法来求解
  

输出层：

• 常用SoftMax函数作为输出层激活函数：容易理解，便于计算
  首先计算3，1，-3的以e为底的值，并且将这三个值相加，将计算出的3，1，-3的以e为底的值除以刚才计算和，得到的值近似于计算的概率值

• 通过SoftMax运算，把经过线性加权后的输出值变成概率分布
  

Step2：损失函数

• 常用的损失函数：平方误差、交叉熵······
• 损失函数的意义在于：经过正向传播得到的值，与目标做出比对，得到器相应的损失值，调用loss，进行反向传播，不断地更新权重w和偏执项b的值，使输出的值尽可能的接近目标。
  

Step3：参数学习

使用梯度下降法，通过调节参数w，逐步逼近总损失最小值

梯度下降法，是一个不断更新神经网络参数w值的过程，由于∂L/∂w的值一直在变化，学习率n*∂L/∂w的值也一直在变化，直到迭代到∂L/∂w的值很小时，是的神经网络参数的更新很小，则结束

实战篇：全连接神经网络
线性回归模型 https://aistudio.baidu.com/aistudio/projectdetail/3239160
SoftMax分类器 https://aistudio.baidu.com/aistudio/projectdetail/3239655
多层感知机模型 https://aistudio.baidu.com/aistudio/projectdetail/3263366
卷积网络 https://aistudio.baidu.com/aistudio/projectdetail/3263369
–【学习目录】 https://aistudio.baidu.com/aistudio/projectdetail/1354419

二：卷积神经网络

1.深度学习模型回顾

2.全连接神经网络的缺点：
（1）模型结构不过灵活：

（2）.模型参数太多：

3.卷积神经网络
卷积神经网络的三大特性：局部连接，权重共享，下采样，目的是为了：减少网络参数，加快训练速度
局部连接：全连接神经网络输入为640*480像素，而对于卷积神经网络输入图片的一部分就可以，卷积神经网络在进行图片识别的时候，不需要对整个图像进行处理，只需要关注图像中某些特殊的区域。
权重共享：神经元的权重是相同的，均为w1······wn

下采样：下采样就是将图片中的像素进行缩小。对图像像素进行下采样，并不会对物体进行改变。虽然下采样之后的图片尺寸变小了，但是并不影响我们对图像中物体的识别。
卷积神经网络的结构：

卷积核：

卷积核中的参数会在训练中不断得到更新，初始值可以设置一个随即参数，经过反向传播，不断地进行迭代，更新卷积核中的参数

feature map的size
image size = w1h1;
kernel size =wkhk
stride = 1;stride为卷积窗口移动的步长