分类（3）：人工神经网络（ANN）

原版：http://www.jianshu.com/p/109c84ada9b2

一、感知器

下图为一个感知器，单个神经元。

该感知器的算法：

二、多层人工神经网络

（1）基本概念

神经网络，这里先以前馈神经网络为介绍，每层为全连接，则对于2个神经元，参数为：

（1）w权值，（2）b偏置，（3）delta 激活函数。

多层神经网络的结构图，以下为前馈神经网络的结构（2层）：

常用的 delta 激活函数：

基于梯度下降的权值更新：

（2）反向传播（back-propagation）

对于数据集，可以使用mini-batch，每次选取一部分，直到将数据使用完毕。每次每个数据包括两个阶段， 向前阶段和向后阶段。

向前阶段：通过初始权值、初始偏置和激活函数，每次更新隐藏层和输出层的值；
向后阶段：通过权值更新法则，更新权值和偏置。
直到数据使用完毕，或者，权值更新的差值小于某个阈值。

（3）神经网络特点

1、至少含有一个隐藏层的是一种普适近似（universal approximator），即可以用来近似任何目标函数。
2、可以处理冗余特征，冗余特征的权值会非常小。
3、梯度下降法会收敛到局部极小值，避免方法可以在权值更新公式上加上一个动量项（momentum term）