神经网络

学习神经网络有一段时间，为了加深对知识点的理解，特地将其记录下来，如有雷同请见谅，此处仅为自己的学习。

1. Feedforward propagation：前馈传播
   前馈传播指从输入到输出，完成对预激励函数和激励函数的赋值计算。如下图：
   
   因此神经元（neuron）预激励为：
   
   
   其中：
   W为神经元链接的权重，
   B为偏差，
   g(.)为激励函数（activation function）,
   1.1 激励函数
   线性激励函数
   
   非线性激励函数
   
   
   
   另外一种用的比较多的是：
   
   激励函数与参数的关系，可用下列图式：