非监督版bp网络

简介

非监督版bp网络: 梯度下降 + 链式求偏导

介绍

信息前向传播, 误差反向传播

推导

忽略delta规则.

以包含一层隐藏层的bp网络为例, 设输入层为$\vec x$, 隐藏层为$\vec y$, 输出层为$\vec z$.
其中, 隐藏层中第i个神经元的输出为:

$$\begin{align} y_{i} = sigmoid(\sum_{j=0} V_{ij}p_{j}) \end{align}$$

输出层中第k个神经元的输出为:

$$\begin{align} z_{k} = sigmoid(\sum_{i=0} W_{ki} y_{i}) \end{align}$$

对于非监督版而言, 输入为$\vec x$, 输出结果的期望也为$\vec x$,
那么对于交叉熵误差:

$$\begin{align} E(V,W) = - \frac {1}{n} \sum (x_{k} ln(z_{k}) + (1-x_{k})ln(1-z_{k})) \end{align}$$

训练过程中需要使用随机梯度下降的方式, 不断优化矩阵$V$额矩阵$W$中的值.

$$\begin{align} V^{j+1} = V^{j} - \alpha \nabla E_{1} \end{align}$$

其中, $\alpha$为学习速率, $\nabla E_{1}$为梯度.

$$\begin{align} W^{j+1} = W^{j} - \beta \nabla E_{2} \end{align}$$

其中, $\beta$为学习速率, $\nabla E_{2}$为梯度.

对于隐藏层到输出层的梯度:

$$\begin{align} {\partial E \over \partial w_{ki} } = {\partial E \over \partial z_{k}} { \partial z_{k} \over \partial w_{ki} } \end{align}$$

等号左边的式子可以转变为求解等号右边的式子.
其中, ${\partial E \over \partial z_{k}}$是对公式(3)对$z_{k}$求偏导,
${ \partial z_{k} \over \partial w_{ki} }$是公式(2)对$w_{ki}$求偏导.

对于输入层到隐藏的梯度:

$$\begin{align} {\partial E \over \partial v_{ij}} = {\partial E \over \partial z_{k}} {\partial z_{k} \over \partial y_{i}} {\partial y_{i} \over \partial v_{ij}} \end{align}$$

需要计算等号左边的值, 只需要计算等号右边的式子即可.
式子${\partial E \over \partial z_{k}}$为公式(3)对$z_{k}$求偏导,
式子${\partial z_{k} \over \partial y_{i}}$ 为公式(2)对$y_{i}$求偏导,
式子${\partial y_{i} \over \partial v_{ij}}$ 为公式(1)对$v_{ij}$求偏导.

接着上面求偏导的过程就成为一个链.

代码

后补