六、改进神经网络的学习方法（2）：Softmax输出层

本博客主要内容为图书《神经网络与深度学习》和National Taiwan University (NTU)林轩田老师的《Machine Learning》的学习笔记，因此在全文中对它们多次引用。初出茅庐，学艺不精，有不足之处还望大家不吝赐教。

1. Softmax输出层

  定义一种新的输出层，对于输出层某一个神经元的权值输入为 $z_j^L$，激活值输出为 $a_j^L$，则Softmax输出层的定义如下

$$a_j^L=\frac{e^{z_j^L}}{\sum_k{e^{z_k^L}}}\tag{1}\label{1}$$
为了更好地理解⽅程， 假设我们有⼀个包含四个输出神经元的神经⽹络，对应四个带权输⼊为 $z_1^L，z_2^L，z_3^L，z_4^L$。 这里的条块显⽰带权输⼊的可取值和对应输出激活值的图形。当增大 $z_4^L$ 的值的时候， $a_4^L$ 的值也会对应增大，而其他三个神经元的输出值会对应减小； 当减小 $z_4^L$ 的值的时候，