非线性激活函数（Activation Function）

1. 什么是激活函数？
2. 为什么要用激活函数？
3. 有哪些激活函数？（Sigmoid、Tanh ---双曲正切、ReLu ---修正线性单元、Softmax等）
4. 如何选择激活函数？

1.什么是激活函数

        所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到网络中。

        如上图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。

2.为什么要用激活函数

        如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

3.有哪些激活函数

ReLU函数

ReLU又叫 “ 修正线性单元 ”，或者 “ 线性整流函数 ” 。函数表达式及图像如下所示。

 代码示例：

CLASS torch.nn.ReLU(inplace=False)

用法举例： 

  >>> m = nn.ReLU()
  >>> input = torch.randn(2)
  >>> output = m(input)

inplace：默认值为False