深度学习入门11-激活函数II

最新推荐文章于 2025-06-10 13:30:00 发布

原创

最新推荐文章于 2025-06-10 13:30:00 发布 · 375 阅读

本文深入探讨了深度学习中的激活函数，包括sigmoid函数的实现、与阶跃函数的比较，以及ReLU函数的特性。sigmoid函数因其平滑性在神经网络中起到重要作用，而ReLU函数因其简单高效在现代神经网络中广泛应用。文章还强调了非线性函数在神经网络激活函数中的必要性，指出线性函数无法有效利用多层网络的优势。

在这里插入图片描述

图片来源：搜狐

在上一篇文章中，我们了解了感知机用到的阶跃函数的具体实现，本期我们将学习sigmoid函数的实现和新的激活函数ReLU。

1 sigmoid函数的实现

我们先复习一下sigmoid函数的表达式：
在这里插入图片描述
sigmoid函数是神经网络中经常使用的一个激活函数，我们只需要将这个表达式用Python表示出来就可以了：

def sigmoid_function(x):
    return 1 / (1 + np.exp(-x))

这里np.exp(-x)对应公式中的exp(-x)，支持单独数字输入，也支持NumPy数组。我们输入一个NumPy数组：
在这里插入图片描述
之所以上述代码支持NumPy数组，关键就在于NumPy的广播功能。可以点击下面链接进行复习

NumPy的广播
如果在标量和NumPy数组之间进行运算，标量会和NumPy数组的各个元素进行运算，具体可以看一下下面的例子：
在这里插入图片描述
在这个例子中，标量和NumPy数组之间进行了+和*运算，通过计算结果我们可以看到，标量和NumPy数组中的各个元素进行了运算，运算结果以NumPy数组的形式被输出。所以，sigmoid函数中的1 / (1 + np.exp(-x))计算过程也是如此，从而我们只用一句就可以完成所有元素的运算。

运行下面的代码我们可以看到sigmoid函数的图像：

x = np.arange(-5.0, 5.0, 0.1)  # 定义x变化范围 步长为0.1 生成numpy数组
y = sigmoid_function(x)  # 获得对应的y值
plt.plot(x, y

最低0.47元/天解锁文章