答案是全维度,将值激活压缩到[0,1]区间,不关维度的事,这一点跟Softmax不一样,Softmax是对指定维度将值激活到[0,1]区间。
Sigmoid函数的特性与优缺点:
Sigmoid函数的输出范围是0到1。由于输出值限定在0到1,因此它对每个神经元的输出进行了归一化。
用于将预测概率作为输出的模型。由于概率的取值范围是0到1,因此Sigmoid函数非常合适
梯度平滑,避免跳跃的输出值
函数是可微的。这意味着可以找到任意两个点的Sigmoid曲线的斜率
明确的预测,即非常接近1或0。
函数输出不是以0为中心的,这会降低权重更新的效率
Sigmoid函数执行指数运算,计算机运行得较慢。
本文介绍了Sigmoid函数的特点及其在神经网络中的应用。Sigmoid函数能够将输出值压缩至0到1范围内,适用于概率预测场景。文章还讨论了该函数的优点,如梯度平滑、可微性以及明确的预测能力;同时也指出了其不足之处,例如输出非零中心化导致的权重更新效率降低及计算速度问题。

2791

被折叠的 条评论
为什么被折叠?



