本文探讨了偏置b与激活函数（如Sigmoid、ReLU）在深度学习中的作用。偏置从激活函数的阈值演变而来，影响神经元的激活难易程度。激活函数通过非线性转换提升网络表达能力，ReLU因其梯度消失问题较少而成为主流。整个训练过程中，激活函数的位置会随偏置调整，最终帮助神经网络逼近目标函数。
我们看到成熟的神经网络时，往往能看到偏置 b b b与激活函数Sigmoid或ReLU，但是它们是从何而来的呢？
通过探究，我们将获得更深刻的认识。
偏置的前世今生
偏置的由来
用一张图就能说明白。来吧，少年，接图！
如果我的图做的有点杂乱，那咱们就稍微用用公式。
回忆一下我们之前讨论过的M-P模型，我们的激活函数 f ( z ) f(z) f(z)是一个以 h h h为阈值的阶跃函数，如公式（1）所示。
f ( z ) = { 1 z ≥ h 0 z < h f(z)=\begin{cases} 1&{z \ge h}\\ 0&{z < h} \end{cases} f(z)={
10z≥hz<h
我们现在对它进行一点小小的变换，如公式(2)。
f ( z − h ) = { 1 z − h ≥ 0 0 z − h < 0 f(z-h)=\begin{cases} 1&{z-h \ge 0}\\ 0&{z-h < 0} \end{cases} f(z−h)={
10z−h≥0z−h<0
这样，我们可以用之前的加权和减去阈值的结果，令 Z Z Z表示新的加权和，代替 z
扫一扫
664
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
