sigmoid函数求导

最新推荐文章于 2025-12-28 17:45:16 发布

转载最新推荐文章于 2025-12-28 17:45:16 发布 · 1k 阅读

·

0

·

本内容遵循CC 4.0 BY-SA版权协议

原文链接：https://www.jianshu.com/p/0182ae2ad5f5

编程人生专栏收录该内容

262 篇文章

订阅专栏

回顾原由：在推荐系统中，排序阶段会用到逻辑回归，那自然要在温习下Sigmoid函数求导过程。

Sigmoid函数： $f(x) = 1/(1+e^{-x})$

在对Sigmoid函数求导，还需回顾4个求导知识点(只有一点数学公式，不用紧张，你一定可以看懂)：

1、为什么要对Sigmoid函数求导？其实就是求极值。

2、 $(x^n)$ 进行求导等于 $nx^{n-1}$

3、 $(e^x)$ 进行求导等于 $e^x$

4、复合函数求导：f(g(x))' = $\frac{df}{dg} * \frac{dg}{dz}$ ，例如： $1/(1+e^{-x}) = (1+e^{-x})^{-1}$ ，那么 $1+e^{-x}$ 就是g(x)

Sigmoid求导过程：

$f(x)$ ’ = $-（1+e^{-x})^{-2}*(-e^{-x})$ …………………………（1）两个负号抵消

= $\frac{1+e^{-x}-1}{(1+e^{-x})^{2}}$ …………………………（2）加1和减1

= $\frac{1}{1+e^{-x}}-(\frac{1}{1+e^{-x}} )^2$ …………………………（3）

其中 $\frac{1}{1+e^{-x}}$ 可以整体替换下为t(x)

= t(x)(1-t(x)) ……………………………（4）

遇到一个小问题： $e^{-x}$ 的求导犯过错，也是复合函数求导，正确求导结果： $e^{-x}$ *(-x)'= $-e^{-x}$

思考一个问题：为什么要对Sigmoid函数进行求导呢？在这里有什么用呢？

附上一个英文解释的很精细的求导过程：
https://towardsdatascience.com/derivative-of-the-sigmoid-function-536880cf918e

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。