机器学习数学基础之sigmod函数、tanh函数求导

最新推荐文章于 2025-04-16 22:21:41 发布

原创最新推荐文章于 2025-04-16 22:21:41 发布 · 1.4k 阅读

13 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#机器学习 #概率论 #人工智能

人工智能随笔专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了sigmoid和tanh函数在机器学习中的求导过程，通过链式法则推导出sigmoid导数为f(x)*(1-f(x))，tanh导数为1-g(x)^2，帮助读者理解和掌握这两个常用激活函数的导数计算方法。

激活函数求导

1.一元函数求导的链式法则
2.sigmod函数求导过程
3.tanh函数求导过程
4.总结

学习机器学习和神经网络的时候，微积分求导是一项基本功。当然你不必掌握所有公式的导数，只要记住机器学习常见的导数即可。其实你不需要知道推导的过程，只需要记住结果便可以进行开发了，但是对于我来说，更习惯去推导过程，下面是我对常用的两个激活函数：sigmod函数和tanh函数求导的过程的推算，分享给有需要的朋友

1.一元函数求导的链式法则

在计算高级复合函数的导数前，我们首先要知道导数的链式法则。

给定函数 :
$\\ v=a+u \\ J=3v$
求 $\frac{dJ}{du}$
这是一个非常典型的一元复合函数求偏导的例子，推导的过程不难，取值带入推导，这里不着重介绍了，相信有数学基础的小伙伴能够轻松推理出来
结论：
$\frac{dJ}{du}=\frac{dJ}{dv}\times\frac{dv}{du}$
$\frac{dJ}{db}=\frac{dJ}{dv}\times\frac{dv}{du}\times\frac{du}{db}$

2.sigmod函数求导过程

sigmod函数：
$f(x)=\frac{1}{1+e^{-x}}$
我们对该函数稍作改造，使其易于求导：
$\begin{aligned} f(x)&=\frac{1+e^{-x}-e^{-x}}{1+e^{-x}} \\ f(x)&= 1-\frac{e^{-x}}{1+e^{-x}} \\ f(x)&=1-\frac{1}{1+e^{x}}\\ f(x)&=1-({1+e^{x}})^{-1} \end{aligned}$
令：
$z={1+e^{x}}\\ 则：\\ f(x)=1-z^{-1}$
由链式法则得：
$\begin{aligned} \frac{df}{dx}&=\frac{df}{dz}·\frac{dz}{dx}\\ f'(x)&=(-1)\times(-1)\times{z}^{-2}\times\frac{dz}{dx}\\ f'(x)&=({1+e^x})^{-2}\times e^x\\ f'(x)&=({1+e^x})^{-1}\times ({1+e^x})^{-1}\times e^x \\ f(x)&=\frac{e^x}{1+e^x}\cdot(1+e^x)^{-1}\\ f(x)&=\frac{1}{1+e^{-x}}\cdot\frac{1}{1+e^x}\\ f(x)&=\frac{1}{1+e^{-x}}\cdot(\frac{e^x+1-e^x}{1+e^{x}})\\ f(x)&=\frac{1}{1+e^{-x}}\cdot(1-\frac{1}{1+e^{-x}})\\ \because f(x)&=\frac{1}{1+e^{-x}}\\ \therefore f'(x)&=f(x)\cdot(1-f(x)) \end{aligned}$

3.tanh函数求导过程

tanh函数：
$g(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$
同样对函数进行变形，使其易于求导：
$\begin{aligned} g(x)&=\frac{e^x-e^{-x}}{e^x+e^{-x}} \\ g(x)&=\frac{e^x+e^{-x}-2e^{-x}}{e^x+e^{-x}} \\ g(x)&=1-\frac{2e^{-x}}{e^x+e^{-x}} \\ g(x)&=1-\frac{2}{e^{2x}+1} \\ g(x)&=1-{2}\cdot({e^{2x}+1})^{-1} \\ \end{aligned}$
同样令：
$\begin{aligned} z&=e^{2x}+1 \\ g(x)&=1-2z^{-1} \\ \because \frac{dg}{dx}&=\frac{dg}{dz}\cdot \frac{dz}{dx} \\ \therefore g'(x)&=(-2)\times(-1)\times(e^{2x}+1)^{-2}\times2e^{2x}\\ g'(x)&=\frac{4e^{2x}}{(e^{2x}+1)^2} \\ g'(x)&=\frac{(e^{2x}+1)^2-e^{4x}-1+2e^{2x}}{(e^{2x}+1)^2} \\ g'(x)&=\frac{(e^{2x}+1)^2-(e^{2x}-1)^2}{(e^{2x}+1)^2} \\ g'(x)&=1- \frac{(e^{2x}-1)^2}{(e^{2x}+1)^2} \\ g'(x)&=1- (\frac{e^{2x}-1}{e^{2x}+1})^2 \\ 括号内分数上下同时除以e^x \\ g'(x)&=1- (\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}})^2 \\ \because g(x)=&\frac{e^x-e^{-x}}{e^x+e^{-x}} \\ \therefore g'(x)&=1-g(x)^2 \end{aligned}$