Logistic Function == Sigmoid Function

Sigmoid函数,又称逻辑函数,是机器学习中重要的激活函数,广泛应用于逻辑回归和神经网络。它具有S型曲线特征,连续可导,值域在(0, 1)之间,常用于线性模型的非线性转换。在逻辑回归中,Sigmoid用于将连续值转化为概率。在神经网络中,由于其导数特性,Sigmoid有利于梯度下降优化。然而,Sigmoid的梯度消失问题可能限制模型的训练,因此其他激活函数如ReLU也被研究和使用。" 80166242,7518727,ATOS实验平台:射频与传感器模块详解,"['物联网传感技术', '射频模块', '传感模块', '软件环境', '硬件接口']

Logistic function, 逻辑函数,逻辑斯谛函数,这些都是一个意思,指的也都是:

Sigmoid函数。解释如下:

---


s.png

Sigmoid函数是一个S型函数. Sigmoid函数的数学公式为

y = f(x) = 1 / (1 + e^(-x))

Sigmoid函数f(x)具有如下基本性质:

  • 定义域为(-\infty,+\infty)
  • 值域为(-1,1), 为有界函数
  • 函数f(x)在定义域内为连续和光滑函数
  • 函数f(x)导数f'(x)=\frac{f(x)\over 1-f(x)}
  • 不定积分\int f(x)=\ln(1+e^x)+CC常数

由于Sigmoid函数所具有的性质, 它常和单位阶跃函数用于构造人工神经网络[1]; 另外心理学中的学习曲线[2]的形状也和Sigmoid函数比较类似.

---

没太想明白,Sigmoid函数为什么会重要到这种程度?

逻辑回归分析其实也是一种特殊的线性回归分析,只不过把归一化函数使用sigmoid函数代替(?是这样吧?)

在神经网络ANN中,最基本的单元unit不使用linear unit是因为它只能表现线性函数,无法表现非线性;不使用perceptron(本质是sgn函数)是因为它不连续可导,无法使用梯度下降法,这样一般都选用sigmoid函数。为什么sigmoid函数的效果就会这么好?他有什么性质能表现这样好呢?使用其他函数可以不可以?跟它又差在那里了?

真是还没想明白。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值