swish激活函数

最新推荐文章于 2025-03-09 21:51:08 发布
原创 最新推荐文章于 2025-03-09 21:51:08 发布 · 2.7w 阅读 · 40 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
深度学习

当前文章被收录于：

深度学习
30 篇文章 3 人学习
订阅专栏 查看详情
本文深入探讨了Swish激活函数的公式、图像、特点及其与ReLU的关系，同时对比了mish激活函数，揭示两者在神经网络训练中的表现差异。

swish激活函数

函数公式

在这里插入图片描述

函数图像

当 β \beta β取不同的值时，函数图像如下：
在这里插入图片描述
当 β \beta β = 0时，Swish激活函数变为线性函数 f(x) = x 2 \frac{x}{2} 2x​，
当 β \beta β = ∞ \infty ∞ 时，Swish激活函数变为0或x，相当于Relu，
所以，Swish函数可以看作是介于线性函数与ReLU函数之间的平滑函数。
——————————————————————————————————
Swish函数的求导过程为：
在这里插入图片描述
导数图像如下：
在这里插入图片描述

函数特点

1.Swish函数和其一阶导数都具有平滑特性；
2.有下界，无上界，非单调。

对比mish激活函数

mish激活函数参考：mish激活函数
函数图像对比如下：
在这里插入图片描述

激活函数Swish
热门推荐
August-us的博客
05-21 3万+
激活函数Swish系列文章：   Swish函数先对来说是比较新的一些激活函数，算是由之前的激活函数复合而成出来的。也是由Google提出的，毕竟资力雄厚，承担的起搜索的任务。而且这个算法感觉曝光率还算比较高，就在这里整理一下，同时后面的文章也会再次提到这个函数。   对前面的激活函数有了一定的基础之后，理解Swish激活就容易很多了，Swish函数的表达式是f(x)=x⋅σ(x)f(x)=x·\sigma(x)f(x)=x⋅σ(x)，σ(x)\sigma(x)σ(x)就是sigmoid函数。因为sigmo
Swish Mish 激活函数 理解
不佛的博客
12-01 7117
Swish是谷歌在17年提出的一个激活函数，形式非常简单，具备无上界有下界、平滑、非单调的特性，性能在总体上优于Relu。 y=x∗sigmoid(βx)y=x*sigmoid(\beta x)y=x∗sigmoid(βx)
机器学习中的Swish激活函数
BxuqBlockchain的博客
10-10 1019
Swish激活函数是由Google研究员Ramachandran等人在2017年提出的，它具有一定的自适应性，能够根据输入数据的范围自动调整激活函数的形状。Swish函数的输出值在[-x/2, +∞)范围内，相对于其他激活函数如ReLU，它具有更平滑的曲线，有助于减少梯度消失的问题，并提高模型的泛化能力。Swish是一种常用的机器学习中的激活函数，它在神经网络中广泛应用于提高模型的性能。使用合适的激活函数是设计高效神经网络的重要步骤之一，Swish激活函数提供了一种有效的选择。是Sigmoid函数，
Swish、ARiA、E-Swish激活函数
weixin_38190702的博客
07-12 1097
Swish/ARiA/E-Swish激活函数简介
机器学习笔记 - Swish激活函数的定义和优势
学以致用 知行合一
12-20 1963
首先，Swish 是像 ReLU、sigmoid 和 tanh 一样的非线性函数，使神经网络能够对输入和输出之间的复杂关系进行建模。非线性函数对于深度学习的工作至关重要，因为它们能够捕获和表示复杂的模式。 与 ReLU 等其他常用激活函数相比，Swish 具有独特的形状。它的形状更像是 sigmoid 函数，随着输入值的增加，输出平滑且逐渐增加。此功能使 Swish 在处理各种输入方面更具适应性和效率。
神经网络 - 激活函数（Swish函数、GELU函数）
分享技术人生的学习笔记和过往心得，与志同道合者共同进步
02-28 4701
本文我们学习了神经网络的两种激活函数，分别是Swish函数和GELU函数，为了更好的理解GELU函数，还附加了概率密度函数和累积分布函数的介绍。知识的学习，有时晦涩难懂，但总归需要日积月累、慢慢消化，希望跟我一样正在学习神经网络的同学，不要放弃，持之以恒，向着目标勇敢出发！
神经网络中的激活函数——Swish函数
Seu_Jason的博客
05-17 6513
本文介绍了Swish函数
激活函数Swish和Hardswish简介
码农1479的博客
03-12 2万+
Swish激活函数和Hardswish激活函数学习笔记。
Swish 激活函数
weixin_44012667的博客
12-06 2238
Swishxx⋅σx1e−xx​其中，σxσx1e−x1​Swish 激活函数在深度学习中的一些应用已经展示了其优势，特别是在神经网络的训练过程中。
【激活函数】Swish激活函数详解
Roaddd的博客
03-14 2万+
Swish：Self-gated activation function（2017） Swish图像： Swish公式： 当β=1 时： Swish导数： Swish特点：
激活函数 05 ——Swish
do better.
02-10 1259
Swishxx⋅σβx其中σz1e−z1​原始版本中 β=1，后续研究发现可训练参数β能获得更好效果。该函数结合了ReLU的线性响应特性和Sigmoid的平滑特性。建议从固定 β=1 开始，当模型参数量>1M时考虑可训练参数版本。
Swish激活函数
码农ZZK的博客
11-14 6734
swish激活函数的格式 f(x) = x*sigmoid(βx) β是个可调参数 在深层模型上要优于传统的relu 具有无上界，有下界，光滑，非单调 绘图代码 import numpy as np import matplotlib.pyplot as plt def sigmoid(x): return 1/ (1 + np.exp(-x)) x = np.arange(-5, ...
神经网络常见激活函数 12-Swish函数
hbkybkzw的博客
02-15 2014
是一个可学习的参数或固定的超参数，控制着函数的形状。是 sigmoid 函数，
Swish和H-Swish激活函数：提升模型训练效率
uncle_ll的博客
04-29 5760
本文介绍了Swish和H-Swish激活函数，其性能优势包括缓解梯度消失问题和非单调性。H-Swish是Swish的变体，通过分段线性函数替换Sigmoid函数，提高了计算效率。Swish和H-Swish在神经网络中广泛应用，提高了模型的训练效率和性能。
激活函数Swish（ICLR 2018）
00000cj的博客
03-04 1454
本文提出用自动搜索技术来寻找新的激活函数。结合穷举和基于强化学习的搜索，作者发现了许多新的激活函数。作者还通过对找到的最优激活函数的经验评估来验证搜索的有效性。实验表明，找到的最优激活函数 \(f(x)=x\cdot siogmoid(\beta x)\)，作者称之为 \(Swish\)，在许多具有挑战性的数据集上，效果都优于ReLU。
【NLP 41、激活函数 ⑤ Swish激活函数】
最新发布
m0_73983707的博客
03-09 1154
基础形式Swish的标准表达式为：σ(x) 是Sigmoid函数：​ β 是可学习参数或固定值（通常默认设为1）​2.变体形式​：当β=1时，Swish退化为SILU​自适应Swish：通过训练学习 β 的值，允许激活函数根据任务动态调整形状。
Google提出的新型激活函数:Swish
weixin_30785593的博客
11-26 574
简介 Swish是Google在10月16号提出的一种新型激活函数,其原始公式为:f(x)=x * sigmod(x),变形Swish-B激活函数的公式则为f(x)=x * sigmod(b * x),其拥有不饱和,光滑,非单调性的特征,而Google在论文中的多项测试表明Swish以及Swish-B激活函数的性能即佳,在不同的数据集上都表现出了要优于当前最佳激...
谷歌swish激活函数
qq_43258953的博客
11-13 1692
Swish是Google17年在10月16号提出的一种新型激活函数,其原始公式为:f(x)=x * sigmod(x),变形Swish-B激活函数的公式则为f(x)=x * sigmod(b * x),其拥有不饱和,光滑,非单调性的特征。 f(x)=x⋅sigmoid(βx) β是个常数或可训练的参数.Swish 具备无上界有下界、平滑、非单调的特性。Swish 在深层模型上的效果优于 ReLU。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值