Swish Mish 激活函数 理解

最新推荐文章于 2025-11-05 19:35:59 发布
原创 最新推荐文章于 2025-11-05 19:35:59 发布 · 7.1k 阅读 · 20

激活函数鼻祖sigmoid虽然现在感觉相当LJ，但它的非线性表达能力其实很好，求导性质也不错（exe^xex求导仍是自己），最大的问题是饱和导致的梯度弥散。而之后流行的Relu激活函数，避免了饱和问题，但非线性表达能力其实很弱，因此需要堆叠多层网络，而且求导性质也不好（y=xy=x

标签
#神经网络 #深度学习
最低0.47元/天 解锁文章
YOLOv5-4.0-activations.py 源代码导读（激活函数）
weixin_42716570的博客
01-23 3406
YOLOv5介绍 YOLOv5为兼顾速度与性能的目标检测算法。笔者将在近期更新一系列YOLOv5的代码导读博客。YOLOv5为2021.1.5日发布的4.0版本。 YOLOv5开源项目github网址 源代码导读汇总网址 本博客导读的代码为utils文件夹下的activations.py最后更新日期为2021.1.7 激活函数-数学表达 首先介绍YOLOv5激活函数中涉及到的函数其具体形式: Sigmoid激活函数： Sigmoid(x)=11+e−x=exex+1 Sigmoid(x) = \frac
激活函数汇总，包含公式、求导过程以及numpy实现，2024年最新Python开发面试技能介绍
m0_54903333的博客
04-11 1265
现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习。
神经网络中各种激活函数的Python实现
11-22
本资源主要是可视化各种激活函数：Relu，sigmoid ，swish，mish等，只需要依赖numpy，不需要安装pytorch，只是一个简单的demo
深度学习激活函数Activation Functions
小秋 AI SLAM 入门实战教程
08-13 370
深度学习激活函数Activation Functions
MobileNet V3激活函数之h-swish
Harvey_Hawk的博客
01-05 1万+
激活函数h-swish是MobileNet V3相较于V2的一个创新，是在谷歌大脑2017年的论文Searching for Activation Functions中swish函数的基础上改进而来，用于替换V2中的部分ReLU6。 swish的作者认为，该函数具有无上界、有下界、平滑、非单调的特点，在深层模型上优于ReLU。但是，由于sigmoid函数计算复杂（sigmoid(x) = (1 + exp(-x))^(-1)），所以V3改用近似函数来逼近swish，这使其变得更硬（hard）。作者选择
swish,mish
qq_43152949的博客
11-15 3922
swish 2.swish 其中σ(x)是sigmoid函数，swish是光滑而且单调的，swish的导数是： swish的第一和第二导数如图2所示： 无界性避免了饱和，函数饱和区域的梯度很小，训练非常缓慢，因此网络必须小心的初始化才能保持在这些函数的线性状态。此外，有下届也可能是有利的，因为强大的正则化效应。与relu和softplus不同的是， 由于它的非单调性，它为小的负输入产生负输出...
深度学习笔记(三):神经网络之九种激活函数Sigmoid、tanh、ReLU、ReLU6、Leaky Relu、ELU、Swish、Mish、Softmax详解
源的博客
01-27 4871
文章目录1.什么叫激活函数2.激活函数的作用3.激活函数的类型4.Sigmoid/Logistic5.tanh6.ReLU 1.什么叫激活函数 激活函数可作用于感知机(wx+b)累加的总和 ,所谓的激活就是把输出值必须要大于，节点才可以被激活，不然就处于睡眠状态。 2.激活函数的作用 提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。由于输
各类激活函数Activation Functions介绍及实现与优缺点分析
frighting_ing的博客
11-28 3472
什么是激活函数？ 激活函数（Activation functions）对于神经网络模型学习与理解复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。 如果网络中不使用激活函数，网络每一层的输出都是上层输入的线性组合，无论神经网络有多少层，输出都是输入的线性组合。 如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，此时神经网络就可以应用到各类非线性场景当中了。 常见的激活函数如sigmoid、tanh、relu等，它们的输入输出映射均为非线性，这
深度学习中常见的10种激活函数（Activation Function）总结
热门推荐
不想学习的打工人的博客
08-30 12万+
​ 激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端，旨在帮助网络学习数据中的复杂模式。 ​
最全面：python绘制Sigmoid、Tanh、Swish、ELU、SELU、ReLU、ReLU6、Leaky ReLU、Mish、hard-Sigmoid、hard-Swish等激活函数（有源码）
jsk_learner的博客
10-30 1万+
python绘制激活函数代码示例 代码 我构建了一个关于激活函数的类，大家可以随意使用，包括其输出值和梯度值。 import matplotlib.pyplot as plt import numpy as np class ActivateFunc(): def __init__(self, x, b=None, lamb=None, alpha=None, a=None): ...
relu函数_Sigmiod、Tanh、Relu、Mish...等激活函数的那点事儿
weixin_39550172的博客
12-05 827
一、什么是激活函数？简单的说，激活函数就是在神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端，它的作用是为了增加神经网络模型的非线性变化。神经元(Neuron)内右侧的函数，就是激活函数(Activation)二、深度学习(Deep learning)中的激活函数饱和激活函数问题假设h(x)是一个激活函数。1. 当我们的n趋近于正无穷，激活函数的导数趋近于0，那么我们称之为右饱和。2....
【Pytorch神经网络理论篇】 07 激活函数+Sigmoid+tanh+ReLU+Swish+Mish+GELU
小李的研究生学习日记
03-03 8556
①激活函数：主要通过加入非线性因素，你不线性模型表达能力不足的缺陷，因为神经网络中的数学基础是处处可微分的函数，故要求激活函数也应该保证数据的输入与输出是可微分。 ②激活函数可以分为饱和激活函数与不饱和激活函数，激活函数的右饱和指当x xx趋向于正无穷时，函数的导数趋近于0。同样的，当x xx趋向于负无穷时，函数的导数趋近于0，此时称为左饱和。当一个函数既满足右饱和，又满足左饱和，则称为饱和函数，否则称为非饱和函数。 1 Sigmoid函数 对于分类任务来说，如果仅仅给出分类的结果，在某些场景下.
常用激活函数总结与发展历程
import_torch_as_tf
12-12 3409
一、什么是激活函数 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值加权求和后传递给下一层，在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。 二、激活函数的作用——为什么要使用激活函数 没有激活函数，无论神经网络有多少层，输出都是输入的线性组合。 激活函数给神经元引入了非线性因素，使得神经网络...
深度学习笔记------激活函数
YOULANSHENGMENG的博客
10-12 1039
激活函数的作用：增加网络的非线性能力 1，Sigmoid函数 ​ 特点： 经过改函数作用后的值分布在【0,1】之间，导数的范围也为【0,1】之间，模拟了一个神经元随着输入不断增加从完全不激活状态到完全激活的过程； 缺点： 1）两端是饱和区，饱和区域内的梯度接近为0，会带来熟悉的梯度消失的问题。一旦神经元进入到饱和区，就难以继续优化； 2）Sigmoid导数会变的越来越小，导致梯度越来越难回传，会降低网络的收敛的速度，导致网络不能收敛到好的状态； 3）...
激活函数
qq_41896151的博客
03-14 214
激活函数的主要作用是提供网络的非线性表达建模能力，让深度神经网络具有强大的非线性学习能力。 1.Sigmoid激活函数。优点：最为接近生物神经元。输出在(0,1)。可以被表示为概率或者用于输入的归一化等。Sigmoid函数的导数是其本身的函数。缺点：饱和性，另外，Sigmoid函数的输出均大于0，使得输出不是0均值，这称为偏移现象。 2.TanH激活函数。优点：与Sigmoid相比，它的输出均值是0，使得其收敛速度要比Sigmoid快，减少迭代次数。缺点：该导数在正负饱和区的梯度都会接近于0值(仍然具有软饱
PyTorch深度学习攻略：激活函数
王同学的博客
10-31 598
本文详细介绍了PyTorch中常用的激活函数及其实现，包括Sigmoid、Tanh、ReLU、LeakyReLU等经典函数，以及GELU、Swish、Mish等新型函数。重点分析了各函数的数学特性、优缺点及适用场景，并提供了PyTorch实现代码和使用建议。文章还探讨了激活函数的选择策略、性能比较、组合使用等实践问题，以及如何配合归一化层、处理内存考量和硬件适配等优化技巧。通过详细的技术解析和实用指南，帮助开发者根据任务需求选择合适的激活函数，提升深度学习模型的性能和稳定性。
关键词解释：激活函数（Activation Function）及各种激活函数
最新发布
sweet_ran的博客
11-05 1598
本文系统介绍了神经网络中的激活函数，包括其作用原理、常见类型及适用场景。激活函数通过引入非线性，使神经网络能够拟合复杂函数，同时影响梯度传播和神经元激活状态。主流激活函数包括Sigmoid（适用于二分类输出）、Tanh（早期RNN使用）、ReLU（CNN/MLP默认选择）及其改进版LeakyReLU/PReLU，以及新兴的Swish、GELU（被BERT/GPT采用）和Mish等。文章对比了各函数的数学特性（零中心、梯度消失、计算效率），并给出选择建议：常规任务用ReLU，Transformer用GELU/
激活函数学习
zx_ros的博客
04-01 137
记录下激活函数讲解比较完备详细的博客 常用激活函数（激励函数）理解与总结 深度学习—激活函数详解（Sigmoid、tanh、ReLU、ReLU6及变体P-R-Leaky、ELU、SELU、Swish、Mish、Maxout、hard-sigmoid、hard-swish GLU ...
【深度学习常见问题——激活函数】
selami的博客
04-05 911
激活函数的基础知识、各种激活函数及可视化曲线、优劣分析
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值