[机器学习] softmax,sigmoid,relu,tanh激活函数

最新推荐文章于 2026-05-12 11:15:27 发布
原创 最新推荐文章于 2026-05-12 11:15:27 发布 · 625 阅读 · 14
本文介绍了深度学习中常用的激活函数：softmax用于多分类，常在最后一层；sigmoid适用于二分类，常在输出层；tanh在隐藏层使用，输出以0为中心；ReLU因其稀疏性与快速计算被广泛采用，但存在梯度消失问题，衍生出Leaky ReLU和ELU等变体。

参考： https://blog.csdn.net/weixin_43483381/article/details/105232610
参考 ：https://blog.csdn.net/zhuiyuanzhongjia/article/details/80576779
参考： https://www.sohu.com/a/452666201_809317

softmax 与 sigmoid 结构上的区别：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

可以看出最大的区别在于softmax的计算的是一个比重，而sigmoid只是对每一个输出值进行非线性化。

订阅专栏 解锁全文 限时秒杀 ¥14.95 限时期限 超级会员免费看
softmax详解
苦逼的程序猿
10-17 4万+
softmax又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 下图展示了softmax的计算方法： 指数函数的值域是（0，∞）。...
动手学深度学习——softmax回归（原理解释+代码详解）
qq_38473254的博客
07-16 4万+
sum运算符：给定一个矩阵X，我们可以对所有元素求和（默认情况下）。也可以只求同一个轴上的元素，即同一列（轴0）或同一行（轴1）。对每个项求幂（使用exp）；对每一行求和（小批量中每个样本是一行），得到每个样本的规范化常数；将每一行除以其规范化常数，确保结果的和为1。
softmax
最新发布
qq_43002259的博客
05-12 29
softmax函数又称归一化指数函数，是基于 sigmoid 二分类函数在多分类任务上的推广；在多分类网络中，常用 Softmax 作为最后一层进行分类。Softmax 的计算公式如下：2. Softmax 使用 e 的幂次的作用对比普通的 max() 方法，Softmax 的独特之处就是使用的 e 的幂函数，其目的是为了两极化：Softmax 可以使正样本（正数）的结果趋近于 1，使负样本（负数）的结果趋近于 0；且样本的绝对值越大，两极化越明显。2.1 代码验证。
一文彻底搞懂 Softmax 函数，数学原理分析和 PyTorch 验证
qq_43799400的博客
06-14 5万+
Softmax 函数的数学原理分析和 PyTorch 使用
【白话机器学习系列】白话 Softmax
略懂……略懂……
11-14 1万+
本文深入浅出地讲解了 Softmax 函数的原理和作用。
softmax是什么？
m0_57236802的博客
03-16 7846
Softmax是一种常用的分类函数，它将一个n维向量（通常用于表示某个实体的特征向量）输入，并将其标准化为一个n维概率分布，其中每个元素的值都介于0和1之间，并且所有元素的和为1。softmax函数通过将n维向量z的每个元素除以所有元素的和来计算归一化概率分布。softmaxzi​∑j1n​ezj​ezi​​其中zi​表示输入向量的第i个元素， n 表示向量的维度。例如，如果我们有一个三维向量z123。
机器学习——激活函数sigmoid、tanh、ReLU和softmax
fortune_cookie的博客
10-17 3398
在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。具体来说，神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。比较常用的激活函数主要有：sigmoid函数、tanh函数、ReLU函数和softmax函数。下面我们将具体介绍。
小杰机器学习高级（one）——激活函数——sigmoid、tanh、Relu、Leaky Relu、Prelu、ELU、softmax
2501_92101354的博客
09-17 1473
白云回望合，青霭入看无。
机器学习-激活函数的直观理解
weixin_44584198的博客
11-24 903
f(x) = (e^x - e^(-x)) / (e^x + e^(-x))由此，任意数量的线性激活的神经元叠加，其功能和单个线性激活的神经元一致（线性叠加后仍然是线性的）。死亡：当神经网络的权重更新导致神经元的输入变为负值，由于ReLU函数的特性，其输出将会为0，并且在后续的训练中，该神经元的输出将一直保持为0，因此某些神经元会不起作用。在机器学习中，激活函数（Activation Function）是用于引入非线性特性的一种函数，它在神经网络的每个神经元上被应用。由此可见，激活函数就是拟合的最小单元。
神经网络激活函数：sigmoid、tanh、ReLU、softmax
wangqianqianya的博客
10-07 5万+
激活函数作用： 将权值结果转化成分类结果。常用于 逻辑回归(Logistic Regression) 神经网络(Neural Network) 这两处，激活函数都用于计算一个线性函数的结果。 sigmoid函数  ：  在机器学习中可用在分类问题上，如逻辑回归模型分类器，将输出值映射到（0,1） 总和为1，可以从概率角度理解，则输出时选择值最大的（概率最大）作为预测值     ...
【机器学习300问】64、简写出常见的激活函数及其导数？
qq_39780701的博客
04-09 592
简写出5个常见的激活函数及其导数
ML/DL之激活函数/求导函数：ML中常用的AF激活函数(step_function、sigmoid、softmax、ReLU等)&求导函数等代码实现之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-20 4148
ML/DL之激活函数/求导函数：ML中常用的AF激活函数(sigmoid/softmax等)&求导函数等代码实现之详细攻略 AF函数&求导函数 1、DIY自定义函数 step_function阶跃函数 #step_function阶跃函数：最初定义，当输入超过0 时，输出1，否则输出0 def step_function(x): if x > 0: ...
常用激活函数介绍、实现以及优缺点分析
qq_45912145的博客
11-27 1478
激活函数 前言 机器学习新手，记录一些自己在学习机器学习中的理解，如果对大家有帮助，我感到很开心，如果有什么语言组织不当的地方，欢迎大家指正！ 一、为什么要用激活函数？ 一般而言，我们构造的模型都是线性的，但是在实际应用过程中，遇到的很多问题其实是非线性的，这个时候，就需要在模型中应用激活函数，从而提高模型的性能。 二、常见激活函数 1.sigmoid函数 sigmoid函数主要用于解决二分类问题，它的函数如下图中的式1； 图像如下图： 在jupyter中构造sigmoid函数的代码如下： i..
机器学习基础：什么是激活函数
weixin_47362565的博客
03-14 387
激活函数将输入信号转换为输出信号，决定神经元是否激活。任务类型：二分类常用Sigmoid，多分类用Softmax。输出范围 (0, 1)，常用于二分类，但易导致梯度消失。输出范围 (-1, 1)，梯度消失问题依然存在。决定神经元激活：根据输入决定神经元是否激活。计算效率：ReLU计算简单，适合大规模数据。梯度消失：ReLU及其变体适合深层网络。引入非线性：使网络能够拟合非线性数据。解决ReLU的神经元死亡问题。用于多分类，输出概率分布。输出=f(加权输入+偏置)
激活函数（Sigmoid、Softmax、ReLU、GELU、Swish、SwiGLU/SiLU）
十里清风
04-29 2198
文章目录LinearNon-linaritesSigmoidSoftmaxSoftmax and Multi-Classification Linear 基于仿射变换的输出单元y^=w⊤x+b\hat{y}=\pmb w^\top\pmb x +by^​=www⊤xxx+b，因其不具有非线性，这些单元一般称为线性单元. 线性输出层常用于产生高斯分布均值： p(y∣x)=N(y;y^,I) p(y|...
c++ Sigmoid/Softmax/Argmax
安静会的博客
09-07 1614
import sys import os import re def martix(): tmp=[] while 1: x=sys.stdin.readline() a= x.strip().split(' ') line=[int(v) for v in a] if line[0]!=-1: tmp.append(line) if l...
机器学习中的数学——激活函数（二）：双曲正切函数（Tanh函数）
热门推荐
冯·诺依曼
10-05 6万+
双曲正切函数是双曲函数的一种。双曲正切函数在数学语言上一般写作tanh⁡\tanhtanh。它解决了Sigmoid函数的不以0为中心输出问题，然而，梯度消失的问题和幂运算的问题仍然存在。 tanh⁡(x)=ex−e−xex+e−x\tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}tanh(x)=ex+e−xex−e−x​ tanh⁡\tanhtanh函数的图像： ...
DL之AF：机器学习/深度学习中常用的激活函数(sigmoid、softmax等)简介、应用、计算图实现、代码实现详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-30 1万+
DL之AF：机器学习/深度学习中常用的激活函数(sigmoid、softmax等)简介、应用、计算图实现、代码实现详细攻略 目录 激活函数(Activation functions)相关配图 各个激活函数 Step Function阶跃函数 sigmoid函数 Tanh双曲正切函数 ReLU线性整流函数 Leaky ReLU函数/PReLU函数 ELU函数 soft...
深度学习激活函数 和 优化函数总结
码农的科研笔记
04-20 1320
1、SGD,Momentum,Adagard,Adam原理？ 【第一张图为不同算法在损失平面等高线上随时间的变化情况】 【第二张图为不同算法在鞍点处的行为比较。】 SGD(Stochastic Gradient Descent)(随机梯度下降) 【意义】单纯的梯度计算容易得到局部最优解，这个时候引入随机变量能很好的在保证梯度下降大体方向情况下得到最优解。也就是说，虽然包含一定...
Week1 Machine Learning Revisited & Introduction to Deep Learning and Feedforward Neural Networks
金州饿霸吃不饱的博客
06-22 574
Machine Learning Revisited & Introduction to Deep Learning and Feedforward Neural Networks
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值