深度学习基础模块之二：激活函数

最新推荐文章于 2026-06-17 14:07:27 发布
转载 最新推荐文章于 2026-06-17 14:07:27 发布 · 229 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
原文链接：https://blog.csdn.net/GrayOnDream/article/details/102955297
标签
#大数据

深度学习领域最常用的10个激活函数，一文详解数学原理及优缺点|深度学习|梯度_新浪科技_新浪网

讲解比较详细，函数表达式，图像，优缺点，适合使用的场景等都表述清楚。包括sigmoid，tanh, relu, leaky relu, elu, prelu,  softmax, swish, maxout, softplus等10种函数

各种激活函数整理总结 | 从零开始的BLOG

与上面一个类似(只是不包含 swish，softplus)，对比性从视觉上更强一点

深入理解深度学习中常见激活函数 - 知乎

对比第一个，多了导数推导过程，以及增加了一个dice激活函数

23种激活函数_落樱弥城的博客-CSDN博客_silu激活函数

各类更全，一共包含23种，但只描述了表达示，导数表达式，函数图像，未对其优缺点及使用场景进行进一步说明

激活函数其实并不简单：最新的激活函数如何选择？|斜率|梯度|导数_网易订阅

包含selu, gelu, swish, mish

深度学习基础——卷积神经网络的基础模块
weixin_39753819的博客
04-20 1777
批归一化是一种用于神经网络中的技术，旨在减少训练过程中的内部协变量偏移，并且可以作为一个正则化项来降低网络的过拟合程度。通过对每个小批量输入进行归一化，使得网络的输入更加稳定，加快收敛速度，同时提高网络的泛化能力。
学习笔记：深度学习（1）——基础概念和激活函数
Morganfs的博客
04-10 1万+
学习时间：2022.04.08~2022.04.09 主要梳理深度学习的最基础的一些概念，以及14个激活函数。
常见的深度学习基础模块总结
skyeah_的博客
05-17 1427
然后输入embedding乘上Q其实还是可以理解成原Token表示（就加了个权重），乘上K后，就变成了token之间的正方形相关矩阵（假设输入“我爱你”，编码为123，那第一行相关矩阵是【1 * 1，1 * 2，1 * 3】）。再乘以一个V，V的每一列可以看成【1，2，3】，那么【QK】的第一行乘以V每一列，每个数结果都是【111+122+133】（乘号省略），这些数形成的列表，就是【QK】*V的第一行。在这个列表中，融合了1的自身情况与其他2，3token的相关情况，2，3的位置情况。
深度学习总结（12）
yyc的博客
04-14 872
例如，简单的向量数据存储在形状为(samples，features)的2阶张量中，通常用密集连接层[denselyconnected layer，也叫全连接层(fully connected layer)或密集层(dense layer)，对应于 Keras 的 Dense 类〕来处理。因此，假设空间的结构(模型架构)是非常重要的。有些层是无状态的，但大多数层具有状态，即层的权重。层兼容性(layer compatibility)的概念具体指的是，每一层只接收特定形状的输入张量，并返回特定形状的输出张量。
深度学习基础模块之一：各种卷积操作
guo___ke的博客
06-27 338
主要是对各种卷积操作优秀博文的总结与推荐
整理Sigmoid~Dice常见激活函数，从原理到实现
赵大宝的博客
02-21 8299
本文首发于我的个人博客： 激活函数：https://fuhailin.github.io/activation-functions/ 并同步于我的公众号：赵大寳Note（ID：StateOfTheArt），回复关键词【激活函数】下载全部代码。 激活函数之性质 1. 非线性：即导数不是常数。保证多层网络不退化成单层线性网络。这也是激活函数的意义所在。 2. 可微性：保证了在优化中梯度的可计算性。虽...
AI_深度学习-2.深度学习基础概念
最新发布
weixin_36848576的博客
06-17 213
激活函数：隐藏层用 ReLU（默认首选），多分类输出层用 Softmax。训练流程：前向传播 → 计算 loss → 反向传播 → 更新参数（梯度下降）。关键超参数：学习率（步长）、Epoch（轮数）、Batch（批量大小）。过拟合应对：Dropout、Batch Normalization、早停、数据增强、正则化。所有深度学习模型都遵循这套原理，理解本章是看懂一切模型的基础。
【深度学习】Java DL4J 2024年度技术总结
在技术的广袤天地里，本博客如精准罗盘。剖析前沿科技，深掘代码奥秘，以精炼笔触，带您穿越复杂技术迷宫，速达知识彼岸。
01-18 1万+
在当今数字化浪潮中，深度学习作为人工智能领域的核心驱动力，正以前所未有的速度改变着我们的生活和工作方式。从图像识别到自然语言处理，从医疗诊断到金融预测，深度学习的应用场景无处不在，展现出巨大的潜力和价值。Java作为一门广泛应用于企业级开发的编程语言，以其稳定性、可移植性和丰富的类库资源，在软件开发领域占据着重要地位。然而，传统的Java开发在面对深度学习复杂的模型构建和大规模数据处理时，往往显得力不从心。的出现，为Java开发者打开了一扇通往深度学习世界的大门。DL4J是一个专为Java和Scala。
深度学习——激活函数
batian123的博客
09-04 5196
当 x0 时，则不存在饱和问题。所以，ReLU 能够在 x>0 时保持梯。ReLU 激活函数将小于 0 的值映射为 0，而大于 0 的值则保持不变，它。即：Softmax 就是将网络输出的。通过 softmax 函数，就。（也就是值对应最大的）节。，这种激活函数运算更为。，那么我们将它理解成。
常用的激活函数合集（详细版）
热门推荐
caip12999203000的博客
09-27 5万+
从激活函数的公式及导函数、图像、优缺点或特点来描述了激活函数，以及总结了激活函数之间的优势，并且提供了pytorch的代码案例，以便于大家快速上手。
PyTorch基础之激活函数模块中Sigmoid、Tanh、ReLU、LeakyReLU函数讲解（附源码）
showswoller的博客
04-29 8318
PyTorch基础之激活函数模块中Sigmoid、Tanh、ReLU、LeakyReLU函数讲解（附源码）
一文搞懂激活函数
ytusdc的博客
08-01 1万+
1、什么是激活函数 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。 2、激活函数的用途（为什么需要激活函数）？ 1. 对于y=ax+b 这样的函数，当x的输入很大时，y的输出也是无限大小的，经过多层网络叠加后，值更加膨胀的没边了，这显然不符合我们的预期，很多情况下我们希...
DIEN-序列模型与推荐系统的结合
qq_39691463的博客
11-12 1624
一：DIEN的进化动机 1，序列信息加强了最近行为对下次行为预测的影响。 2，序列模型能够学习到购买趋势的信息 如果放弃了序列信息，则模型学习时间和趋势这类信息的能力就会变弱，推荐模型就仍是基于用户所有购买历史的综合推荐，而不是针对下一次购买的推荐，显然从业务角度讲，后者才是推荐系统真正的目标。 二：DIEN的模型结构 从整体上看，模型仍然是输入层+embedding层+链接层+全链接神经网络层+输出层。 ...
激活函数 Sigmoid、tanh、*LU、softPlus、maxOut、softmax、dice- 杂记
xuanshuang的博客
06-07 1528
激活函数
shape函数_深度学习中Batch Normalization和Dice激活函数
weixin_39559079的博客
11-28 408
一、前言 最近在使用阿里的DIEN(Deep Interest Evolution Network for Click-Through Rate Prediction)模型优化我们自己的信息流推荐，阿里给了一个实现的github地址https://github.com/mouna99/dien，因为要使用tf serving部署服务，所以对代码做了重构，第一版上线后，没有明显的收益，再次re...
深度学习分类网络
PeaceInMind的博客
09-24 2万+
主要介绍一些分类网络，并计算了FLOPS，参数个数和感受野信息，方便大家查询。 很多本人没有用过，另外也没有认真校对，有可能有错误。感受野的公式应该有错误，大家可以忽略 1 VGG-16 VGG[1]是非常经典的模型，是2014 ImageNet的亚军,其中当属VGG16应用最广泛。核心思想：小核，堆叠。主要分成5个stages,22333，13个卷积层，16的意思应该是加上3个...
深度学习中模块设计汇总（一）
learning5201的博客
08-25 3217
2.1离散小波逆变换 Inverse discrete wavelet transform (IDWT)全局上下文 res-dense 模块包含一个残差密集块 (RDB) 和一个全局上下文块 (GCB)DWT 的本质是将输入特征图分解为高频和低频分量，离散小波变换（DWT）上采样和下采样。1.全局上下文 res-dense 模块。1.2 全局上下文块 (GCB)1.1 残差密集块 (RDB)2.离散小波变换（DWT）............
激活函数总结
weixin_49717022的博客
07-17 2574
一、引入激活函数的目的 图1：带一层隐藏层的神经网络 先看一个只含一层隐藏层的神经网络，如图1所示。输入为 n 条样本X，隐藏层H的权重和偏置分别为W_h，b_o，输出层O的权重和偏置分别为W_o，b_o。输出层的计算为： H=XW_h+b_h (1) O=HW_o+b_o (2) 将(1),(2)联合起来可得： O=(XW_h+b_h)W_o+b_o=XW_hW_o+b_hW_o+b_o 从(3)可以看出，虽然加入了隐藏层，但是还是等效于单层的神经网络：权重为 W_hW_o ，偏置为 b_hW_o+b_
深度学习中Batch Normalization和Dice激活函数
永远飞翔的鸟
06-13 769
转载：https://zhuanlan.zhihu.com/p/78829402?utm_source=wechat_timeline
深度学习常用激活函数
AI_BigData_WH的博客
09-10 5402
在感知器模型、神经网络模型、深度学习模型中均会看见激活函数的声影。激活函数又被称为转移函数、激励函数、传输函数或限幅函数，其作用就是将可能的无限域变换到一指定的有限范围内输出，这类似于生物神经元具有的非线性转移特性。 常用的激活函数有：线性函数、斜坡函数、阶跃函数、符号函数、Sigmoid函数、双曲正切函数、Softplus函数、Softsign函数、Relu函数及其变形、Maxout函数等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值