RT-DETR改进策略【卷积层】| CVPR 2025：动态双曲正切（Dynamic Tanh，DyT）模块，维持模型性能与训练稳定性

最新推荐文章于 2026-08-20 11:34:22 发布
原创 最新推荐文章于 2026-08-20 11:34:22 发布 · 574 阅读 · 0 GEO检测

一、本文介绍

本文记录的是利用DyT模块优化RT-DETR的目标检测网络模型。

DyT（Dynamic Tanh，动态双曲正切模块） 的设计旨在，替代归一化层，在无需计算激活统计量的情况下实现对极端值的压缩和输入的动态缩放。本文将深入研究DyT的原理，并将其应用到RT-DETR中，通过以元素级操作替换归一化层、保留非线性压缩特性，维持模型性能与训练稳定性。

专栏目录：RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址：RT-DETR改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

文章目录

二、DyT介绍

Transformers without Normalization

2.1 出发点

归一化层在现代神经网络中应用广泛，被视为训练深度网络的关键组件。然而，研究发现Transformer中的层归一化（LN）层映射输入到输出的曲线类似tanh函数，呈S形，会缩放输入激活并压缩极端值。

基于这一观察，研究人员提出动态双曲正切（Dynamic Tanh，DyT）模块，作为归一化层的替代方案。

2.2 结构原理

DyT层的定义为 D y T ( x ) = γ ∗ t a n h ( α x ) + β DyT(x)=\gamma * tanh (\alpha x)+\beta DyT

标签
#目标检测 #深度学习 #计算机视觉 #RT-DETR
了解本专栏 订阅专栏 解锁全文
RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
12-03 2万+
1️⃣本专栏已更新260多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，紧跟学术热点，适应不同的任务场景。3️⃣团队内发表数篇SCI论文，熟悉完整的发表流程，订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新，最近更新时间：2024-12-4。项目介绍在大家购买专栏后，加入学习
YOLOv12改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
03-10 2万+
1️⃣ 什么！不知道如何改进模型⁉️ 本专栏所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行，性价比极高。2️⃣ 找不到合适的模块⁉️ 所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，并进行二次创新，新颖度高，创新度高，能够适应不同的任务场景。3️⃣ 不确定自己改进的步骤、结果是否正确⁉️ 订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容，非常适合新手。4️⃣ 团队内发表数篇SCI论
YOLO12 改进｜Dynamic Tanh（DyT）减少背景噪声干扰，尤其在复杂场景下（如多目标重叠、低分辨率目标）提升检测准确率。
qq_64693987的博客
06-20 1792
《DynamicTanh：归一化层的轻量化替代方案及其跨领域应用》 研究提出DynamicTanh（DyT）作为神经网络归一化层（如LN、BN）的创新替代方案。DyT通过可学习参数α与tanh函数结合，模拟归一化层对极端值的"挤压"效应，其元素级操作显著简化计算流程（仅需3个参数）。实验证明，DyT在医学影像（增强病灶特征稳定性）、遥感（适应光谱差异）、工业检测（强化缺陷边缘）和农业（缓解光照干扰）等领域均优于传统归一化层。与YOLO结合时，DyT提升小目标检测精度30%，在复杂场景下保
YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
热门推荐
Limiiiing的博客
10-11 6万+
如今各种网络模型更新迭代越来越快，计算机视觉相关的文章也越来越多，多到一些普通，通用的改进点无法达到发表的要求。本专栏正是解决这个问题！如何寻找创新点？为什么要使用这个模块？如何才能提升模型的精度？这是贯穿我们研究始终的问题。创新点在这个专栏中我已经整理好了，这已经省去了大部分时间，但是当我们使用这些新的模块去优化已有的模型，如何才能提升模型的精度，才是我们要达到的最终目标。当然我们可以使用传统的A+B+C的方法去堆积模块，然后是进行大量的实验去排列组合以实现最终的精度提升，这无可厚非。
何凯明和Yann LeCun署名的文章—— 动态tanh（DyT）：重新审视Transformer中的归一化层
阿正的梦工坊
03-24 4156
本文将详细介绍DyT的设计理念、实现方式、实验结果，并提出一些对深度学习研究者的洞见。
YOLOv8改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
12-24 1万+
1️⃣本专栏已更新150多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，紧跟学术热点，适应不同的任务场景。3️⃣团队内发表数篇SCI论文，熟悉完整的发表流程，订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新，最近更新时间：2024-12-24。项目介绍在大家购买专栏后，加入学
YOLOv10改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
10-11 1万+
如何寻找创新点？为什么要使用这个模块？如何才能提升模型的精度？这是贯穿我们研究始终的问题。创新点在这个专栏中我已经整理好了，这已经省去了大部分时间，但是当我们使用这些新的模块去优化已有的模型，如何才能提升模型的精度，才是我们要达到的最终目标。当然我们可以使用传统的A+B+C的方法去堆积模块，然后是进行大量的实验去排列组合以实现最终的精度提升，这无可厚非。
YOLO26改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
02-10 4964
1️⃣ 什么！不知道如何改进模型⁉️ 本专栏已更新260多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行，性价比极高。2️⃣ 找不到合适的模块⁉️ 所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，并进行二次创新，新颖度高，创新度高，能够适应不同的任务场景。3️⃣ 不确定自己改进的步骤、结果是否正确⁉️ 订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容，非常适合新手
YOLOv13改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
08-25 8631
1️⃣ 已更新种不同的改进方案，专栏内的每篇文章皆，均可顺利运行。2️⃣ 订阅专栏即可进群获取以及从的各种答疑内容。3️⃣ 全新的YOLOv13改进专栏，，只为更好的满足论文发表的要求。专栏内容，专栏实时评分，全网最高，质量保证。🎫。。
人工智能、机器学习和深度学习到底是什么关系？
Michael_Jay的博客
08-18 336
人工智能（AI）、机器学习（ML）和深度学习（DL）是三个层级嵌套的概念：DL⊂ML⊂AI。AI是最广泛的研究领域，关注机器完成智能任务的能力；ML是实现AI的一类方法，通过数据训练模型；DL则是ML的一个分支，使用多层神经网络自动学习特征表示。 具体区别体现在： AI包含规则系统和数据驱动方法，ML专注于从数据中学习规律 传统ML依赖人工特征工程，DL能自动提取多层次特征 DL在图像/语音/文本等非结构化数据上表现突出，但需要更多数据和算力 项目选择应基于任务特性：规则明确用编程，结构化小数据用传统ML（
RNNoise：极小体积的实时降噪 baseline
最新发布
AI 音频小牛的博客
08-20 252
RNNoise 是小模型也能做实用降噪的经典证明 —— 用 30 年 DSP 沉淀（Bark scale / BFCC / pitch analysis / comb filter）打底 · 只用 GRU 学最难手工调的那部分（每帧 22 个 band 该给多少 gain）· 换来 100 KB 的编译体积和 10 ms 延迟。这是端侧 real-time 场景（视频会议 · 通话 · WebRTC · Discord noise gate · 麦克风驱动层）至今仍常见的默认选择。
循环神经网络 RNN、LSTM、GRU 是什么？为什么能处理序列？
404 Not Found
08-16 545
上篇我们聊完CNN，看它怎么像放大镜一样，逐块扫图像、提取特征。 但有一类数据，CNN处理起来很吃力——什么数据呢？ 有时间顺序的数据。 你跟 Siri 说的那句"嘿，明天早上七点叫我起床"——这串声音信号得按顺序听完，才能理解意思。
深度学习到底是什么？它和机器学习有什么区别？
404 Not Found
08-11 1557
你有没有想过，为什么现在解锁手机只要看一眼、翻译外语拍张照就能出结果、下棋甚至能赢过世界冠军？ 这些事情听起来像科幻，但背后靠的是同一个技术——深度学习。
AI与深度学习：从原理到应用
m0_73407070的博客
08-17 445
深度学习是人工智能领域过去十年最激动人心的突破。从识别一张图片中的猫，到与人类进行流畅对话，再到辅助医生拯救生命，深度学习正在不断拓展机器能力的边界。它不是魔法，而是数学、算法和数据的精妙结合。理解深度学习的基本原理，不仅能帮助我们更好地使用这些工具，也能让我们在这个AI驱动的时代中，做出更明智的判断和选择。未来已来，而深度学习正是那扇通往未来的大门。
卷积神经网络一：CNN 核心 —— 卷积、池化与特征提取
root_123456_的博客
08-17 272
卷积神经网络一：CNN 核心 —— 卷积、池化与特征提取
深度学习基础-Harness：从评估框架到工程落地
2501_94116301的博客
08-18 310
在深度学习工程语境中，Harness 通常指一套模型评测与验证框架。它的核心目标是把「训练好的模型到底好不好」这件事从主观感受变成可重复、可量化的工程流程。统一的数据集加载接口，屏蔽不同数据来源的差异；标准化的推理流程，支持批量评测与单条调试；可扩展的评估指标，如准确率、困惑度、ROUGE、F1 等；结果记录与对比机制，便于多轮实验追踪。理解 Harness 之前，需要先回到它的上游基础：深度学习模型是如何被训练、推理和评估的。Harness 并不是某个特定框架的专属名称，而是一种。
【超详细】CREPE 与 SPICE：深度学习基频检测的原理、架构与实践
民乐团扒谱机的博客
08-16 496
摘要 本文系统介绍了基于深度学习的基频检测方法，重点分析了CREPE和SPICE两种模型。传统方法依赖手工特征设计，难以应对真实音频的多样性。CREPE通过卷积神经网络将基频检测转化为分类问题，采用六层一维卷积架构和概率分布输出，实现了高精度估计。SPICE则在保持性能的前提下，通过深度可分离卷积等技术大幅降低计算量，适合移动端部署。文章详细阐述了模型架构、训练策略（如数据增强和标签软化）及实际部署方案，展现了深度学习在基频检测领域的优势与潜力。
深度学习 & PyTorch笔记
08-18 189
深度学习基础概念、梯度下降原理 → PyTorch 框架、张量科学计算 → 网络组件、三种模型搭建方式**完整串联；同时对比传统 sklearn，厘清同义术语，配套可运行代码示例，打通理论和编程实践。
基于贝叶斯优化的BiLSTM(BO-BiLSTM)一维时间序列预测算法matlab仿真
MATLAB,verilog,python,opencv,tensorflow,caffe,C,C++
08-15 227
本文提出了一种基于贝叶斯优化(BO)和双向长短期记忆网络(BiLSTM)组合的时间序列预测方法BO-BiLSTM。该方法通过贝叶斯优化自动搜索BiLSTM的关键超参数（如学习率、神经元数量、窗口长度等），以提升模型预测精度。文章详细阐述了BiLSTM原理、贝叶斯优化的高斯过程代理模型和采集函数机制，并给出了完整的实现步骤：包括数据预处理、超参数空间定义、目标函数构建、贝叶斯优化迭代等流程。实验结果表明，该方法能有效降低预测误差，附带的MATLAB程序工程展示了训练集/测试集的预测效果对比图和误差分析图。该集
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Limiiiing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值