Transformer——Q61 LayerNorm归一化公式 (x-μ)/σ ⊙ γ +β 的梯度推导

最新推荐文章于 2026-08-14 09:17:03 发布
原创 最新推荐文章于 2026-08-14 09:17:03 发布 · 1.0k 阅读 · 25

 该问题归类到Transformer架构问题集——残差与归一化——归一化技术。请参考。

Q61 推导 LayerNorm 归一化公式 \frac{x - \mu}{\sigma} \bigodot \gamma + \beta 的梯度

1. 引言

在大型语言模型（LLM）的蓬勃发展中，各类数学工具与技术犹如璀璨星辰，照亮模型性能提升与优化的道路。LayerNorm 归一化作为其中的关键技术，凭借其在稳定模型训练、加速收敛等方面的卓越表现，备受瞩目。深入探究其梯度推导过程，不仅能让我们洞悉技术背后的数学奥秘，更有助于在 LLM 应用中精准驾驭这一技术。接下来，我们将从基础概念入手，逐步剖析 LayerNorm 归一化公式梯度的推导过程，分析其优缺点、优化策略，并结合实际应用案例给出代码示例，全面且深入地探索这一重要内容。

2. 基础概念回顾

标签
#transformer #深度学习 #人工智能 #残差连接 #归一化
最低0.47元/天 解锁文章
【信息科学与工程学】计算科学与自动化-第八篇04 大语言模型函数与认知函数列表
weixin_49199313的博客
12-26 889
线性代数运算：矩阵乘法、分解、求逆等微积分运算：梯度、散度、旋度、拉普拉斯算子概率统计：分布函数、统计量、假设检验信号处理：傅里叶变换、小波变换、滤波器。
【信息科学与工程学】【数据科学】第十八篇 数值分析 系列二 数值算法设计01
weixin_49199313的博客
06-24 96
编号类型领域问题问题的数学分析及数值分析算法逐步推理思考的数学表达式参数列表及参数的边界范围及条件及常数关联知识1数值积分数值逼近计算定积分 I=∫ab​f(x)dx的近似值。数学分析：将积分区间等分，利用插值多项式近似被积函数，构造机械求积公式。数值分析：Newton-Cotes公式是等距节点的插值型求积公式。高阶公式（n≥8）因Cotes系数有正负，数值不稳定。偶阶公式（如Simpson）具有n+1次代数精度。为提高精度，常采用复化求积法（将区间细分后应用低阶公式）。
LayerNorm层归一化
Kelly_Ai_Bai的博客
12-19 1万+
LayerNorm层归一化
大模型——理论基础——常用的Norm
fan_fan_feng的专栏
02-01 9504
这样的顺序对于训练更深的网络可能更稳定，因为归一化的输入可以帮助缓解训练过程中的梯度消失和梯度爆炸问题。比于LN，可以发现，不论是分母的方差和分子部分，都取消了均值计算，经作者在各种场景中实验发现，减少约 7%∼64% 的计算时间。通过上面三组实验，作者认为 Post-LN 的不稳定性部分来自于梯度消失以及初始化的时候，更新太大，陷入了局部最优，跑不出去了。都是根据模型的Encoder（N）和Decoder（M）层数计算出来的，通过如下方案，作者把模型的层数提升到了1000+。
【深度学习】BatchNorm、LayerNorm
研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习
04-14 1万+
BatchNorm、LayerNorm的概念、作用、实现
LayerNorm的理解
Jayn的专栏
04-30 1万+
LayerNorm计算公式： y=x−E(x)Var⁡(x)+ϵ∗γ+β y=\frac{x-E(x)}{\sqrt{\operatorname{Var}(x)+\epsilon}} * \gamma+\beta y=Var(x)+ϵ​x−E(x)​∗γ+β 一般有两种计算LayerNorm的方式，这两种方式的区别在与进行归一化操作的维度不同，假设输入的tensor维度为NxCxHxW,则两种计算方式分别如下： （1）计算一个batch中所有channel中所有参数的均值和方差，然后进行归一化，操作维度为C
pytorch LayerNorm参数详解，计算过程
weixin_39228381的博客
08-11 9万+
说明 LayerNorm中不会像BatchNorm那样跟踪统计全局的均值方差，因此train()和eval()对LayerNorm没有影响。 LayerNorm参数 torch.nn.LayerNorm( normalized_shape: Union[int, List[int], torch.Size], eps: float = 1e-05, elementwise_affine: bool = True) normalized_shape
【信息科学与工程学】【制造工程】第一百四十四篇 计算光刻中的问题01
最新发布
weixin_49199313的博客
08-14 218
计算光刻的数学骨架是一条前向算子链： 光源J(fx​,fy​)​​TCC​光瞳P(fx​,fy​)​​Hopkins​空间像I(x,y)​​fresist​​硅片图形Z(x,y)​​MRC​可制造掩模Mmanufacturable​​​ 所有子问题（OPC / PSM / ILT / SMO）都是这条链的逆问题，区别只在优化变量集与约束集​ 。列内容领域 / 子领域​计算光刻 / 光学成像建模类型 / 模式 / 问题​前向问题；Abbe 模型 → Hopkins TCC 模型 → SOCS 快速算法系统化
nn.LayerNorm的实现及原理
芒果干的博客
02-03 7万+
LayerNorm 在transformer中一般采用LayerNorm，LayerNorm也是归一化的一种方法，与BatchNorm不同的是它是对每单个batch进行的归一化，而batchnorm是对所有batch一起进行归一化的 y=x−E(x)Var(x)+ϵ∗γ+β y = \frac{x-E(x)}{\sqrt{Var(x)+\epsilon}}*\gamma+\beta y=Var(x)+ϵ​x−E(x)​∗γ+β nn.LayerNorm(normalized_shape, eps=1e-05
深度学习模型组件-LayerNorm-层归一化（Layer Normalization, LayerNorm）
404 Not Found
03-05 5293
层归一化（Layer Normalization，简称 LayerNorm）是一种用于深度学习的归一化技术，由 Ba, Kiros, and Hinton在 2016 年提出。它的主要目的是解决批归一化（Batch Normalization, BN）在小批量（mini-batch）训练或循环神经网络（RNN）中的局限性。
【大模型】归一化方法之Batch Norm, Layer Norm, RMS Norm
酒酿小圆子呀～
03-29 3288
Normalization在统计学中一般翻译为归一化，现在已经成了神经网络中不可缺少的一个重要模块了。还有类似的是Standardization，一般翻译成标准化。这两个概念有什么区别呢？归一化是将数据缩放到0-1之间标准化是将数据缩放到均值为0，方差为1的正态分布。有时候Normalization和Standardization会混淆，注意看清楚即可，不纠结细节。注意：我们下面讲到的Normalization归一化严格讲应该称为Standardization 标准化。
Batchnorm 和Layernorm 区别
Naturino的博客
01-16 4650
对比Batchnorm和Layernorm的区别
深入理解NLP中LayerNorm的原理以及LN的代码详解
捡起一束光的博客
12-11 4万+
在NLP中，大多数情况下大家都是用LN（LayerNorm）而不是BN（BatchNorm）。最直接的原因是BN在NLP中效果很差，所以一般不用。LN是把**normalized_shape这几个轴的元素**都放在一起，取平均值和方差的，然后对每个元素进行归一化，最后再乘以对应的$\gamma$和$\beta$（**每个元素不同**）。**LN共有N1*N2个mean和var**（假设输入数据的维度为(N1,N2,normalized_shape），normalized_shape表示多个维度）......
BatchNorm、LayerNorm、InstanceNorm以及GroupNorm
zwplus的博客
04-04 3669
如果某个特征的值明显大于另一个特征，这会导致模型输出的结果对该特征变化变的十分敏感。
神经网络中的LayerNorm详解
wzkecps770126的博客
01-17 3922
假设我们有一个批次的NLP数据，包含3个句子（batch_size=3），每个句子有4个单词，每个单词用2维的词向量表示。对于第2个特征维度（所有词向量的第2个数字）：计算 [2,4,6,8, 3,5,7,9, 4,6,8,10] 的均值和方差。对于第1个特征维度（所有词向量的第1个数字）：计算 [1,3,5,7, 2,4,6,8, 3,5,7,9] 的均值和方差。BatchNorm：跨样本（句子）计算，把每个特征维度在所有句子上的值收集起来，单独归一化。
PyTorch学习之归一化层（BatchNorm、LayerNorm、InstanceNorm、GroupNorm）
热门推荐
mingo_敏
12-18 12万+
BN，LN，IN，GN从学术化上解释差异： BatchNorm：batch方向做归一化，算NHW的均值 LayerNorm：channel方向做归一化，算CHW的均值 InstanceNorm：一个channel内做归一化，算H*W的均值 GroupNorm：将channel方向分group，然后每个group内做归一化，算(C//G)HW的均值 ...
layernorm
数字人生
05-09 1206
LayerNorm最初由Ba等人于2016年提出，并被Vaswani等人在其著名的《Attention is All You Need》论文中引入到Transformer模型中。GPT-2采用了相同的架构，但将LayerNorm的位置移动到了现在被称为预归一化版本的位置，即在Transformer的每个块的第一层进行归一化，这有助于提高训练稳定性。
Pytorch LayerNorm源码详解
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
08-15 7699
Pytorch LayerNorm源码详解
详解三种常用标准化：Batch Norm & Layer Norm & RMSNorm
争取早日成为硅农
10-07 3万+
Normalization现在已经成了神经网络中不可缺少的一个重要模块了，并且存在多种不同版本的归一化方法，其本质都是减去均值除以方差，进行线性映射后，使得数据满足某个稳定分布，如下图所示：深度学习中，归一化是常用的稳定训练的手段，CV 中常用 Batch Norm；Transformer 类模型中常用 layer norm，而 RMSNorm 是近期很流行的 LaMMa 模型使用的标准化方法，它是 Layer Norm 的一个变体。
归一化：BatchNorm、LayerNorm、RMSNorm
weixin_48222697的博客
06-24 2127
本文分析了神经网络中"内部协变量偏移"问题及其解决方案。主要内容包括：1）归一化的动机在于解决不同尺度输入导致的训练困难；2）BatchNorm通过通道归一化处理图像数据，但存在推理阶段差异；3）LayerNorm更适合序列数据，与batch无关且训练推理一致；4）RMSNorm简化了LayerNorm的计算；5）PreNorm在模型架构中的重要性，如LLaMA采用前置RMSNorm。归一化技术能提高模型稳定性、加快收敛，是现代深度神经网络的关键组成部分。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

墨顿

唵嘛呢叭咪吽

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值