5min看懂torch.einsum()计算方法-torch.einsum()手动推导详解

最新推荐文章于 2026-06-19 09:52:36 发布
原创 最新推荐文章于 2026-06-19 09:52:36 发布 · 3.6k 阅读 · 11
标签
#pytorch #线性代数 #机器学习 #人工智能
本文详细分析了torch.einsum函数在处理复杂案例中的计算过程，尤其强调了爱因斯坦求和约定的应用，通过实例展示了如何理解和应用张量乘法和广播机制。

引言: torch.einsum()的分析和介绍已经有很多博客介绍过了， 但大多数的落脚点都是爱因斯坦求和约定，许多篇幅是用于介绍爱因斯坦求和约定到的各项法则，而实际案例分析方面只是草草给出一笔带过，涉及到的案例也较为简单。而实际我们要用到或者看到torch.einsum()的时候往往是在计算非常复杂的情况下。
因此本文将从实际复杂案例的角度对torch.einsum()的计算过程进行分析，一步一步的推导最终输出的每个元素和输入元素之间的关系。

爱因斯坦求和约定

 首先，torch.einsum()的基础原理是爱因斯坦求和约定，此处为了行文的整体性将对其进行简要的介绍，如果只关注计算本身，可以跳到下一节。爱因斯坦求和约定是为了简化计算而诞生的一种“记法”，就类似于我们用 × \times ×来标记乘法一样，不同之处在于爱因斯坦求和约定可表示的运算更为复杂、灵活性也更高。爱因斯坦求和约定的典型写法为：
i 1 i 2 . . . i N , j 1 j 2 . . . j M → i k 1 i k 2 . . j l 1 j l 1 , k 1 . . . ∈ N , l 1 . . l ∈ M i_1i_2...i_N,j_1j_2...j_M\rightarrow i_{k_1}i_{k_2}..j_{l_1}j_{l_1},k_1...\in N,l_1..l\in M i1​i2​...iN​,j1​j2​...jM​→ik1​​ik2​​..jl1​​jl1​​

最低0.47元/天 解锁文章
夜半罟霖
关注
torch.einsum用法详解
bj_zhb的博客
03-20 2万+
是PyTorch中的一个函数，用于执行爱因斯坦求和约定（Einstein summation）运算。它提供了一种灵活而强大的方式来执行多维张量的操作和变换。其中，equation是一个字符串，用于指定爱因斯坦求和约定的运算方式，operands是一个或多个输入张量。在equation中，你可以使用大写字母表示张量的维度标识符，使用小写字母表示对应维度的长度。通过指定输入张量和输出张量之间的维度关系，你可以定义所需的运算操作。下面是一个简单的例子，展示了如何使用# 两个向量的点积。
torch.einsum() 用法说明
欢迎关注，共同进步！
12-25 5946
这里，j 是求和下标，i 和 k 是输出下标（有关原因的更多详细信息，请参见下面的部分）。例外情况是，如果对相同的输入操作数重复下标，在这种情况下，此操作数的标有此下标的维度必须在大小上匹配，并且操作数将被其沿这些维度的对角线替换。，它将覆盖下标未覆盖的维度，例如，对于具有 5 维的输入操作数，等式“ab…中的字母） ，用逗号 (‘,’) 分隔每个操作数的下标，例如’ij,jk’指定两个二维操作数的下标。中相同数量的维度，但省略号的“形状”（它们覆盖的维度的大小）必须一起传播。) – 爱因斯坦求和的下标。
torch.einsum 的 10 个常见用法详解以及多头注意力实现
qq_43069203的博客
03-02 3066
torch.einsum 是 PyTorch 提供的一个高效的张量运算函数，能够用紧凑的 Einstein Summation 约定（Einstein Summation Convention, Einsum）描述复杂的张量操作，例如矩阵乘法、转置、内积、外积、批量矩阵乘法等。
Pytorch中, torch.einsum详解。
热门推荐
a2806005024的专栏
07-19 7万+
爱因斯坦简记法：是一种由爱因斯坦提出的，对向量、矩阵、张量的求和运算的求和简记法。 在该简记法当中，省略掉的部分是：1）求和符号与2）求和号的下标 省略规则为：默认成对出现的下标（如下例1中的i和例2中的k）为求和下标。 我们举例说明： 1）用简化表示内积 其中o为输出。 2) 用简化表示矩阵乘法 其中为输出矩阵的第ij个元素。 这样的求和简记法，能够以一种统一的方...
torch.einsum详解
SimpleLearning
08-20 3259
用于计算queries和keys张量在注意力机制中的点积，相似性得分。它通过爱因斯坦求和约定指定了如何在多维张量上执行这些操作，使得代码更简洁、效率更高。
Qwen 3.5多模态异步训练实战：slime框架下的工业级工程落地
最新发布
weixin_33624741的博客
06-19 279
多模态大模型训练正从研究范式迈向工业部署，其核心挑战在于图文异构数据的动态对齐与硬件受限下的高吞吐调度。Qwen 3.5凭借强鲁棒的视觉编码器和system prompt前置设计，在多视角、多尺度工业图像理解中展现出显著优势；而slime框架通过解耦数据搬运与计算，为T4级显卡集群提供了低延迟、高GPU利用率的异步流水线基础。本文聚焦真实产线场景——工业质检多模态诊断系统，详解如何构建数据层（动态patching+结构化batch）、模型层（自定义CrossModalFuser）与调度层（双线程协同）三层架
从零手写LLM：PyTorch底层实现Transformer核心模块
angel192939的博客
06-15 477
Transformer是现代大语言模型的基石架构，其核心原理涵盖自注意力机制、位置编码、前馈网络与层归一化等关键组件。理解这些模块的数学本质与计算流程，是掌握模型行为、调试训练异常及优化推理性能的技术前提。本文聚焦纯PyTorch手写实现，深入剖析RoPE旋转位置编码、手动softmax数值稳定处理、QKV投影的bias取舍、LayerNorm参数维度对齐、GELU梯度衰减防控等高频工程陷阱。通过构建2层微型LLM，暴露初始化尺度、梯度传播路径、mask广播规则等隐含假设，帮助工程师建立对注意力权重、残差连
三维深度学习实战：PyTorch原生3D建模与工业级优化
diegouyi3472的博客
06-16 309
三维深度学习并非二维CNN的简单升维，而是面向点云、体素、网格等异构几何数据的全新建模范式。其核心在于理解三维张量的内存布局、坐标敏感性与旋转不变性等本质特性，并据此设计混合表征架构。相比通用框架封装，原生PyTorch+Triton的底层控制可显著提升GPU访存效率与推理鲁棒性，尤其在工业缺陷检测、医学CT分割和BIM构件识别等高精度场景中，显存占用降低57%、推理速度提升近3倍。本文聚焦三维数据加载、Conv3D陷阱规避、几何感知训练策略及ONNX/TensorRT部署等真实工程断点，提供可复现的Pyt
PyTorch Transformer组件级调试与工业落地实战指南
anque1234的博客
06-16 384
Transformer不是抽象公式堆砌，而是由Embedding、Positional Encoding、Multi-Head Attention、FFN、LayerNorm和LM Head等强耦合模块构成的精密系统。其核心原理在于各组件间的数据流约束、梯度传播路径与数值稳定性协同；技术价值体现在可调试性、硬件适配性与任务泛化能力；典型应用场景覆盖NLP微调、代码生成、生物序列建模及长文本推理；而真正决定成败的，是LayerNorm的eps设置、MHA的batch_first对齐、RoPE的奇偶位校验等组件
「解析」如何优雅的学习 torch.einsum()
绿色羽毛
01-29 1万+
einsum方法解析：einsum(爱因斯坦求和) 是Pytorch、TensorFlow、numpy中一个十分优雅的方法。Einsum 可以计算向量、矩阵、张量运算，包括计算 transposes、sum、column/row sum、Matrix-Vector Multiplication、Matrix-Matrix Multiplication。如果利用得当，sinsum绝对是你科研路上的一把利器，可完全代替其他的矩阵计算方法。
torch.einsum()
weixin_44012667的博客
07-13 1119
是 PyTorch 中一个功能强大的函数，用于执行爱因斯坦求和约定（Einstein summation convention）。这个函数可以用来进行多维数组（张量）间的各种操作，如矩阵乘法、内积、外积、转置和更多复杂的张量操作。
pytorch中einsum详解
欢迎来到道的世界
12-20 5165
引言  在线性代数里，经常会遇到各种计算操作符号，比如矩阵的点积，外积，HHH积，KKK积，转置等。爱因斯坦求和约定提供了一套简单优雅的规则可以实现以上操作，目的是省略掉求和公式中的求和号“+”。 定义（爱因斯坦求和约定）：如果两个相同的指标出现在指标符号公式的同一项中，则表示对该指标遍历整个取值范围求和。 爱因斯坦求和约定具体的规则可以归结为如下几条 在同一项中，如果同一指标成对出现，就表示遍历其取值范围求和 公式中成对出现的指标叫做哑指标亦或哑标，表示哑标的小写字母可以用另一个小写字母替换，并且
PyTorch 中torch.einsum函数的使用详解和工程应用示例
qq_36812406的博客
06-11 1325
操作einsum表达说明图传播（AX）基础图邻接传播批量传播批次图传播权重传播AX @ Wor加入特征变换功能示例公式向量点积'i,i->'矩阵乘法外积'i,j->ij'转置'ij->ji''bi,bi->b'
【Pytorch】科研代码技巧—Einsum爱因斯坦求和约定
CSDN已停更，感兴趣关注https://aaronzijingcai.github.io/
09-22 2476
不知大家在看论文代码的时候是否会常常看见 torch.einsum()，这玩意儿看起来是真的抽象，但是深入了解后发现它原来这么好用。
【Python】torch.einsum()解析
Danger的博客
03-05 3240
【Python】torch.einsum()解析
Python的torch.einsum计算方法
昊大侠的博客
11-14 5640
涉及以下内容 简述 爱因斯坦求和约定（einsum）具有简洁优雅的规则，实现包括但不限于：向量内积，向量外积，矩阵乘法，转置和张量收缩等张量操作 例如 a = torch.rand(3, 4)，b = torch.rand(4, 5)，c = torch.einsum("ik,kj->ij", [a, b]) # einsum 的第一个参数 "ik,kj->ij" 描述张量的计算规则，且维度的字符只能是26个英文字母 'a' - 'z' # einsum 的第一个参数可以不写包括箭头在内的右
torch.einsum用法
sinat_34461199的博客
01-07 1317
是 PyTorch 中的一个强大工具，它允许你通过 Einstein summation convention（爱因斯坦求和约定）来执行复杂的张量操作。使用这种约定，你可以用一个字符串来指定张量操作的维度规则。这个函数非常灵活，可以用于实现各种张量运算，如元素相乘、矩阵乘法、批量矩阵乘法、迹等。其中，equation是一个字符串，指定了张量操作的约定；*operands是要操作的张量。以下是。
【Pytorch】一文向您详细介绍 torch.einsum() 的用法
创作高质量博文，分享知识，共同进步！
05-30 2399
🚀 解锁PyTorch强大功能，一文掌握`torch.einsum()`用法！🌟 🔍 深度解析`torch.einsum()`基础与进阶，助你轻松驾驭多维张量运算。 🌈 高级技巧让你举一反三，灵活应对各种复杂计算。 💡 实用建议，助你以小见大，优化模型性能。 🚀 总结与展望，带你领略`torch.einsum()`的无限可能！#PyTorch #torch.einsum #深度学习 #张量运算#
torch.einsum[爱因斯坦求和]//未完待续
To be a better man
06-15 596
​ 入门 爱因斯坦简记法：是一种由爱因斯坦提出的，对向量、矩阵、张量的求和运算∑的求和简记法。 在该简记法当中，省略掉的部分是：1)求和符号∑与2)求和号的下标i 省略规则为：默认成对出现的下标（如下例1中的i和例2中的k）为求和下标。//讲 ​...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值