芯片 ↔ 芯片 互联带宽VS芯片 ↔ 自身 DRAM 带宽

最新推荐文章于 2026-08-24 07:32:57 发布
原创 最新推荐文章于 2026-08-24 07:32:57 发布 · 98 阅读 · 0 GEO检测

目录

🔍 一、两种带宽的角色对比

🧩 二、多芯片场景下的典型通信模式

场景 1：数据并行（Data Parallelism）

场景 2：模型并行（Tensor/ Pipeline Parallelism）

场景 3：显存扩展（Memory Pooling / NVMe offload）

📊 三、量化对比：谁更可能成瓶颈？

✅ 四、如何判断你的系统瓶颈在哪？

1. 通信量 vs 计算量比高吗？

2. 互联带宽是否接近或小于 DRAM 带宽？

🎯 终极结论

在多芯片协同场景（如大模型训练、分布式推理）下，瓶颈通常从“芯片访问自身 DRAM 的带宽”转移到“芯片间互联带宽”，但两者都可能成为瓶颈，具体取决于系统架构和工作负载。

下面我们深入分析：

🔍 一、两种带宽的角色对比

带宽类型 作用 典型值（2024–2025）
1. 芯片 ↔ 自身 DRAM 带宽
（Off-Chip Memory Bandwidth）		 加载模型权重、激活值、KV Cache 等 - HBM3e: 1.2–1.8 TB/s per chip
-
标签
#pcie
了解本专栏 订阅专栏 解锁全文 超级会员免费看
深入了解DRAM和SDRAM：内存带宽的计算与封装形式的奥秘
AIMing_byte的博客
01-29 2590
动态随机存取存储器DRAM（Dynamic Random Access Memory，DRAM）是一种半导体存储器。由于在现实中品体管会有漏电电流的现象，导致电客上所存储的电荷数量并不足以正确的判别数据,而导致数据毁损。因此对于DRAM来说,周期性地充电是一个无可避免的要件。由也正是定时刷新的特性,被称为存储器。与SRAM相比,DRAM的优势在于结构简单：每一个比特的数据都只需一个电容跟一个晶体管来处理、而在SRAM上一个比特通常需要六个品体管。
DRAM的带宽的计算方式以及影响因子
一个DRAM从业者的告白
03-24 2000
controller的arbitration机制再好，QoS性能再好，也会出现突发的一个需求访问到一段很久未被涉足的空间中，或者是一个高优先级的request必须要得到满足(low latency)，这段空间必然会有可能需要重新开辟,也即所谓的page-hit ratio达不到100%。DDR5增加到32个bank的好处是能并行的bank数量更多，意味着可以隐藏更多的ACT/PRE操作，从而可以提高page-hit ratio,这个对controller的性能是很有有帮助的。能有70%的效率就很高了。
镁光 DRAM HMC 规则 带宽160GB/s
09-29
Hybrid Memory Cube (HMC) is a single package containing four DRAM die and one logic die, all stacked together using through-silicon via (TSV) technology. Within each cube, memory is organized vertically— portions of each memory die are combined with the corresponding portions of the other memory die in the stack. Each grouping of memory partitions is combined with a corresponding section of the logic die, forming what is referred to as a vault. Specifications within this data sheet are compatible with the HMC Consortium Specification.
AIX芯片的的互联带宽和 DRAM 带宽
xiaoheshang_123的博客
12-11 85
摘要： 在多芯片协同场景（如大模型训练、分布式推理）中，瓶颈通常从芯片访问自身DRAM的带宽转移到芯片间互联带宽，但两者均可能成为瓶颈，具体取决于系统架构和工作负载。典型场景包括数据并行（梯度同步依赖互联带宽）、模型并行（激活值传输可能同时受DRAM和互联带宽限制）及显存扩展（互联带宽成为DRAM的延伸）。量化对比显示，商用系统（如PCIe）的互联带宽常远低于DRAM带宽，成为主要瓶颈。判断方法包括评估通信量/计算量比及互联与DRAM带宽差距。行业趋势表明，高速互联（如NVLink）对多芯片扩展至关重要。简
AI芯片的互联带宽和外部DRAM访问带宽
amy_mhd的博客
12-08 1431
在多芯片协同计算场景（如大模型训练、分布式推理）中，系统瓶颈往往从芯片访问自身DRAM的带宽转向芯片间互联带宽。典型场景分析显示：数据并行时梯度同步依赖互联带宽，模型并行时激活值传输同时考验两种带宽，显存扩展场景则使互联带宽成为DRAM的延伸。量化对比表明，商用系统中互联带宽（如PCIe5.0的128GB/s）通常远低于HBM3内存带宽（3.35TB/s），成为主要瓶颈。判断标准在于通信/计算比和带宽对比关系。最终结论：单芯片场景受限于内存带宽，多芯片协作则主要受制于互联带宽，高端AI系统需采用NVLink
主存储器（一）
weixin_51760209的博客
05-14 7269
主存储器（一）一、主存储器技术指标1.主存容量2.存储器存取速度3.主存带宽二、主存储器的基本操作三、读/写存储器2.MOS晶体管2.SRAM3.DRAM四、存储器的分类1.按存储介质2.按工作性质/存取方式3.按信息的可更改性4.按信息的可保存性5.按在计算机中的作用五、例题总结
LPDDR4X带宽计算方法
a2591748032的博客
07-29 2305
LPDDR4X带宽计算方法
AI芯片的片上带宽/外部内存带宽/芯片间互联带宽
MHD0815的博客
12-11 134
AI芯片性能瓶颈分析：内存带宽是关键挑战 核心结论：在AI计算中，芯片访问外部存储（如HBM/DDR）的带宽是限制算力发挥的主要瓶颈，被称为"内存墙"。 关键发现： AI计算具有强访存特性，现代DRAM带宽难以匹配计算单元速度 大模型参数远超片上缓存容量（如Llama3需140GB），必须频繁访问外部存储 实测显示A100等芯片利用率常低于30%，主要因数据供给不足 行业应对方案： 增大片上缓存（如TPUv4的120MB） 采用HBM高带宽内存（1-3.5TB/s） 数据压缩和近存计算技
AI 芯片性能瓶颈
MHD0815的博客
12-09 144
AI芯片性能的关键瓶颈在于外部内存带宽，而非计算能力本身。当前AI模型呈现"访存密集型"特征，计算单元常因等待数据而闲置。随着模型参数规模膨胀（如Llama-3达140GB），远超片上缓存容量，必须频繁访问高成本的外部DRAM。以NVIDIA A100为例，其理论算力利用率受1.6TB/s带宽限制，实际运行低计算强度模型时利用率可低于10%。芯片厂商通过大容量片上SRAM、HBM存储、数据压缩等技术缓解"内存墙"问题。对于绝大多数AI应用，尤其是推理场景，决定算力发挥
AMD 的异构 Die / Chiplet 连接方案
baidu_38316985的博客
06-16 467
涵盖 Infinity Fabric 架构、xGMI / GMI 物理层、CCD↔IOD Chiplet 拓扑、3D V‑Cache TSV 堆叠、多 Socket xGMI、以及 MI300 异构 APU 的 GPU↔CPU Die 互联。
【信息科学与工程学】计算机科学与自动化——第十篇 芯片设计00 芯片中的基础学科知识03
weixin_49199313的博客
07-31 253
湿度加速：Peck模型 AF = (RH_stress/RH_use)^n exp(Ea/k(1/T_use-1/T_stress))热循环加速因子：Arrhenius AF = exp(Ea/k (1/T_use - 1/T_stress))等离子体鞘层厚度：d_s = (2/3)√(2e/m) V^{3/4} / (ω_p √(J))过程能力Cpk = min((USL-μ)/(3σ), (μ-LSL)/(3σ))薄膜应力：Stoney公式 σ_f = (E_s t_s²)/(6t_f R)
【信息科学与工程学】计算机科学与自动化——第三百零五篇 数据中心 Scale-Up、Scale-Out、Scale-Across 18
weixin_49199313的博客
08-10 1596
普通CDN在遭遇50Gbps攻击时，节点瘫痪率高达70%。云化安全CDN的零信任模型通过将动态身份验证、最小权限访问与CDN的分布式加速能力深度集成，实现安全与性能的协同优化。云化的安全CDN（如腾讯云EdgeOne）与普通的安全CDN在架构、功能、性能和适用场景上存在显著差异。某视频平台接入腾讯云EdgeOne+零信任方案后，全球平均延迟降至46ms，攻击拦截率99.97%，验证了协同模型在高并发场景的普适性。​：随着边缘计算普及，云化安全CDN将逐步取代传统方案，成为高交互、高安全场景的标配基础设施。
【信息科学与工程学】【通信工程】第一百九十一篇 路由器体系结构03
weixin_49199313的博客
06-26 642
编号类型领域问题详细的数学分析（逐步推理）参数列表（表达式 / 数值范围 / 边界 / 测量）关联知识839DCI演进 · 收敛DCI 2030 年三大技术收敛方向步骤1：方向一：IPoDWDM 成为绝对主流（Omdia 2027 59% → 2030 80%+），OTN 退化为 OLS 纯光层。步骤2：方向二：800ZR+ 取代 400ZR 成为主力速率，PCS 使 800G 达 600–1000km。步骤3：方向三：AI 集群 DCI 催生 1.6T/3.2T 超短距（<10km）相干模块（OSFP-X
计算机组成原理：从晶体管到你面前这块屏幕的史诗之旅
最新发布
weixin_72753562的博客
08-24 1260
计算机不是魔法，它只是亿万个开关在以你无法想象的速度疯狂翻转。本文带你从最底层的晶体管开始，一路杀到你每天用的操作系统，把计算机组成原理这个"老古董"学科翻个底朝天。
【信息科学与工程学】【安全领域】第一百四十二篇 零信任网络解决方案中的算法04
weixin_49199313的博客
05-18 1312
对于节点 i， 有功和无功功率平衡方程为： Pi​=Vi​∑j=1N​Vj​(Gij​cosθij​+Bij​sinθij​)， Qi​=Vi​∑j=1N​Vj​(Gij​sinθij​−Bij​cosθij​)。下风向某点 (x,y,z)的浓度 C为： C=2πuσy​σz​Q​exp(−2σy2​y2​)[exp(−2σz2​(z−H)2​)+exp(−2σz2​(z+H)2​)]， 其中 Q是源强， u是风速， H是有效源高， σy​,σz​是水平和垂直扩散参数。
【信息科学与工程学】信息科学领域——第一百三十三篇 半导体器件物理与电子封装12
weixin_49199313的博客
08-05 266
输入目标速率（如 HBM3 6.4Gbps 、HBM4 6.4Gbps/pin、SerDes 16-32Gbps）堆叠层数（2-5 层，或 HBM 12-16 层 High ）节距与键合方式（D2W 2µm / W2W 500nm-200nm）G-S 或 GSSG 等 pad 配置介质材料（SiO₂/SiON/SiCN，需权衡 k 值与铜扩散阻隔 )工艺参数（表面粗糙度 <0.5nm RMS、Cu pad CD、套刻精度 <40nm )输出。
【信息科学与工程学】信息工程领域——第三十六篇 电路电子06 电路设计01
weixin_49199313的博客
07-29 246
问题的数学分析及组合数学分析（涵盖材料科学、材料力学、数学物理、电路/电气/电机/电子/控制科学/控制论、微电子/电路系统架构、半导体器件物理、几何学/拓扑学/代数学/数论/离散数学/泛函分析/复变函数和时变函数/数理逻辑/运筹学、数学物理、数学华为、计算机系统架构设计、通信科学、信息科学、光科学、电科学、热科学、力学科学、网络科学 、复杂系统、其他学科知识）③LED驱动、PD接收、跨阻放大、带通滤波、ADC、数字处理；③三电极体系（工作、对、参比）、恒电位电路、电流-电压转换、低通滤波；
【信息科学与工程学】【制造工程】计算机科学与自动化——服务器制造中的学科知识01
weixin_49199313的博客
06-11 400
由可数可加性：μ(A)=∑k=1∞​μ(Bk​)=limn→∞​∑k=1n​μ(Bk​)=limn→∞​μ(⋃k=1n​Bk​)=limn→∞​μ(An​)。：若limsupAn​=liminfAn​=A，则A中的元素恰是那些“最终总是属于An​”的元素，也是那些“属于无穷多个An​但不属于无穷多个Anc​”的元素。：通过构造一个不相交的序列{Bn​}，其中B1​=A1​， Bn​=An​∖(⋃k=1n−1​Ak​)。则⋃n​Bn​=⋃n​An​，且Bn​⊂An​。我们称A为一个“集类”或“集合族”。
【信息科学与工程学】计算机科学与自动化——第一百八十九篇 计算机硬件 系列一 微处理器01
weixin_49199313的博客
07-02 1001
在金融行业CDN流推送场景中，结合WebRTC over SD-RTN与SD-WAN Branch方案，需兼顾​​要求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小蘑菇二号

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值