【信息科学与工程学】【数据中心】 第二十三篇 DDC网络-满足大规模训练、推理、存储区网络（Roce2组网）

​​冷迁移优先​​：在业务低谷期执行比例调整，避免高峰流量冲击。​​硬件冗余设计​​：采用​​双网卡绑定（Active-Backup）​​，迁移时切换备用网卡承载流量。​​协议栈兼容性​​：部署​​作为过渡层，兼容老旧节点，避免硬中断。​​PFC风暴预防​​：配置​​PFC死锁检测​​（如Mellanox Storm Control），限制反压帧频率。通过上述策略，企业可在调整RoCE/IB比例时实现​​业务零感知、性能零抖动​​。

本文将深度解析 AI 智算场景打造的800G AI RoCE交换机，从外部规格的硬件创新到内部架构的芯片级设计，从企业级操作系统的功能突破到实测数据的性能验证，全方位展现其如何通过领先的技术架构破解 AI 训练与推理中的网络效率瓶颈，助力数据中心在高带宽、低延迟、高可靠性的需求下实现算力资源的最优配置。

IP协议是TCP/IP协议族中的核心协议。TCP、UDP、ICMP和IGMP数据都通过IP数据传输。IP协议提供了一种尽力而为、无连接的数据包交付服务。“无连接”意味着IP协议是不维护网络单元中数据报相关的任何链接状态信息，每个数据报独立于其他数据报处理，这就意味着IP数据报可不按顺序交付。主要说一下IPv4：固定头部分为20B,可选长度最长为40B，所以头部长度在20~60Blinux之网络子系统（10）-MAC帧、数据报、段 的头部信息-CSDN博客1、区分服务（DS和ECN）：8bits。

通过将这些资源联合起来，可以构建一个规模庞大的计算和存储基础设施，为AI网络提供更高的计算性能和存储容量。在上面的代码中，我们使用TensorFlow库创建了一个简单的卷积神经网络（CNN）模型，并使用DDC进行分布式训练。在上述代码中，我们使用TensorFlow库创建了一个简单的卷积神经网络（CNN）模型，并使用DDC进行分布式训练。：在DDC中，不同数据中心之间的数据可能不一致，这可能会导致训练结果的不稳定性。：在DDC中，不同数据中心之间的数据可能不一致，这可能会导致训练结果的不稳定性。

BSN-DDC基础网络推出已经一年了，得到了行业应用方和广大开发者的高度认可。一年中BSN产品技术团队也在根据市场业务需求不断更新功能服务，我们将通过本系列文章为大家系统化介绍DDC网络的功能和使用，为感兴趣的朋友提供学习帮助。

在数据为王的时代，人们对网络的要求更加严苛。然而传统的TCP / IP以太网连接占用了大量的CPU资源，并且需要额外的数据处理，已无法再满足当前更快、更高效和可扩展性的网络需求。在这种情况下，RoCE（RDMA over Converged Ethernet ）走进了人们的视野。 什么是RDMA？ RDMA（远程直接数据存取）就是为了解决网络传输中服务器端数据处理的延迟而产生的，无需使用CPU，就可以从一个主机或服务器的内存直接访问另一主机或服务器的内存。它释放了CPU...

在GPU集群,特别是在AI大规模场景下,对网络有大带宽和低延迟的需求,一般常用的以太网络无法满足,为了实现高速且可靠的数据传输,往往会采用IB或者ROCE组网架构来满足需求.

大规模智算中心跨区域互联

智算中心互联

设计维度目标值设计原则实现手段评估指标性能目标​端到端延迟<10ms低延迟优先RDMA优化，拓扑扁平化延迟分布，p99延迟可用性目标​99.99%可用性冗余设计多路径，设备冗余MTBF，MTTR吞吐目标​核心交换>10Tbps无阻塞交换大带宽核心，Clos架构对分带宽扩展性目标​线性扩展至1000节点模块化设计标准Pod架构扩展成本函数安全目标​零信任架构纵深防御微分段，加密传输安全事件数能效目标​PUE<1.2绿色计算高效设备，智能调度能效比(W/IOPS) 2. 物理拓扑设计 2.1 数据中心物理

智算中心通常用于AI训练和推理，对网络的要求极高，特别是低延迟、高带宽、无损和可扩展性。RDMA（特别是RoCE）是关键。我们将从以下几个方面展开：定义各个区域（训练区、推理区、存储区）的网络需求。针对每种架构（DDC, CLOS, Fat-tree, Torus, Dragonfly, Slim Fly, 通用三层）分析在物理部署、逻辑连接、空间布局、连接关系等方面的参数。考虑网络设备（RDMA网卡、RoCE交换机）的物理部署参数（如位置、距离、链路长度等）。构建数学模型，包括延迟矩阵、流量路径、多路径重

编号类型领域子领域问题（要解决什么）问题的数学分析及数值分析及优化分析参数列表及参数的边界范围及极限及常量/数值/数字关联知识和法律法规A1（五元组→匹配树/TCAM映射）转发面 / 接入-边缘SC分流点（MCR/CR/BRAS）引流：按IP五元组+VLAN/QinQ+SRv6隧道信息区分租户/业务，决定送入哪个SRv6 TE Policy/BSID给定海量微流，如何把"租户T＋业务B＋(sa/da/SP/DP/proto)"快速映射为一条。

什么是RDMA RDMA(远程直接数据存取)就是为了解决网络传输中服务器端数据处理的延迟而产生的，无需使用CPU，就可以从一个主机或服务器的内存直接访问另一主机或服务器的内存。它释放了CPU去执行其应做的工作，比如运行应用程序和处理大量数据。这既提高了带宽又降低了延迟、抖动和 CPU 消耗。 RDMA与TCP/IP模式示意图。对比传统的网络传输机制，RDMA无需操作系统和TCP/IP协议栈的介入。RDMA的内核旁路机制，允许应用与网卡之间的直接数据读写，将服务器内的数据传输时延降低到1us以下。同时，RD

是一种基于以太网的远程直接内存访问（RDMA）技术，旨在通过标准以太网基础设施实现低延迟、高带宽的数据传输。它将 RDMA 的高效数据传输能力与以太网的兼容性结合，主要用于数据中心高性能计算（HPC）、云计算和大规模存储集群等场景。技术本质绕过操作系统内核直接访问应用内存，减少 CPU 参与数据传输的开销实现 “零拷贝” 数据传输，避免数据在内存中的多次复制支持低延迟（微秒级）和高吞吐量（数十到数百 Gbps）的通信。

数据库一体机通常采用X86服务器和InfiniBand网络的硬件环境，现在，RoCE网络可以提供与InfiniBand网络相当的性能。因此使用RoCE网络替代InfiniBand网络，可以降低成本、提高组网的灵活性和可扩展性，更容易地进行部署和运维

近日，中国移动江苏有限公司发布《中国移动智算中心（南京）2023年智算算力项目算力设备采购项目》招标公告，招标项目内容显示，需采购30台人工智能通用计算设备（训练型），预估金额10890万元（人民币/含税），单价限价363万元/台。

RoCE网络技术解析：以太网上的高性能RDMA解决方案 RoCE（RDMA over Converged Ethernet）是一种基于以太网的远程直接内存访问技术，通过优化以太网协议实现低延迟和高吞吐量数据传输。文章详细介绍了RoCE的发展历程，包括RoCEv1（仅支持L2网络）和RoCEv2（支持L3路由）两种版本的技术特点。实现RoCE网络需要RoCE网卡、支持PFC的交换机以及智能无损网络架构。文章还对比了RoCEv2与InfiniBand网络的优缺点：RoCE具有成本优势和兼容性，适合大规模成熟数据

QoS RoCE v2 Mellanox NVIDIA

算力机房选择RoCE还是InfiniBand（IB）