Nvidia 老数据中心卡支持GPU Direct RDMA

最新推荐文章于 2026-06-21 21:25:01 发布
原创 最新推荐文章于 2026-06-21 21:25:01 发布 · 299 阅读 · 6 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#量子计算 #机器学习

1. V100 对 GPU Direct 的支持

NVIDIA V100 支持 GPU Direct（GPUDirect RDMA）。

这是 V100 作为数据中心级 GPU 的核心特性之一，其支持情况如下：

支持的 GPU Direct 技术

技术V100 支持情况说明
GPUDirect RDMA✅ 支持GPU 与第三方设备（NIC、SSD 等）直接 DMA，无需 CPU 介入
GPUDirect P2P✅ 支持同一 PCIe 域或 NVLink 域内 GPU 间直接内存访问
GPUDirect Storage (GDS)✅ 支持存储数据直供 GPU（需 CUDA 11.4+ 和特定驱动）
GPUDirect Video✅ 支持GPU 与视频采集卡直接 DMA

硬件基础

V100 支持 GPU Direct 的硬件条件：

  1. PCIe 3.0/4.0 接口：V100 提供 PCIe 3.0 x16 或 NVLink 2.0 接口
  2. BAR1 空间：GPU 显存通过 Base Address Register 暴露给 PCIe 设备
  3. P2P 能力：同一 PCIe 根复合体（Root Complex）下的 GPU 可直接互相访问显存

NVLink 2.0 版本（V100 搭载）提供高达 300 GB/s 的 GPU-to-GPU 带宽，远优于 PCIe 3.0 x16 的 ~32 GB/s。NVLink 本身也支持 P2P 直接访问。

软件要求

组件最低/推荐版本
CUDA Toolkit9.0+（推荐 10.0+ 或更高）
NVIDIA 驱动390.x+（推荐最新长期支持版本）
内核模块nvidia, nvidia-uvm
第三方驱动nvidia-peermem 或 nv_p2p（用于 RDMA）
Mellanox OFED4.0+（如使用 ConnectX 系列网卡）

验证方法

在 V100 上验证 GPUDirect RDMA 支持：

# 1. 检查 GPU 是否支持 RDMA
nvidia-smi topo -p2p r
# 输出应显示 "OK" 表示 P2P/RDMA 支持

# 2. 检查 nvidia-peermem 模块
lsmod | grep nvidia_peermem
# 或
lsmod | grep nvidia_p2p

# 3. 使用 CUDA 示例验证
/usr/local/cuda/samples/1_Utilities/p2pBandwidthLatencyTest
# 测试 GPU 间 P2P 带宽和延迟

# 4. 使用 perftest 验证 RDMA
ib_write_bw --use_cuda=0  # 服务端绑定 GPU 0
ib_write_bw --use_cuda=0 <server_ip>  # 客户端

与 DGX Spark 的关键对比

V100DGX Spark (GB10)
架构独立 GPU，独立显存（HBM2/16GB 或 32GB）统一内存架构（SoC 集成）
PCIe 拓扑标准 PCIe 设备，可被其他 PCIe 设备 DMA统一内存，PCIe 设备无法相干访问 GPU 内存
GPUDirect RDMA✅ 完全支持❌ 不支持
NIC 直连 GPUConnectX-5/6/7 等可直接 RDMA 到 V100 显存必须通过 CPU bounce buffer
典型场景HPC 集群、AI 训练、存储直读边缘推理、桌面开发

实际应用示例

V100 + ConnectX-5/6 + GPUDirect RDMA 的典型数据路径：

存储/NIC → PCIe Switch → V100 GPU 显存
              ↓
         无需 CPU 介入
              ↓
         延迟 < 2μs（RDMA 写）

这在以下场景中至关重要：

  • 分布式深度学习：NCCL 利用 GPUDirect RDMA 实现多机多卡 AllReduce
  • GPU 数据库：如 BlazingSQL、OmniSci，直接 RDMA 读取远程数据
  • 实时推理：网络数据直送 GPU，避免 CPU 拷贝开销
  • HPC 通信：MPI 直接操作 GPU 内存（CUDA-aware MPI）

总结

V100 作为 Volta 架构的数据中心 GPU，完整支持 GPUDirect 全系列技术，包括 RDMA、P2P 和 Storage。这与 DGX Spark 的 GB10 SoC 形成鲜明对比——后者因统一内存架构的设计权衡而牺牲了 GPUDirect RDMA 能力。如果你正在构建需要 GPU 直接网络访问的集群或流水线，V100 及后续的数据中心 GPU（A100、H100、H200）都是合适的选择。

2. P100 对 GPU Direct 的支持

NVIDIA P100 支持 GPU Direct（GPUDirect RDMA）。

P100 是 Pascal 架构的数据中心 GPU，作为 V100 的前代产品，它同样具备完整的 GPU Direct 能力。

支持的 GPU Direct 技术

技术P100 支持情况说明
GPUDirect RDMA✅ 支持GPU 与第三方 PCIe 设备（NIC、SSD 等）直接 DMA
GPUDirect P2P✅ 支持同一 PCIe 域或 NVLink 域内 GPU 间直接内存访问
GPUDirect Storage (GDS)⚠️ 有限支持GDS 正式版在 CUDA 11.4+ 推出，P100 可运行但非最优目标
GPUDirect Video✅ 支持GPU 与视频采集卡直接 DMA

硬件基础

P100 支持 GPU Direct 的硬件条件：

特性规格
PCIe 接口PCIe 3.0 x16（SXM2/PCIe 两种形态）
NVLinkNVLink 1.0（SXM2 版本，160 GB/s GPU-to-GPU）
显存HBM2 / 16GB 或 12GB（CoWoS 封装）
BAR1 空间支持，显存可通过 PCIe BAR 暴露给外部设备

NVLink 1.0 是 P100 首次引入的 GPU 高速互联技术，为后续 V100 的 NVLink 2.0 奠定了基础。P100 的 NVLink 支持 P2P 直接访问，但带宽（160 GB/s）低于 V100 的 300 GB/s。

软件要求

组件最低/推荐版本
CUDA Toolkit8.0+（P100 首发支持版本）
NVIDIA 驱动367.x+（推荐 470.x 或更高长期支持版本）
内核模块nvidia, nvidia-uvm
第三方驱动nvidia-peermem 或 nv_p2p
Mellanox OFED3.4+（ConnectX-4/5 网卡）

验证方法

# 1. 检查 GPU 信息
nvidia-smi -L
# 输出示例：GPU 0: Tesla P100-PCIE-16GB

# 2. 检查 P2P 支持
/usr/local/cuda/samples/1_Utilities/p2pBandwidthLatencyTest
# 应显示 P2P 带宽测试结果

# 3. 检查 RDMA 支持
nvidia-smi topo -p2p r
# 或查看 nvidia_p2p 模块
lsmod | grep nvidia_p2p

# 4. RDMA 性能测试（需 ConnectX 网卡）
ib_write_bw --use_cuda=0

P100 与 V100 的 GPU Direct 对比

P100 (Pascal)V100 (Volta)
GPUDirect RDMA✅ 支持✅ 支持
NVLink 版本1.0 (160 GB/s)2.0 (300 GB/s)
PCIe 版本3.0 x163.0/4.0 x16
显存带宽~732 GB/s~900 GB/s
P2P 效率良好更优（NVLink 2.0 改进）
GDS 优化可运行，非主要目标更好支持
CUDA 版本8.0+9.0+

两者在功能支持上基本一致，V100 主要在带宽和效率上有提升。

实际部署注意事项

  1. PCIe 拓扑限制：GPUDirect RDMA 要求 GPU 和 NIC 位于**同一 PCIe 根复合体（Root Complex）**下，或通过 PCIe Switch 连接。跨 NUMA 节点或跨 Root Complex 的 P2P 可能不可用。

  2. IOMMU 配置：某些主板需要关闭 IOMMU（Intel VT-d / AMD-Vi）或配置为 Passthrough 模式，否则 RDMA 可能失败。

  3. 驱动兼容性：nvidia_p2p 内核模块需与当前驱动版本匹配，升级驱动后可能需要重新编译。

  4. 旧版 Mellanox 网卡：ConnectX-4 与 P100 配合良好，ConnectX-5/6 也向下兼容。

总结

P100 作为 Pascal 架构的数据中心 GPU，完整支持 GPUDirect RDMA 和 P2P。虽然其 NVLink 1.0 带宽和 PCIe 3.0 规格低于后续产品，但在功能层面与 V100 一致。如果你手头有 P100 集群，完全可以利用 GPUDirect 技术构建低延迟的 GPU 直连网络流水线，只是性能上限会低于新一代 GPU。

与 DGX Spark 的 GB10 SoC 相比，P100 和 V100 都是独立 GPU + 独立显存架构，因此不受统一内存架构对 GPUDirect RDMA 的限制。

Eloudy
关注
实战避坑：在Ubuntu 22.04上配置NVIDIA GPU Direct RDMA时，必须搞清的P2P DMA与IOMMU那些事
weixin_33720078的博客
05-09 408
本文深入探讨在Ubuntu 22.04上配置NVIDIA GPU Direct RDMA时P2P DMA与IOMMU的关键问题，解析PCIe架构中的地址转换、P2P DMA与标准DMA的区别，以及IOMMU对性能的影响。通过实战案例和调优建议，帮助用户避免常见配置陷阱，提升AI训练集群的数据传输效率。
NVIDIA CONNECTX-7 InffniBand网络计算网卡 规格书NVIDIA MCX75510AAS-NEAT MCX75310AAC-NEAT MCX755106AC-HEAT 400G
lcy524514826的博客
04-15 5838
网卡支持超低延迟、400 Gb/s 吞吐量和创新的 NVIDIA 网络计算引擎，能够为高性能 计算（ HPC）、人工智能（ AI） 和超大规模云数据中心提供所需的加速能力、可扩展性和 功能丰富的技术。NVIDIA InffniBand 网络是这些平台的引擎，可提供突破性的 表现。NVIDIA MCX75510AAS-NEAT ConnectX-7 Socket Direct Ready Card NDR 400Gb/s 、NDR200Gb/s单端口OSFP InfiniBand网卡。
从数据中心到边缘计算：Intel与NVIDIA Mellanox 10G至100G网卡选型实战指南
weixin_29284885的博客
03-05 168
本文深入探讨了在数据中心与边缘计算场景下，Intel与NVIDIA Mellanox从10G到100G网卡的实战选型策略。文章从成本、性能、高级功能和生态兼容性四个核心维度进行剖析，对比了X710、E810、ConnectX-4 Lx、ConnectX-6等系列网卡在虚拟化、RDMA、AI计算等关键应用中的优劣，并提供了边缘计算特殊考量与实战配置指南，旨在帮助用户构建高性能、高稳定的智能网络底座。
从零搭建AI训练集群：如何用NVLink+InfiniBand构建混合网络（附性能测试数据）
e1f2g的博客
02-25 948
本文详细解析了如何从零搭建高效的AI训练集群，重点阐述了利用NVLink实现单节点内GPU间高速互联，并结合InfiniBand构建低延迟、高带宽的跨节点网络。文章提供了硬件规划、拓扑分析、网络配置及性能调优的完整实战指南，并附有TensorFlow/PyTorch分布式训练的性能测试数据，帮助技术团队最大化集群算力。
微美全息（NASDAQ:WIMI)研究基于强化学习的量子编码电路适配优化架构
2501_92029301的博客
06-15 240
分层电路结构的引入，进一步突破了传统搜索算法的性能瓶颈，摒弃了传统算法对完整电路架构的盲目搜索模式，将编码电路拆解为多个层级的基础模块，通过强化学习智能体对各层级模块进行分层探索、组合优化，逐步构建出适配特定任务的完整编码电路。另一方面，随着量子比特规模的拓展与任务复杂度的提升，编码电路的搜索空间呈指数级扩张，传统启发式方法难以高效探索最优架构，往往陷入局部最优解，同时大量冗余的电路评估会消耗宝贵的量子计算资源，降低整个QML系统的运行效率。
表面码的 Z-测量 和 X-测量 的详细数学表述
eloudy的专栏
06-14 397
在表面码中，Z-测量（即测量 ZZZ 稳定子）是通过 measure-Z 量子比特 对其相邻的 4 个数据量子比特 进行联合测量，获取 ZaZbZcZdZ_a Z_b Z_c Z_dZa​Zb​Zc​Zd​ 的本征值。考虑一个 measure-Z 量子比特 mmm（辅助测量量子比特）和 4 个相邻的数据量子比特 a,b,c,da, b, c, da,b,c,d。初始状态：联合初始态： ∣Ψ0⟩=∣g⟩m⊗∣ψ⟩abcd=∣0⟩m⊗∣ψ⟩abcd|\Psi_0\rangle = |g\rangle_m \ot
mobit：不抢bit，不整qubit，就站中间
gl_6866的专栏
06-15 271
《介观世界的身份证：Mobit理论初探》摘要 本文提出了一种介于经典比特(bit)和量子比特(qubit)之间的新型信息单元"mobit"(介观比特)。基于被长期忽视的M₃格数学结构，该理论为介观尺度下的量子系统(如超导电路、量子点等)建立了描述框架。研究发现，在该体系下CHSH不等式存在2.414的理论极值(称为刘钢熵或白银常数)，这为判断介观系统的量子特性提供了明确阈值。不同于传统二元划分，mobit构建了"经典-介观-量子"的三级模态体系，填补了现有信息理论的空
深度学习周报（6.15~6.21）
m0_57788739的博客
06-21 68
本周主要学习了安全辅助量子协议，了解了其思想、流程以及大致分类等知识点，同时学习了服务器在实现非 clifford 门时的改进方法。本周主要学习了安全辅助量子计算协议及其改进，由于是课程内容所以插了个队，课本是清华出版社的量子计算导论，另外对其做了一些补充。改进花了一些时间理解跟学习，感觉涉及的方向稍有一些狭窄。下周打算完成论文复现，并复盘复现思路。
表面码 syndrome 的状态空间和约束
eloudy的专栏
06-21 281
命题验证不可能占满全部2N2^N2N✅正确−1-1−1出现有规律约束✅正确约束来源错误局域性、syndrome 成对出现、拓扑结构实际有效 syndrome 数OpolyN≪2NOpolyN))≪2N解码算法利用的正是此稀疏性✅这正是表面码可解码的数学基础——虽然 syndrome 空间巨大，但物理允许的 syndrome 极其稀疏。** syndrome 图的精确结构与匹配问题的复杂度**测量误差如何破坏这种约束（引入"任意" syndrome 模式）
微算法科技（MLGO）混合量子计算技术打开量子应用新方向 无需量子相干访问即可实现加速
MicroTech2025的博客
06-17 304
在这样的行业背景下，微算法科技（NASDAQ:MLGO）提出一种全新的混合量子计算技术框架，该技术的核心思想并不是继续增强量子系统的数据读取能力，而是重新设计经典系统与量子系统之间的数据协同机制。这一思路意味着，量子计算不再依赖高成本的量子相干输入机制，而是通过经典预处理与量子运算协同工作的方式，实现无需量子相干访问即可获得量子加速的目标。尤其是在当前NISQ（含噪声中等规模量子）阶段，量子系统依然容易受到噪声、退相干以及量子门误差的影响，因此，大规模量子数据加载一直是限制量子算法实际应用的重要瓶颈。
考研复习 Day 53 | 密码学--第十章 现代密码学发展前沿及应用（上）
QS_JSG的博客
06-16 448
量子密码的基本思想由美国学者S. Wiesner于1969年首先提出，后在IBM公司C.H. Bennett和加拿大密码学家G. Brassard的推动下发展起来，20世纪90年代进入研究高潮。目前已形成系统的量子密码理论体系，包括量子密钥分配、验证与存储、量子秘密共享、量子加密算法、量子身份认证和量子签名、量子多方安全协议及量子密码分析等。：采用四种偏振态（0°、45°、90°、135°），约定0°和45°代表0，90°和135°代表1。：量子比特传输过程中状态不确定，只有测量后才确定，安全性高。
天赐范式第80天：天赐范式·量子信息算子化框架
snowoftheworld的博客
06-21 501
本文构建了一个从"天赐范式"到量子信息处理的算子化映射框架，主要包含以下要点： 理论对应：天赐范式的59算子体系与量子力学的算子代数在Hilbert空间上存在数学同构,基于Helstrom界和No-cloning定理，证明了量子域中Ξ锚定的不可伪造性比经典域更强，为量子安全提供了理论基础，量子信息成为该范式的自然延伸领域。 核心映射：建立了概率五公理与量子力学概念的精确对应关系，包括态制备（Ξ锚定→量子态投影）、门控该框架为量子计算的安全验证提供了系统化的算子方法，将天赐范式的形式化体系扩展到量子信息领域。
微算法科技（MLGO）布局全栈解构量子云软件生态,从底层编译到顶层调度
MicroTech2025的博客
06-16 228
硬件决定量子算力的上限，而软件与算法栈决定量子算力的实际利用率与应用价值，尤其在NISQ阶段，量子比特数量有限、门错误率高、相干时间短，容错量子计算尚未实现，软件与算法栈的优化能力直接决定量子程序能否稳定运行、量子优势能否有效发挥。在量子云平台软件与算法栈的中层，量子编程框架与SDK（软件开发工具包）承担着承上启下的核心作用，向上对接开发者需求，提供便捷、高效的量子程序开发环境，降低量子编程的技术门槛；当前，全球量子云平台软件生态呈现开源主导、巨头引领的格局，国际上IBM、Google、微软等公司在。
AI 学习路线 04：机器学习到底在学什么？从分类、回归到模型评估
qq_40600379的博客
06-16 548
机器学习到底在学什么？ 监督学习、无监督学习、强化学习有什么区别？ 为什么要划分训练集、验证集、测试集？ 什么是过拟合、欠拟合、泛化能力？ 回归、分类、聚类分别解决什么问题？ 怎么选择常见算法？ 为什么不能只看准确率？ 这篇文章会尽量用图、例子和实战代码，把机器学习的基础框架讲清楚。
机器学习周报五十
最新发布
weixin_60864619的博客
06-21 149
本周复现上周提到的论文3DGA的实验，并且阅读了论文SplattingAvatar。通过SplattingAvatar，补充了对之前的改进的不足，法线插值和重心插值可以得到一个非线性连续场，解决3dga只有重心插值，在三角面片内只有线形关系的问题。在之前也尝试过建立一个非线性连续人体场，缺乏理论指导，SplattingAvatar提供了思路。
浅谈机器学习与神经网络
weixin_70221721的博客
06-15 550
简要介绍ML的分类方法以及神经网络
基于机器学习的设备故障预测分析方法
技术日常
06-15 843
数据准备（ation数据处理（Mergings——特征工程（Featureengineering:lagfeaturestatic feature——建模（Modeling:Bin-class, regression,multi-class）——训练、仿真（Training,Simulation——决策（Decision++Binaryc。
LSTM预判+速度门控双保险自愈
2301_77211362的博客
06-21 153
模块功能LSTM 预判预警分析历史通量/应力序列，预测未来失稳风险（如裂纹萌生）Speed-Gated 自愈实时监测通量变化率（速度），当超过阈值时自动增强修复强度双重触发机制满足任一条件（预判高风险 或 实际失稳）即启动自愈动态调节自愈强度随风险等级与速度同步变化。
基于机器学习的中文文本抑郁症风险检测系统，包括NLP与传统机器学习的抑郁症识别，准确率92%
weixin_49081159的博客
06-15 453
抑郁症作为一种常见的精神障碍，严重影响着全球数亿人的身心健康和社会功能。传统的抑郁症诊断主要依赖临床访谈和量表评估，存在主观性强、效率低等问题。本文设计并实现了一个基于机器学习的中文文本抑郁症风险检测系统，该系统通过对心理咨询文本的多维特征提取与融合，结合多种机器学习算法，实现对正常、疑似、明确三种风险等级的自动分类。系统采用Flask框架构建Web应用，集成了用户管理、单条预测、批量分析、数据可视化及管理员后台等完整功能。在特征工程方面，系统实现了包括情感词频、LIWC心理语言学特征、词性分布、句子结构等
2023-TPAMI《Large-Scale Clustering With Structured Optimal Bipartite Graph》
Christo的博客
06-21 20
给定样本集Xxii1nXxi​i1n​、锚点集Yyjj1mYyj​j1m​,二部图BXYEBBXYEB的关联矩阵B∈Rn×mB∈Rn×m,其中bijb_{ij}bij​表示样本与锚点的相似度。则二部图的邻接矩阵为W0BBT01W0BT​B0​1对应的拉普拉斯矩阵为LWDW−WLW​DW​−W,其中DWDW​为度矩阵,DW。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值