解决ESXi中V100S与A100 GPU直通模式下的虚拟机电源启动失败问题

1. 问题初探：当高端GPU遇上ESXi直通

最近在帮朋友的公司折腾一个AI训练平台，他们采购了几块NVIDIA的V100S和A100显卡，打算塞进ESXi服务器里，通过GPU直通的方式分配给不同的虚拟机，让每个开发团队都能独占一块卡来跑模型。这个想法听起来很美，但实际配置的时候，我们遇到了一个非常典型又让人头疼的问题：虚拟机死活开不了机。

具体来说，就是在vSphere Client里，给一台Ubuntu或者CentOS虚拟机配置好PCI设备直通（Passthrough），选中了那块亮闪闪的V100S或A100，满怀期待地点下“打开电源”按钮。结果，虚拟机启动进度条走到一半就卡住了，最后弹出一个冷冰冰的错误提示：模块“DevicePowerOn”打开电源失败。更气人的是，我们手头还有几块老款的T4显卡，用同样的步骤配置直通，虚拟机却能顺顺利利地启动，一点毛病没有。这就很奇怪了，为什么更贵、更强的卡反而用不了？

我当时的第一反应是驱动问题，或者是ESXi版本兼容性。但折腾了一圈驱动和升级后，问题依旧。直到我们沉下心来，去仔细查看虚拟机的日志文件，才发现了问题的关键线索。在那一堆日志信息里，有几行字特别扎眼，大概意思是：“PCIPassthru: total number of pages needed (16789506) exceeds limit (917504), failing”。翻译成人话就是：显卡直通需要的内存页面数量，远远超过了系统默认允许的上限，所以直接给拒绝了。

这个错误指向了一个深层次的原因，它和V100S、A100这类高性能计算（HPC）显卡的架构特性密切相关。与主要用于图形渲染和轻度计算的T4不同，V100S和A100是真正的“计算猛兽”，它们拥有巨大的板载显存（32GB、40GB甚至80GB），并且其内部的内存控制器和I/O子系统为了追求极致的带宽和低延迟，设计得非常复杂。当ESXi尝试将整块物理GPU“映射”给虚拟机时，它需要为GPU的整个PCIe配置空间、大量的BAR（Base Address Register）区域，特别是那些巨大的显存空间，预留出足够多的、连续的MMIO（Memory-Mapped I/O）地址窗口。这个“窗口”的大小，在默认情况下，ESXi给得比较保守。

你可以把MMIO想象成一条连接CPU和GPU的专用高速公路。T4可能只需要一条四车道就够了，但V100S和A100需要的是双向十六车道的高速路，才能让海量数据畅通无阻。ESXi默认只修了条“四车道”，你的“超级卡车”（V100S/A100）自然就上不了路，于是系统就报错“打开电源失败”。而解决之道，就是手动告诉ESXi：“嘿，给我把这条路的宽度和容量扩到足够大！” 这也就是我们后面要修改虚拟机.vmx配置文件的核心逻辑。

2. 深入日志：揪出“内存超限”的真凶

遇到问题看日志，这是运维和开发人员的铁律。上面提到的那个错误信息，是我们解决问题的金钥匙。我们得把它掰开揉碎了看明白。

首先，找到日志的位置。对于ESXi上的虚拟机，最直接的日志就是虚拟机的日志文件。你可以通过vSphere Client，在虚拟机的“摘要”选项卡里找到“日志文件”的浏览入口，也可以直接SSH登录到ESXi主机，去/vmfs/volumes/下的虚拟机目录里找.log文件。关键的错误信息通常就在虚拟机启动失败的时间点附近。

让我们重现一下那个关键的报错片段：

2021-10-11T02:55:06.807Z In(05) vmx - PCIPassthru: Device has PCI Express Cap Version 2(size 60)
2021-10-11T02:55:06.807Z In(05) vmx - PCIPassthru: Registered a PCI device for 0000:84:00.0 vIRQ 0x12, physical MSI = Disabled (vmmInt = Enabled), IntrPin = 1
2021-10-11T02:55:06.807Z In(05) vmx - PCIPassthru: total number of pages needed (16789506) exceeds limit (917504), failing
2021-10-11T02:55:06.807Z In(05) vmx - Module 'DevicePowerOn' power on failed.

这几行日志信息量很大：

1. 第一行：识别到PCIe设备（我们的GPU），其PCI Express能力版本是2，结构大小是60字节。这说明ESXi已经正确识别了显卡的PCIe规格。
2. 第二行：成功为PCI设备0000:84:00.0（这是GPU在主机上的BDF地址，Bus:Device:Function）注册了虚拟中断（vIRQ）。physical MSI = Disabled意味着它使用了虚拟化的MSI（Message Signaled Interrupt）中断，由ESXi的虚拟机监控器（V