Magma：微软如何用一个模型打通数字与物理世界的 AI Agent

论文深度解析：Magma: A Foundation Model for Multimodal AI Agents
作者：Jianwei Yang, Reuben Tan, Qianhui Wu 等（Microsoft Research / University of Maryland / UW-Madison / KAIST / UW）
项目主页：https://microsoft.github.io/Magma

一、为什么需要 Magma？——问题的根源

当前 AI Agent 领域存在一个根本性分裂：数字世界（UI 导航、网页操作）和物理世界（机器人操控）的模型各自为政。

• 数字世界阵营：Pix2ACT、WebGUM、Ferret-UI、SeeClick 等模型专注于 GUI 截图理解与 2D 坐标预测
• 物理世界阵营：RT-2、OpenVLA 等模型专注于机器人 7-DoF 末端执行器控制

这些模型虽然各自声称是"通用"的，但实际上都在以牺牲多模态理解能力为代价来学习特定领域的动作策略。一个能操作网页的模型无法控制机械臂，反之亦然。更关键的是，它们在各自领域内的泛化能力也相当有限。

Magma 提出了一个更宏大的愿景：一个基础模型同时具备三种能力——

1. 多模态理解（Verbal Intelligence）：理解图像、视频中的语义、空间和时序信息
2. 多模态动作预测（Spatial-Temporal Intelligence）：将长程任务分解为可执行的动作序列
3. 跨环境适应：在数字与物理环境中零样本迁移

这不是简单的多任务学习。真正的挑战在于：语言理解是"verbal"的（文本描述），而动作执行是"spatial"的（2D 坐标或 7-DoF），两者之间存在巨大的模态鸿沟。Magma 的核心贡献，正是提出了一个优雅的桥接方案。

二、核心创新：SoM + ToM——用"标记"统一两个世界

2.1 问题本质：为什么简单拼接数据不管用

论文中一个关键的消融实验（Table 3）揭示了一个反直觉的事实：

简单地把 UI 数据和机器人数据放在一起训练，不仅没有带来增益，反而导致了性能下降（UI: 57.7→56.2, Robot: 35.7→31.5）。这是因为：

• 输入域差异：UI 截图是 2D 数字图像，机器人观测是 3D 物理场景的 2D 投影
• 输出空间差异：UI 动作是 2D 坐标 (x, y)，机器人动作是 7-DoF (x, y, z, yaw, pitch, roll, gripper)
• 监督信号差异：VL 任务用文本描述监督，Agent 任务用坐标/动作监督

这三种差异叠加，导致模型在联合训练时面临严重的梯度冲突——不同任务的优化方向互相干扰。

2.2 Set-of-Mark (SoM)：动作锚定

SoM 的核心思想来自 Yang 等人 2023 年的工作 [126]，但 Magma 的创新在于将其从推理时提示（inference-time prompting）转变为训练时的监督信号。

具体做法：

1. 对于一张输入图像 $I_t$，使用提议网络（分割模型、目标检测模型或领域专用模型如 OmniParser）提取 $K$ 个候选可操作区域 P={p1,...,pK}P = \{p_1, ..., p_K\}P={p1​,...,pK​}
2. 在每个区域上叠加数值标记，生成标记图像 $I_t^M$
3. 模型的任务从"预测精确像素坐标"简化为"选择正确的标记编号"

这一转换看似简单，实则解决了几个深层问题：

降低了搜索空间复杂度。原始 UI 截图分辨率可达 2000×2000，像素级坐标预测的搜索空间是 $4\times 10^6$。而标记后，模型只需在 $K$ 个候选（通常 $K<50$）中选择，搜索空间缩小了 5 个数量级。

统一了不同任务的动作表示。无论是 UI 中的"点击按钮"还是机器人中的"移动到目标位置"，都被转化为"选择标记 + 输出坐标"的统一格式。坐标被归一化到 $[0,1]$ 并量化为 256 个 bin，与 LLM 的 token 空间对齐。

锚定了空间语义。标记将视觉区域与语言描述显式关联，使模型能够将"点击搜索按钮"这样的语言指令映射到具体的视觉区域。

2.3 Trace-of-Mark (ToM)：动作规划

如果说 SoM 解决了"在哪做"的问题，ToM 则解决了"怎么做"的问题——即如何从视频数据中学习时序动态和动作规划。

核心思想：在视频序列中追踪标记点在未来 $l$ 帧中的运动轨迹，让模型预测这些轨迹。

给定视频帧序列 {It,It+1,...,It+l}\{I_t, I_{t+1}, ..., I_{t+l}\}{It​,It+1​,...,It+l​}，在 $t$ 时刻的图像上放置 $s^2$ 个网格点，使用 CoTracker 追踪这些点在未来 $l$ 帧中的位置，得到轨迹 T={Mt+1,...,Mt+l}T = \{M_{t+1}, ..., M_{t+l}\}T={Mt+1​,...,Mt+l​}。模型的任务是在预测动作类型和有效标记后，进一步预测这些标记的未来轨迹。

ToM 带来了两个独特的建模优势：

强制时序推理。模型必须理解视频观测中的时序动态，在采取下一步动作前"向前看"（look ahead of time）。这与传统的下一帧预测（如世界模型 [77]）不同——ToM 只关注与动作相关的关键点轨迹，用极少的 token 捕获更长的时序跨度，同时忽略无关的背景内容。

解锁海量无标注视频数据。互联网上有大量人类操作视频（Ego4D、Epic-Kitchens 等），它们没有动作标注，但包含丰富的动作信息。ToM 通过点追踪技术，将这些视频自动转化为"视觉-语言-动作"数据，实现了对无标注视频的大规模利用。

2.4 SoM 与 ToM 的协同效应

论文中一个深刻的洞察是：SoM 和 ToM 不是两个独立的技术，而是一个有机整体。

• SoM 为 ToM 提供了空间锚点——追踪的起点是 SoM 标记的可操作对象
• ToM 为 SoM 提供了时序延伸——不仅知道"在哪操作"，还知道"操作后会发生什么"
• 两者共同将静态图像（SoM）和动态视频（ToM）统一到同一标记空间

这种协同效应在消融实验中得到了验证（Table 3 最后一行）：加入 SoM+ToM 后，UI 导航提升 4.0 分，机器人操控提升 14.8 分，UI 元素定位提升 6.2 分。机器人操控的提升远大于 UI 导航，这暗示时序推理能力对物理世界操作更为关键——因为物理交互本质上是一个时序过程。

三、架构设计：为什么选 ConvNeXt？

3.1 模型架构

Magma 的架构遵循主流 VLM 范式（如 LLaVA、Phi-3-Vision），但有一个关键差异：

视觉观测 → ConvNeXt-XXlarge (视觉编码器) → 视觉 Token
                                                ↓
任务描述 → Tokenizer → 语言 Token → LLaMA-3-8B (LLM) → 自回归输出
                                                ↑
                                    SoM/ToM 标记 (桥接层)

语言骨干：LLaMA-3-8B，当前开源 LLM 的主流选择

视觉骨干：ConvNeXt-XXlarge——这是一个有意为之的非主流选择。当前大多数 VLM 使用 ViT（Vision Transformer）作为视觉编码器，Magma 选择 ConvNeXt 的核心原因是：

原生支持任意分辨率。UI 截图分辨率可达 2000px，远超 ViT 的标准输入尺寸（224px 或 336px）。ViT 处理高分辨率图像需要复杂的分块策略（如 LLaVA-Next 的 dynamic resolution），而 ConvNeXt 作为卷积网络，天然支持任意输入尺寸。

全局上下文编码。论文发现，ConvNeXt 的全局编码效果甚至优于"全局+局部裁剪"的组合策略 [1, 75]。这可能是因为卷积网络的感受野天然覆盖全图，而 ViT 的全局注意力在高分辨率下计算开销过大。

多裁剪批处理策略。训练时使用 512 作为基础图像尺寸，UI 和图像数据最多裁剪为 4 块，视频和机器人数据使用 1 块。这种灵活的裁剪策略适配了不同数据类型的分辨率需求。

3.2 动作表示的统一

Magma 将所有输出统一为文本 token：

• UI 动作：转化为文本字典格式，如 {"TAP": {"MARK": 3}} 或 {"TYPE": "hello"}
• 机器人动作：使用 LLM 词表中最后 256 个低频 token 表示 7-DoF 动作的离散化值（遵循 OpenVLA [54]）
• VL 输出：标准的文本生成

这种统一策略使得不同任务的监督信号都映射到同一 token 空间，为联合训练提供了基础。但论文也坦诚指出，“尽管统一到了语言空间，任务间仍存在显著冲突”——这正是 SoM/ToM 需要解决的核心问题。

四、数据工程：39M 样本的精密组装

4.1 数据全景

Magma 的预训练数据总量约 3900 万样本，涵盖四大类：

ToM 不适用于 UI 数据，因为 UI 截图是离散的屏幕快照序列，不存在连续的物理运动轨迹。这是数据类型对 ToM 适用性的一种天然约束。

4.2 SoM 生成：UI 数据

对于 UI 截图，SoM 的生成依赖于两种标注源：

1. Web 页面：从 HTML 代码中提取 DOM 树，获取可交互元素的边界框
2. 移动应用：从 Android View Hierarchy 获取控件边界框，并辅以 OCR 工具补充文本区域

Alg. 1 展示了标记放置的核心逻辑——关键是 FindOptimalCorner 函数，它在所有已绘制边界框中选择距离当前标记最远的位置，以最小化标记重叠。这种细节设计直接影响模型对标记的可读性。

4.3 ToM 生成：视频与机器人数据

ToM 的生成管线更为复杂（Alg. 2），涉及多个技术环节：

第 1 步：点追踪。使用 CoTracker [48] 对视频中 $s^2$ 个均匀网格点进行密集追踪，生成长度为 $l$ 的轨迹序列。实践参数 $s=15$，即 225 个追踪点。

第 2 步：全局运动去除。许多教学视频（尤其第一人称视角的 Ego4D）包含显著的相机运动。Magma 使用单应性变换（Homography Transformation）来分离相机运动和目标运动：

$$h_i=\text{HomographyEstimate}(M_t,M_{t+i})$$
$$M_{t+i}^{\ast }=H(M_{t+i},h_i)$$

变换后的轨迹 $M_{t+i}^{\ast }$ 与 $M_t$ 共享同一坐标系，从而消除了相机运动的影响。

第 3 步：前景/背景分类。根据相邻帧间的平均运动幅度，将轨迹分为前景（运动幅度 ≥ $ϵ$）和背景两类。$ϵ=2$ 作为默认阈值。

第 4 步：K-Means 聚类。对前景轨迹聚类为 $k$ 个簇（$k$ 随机选择 1~5），背景轨迹聚类为 $2k$ 个簇。从每个簇中随机选择代表点，确保轨迹的多样性。

可靠性验证：在 YouCook2-BB 数据集上验证，CoTracker 提取的轨迹在 1 秒后仍有 89% 的精度落入人工标注的边界框内，证明了 ToM 标注的可靠性。

视频预处理：使用 PySceneDetect [10] 将视频分割为镜头一致的短片段，再用 CLIP 计算片段与文本标注的相似度，过滤掉相似度 < 0.25 的不相关片段。这一步骤确保了训练数据的质量。

4.4 数据分布分析

论文在附录中分析了三类数据中的动词分布（Figure 13）：

• UI 导航：高频动词包括 “locate”、“turn”、“click”——偏语义操作
• 机器人操控：高频动词包括 “pick”、“push”、“slide”——偏物理交互
• 教学视频：高频动词包括 “lifting”、“throwing”——涵盖更丰富的日常活动

这种互补的动词分布解释了为什么异构数据联合训练能够提升泛化能力——不同数据源覆盖了不同的动作语义空间。

五、实验分析：全面 SOTA 背后的技术逻辑

5.1 零样本评估（Table 2）

Magma 是唯一能在全部任务谱上运行的模型：

几个值得注意的点：

UI 导航的飞跃。在 ScreenSpot 的 Web 子集上，Magma 以零样本方式达到 52.0，远超专门训练的 SeeClick（32.5）。更值得注意的是，Magma 甚至超过了使用 GPT-4V + OmniParser 的方案（39.7）。这意味着 Magma 学到的动作锚定能力具有强大的泛化性。

机器人操控的突破。在 SimplerEnv Google Robot 上，Magma 达到 52.3% 的平均成功率，比 OpenVLA（31.7%）高出 19.6 个百分点，几乎翻倍。论文指出，OpenVLA 使用真实机器人轨迹预训练，在 sim-to-real 适配中存在域差距；而 Magma 在多样化异构数据上训练，表现出更强的鲁棒性。

多模态理解未显著下降。Magma 在 VQAv2 上达到 80.0，虽然略低于 LLaVA-Next（81.8），但考虑到 Magma 同时承担了 UI 和机器人任务，这种微小的下降是可接受的。POPE（幻觉基准）上 Magma 达到 87.4，为所有模型最优。

5.2 关键消融：SoM + ToM 的作用（Table 3）

这是论文最重要的消融实验：

VWB-Act-G（VisualWebBench 动作定位）的提升最为惊人：从 25.2 飙升至 71.8，提升 46.6 分。这表明 SoM+ToM 对动作定位能力的增强是质变级别的。

机器人操控的提升也非常显著：SE-Bridge 从 17.7 到 35.4（+17.7），SE-Google 从 37.5 到 52.3（+14.8）。

论文的解释是：“一旦我们将 SoM 和 ToM 应用于所有预训练数据，将它们统一到同一接口下，模型就能有效地从异构数据中学习 verbal 和 spatial intelligence。”——这验证了核心假设：SoM/ToM 是桥接不同任务的关键纽带。

5.3 高效微调：少样本适应能力

UI 导航（Mind2Web）：Magma 在 Element Accuracy 上达到 57.2（Cross-Website），远超 SeeClick（21.4）和 CogAgent（27.3）。Step SR 达到 45.4，比第二名 Qwen2-UIX（31.0）高出 14.4 分。

移动 UI 导航（AITW）：Magma Overall 达到 67.3，超过 GPT-4V + OmniParser（57.7）和 SeeClick（59.3）。

机器人操控（WidowX 真实机器人）：Magma 平均成功率 67.5%，OpenVLA 仅 25.0%。在"Put Mushroom in Pot"任务上，OpenVLA 完全失败（0%），Magma 达到 70%。在未见过的"Push Cloth Left to Right"任务上，Magma 达到 50%，OpenVLA 仅 10%——这证明了 Magma 更强的预训练知识保持和新任务泛化能力。

LIBERO 仿真基准：仅用 10 条轨迹微调，Magma 在所有任务套件上都显著优于基线。移除 SoM/ToM 后性能下降，再次验证了预训练方法的有效性。

5.4 空间推理（Table 6）

Magma 在 VSR 上达到 65.1，超过 GPT-4o（74.8→注意 GPT-4o 使用了更多预训练数据）。在 SpatialEval 的 Spatial Grid 上达到 64.5，远超 LLaVA-1.5（41.6）。论文还发现，移除视频数据会导致 BLINK 性能下降约 8%——视频数据对空间推理能力至关重要。

5.5 视频问答（Table 8）

Magma 在 IntentQA 上达到 88.6，比第二名 IG-VLM（60.3）高出 28.3 分。论文将此归因于 ToM 预训练任务鼓励模型推理未来帧中的时序动态。在 MVBench 的 Action Prediction 子任务上达到 65.0，超过 VideoChat2（47.5）和 LLaVA-OV（46.0）。

关键对比：Magma 仅使用最多 4 帧进行预训练（受限于计算资源），而 LongVA 使用 64 帧，LLaVA-OV 使用更大的指令调优数据集。尽管如此，Magma 仍在 VideoMME 和 MVBench 上超越这些模型——ToM 预训练任务的信息效率远高于简单的多帧堆叠。

六、深度技术分析

6.1 SoM/ToM 为何有效：从信息论角度理解

传统的 VLA 训练面临一个信息瓶颈：语言模型擅长处理离散 token，但动作是连续的数值。将连续坐标离散化为 token 虽然可行，但会引入量化误差，且坐标 token 与语言 token 之间的语义关联很弱。

SoM 的巧妙之处在于：它将连续的空间定位问题转化为离散的选择问题。模型不再需要预测精确坐标，而是先选择标记编号（完全在语言模型的舒适区），再输出标记对应的坐标（已有候选集作为参考）。这种"先选再定位"的两阶段策略，大幅降低了学习难度。

ToM 则更深刻：它将时序动态编码为空间轨迹序列。与预测下一帧像素（如 VideoGPT）或预测潜在 token（如 GR-2 [11]）不同，ToM 只关注关键点的运动轨迹，用极少 token 捕获了动作的本质信息。这种表示方式与 SoM 的空间标记天然兼容——轨迹的起点就是 SoM 标记，终点就是未来的 SoM 标记。

6.2 与 RT-2/OpenVLA 的本质差异

RT-2 的路线是"VL 模型 + 机器人微调"，本质上是在已有 VL 能力上嫁接动作预测。这种方法保留了 VL 能力，但机器人性能受限于微调数据量。

OpenVLA 走得更远，使用 Prismatic VLM 骨干在 OXE 数据上训练。但它完全聚焦于机器人领域，不具备 UI 导航能力，且 VL 理解能力有所下降。

Magma 的根本差异在于：它不是在 VL 模型上"添加"动作能力，而是从一开始就设计了一个统一的训练接口（SoM/ToM），让所有数据类型——无论有无动作标注——都能以统一方式贡献到空间智能的学习中。这使得 Magma 能够利用海量无标注视频（25M 样本），而 RT-2 和 OpenVLA 都无法做到。

6.3 ConvNeXt 选择的深层逻辑

选择 ConvNeXt 而非 ViT 不仅是技术细节，更反映了设计哲学的差异：

ViT 路线的问题：ViT 将图像分割为固定大小的 patch（通常 14×14 或 16×16），每个 patch 成为一个 token。对于高分辨率 UI 截图（2000×2000），这意味着约 20000 个 token——远超 LLM 的上下文窗口限制。现有的解决方案（如动态分辨率、局部裁剪）增加了系统复杂度。

ConvNeXt 的优势：卷积网络天然处理任意分辨率，且通过步幅控制可以灵活调整 token 数量。ConvNeXt 的全局编码在 UI 任务上表现优异，可能是因为 UI 截图中的可操作元素分布在整个画面上，需要全局视野来定位。

代价：ConvNeXt 在细粒度视觉理解（如 OCR、图表理解）上可能不如 ViT + 高分辨率裁剪的组合。但 Magma 在 TextVQA（66.5）和 ChartQA（76.2）上的表现表明，这一代价是可控的。

6.4 训练效率与数据配比

Magma 的训练规模值得分析：

• 预训练：3 epochs，constant learning rate 1e-5，batch size 1024
• 硬件：最多 32 张 H100 或 64 张 AMD MI300
• 数据配比：视频数据占比最大（~25M/39M ≈ 64%），其次是机器人数据（~9.4M ≈ 24%）

视频数据占据绝对主导地位，这反映了 Magma 的一个核心策略：用视频数据作为空间智能的主要来源。传统的 VLA 模型受限于机器人数据的稀缺性（OXE 仅 1M 轨迹），而 Magma 通过 ToM 将海量视频转化为动作监督，实现了数据规模的数量级提升。

七、局限性与批判性思考

7.1 论文承认的局限

• 数据代表性：教学视频中的身份和活动分布不能代表全球人群，存在社会偏见风险
• 使用范围：模型专为受控环境下的 UI 导航和机器人操控设计，不应泛化到其他场景
• 安全考量：恶意使用者可能利用模型作为基础进行自动化 UI 导航攻击

7.2 技术层面的不足

预训练帧数受限。Magma 在视频预训练中最多使用 4 帧（受限于计算资源），这严重限制了模型对长程时序依赖的建模能力。虽然 ToM 在一定程度上弥补了这一缺陷，但对于需要长程规划的复杂任务（如多步骤烹饪），4 帧的窗口显然不够。

SoM 依赖外部提议网络。零样本评估时，Magma 依赖 OmniParser 提供 UI 元素的候选边界框。这意味着 SoM 的质量受限于提议网络的性能。在真实部署中，如果提议网络漏检了关键元素，Magma 也无法正确定位。

机器人评估的 sim-to-real gap。SimplerEnv 的结果虽然令人印象深刻，但仿真环境与真实世界仍有差距。WidowX 真实机器人实验仅包含 4 个任务，且每个任务只有 10 次试验，统计显著性有限。

未与最新的闭源模型对比。论文中对比的 GPT-4V 已非最新模型（GPT-4o、Claude 3.5 等已发布）。虽然 Magma 在空间推理上超过 GPT-4o，但在通用多模态理解上的对比可能不够公平。

7-DoF 动作表示的局限性。Magma 使用 OpenVLA 的 256-bin 离散化方案，这种粗粒度量化可能影响精细操作任务的精度。论文未讨论这一设计选择对高精度任务的影响。

7.3 对技术路线的思考

SoM/ToM 是否是最优的桥接方案？ 虽然 SoM/ToM 在实验中表现优异，但它们仍然是一种"工程化"的解决方案。更根本的方法可能是设计一种原生支持空间和时序推理的架构——例如将 3D 坐标作为一等公民集成到 transformer 中，而非通过离散化映射到语言 token 空间。

视频数据的上限在哪里？ Magma 使用了 25M 视频样本，但互联网上的视频数据远不止于此。随着视频数据的进一步扩展，ToM 的收益是否会饱和？还是会像 LLM 的 scaling law 一样持续提升？这是一个值得探索的方向。

多模态理解的妥协。虽然 Magma 在 VL 任务上"compare favorably"，但在 VQAv2 上仍低于 LLaVA-Next 1.8 分。这是否意味着 SoM/ToM 的训练对 VL 能力有轻微的负面影响？论文中的消融（Table 7）显示，加入 SoM/ToM 后 ChartQA 提升 5%，但 GQA 略有下降——这种 trade-off 值得更深入的研究。

八、对领域发展的影响判断

8.1 Agent 基础模型的新范式

Magma 代表了一种新范式：不再是"VL 模型 + 动作微调"，而是"统一预训练 + 零样本迁移"。这种范式的核心是设计一个跨任务、跨域的统一训练接口，让所有数据都能贡献到模型能力的构建中。

这一范式的影响是深远的：

• 降低部署成本：一个模型覆盖 UI 导航、机器人操控和 VL 理解，无需维护多个专用模型
• 提升泛化能力：异构数据的联合训练让模型学到更鲁棒的空间智能
• 解锁视频数据：ToM 为利用海量无标注视频提供了可行路径，这可能成为 Agent 领域的"ImageNet 时刻"

8.2 对机器人学习的影响

Magma 的结果对机器人学习社区传递了一个重要信号：纯机器人数据不足以训练出强大的操控策略。OpenVLA 在 970K 轨迹上训练 27 epochs，仍被 Magma 以零样本方式超越。这意味着：

• 视频数据中的动作知识是可迁移的
• 空间智能可以通过非机器人数据（如教学视频）获得
• 未来的机器人学习应更多地关注如何利用人类视频数据

8.3 对 UI 自动化的影响

Magma 在 Mind2Web 和 AITW 上的表现表明，基于纯视觉的 UI Agent 已接近实用水平。与依赖 DOM 树或 View Hierarchy 的方法相比，Magma 的纯视觉方案具有更强的跨平台泛化性——同一模型可以处理 Web、iOS、Android 和桌面应用。

九、总结

Magma 的核心贡献不在于某个单一技术的突破，而在于一个精心设计的系统工程：用 SoM 和 ToM 两个简洁的标记机制，将图像、视频、UI 截图和机器人轨迹统一到同一训练框架下，让一个 8B 参数的模型同时在数字和物理世界中展现出 Agent 能力。

论文最有价值的洞察是：verbal intelligence 和 spatial intelligence 不是对立的，而是可以通过合适的桥接机制相互增强的。SoM 让模型"看懂"可操作对象，ToM 让模型"预见"动作后果——这两种能力的结合，正是 AI Agent 从"理解世界"走向"改变世界"的关键一步。

当然，Magma 还远非完美：4 帧的视频窗口、对外部提议网络的依赖、有限的真实机器人验证——这些都是未来工作需要解决的问题。但它指明了一个清晰的方向：统一的多模态 Agent 基础模型是可行的，而且不需要天文级别的数据量。

在 GPT-4o、Gemini 1.5 等闭源模型占据通用多模态理解高地的同时，Magma 展示了开源模型在 Agent 领域的竞争力。随着模型和代码的公开发布，它很可能成为多模态 Agent 研究的一个新的起点。

论文信息

• 标题：Magma: A Foundation Model for Multimodal AI Agents
• 机构：Microsoft Research, University of Maryland, UW-Madison, KAIST, University of Washington
• 项目主页：https://microsoft.github.io/Magma
• 骨干模型：LLaMA-3-8B + ConvNeXt-XXlarge
• 训练数据：~39M 样本（UI 2.8M + 机器人 9.4M + 视频 25M + VL 1.2M）
• 硬件：32× H100 或 64× AMD MI300