掩码视觉动作的论文2——方法和实验

一、前言

项目主页：https://masked-visual-actions.github.io/
论文地址：https://arxiv.org/pdf/2607.19343

二、掩码视觉动作：面向统一世界建模

3 掩码视觉动作（Masked Visual Actions）

Video generation models can be used to show how an initial scene evolves over time [4, 63], as they can model rich scene dynamics and object interactions. The video model captures the distribution $p(V)$ over videos $V\in {\mathbb{R}}^{T\times H\times W\times 3}$ depicting a scene. We view a scene $\mathcal{S}$ as a set of entities $e_1,e_2,\dots ,e_n$ , and the video model generates a sequence of frames depicting how the entities interact over time. In the output video, each $e_i$ has a spatiotemporal trajectory, and we abuse notation slightly and write $e_i$ for both the entity and the spatiotemporal region of pixels it occupies. Aligned with recent works built on structured masking and condition inference [2, 35, 45, 62], the video model implicitly captures the joint distribution over all entity trajectories
视频生成模型可用于展示初始场景如何随时间演化 [4, 63]，因为它们能够建模丰富的场景动态与物体交互。视频模型捕捉了描绘某一场景的视频 $V\in {\mathbb{R}}^{T\times H\times W\times 3}$ 的分布 $p(V)$。我们将场景 $\mathcal{S}$ 视为一组实体 $e_1,e_2,\dots ,e_n$ 的集合，而视频模型则生成一系列帧，描绘这些实体如何随时间交互。在输出视频中，每个 $e_i$ 都具有一条时空轨迹；我们在符号上稍作混用，用 $e_i$ 同时指代该实体及其所占据的时空像素区域。与近期基于结构化掩码和条件推断的工作 [2, 35, 45, 62] 一致，视频模型隐式地捕捉了所有实体轨迹的联合分布：

$$p(V)=p(e_1,e_2,\dots ,e_n),(1)$$

including the interactions among them. Conditioning on a subset S ⊆ { 1 , … , n } \mathcal{S} \subseteq \{1, \dots, n\} S⊆{1,…,n} of entities yields the conditional distribution
其中包括它们之间的交互。对实体的一个子集 S ⊆ { 1 , … , n } \mathcal{S} \subseteq \{1, \dots, n\} S⊆{1,…,n} 进行条件化，可得到如下条件分布：

p ( { e i } i ∉ S ∣ { e j } j ∈ S , I 0 ) , ( 2 ) p(\{e_i\}_{i \notin \mathcal{S}} \mid \{e_j\}_{j \in \mathcal{S}}, I_0), \quad (2) p({ei​}i∈/S​∣{ej​}j∈S​,I0​),(2)

where $I_0$ is a reference image of the initial scene. By varying $\mathcal{S}$ , the same model answers different questions about the same scene.
其中 $I_0$ 是初始场景的参考图像。通过改变 $\mathcal{S}$，同一个模型可以回答关于同一场景的不同问题。

通俗解释

1. “视频模型捕捉了视频 $V$ 的分布 $p(V)$”

通俗讲：视频模型脑子里装的不是某一段具体视频，而是**“所有合理视频的可能性”**。

就像你脑子里有一个"世界运转规律库"——你知道杯子掉地上会碎、手推积木会滑、机器人伸手会碰到东西。模型学的是这些规律，而不是死记硬背某段视频。

$V\in {\mathbb{R}}^{T\times H\times W\times 3}$ 只是数学写法：$T$=帧数，$H\times W$=画面宽高，$3$=RGB颜色。简单说就是"一段视频"。

---

2. “场景 $\mathcal{S}$ 是一组实体 $e_1,e_2,\dots ,e_n$”

通俗讲：一段视频里有很多**“东西”**（实体）：

• $e_1$ = 机器人手臂
• $e_2$ = 红色杯子
• $e_3$ = 桌面
• $e_4$ = 背景墙壁

每个东西在视频里都不是静止的，而是占了一块时空区域——比如杯子从第1帧到第10帧，在画面中间偏右的位置，占了一小片像素。$e_i$ 既指"这个杯子"，也指"这个杯子在视频里走过的所有像素轨迹"。

---

3. “$p(V)=p(e_1,e_2,\dots ,e_n)$ —— 联合分布”

通俗讲：视频模型学的不是"机器人怎么动"或"杯子怎么动"的单独规律，而是所有东西一起动的规律。

比如：

• 机器人伸手 → 杯子可能被碰到 → 杯子会移动 → 桌面上的其他东西可能被波及

这是一个**“大网”**，所有实体的运动是互相纠缠的。公式 (1) 就是说：视频模型 = 一个知道"所有东西怎么联动"的联合概率分布。

---

4. “条件化子集 $\mathcal{S}$，得到条件分布”

通俗讲：这就是**"贴胶带"的数学表达**。

假设场景里有3个东西：机器人($e_1$)、杯子($e_2$)、桌子($e_3$)。

• 如果我确定了机器人的运动（ S = { 1 } \mathcal{S} = \{1\} S={1}，即给 $e_1$ 贴胶带），模型就能推断：杯子会怎么动？桌子会不会被碰到？

  这就是公式 (2)：$p(\text{杯子、桌子}\mid \text{机器人已确定},\text{第一帧})$

• 如果我确定了杯子的运动（ S = { 2 } \mathcal{S} = \{2\} S={2}，即给 $e_2$ 贴胶带），模型就能推断：机器人该怎么动才能达成这个效果？

  这就是公式 (2) 的另一种用法：$p(\text{机器人、桌子}\mid \text{杯子已确定},\text{第一帧})$

$I_0$ 就是第一帧照片（参考图像），告诉模型"一开始场景长什么样"。

---

5. “改变 $\mathcal{S}$，同一个模型回答不同问题”

通俗讲：这就是论文最妙的地方——不用换模型，只换"贴胶带的位置"。

你告诉模型什么（$\mathcal{S}$）	模型帮你算什么	对应论文里的
“机器人手臂接下来这样动”	“那杯子会飞到哪里？”	前向模型（Forward）
“杯子最后要到这个位置”	“那机器人手臂该怎么伸？”	逆向模型（Inverse）
“什么都不告诉”	“随便预测一段合理视频”	无条件生成

关键洞察：因为模型学的是所有东西联动的联合规律，所以只要"钉死"其中一部分，它就能自动补全剩下的。就像你玩拼图，只要几块确定了，其他块的位置也就被限制了。

---

一句话总结这段数学

视频模型学的不是"某个视频"，而是"所有东西怎么一起动"的物理规律。只要用胶带（掩码）固定住其中一些东西的运动轨迹，模型就能自动推算出其他东西会怎么动——换一换胶带的位置，同一个模型既能当预言家（前向），也能当编剧（逆向）。

回到原文

We realize this conditioning by masking. Let M ∈ { 0 , 1 } T × H × W M \in \{0, 1\}^{T \times H \times W} M∈{0,1}T×H×W be a binary mask indicating which spatiotemporal pixels are revealed to the model ( $M_{t,h,w}=1$ ) versus predicted ( $M_{t,h,w}=0$ ). For a chosen conditioning set $\mathcal{S}$ , the mask is the union of the pixel regions occupied by the conditioned entities,
我们通过掩码来实现这一条件化。令 M ∈ { 0 , 1 } T × H × W M \in \{0, 1\}^{T \times H \times W} M∈{0,1}T×H×W 为一个二值掩码，用于指示哪些时空像素被揭示给模型（$M_{t,h,w}=1$）而哪些需要被预测（$M_{t,h,w}=0$）。对于选定的条件化集合 $\mathcal{S}$，掩码是被条件化实体所占据像素区域的并集：
$$M(\mathcal{S})=\bigcup _{i\in \mathcal{S}}{e}_i,(3)$$

and the model receives as input the masked video $M\odot V$ together with the reference image $I_0$ . Training proceeds by sampling $M$ from a distribution over masks and learning the conditional $p_{\theta }(V\mid M\odot V,I_0)$ . We draw inspiration from masked modeling in language [15] and masked-image prompting [1], where varying the masked input enables diverse applications with the same model.
模型接收的输入为掩码后的视频 $M\odot V$ 以及参考图像 $I_0$。训练过程通过从掩码分布中采样 $M$，并学习条件分布 $p_{\theta }(V\mid M\odot V,I_0)$。我们的灵感来源于语言中的掩码建模 [15] 和掩码图像提示 [1]，在这些工作中，改变掩码输入即可使同一模型适用于多种不同应用。

In robotics, it is convenient to partition entities into two roles, as illustrated in Figure 3. We call entity $e_i$ active if it acts on the scene through its own agency, such as a robot arm or a human, and passive if its motion arises from interaction with an active entity, such as a manipulated object. Let A ⊆ { 1 , … , n } \mathcal{A} \subseteq \{1, \dots, n\} A⊆{1,…,n} index the active entities and P = { 1 , … , n } ∖ A \mathcal{P} = \{1, \dots, n\} \setminus \mathcal{A} P={1,…,n}∖A the passive ones. This partition surfaces two natural ways to use the model.
在机器人学中，将实体划分为两种角色是方便的，如图 3 所示。如果实体 $e_i$ 通过自身能动性作用于场景（例如机械臂或人类），我们称其为**主动（active）实体；如果其运动源于与主动实体的交互（例如被操纵的物体），则称其为被动（passive）**实体。令 A ⊆ { 1 , … , n } \mathcal{A} \subseteq \{1, \dots, n\} A⊆{1,…,n} 索引主动实体， P = { 1 , … , n } ∖ A \mathcal{P} = \{1, \dots, n\} \setminus \mathcal{A} P={1,…,n}∖A 索引被动实体。这种划分自然地引出了两种使用模型的方式。

Forward model. Setting $\mathcal{S}=\mathcal{A}$ , we condition on the active entities and predict the passive ones,
前向模型（Forward model）。 令 $\mathcal{S}=\mathcal{A}$，即对主动实体进行条件化并预测被动实体：
p ( { e i } i ∈ P ∣ { e j } j ∈ A , I 0 ) . ( 4 ) p(\{e_i\}_{i \in \mathcal{P}} \mid \{e_j\}_{j \in \mathcal{A}}, I_0). \quad (4) p({ei​}i∈P​∣{ej​}j∈A​,I0​).(4)

This corresponds to the standard action-conditioned dynamics modeling, in which a robot’s motion is provided, and the model simulates its effect on the scene. Unlike prior work that conditions on low-dimensional action commands [19, 25], the active conditioning here is supplied as masked videos that are agnostic to embodiments.
这对应于标准的动作条件化动力学建模：提供机器人的运动，由模型模拟其对场景的影响。与以往基于低维动作指令进行条件化的工作 [19, 25] 不同，此处的主动条件化以掩码视频的形式提供，且与具体形态无关。

Inverse model. Setting $\mathcal{S}=\mathcal{P}$ , we condition on the passive entities and predict the active ones,
逆向模型（Inverse model）。 令 $\mathcal{S}=\mathcal{P}$，即对被动实体进行条件化并预测主动实体：
p ( { e i } i ∈ A ∣ { e j } j ∈ P , I 0 ) . ( 5 ) p(\{e_i\}_{i \in \mathcal{A}} \mid \{e_j\}_{j \in \mathcal{P}}, I_0). \quad (5) p({ei​}i∈A​∣{ej​}j∈P​,I0​).(5)

This direction has no analog in conventional action-conditioned world models: the user specifies a desired outcome in the world, and the video model recovers the agent behavior consistent with it.
这一方向在传统的动作条件化世界模型中没有对应物：用户指定世界中期望的结果，视频模型则恢复出与此一致的智能体行为。

The active/passive distinction is a convenient way to describe how we use the model rather than a property of the model itself. The model is trained on masked video completion without any explicit notion of agency, and at inference, any subset $\mathcal{S}$ can be chosen. In fact, we trained our model only on masks depicting active robotic entities, yet it generalizes to queries conditioned on passive entities in a zero-shot manner. As observed in our empirical evaluations, this behavior is unique to our masked visual action conditioning, as conditioning the video model on sparser signals, such as low-level action commands or visualized skeletons, cannot achieve this level of generalization.
主动/被动的区分只是我们描述模型使用方式的一种便利手段，而非模型本身的属性。模型在训练时仅进行掩码视频补全，没有任何关于能动性的显式概念；在推理时，可以选择任意子集 $\mathcal{S}$。事实上，我们仅使用描绘主动机器人实体的掩码来训练模型，但它却能以**零样本（zero-shot）**方式泛化到以被动实体为条件的查询。正如我们的实验评估所观察到的，这种行为是我们掩码视觉动作条件化所独有的——因为若以低维动作指令或可视化骨架等更稀疏的信号对视频模型进行条件化，无法实现这种程度的泛化。

通俗解释

这段是论文的数学"操作手册"，讲的是"贴胶带"具体怎么实现，以及为什么能一鱼两吃（既做前向又做逆向）。

---

1. 掩码 $M$ 是什么？—— “胶带的数学定义”

M ∈ { 0 , 1 } T × H × W M \in \{0, 1\}^{T \times H \times W} M∈{0,1}T×H×W 就是一个三维开关矩阵：

• $T$ = 时间（第几帧）
• $H\times W$ = 画面里的每个像素位置
• 值 = 1（白色，给模型看）或 0（黑色，让模型猜）

大白话：想象你有一段10秒的视频，每一帧都是一张1920×1080的照片。掩码 $M$ 就是跟这段视频一模一样大小的另一段"黑白视频"——哪里贴白胶带（1），哪里就是"已知条件"；哪里贴黑胶带（0），模型就要脑补填充。

---

2. 公式 (3)：$M(\mathcal{S})={\bigcup }_{i\in \mathcal{S}}{e}_i$

通俗讲：胶带贴哪里，取决于你选了哪些实体。

假设场景里有：

• $e_1$ = 机器人手臂（占了一块像素区域）
• $e_2$ = 红色杯子（占了另一块像素区域）
• $e_3$ = 背景桌子

如果你选 S = { 1 } \mathcal{S} = \{1\} S={1}（只给机器人贴胶带），那么掩码 $M$ 就是把机器人手臂在所有帧里走过的所有像素全部标成1，其余标0。

并集符号 $\bigcup$ 的意思：如果你选了多个实体（比如同时贴机器人和杯子），就把它们占过的所有像素合并起来标白。

---

3. “$M\odot V$” —— 掩码视频

$\odot$ 是逐元素相乘。

操作：把原始视频 $V$ 和掩码 $M$ 逐像素相乘。

• $M=1$ 的地方：保留原视频像素（给模型看）
• $M=0$ 的地方：变成0（纯黑，或者论文里后面说的灰色背景）

输入给模型的东西：

1. 掩码后的视频 $M\odot V$（有胶带的那版）
2. 参考图像 $I_0$（第一帧的完整照片，告诉模型"一开始长什么样"）

模型要学的：给定"胶带视频 + 第一帧"，把胶带遮住的地方还原成合理的真实视频。

---

4. 训练时怎么学？—— “随机贴胶带”

不是每次都贴同一个地方。训练时随机采样掩码 $M$：

• 有时贴机器人
• 有时贴杯子
• 有时贴一半机器人
• 有时贴大面积、有时贴小面积

模型学的是：不管胶带怎么贴，我都能把空白处合理补全。

这就像做填空题，老师每次抠掉不同的词，你练多了就真正理解了文章意思，而不是背答案。

---

5. 主动 vs 被动 —— "谁碰谁"的划分

作者为了方便描述，把场景里的东西分成两类：

类型	例子	通俗理解
主动（Active）	机器人手臂、人	“有主观能动性，主动去碰别人”
被动（Passive）	杯子、积木、被推的门	“被碰了才会动，自己不会主动搞事情”

$\mathcal{A}$ = 所有主动实体的编号集合
$\mathcal{P}$ = 所有被动实体的编号集合

---

6. 公式 (4)：前向模型 —— “已知机器人动作，猜世界怎么变”

$$\mathcal{S}=\mathcal{A}$$

操作：给主动实体（机器人）贴胶带，让模型预测被动实体（杯子、桌子等）会怎么动。

对应现实：

你告诉模型：“机器人手臂接下来要这样伸、这样抓。”
模型回答：“那杯子会被抓起来，桌面上的纸会被手臂带飞。”

这就是传统的前向动力学——给定动作，预测结果。

与以往方法的区别：以前别人给模型的是数字指令（比如关节转30度），模型得先学会"30度 = 手臂抬多高"。而这里给的是像素画面（直接看手臂在视频里怎么动），模型不需要懂"这是什么机器人"，只要懂"这块像素在动，周围该怎么跟着变"。

---

7. 公式 (5)：逆向模型 —— “已知想要的结果，猜机器人该怎么动”

$$\mathcal{S}=\mathcal{P}$$

操作：给被动实体（比如杯子）贴胶带，让模型预测主动实体（机器人）该怎么动。

对应现实：

你告诉模型：“我希望这个杯子从桌面移动到托盘上。”
模型回答：“那机器人手臂应该先伸过来，张开夹爪，从侧面抓住，抬起来，平移过去，放下。”

这就是逆向动力学——给定目标，反推动作。

关键：传统方法没有这种能力！传统世界模型是"你给我动作指令，我告诉你结果"，但没法反着来。这里因为用的是像素掩码，方向可以随便换。

---

8. 最反直觉的一点：只学了"正向"，却会"逆向"

“我们训练时只给机器人贴胶带（只练了前向），测试时第一次给杯子贴胶带（逆向），模型直接就会了。”

这叫 Zero-shot（零样本泛化）。

为什么能做到？

因为模型学的不是"机器人动作 → 物体反应"的映射，而是学的更底层的物理关系：

• “手臂靠近杯子 → 杯子可能被碰”
• “夹爪闭合 → 杯子被夹住会跟着动”
• “杯子悬空 → 会受重力影响”

这些关系是对称的。就像你学了"力 → 加速度"，自然也懂"要产生这个加速度需要多少力"。

对比：如果训练时给的是数字关节角度或骨架线条，模型学的是"看到这组数字，画这个视频"。你让它反过来"看到杯子动，画机器人"，它没见过这种数字到画面的映射，就会懵。

---

一句话总结这段

“贴胶带"就是用一个黑白开关视频告诉模型"哪里已知、哪里待猜”。胶带贴在机器人身上，模型当预言家（前向）；胶带贴在杯子上，模型当编剧（逆向）。最神奇的是，模型只被训练当预言家，第一次当编剧就直接上岗——因为它学的不是背答案，而是理解了物理世界里的互动关系。

通俗解释

1. 视频模型 = 一个会"脑补"的画家

想象你有一个特别厉害的画家，他看过海量视频，知道世界是怎么运转的——东西怎么掉、门怎么开、机器人怎么抓杯子。你给他一张起始画面，他就能脑补出接下来会发生什么，画成一段视频。

但问题是：这个画家是"自由发挥"的，你没法指挥他。你可能想让他画"机器人把杯子推到左边"，结果他画成了"杯子自己飞了"。

2. 怎么"指挥"这个画家？—— 用"遮罩"当指挥棒

作者想了一个办法：不给画家下文字指令，也不给什么关节角度数据，而是直接在画布上用胶带贴住一部分画面，告诉画家：“这部分我已经定死了，你照着这个往下画，把空白的地方补全。”

这就是 Masked Visual Actions（掩码视觉动作） 的核心。

• 掩码（Mask）：就像 Photoshop 里的蒙版，黑色 = 遮住（让模型猜），白色 = 露出（给模型当已知条件）。
• 视觉动作：他们把"动作"不是写成数字（比如关节转30度），而是直接画成像素轨迹——机器人手臂在视频里是怎么动的，就把这条运动轨迹的像素露出来给模型看。

3. 两种玩法：正向推演 vs 逆向求解

他们把场景里的东西分成两类：

类型	例子	通俗理解
主动（Active）	机器人手臂、人	“有主观能动性，自己去碰东西”
被动（Passive）	杯子、积木、门	“被碰了才会动”

然后发现，只要换一换贴胶带的位置，同一个画家就能干两件完全不同的事：

玩法 A：正向模型（露出机器人，猜物体）

你给画家看：“机器人手臂接下来要这样动（露出轨迹），你告诉我杯子会怎么飞？”

→ 这就是前向动力学：给定动作，预测结果。

玩法 B：逆向模型（露出物体，猜机器人）

你给画家看：“我希望杯子最后要跑到这里（露出物体轨迹），你告诉我机器人该怎么动？”

→ 这就是逆向动力学：给定目标，反推动作。

4. 最骚的操作：只练了一半，却全会了

这里最厉害的一点是：

他们训练模型的时候，只给画家看过"露出机器人轨迹"的题（玩法 A）。

结果测试时，第一次让画家做"露出杯子轨迹"的题（玩法 B），画家直接就会了，不需要额外训练。

这叫 Zero-shot（零样本泛化）。

为什么能做到？因为作者用的是像素级别的掩码——模型学的不是"机器人关节和物体的对应关系"，而是学了一个更底层的道理：“场景里各个东西是怎么互相影响的”。所以只要告诉它"谁动了"，它就能推断出"谁该跟着动"，不管动的那个是机器人还是杯子。

相比之下，如果之前的方法是用文字指令或者关节角度数字去控制模型，模型学的就是"听到这组数字 → 画机器人"，你让它反过来"看到杯子动 → 画机器人"，它就懵了，因为训练里根本没见过。

---

一句话总结

把"动作"直接画在视频像素上，用"贴胶带"的方式告诉模型已知条件，同一个模型既能做"给动作猜结果"（正向），也能做"给结果猜动作"（逆向）——而且只练了正向，逆向直接就会。

回到原文

4 方法（Method）

4.1 数据集构建（Dataset construction）

We construct the masked modeling dataset by combining real-world videos from DROID [31] and simulation data from Robocasa [52]. We use both success and failure trajectories from both datasets. We follow two approaches to construct masked conditioning for each video, based on video segmentation and rendering the robot state, as outlined below.
我们通过结合 DROID [31] 的真实世界视频和 Robocasa [52] 的仿真数据来构建掩码建模数据集。我们使用两个数据集中的成功轨迹和失败轨迹。我们遵循两种方法来为每个视频构建掩码条件，分别基于视频分割和渲染机器人状态，具体概述如下。

Segmentation based dataset Given any video, we can segment any entity in the scene using SegmentAnything [6], without the need for camera calibration or even explicitly knowing which robot is shown in the video. We use videos from DROID, and use the prompt “A robotic arm” for segmentation to isolate the robot. Using segmentation data enables the model to effectively learn to inpaint missing regions and to model the joint distribution over all entities in the scene. While a segmentation-based approach is highly general, it suffers from two major limitations: First, it is challenging for the user to provide an exact segmentation mask of entities at test time. Second, any occluded regions in the robot would implicitly leak information about the scene dynamics from the original video. To mitigate those limitations, we also explore the approach that explicitly renders robots from their recorded state.
基于分割的数据集 给定任意视频，我们可以使用 SegmentAnything [6] 分割场景中的任意实体，无需相机标定，甚至无需显式知道视频中展示的是哪种机器人。我们使用 DROID 的视频，并以提示词 “A robotic arm” 进行分割以分离出机器人。使用分割数据使模型能够有效学习补全（inpaint）缺失区域，并对场景中所有实体的联合分布进行建模。虽然基于分割的方法具有很高的通用性，但它存在两个主要局限性：首先，用户在测试时难以提供实体的精确分割掩码；其次，机器人中被遮挡的区域会隐式地泄露原始视频中的场景动态信息。为了缓解这些局限性，我们还探索了从记录状态显式渲染机器人的方法。

通俗解释

场景设定

想象一段视频：机器人手臂从左侧伸过来，挡住了后面的红色杯子，然后抓住杯子把它提起来。

帧1:  [手臂] [杯子]  → 手臂在杯子前面，遮挡了杯子的一部分
帧2:  [手臂] [杯子]  → 手臂抓住杯子
帧3:  [手臂+杯子一起移动]

---

分割法的问题：被遮挡区域"泄露"了信息

1. 分割法怎么做？

用 SAM（Segment Anything）把机器人手臂分割出来，生成 mask：

mask = 1 的地方：机器人手臂的像素（保留原视频像素）
mask = 0 的地方：其他所有区域（包括被手臂挡住的杯子后面）

然后构造训练输入：

• mask 区域（手臂）：保留原视频的真实像素（手臂长什么样、怎么动）
• 非 mask 区域（背景+被遮挡区）：设为灰色（让模型去补全）

2. "泄露"发生在哪？

注意：mask 是二值的，只覆盖手臂的可见轮廓。手臂后面被挡住的杯子区域，在 mask 标注里属于 mask=0（背景），但你在构造训练数据时，原始视频里这一帧的手臂后面其实是有杯子的像素的。

虽然你把非 mask 区域涂成了灰色作为模型输入，但问题在于：分割 mask 本身的边界形状就携带了信息。

更直接的泄露：如果你用原始视频的非 mask 区域作为 ground truth（训练目标），那么模型在训练时看到的 target 视频里，被遮挡区域是真实的杯子像素。

训练样本构造：
输入（给模型看的）：  手臂保留 + 其他区域涂灰
目标（模型要学的）：  完整原视频（包括手臂后面的杯子！）

→ 模型看到 target 里"手臂后面有红色杯子"
→ 但输入里手臂后面的灰色区域，模型其实可以从训练中学到：
   "只要手臂在这个位置、这个姿态，后面大概率是红色杯子"

3. 为什么叫"隐式泄露"？

因为这不是你故意告诉模型"后面有杯子"，而是原始视频在被遮挡区域的真实内容，通过训练目标（target video）间接泄露给了模型。

模型可能学会的不是"从手臂运动推断物理规律"，而是"记住手臂轮廓和背景内容的对应关系"。

更严重的例子：

• 训练时：手臂遮挡了杯子，target 视频里杯子最终被手臂抓起来
• 测试时：你给模型看一段手臂运动轨迹，但场景里根本没有杯子
• 模型可能仍然生成"杯子被抓起来"的画面，因为它在训练时通过被遮挡区域的泄露，把"手臂这个姿态"和"杯子存在"建立了虚假关联

---

渲染法如何解决：彻底切断泄露

渲染法不分割原始视频，而是用 URDF 机器人模型+关节角度，在空白画布上重新画一个机器人：

渲染法的训练输入构造：
- 背景：纯透明/纯灰（没有任何原始场景信息）
- 机器人：3D 模型渲染出来的手臂（只保留机器人本身）

→ 被遮挡区域：什么都没有，就是空白
→ 训练目标（target video）：完整原视频

关键区别

	分割法	渲染法
手臂来源	原始视频的真实像素	3D 模型重新渲染
背景区域	原始视频涂灰（被遮挡区有真实信息）	纯透明/空白（零信息）
被遮挡区域	原始视频 target 泄露了真实内容	没有任何泄露
模型学什么	可能"偷看"被遮挡区来补全	必须真正从手臂运动+首帧场景推断

---

一句话总结

分割法的问题在于：机器人手臂在原始视频中遮挡了后面的物体，虽然你把非手臂区域涂灰作为输入，但训练目标（完整原视频）里被遮挡区域的真实内容仍然被模型看到了。模型可能学会"从手臂轮廓猜后面有什么"而不是"从物理规律推断交互"。渲染法用3D模型在空白背景上重新画机器人，彻底消除了被遮挡区域的任何信息泄露，强迫模型真正学会物理推理。

回到原文

Figure 3: Applications. The masked visual actions allow using the video model as a forward model, conditioned on robot actions, or as an inverse model that predicts the robot motion that satisfies the object trajectory. The forward model can be used for planning and choosing the best trajectory sampled from a policy, or policy evaluation. On the other hand, the inverse modeling can be combined with an inverse dynamics model to estimate robot actions from the generated video.
图3：应用。 掩码视觉动作允许将视频模型用作前向模型（以机器人动作为条件），或用作预测满足物体轨迹的机器人运动的逆向模型。前向模型可用于规划并从策略采样的轨迹中选择最佳轨迹，或用于策略评估。另一方面，逆向建模可以与逆动力学模型结合，从生成的视频中估计机器人动作。

Figure 4: Dataset construction. (a) to train our model, we need a reference frame of the initial scene, and the masked visual actions, and train it to reproduce a realistic video of the robot executing the input actions. (b) We use segmentation-based approach by segmenting the robot arm from robotics datasets as the masked visual actions. © However, to allow the user to provide arbitrary action trajectory at inference, the model needs to also accept simulated mesh visualization of those actions. As a result, we also include rendering-based dataset. Given that DROID also contains the robot state at each timestep, we render the robot URDF that matches the original video to construct masked visual actions.
图4：数据集构建。 (a) 为了训练我们的模型，我们需要初始场景的参考帧和掩码视觉动作，并训练它复现机器人执行输入动作的真实视频。(b) 我们使用基于分割的方法，从机器人数据集中分割出机械臂作为掩码视觉动作。© 然而，为了允许用户在推理时提供任意动作轨迹，模型还需要接受这些动作的模拟网格可视化。因此，我们还包含了基于渲染的数据集。鉴于 DROID 也包含每个时间步的机器人状态，我们渲染与原始视频匹配的机器人 URDF 来构建掩码视觉动作。

Rendering based dataset Instead of relying on segmentation, we can also align a robot mesh with the input video and use that as the masked conditioning. By rendering the robot mesh, we can visualize arbitrary action trajectories during inference and then use them as masked conditioning for the video model. To construct a rendering-based dataset, we require the robot state corresponding to the input video and the camera calibration. We use the DROID dataset and follow the protocols from PointWorld [28] to refine the camera calibration to accurately align the robot URDF with the input trajectories. In the Robocasa simulation, we render only the robot, excluding the rest of the scene, to generate the masked conditioning. To allow the model to see the full robot without self-occlusion, we render the robot only with translucent rendering and set the gripper fingers to bright red so the video model can easily observe the actions. Note that the rendering approach requires known camera calibration, and is limited to rendering the robot only as opposed to arbitrarily enabling masking any entity in the scene. As a result, we believe that the segmentation and rendering-based approaches are complementary.
基于渲染的数据集 不依赖分割，我们也可以将机器人网格与输入视频对齐，并将其用作掩码条件。通过渲染机器人网格，我们可以在推理时将任意动作轨迹可视化，然后将其用作视频模型的掩码条件。为了构建基于渲染的数据集，我们需要与输入视频对应的机器人状态和相机标定。我们使用 DROID 数据集，并遵循 PointWorld [28] 的协议来精修相机标定，以准确地将机器人 URDF 与输入轨迹对齐。在 Robocasa 仿真中，我们只渲染机器人，排除场景的其余部分，以生成掩码条件。为了让模型看到完整的机器人而不受自遮挡影响，我们仅使用半透明渲染机器人，并将夹爪手指设为鲜红色，以便视频模型轻松观察动作。请注意，渲染方法需要已知的相机标定，并且仅限于渲染机器人，而无法任意地对场景中的任何实体进行掩码。因此，我们认为基于分割和基于渲染的方法是互补的。

Figure 6: Comparing baselines on DROID. Using image-to-video [63] or even trajectory conditioned video generation [13] with GT tracks fails to execute the robot motion or preserve the input scene. On the other hand, our model can competitively match and outperform models that take the raw robot actions [25] while maintaining generalization.
图6：在 DROID 上与基线比较。 使用 image-to-video [63] 或甚至使用真实轨迹进行条件化的视频生成 [13] 都无法执行机器人运动或保留输入场景。另一方面，我们的模型在匹配和超越采用原始机器人动作的模型 [25] 的同时，保持了泛化能力。

Table 1: Baseline comparison on diverse embodiments. We evaluate our method against Ctrl-World [25] on DROID as a seen robotic embodiment, as well as BEHAVIOR, which uses a bimanual robotic embodiment that’s unseen for all methods. Our model outperform the baseline on both datasets, and we include image-to-video and trajectory conditioned video models as a reference.
表1：在多种形态上的基线比较。 我们在 DROID（已见过的机器人形态）以及 BEHAVIOR（使用双手机器人形态，对所有方法而言都是未见过）上评估我们的方法与 Ctrl-World [25]。我们的模型在两个数据集上都优于基线，我们还包含了 image-to-video 和轨迹条件化视频模型作为参考。

Method	DROID			BEHAVIOR
	LPIPS ↓	SSIM ↑	PSNR ↑	LPIPS ↓	SSIM ↑	PSNR ↑
Image-to-video [63]	0.521	0.548	12.42	0.602	0.457	10.22
Wan-move [13]	0.534	0.562	12.99	0.312	0.756	13.17
Ctrl-World [25]	0.362	0.708	18.15	0.196	0.837	18.39
Masked Visual Actions (Ours)	0.0945	0.887	23.74	0.123	0.843	22.90

4.2 模型实现与训练（Model implementation and training）

We use Wan-Fun-Control 2.2 14B [63] as the base model. We encode the masked conditioning video using the same autoencoder as the video model and use concatenation as the conditioning mechanism. Concatenation is appropriate as the conditioning signal is spatially aligned with the desired output video. For the missing region from the masked conditioning, we set it to a uniform gray background. Instead of finetuning the entire model, we use LoRA finetuning with rank 256, and a batch size of 4 using 8 NVIDIA H200 GPUs. We train the model for approximately 10,000 steps over 4 days. For reproducibility, we will release our code, data, and model weights.
我们以 Wan-Fun-Control 2.2 14B [63] 作为基座模型。我们使用与视频模型相同的自编码器对掩码条件视频进行编码，并采用拼接（concatenation）作为条件化机制。拼接是合适的，因为条件信号与期望的输出视频在空间上对齐。对于掩码条件中缺失的区域，我们将其设置为统一的灰色背景。我们不微调整个模型，而是使用秩为 256 的 LoRA 微调，批量大小为 4，使用 8 块 NVIDIA H200 GPU。我们在 4 天内训练约 10,000 步。为了可复现性，我们将发布我们的代码、数据和模型权重。

通俗解释

1. 训练数据从哪来？

他们用了两个来源的视频：

数据来源	是什么
DROID	真实世界里机器人干活的视频（各种实验室、不同机器人、有人拍的成功和失败片段）
Robocasa	电脑仿真环境里机器人干活的视频（类似游戏画面，也是成功和失败都有）

注意：他们连失败的视频也拿来训练——因为模型需要知道"这样动会搞砸"，而不仅仅是"这样动能成功"。

---

2. 怎么给视频"贴胶带"？两种做法

上一章说了，核心是给模型看"贴胶带"的视频（掩码）。那这胶带怎么贴？他们想了两种办法：

办法 A：自动抠图（分割法）

就像你用美图秀秀的"自动抠图"功能——输入提示词"机械臂"，AI 自动把视频里的机器人手臂一帧一帧抠出来。

好处：

• 超级方便，不需要知道相机参数，也不需要知道这是哪种机器人。
• 模型能学会"补全被挡住的部分"（inpaint），因为被抠掉的背景区域需要模型自己脑补。

坏处：

1. 测试时麻烦：你让用户自己拍个视频再精确抠图？太难了。
2. 会作弊/泄露信息：比如机器人手臂挡住了后面的杯子，抠图时那个遮挡区域是原视频里的真实画面。模型可能偷偷从被遮挡的边缘"偷看"到后面的信息，而不是真正学会推理。

办法 B：3D 渲染（渲染法）

既然抠图有这些问题，那不如直接用 3D 模型画一个机器人上去。

具体怎么做：

• 他们知道视频里机器人的每个关节角度（DROID 数据集记录了这些）。
• 用机器人的 URDF 文件（就是机器人的 3D 骨架模型）+ 相机位置参数。
• 在空白画布上单独画出机器人（半透明，夹爪手指涂成红色方便辨认）。
• 把这个"画出来的机器人"当作掩码贴给模型。

好处：

• 测试时用户想怎么动就怎么动：你可以先让机器人在虚拟环境里走一遍任意轨迹，渲染出来，然后丢给模型生成视频。
• 不会泄露原视频信息，因为是纯画出来的。

坏处：

• 需要知道相机参数（位置、角度），不然画上去对不准。
• 只能画机器人，不能画任意物体（比如你不能渲染一个杯子当条件）。

所以他们结论：两种方法互补，都用上。

---

3. 模型训练：怎么微调这个大画家？

他们用的基座模型是 Wan-Fun-Control 2.2 14B——这是一个140亿参数的大视频生成模型，本来就会画画。

输入怎么给？

• 把"贴胶带的视频"和"参考图（第一帧）"拼在一起丢给模型。
• 胶带遮住的地方，统一涂成灰色——告诉模型：“这里空白，请脑补。”

为什么不全量训练？
140亿参数全部重新训练太贵了。他们用 LoRA（一种高效微调技术）：

• 只训练一小撮"适配器参数"（秩256，你可以理解为只调了模型的一小部分开关）。
• 主体大模型保持不动。

训练配置：

• 8 块 NVIDIA H200（顶级显卡，一块几十万人民币那种）
• 训练了 4 天，跑了约 10,000 步
• batch size = 4（同时看4个视频）

最后：他们说会把代码、数据、模型权重都开源。

---

一句话总结

训练数据来自真实+仿真视频，用"自动抠图"和"3D渲染"两种方式给机器人贴胶带，喂给一个140亿参数的大视频模型。不重新训练整个模型，只微调一小部分参数，4天搞定。

回到原文

5 实验（Experiments）

We start by evaluating Masked Visual Actions as a control signal for world modeling. We evaluate visual fidelity and controllability against prior work and highlight generalization to embodiments unseen during training. Afterward, we evaluate diverse robotic applications of our video model. In particular, we show how it can be used for planning by evaluating sampled trajectories, for policy evaluation, and for using the video model as the policy itself through inverse modeling. Please refer to the project webpage for video results.
我们首先评估掩码视觉动作（Masked Visual Actions）作为世界建模控制信号的效果。我们针对先前工作在视觉保真度和可控性方面进行评估，并突出展示对训练时未见过的形态的泛化能力。随后，我们评估视频模型在多种机器人应用中的表现。具体而言，我们展示了它如何用于通过评估采样轨迹进行规划、用于策略评估，以及通过逆向建模将视频模型本身用作策略。视频结果请参阅项目主页。

Figure 5: Generalization to unseen embodiment. While using the raw action state such as in Ctrl-world [25] can work well within the training domain, it collapses on unseen embodiments. However, our method can generalize well to unseen embodiments.
图5：泛化到未见过的形态。 虽然使用原始动作状态（如 Ctrl-world [25]）在训练域内表现良好，但在未见过的形态上会发生崩溃。然而，我们的方法能够很好地泛化到未见过的形态。

Figure 7: Comparing action conditioning. Training a video model on different conditioning signals on DROID such as masked visual actions, end effector visualization, or skeleton all work well within the training domain. However, when going beyond the training distribution, such as using a custom end-effector, the models trained on skeleton and end effector position would hallucinate the robot seen in training or transform the robot to match the training. Furthermore, on unseen embodiments such as bimanual robots in BEHAVIOR, using masked actions generalizes gracefully, while other conditioning signals transform and disfigure the robot.
图7：动作条件化的比较。 在 DROID 上，使用掩码视觉动作、末端执行器可视化或骨架等不同条件化信号训练视频模型，在训练域内均表现良好。然而，当超出训练分布时，例如使用自定义末端执行器，基于骨架和末端执行器位置训练的模型会产生训练中所见机器人的幻觉，或将机器人变换为匹配训练数据。此外，在 BEHAVIOR 中未见过的形态（如双臂机器人）上，使用掩码动作能够优雅地泛化，而其他条件化信号则会使机器人发生变形和扭曲。

Table 2: Ablation on visual conditioning signal. When using sparse conditioning signal, the performance on held out data from the training distribution on DROID is similar to using masked visual actions. However, when using the same robot with unseen gripper (such as on our real world data), or on a robot from unseen embodiment in BEHAVIOR, the gap increases significantly between our masked actions and the other conditioning methods.
表2：视觉条件化信号的消融实验。 在 DROID 训练分布的留出数据上，使用稀疏条件化信号的性能与使用掩码视觉动作相似。然而，当使用相同机器人但配备未见过的夹爪时（如在我们的真实世界数据中），或在 BEHAVIOR 中来自未见形态的机器人上，我们的掩码动作与其他条件化方法之间的差距显著拉大。

Method	DROID			Real world			BEHAVIOR
	LPIPS ↓	SSIM ↑	PSNR ↑	LPIPS ↓	SSIM ↑	PSNR ↑	LPIPS ↓	SSIM ↑	PSNR ↑
End-effector vis.	0.107	0.878	22.64	0.183	0.858	20.32	0.171	0.815	19.23
Skeleton vis.	0.106	0.878	22.74	0.169	0.866	21.02	0.162	0.824	19.58
Masked Visual Actions	0.0945	0.887	23.74	0.148	0.864	22.79	0.123	0.843	22.90

5.1 可控视频生成（Controllable video generation）

Video generation traditionally conditioned on text is expressive, but underspecified. Conditioning on motion tracks preserves the generality while allowing us to condition on motion. On the other hand, conditioning on the action space for a specific robotic embodiment provides additional precision, but at the cost of generality. Through Masked Visual Actions, we aim to preserve the generality of the video model by visually conditioning the video model on the robotic actions, and setting the role of the video model to answer: given this visual masked action, how would the rest of the scene look like? As a baseline for using the robot’s raw end-effector state as input, we use Ctrl-world [25], a recent SoTA method. For track conditioning, we use Wan-move [13], conditioning it on ground-truth tracks computed from the robot mesh. Additionally, we include Wan2.2 14B image-to-video as a reference.
传统上基于文本条件化的视频生成具有表达力，但欠指定（underspecified）。基于运动轨迹的条件化在保持通用性的同时允许我们对运动进行条件化。另一方面，针对特定机器人形态的动作空间条件化提供了额外的精确性，但代价是损失通用性。通过掩码视觉动作，我们旨在通过对机器人动作进行视觉条件化来保留视频模型的通用性，并将视频模型的角色设定为回答：给定这种视觉掩码动作，场景的其余部分会是什么样子？ 作为使用机器人原始末端执行器状态作为输入的基线，我们使用了 Ctrl-world [25]，一种近期的 SOTA 方法。对于轨迹条件化，我们使用 Wan-move [13]，基于从机器人网格计算出的真实轨迹对其进行条件化。此外，我们还包含 Wan2.2 14B 的图生视频（image-to-video）作为参考。

In Fig. 6, we highlight that both Masked Visual Actions and Ctrl-world accurately follow the robot actions on our held out scenes from DROID¹. On the other hand, both Wan-Move and Wan I2V completely collapse and transform the input scene. However, unlike our method, conditioning on the raw robot state cannot generalize to unseen embodiments [39, 72]. We use data from BEHAVIOR [39], which uses a bimanual robot, R1-Pro, to evaluate generalization on unseen embodiments. In Fig. 5, we demonstrate that Ctrl-world simply outputs static or corrupted videos for unseen embodiments, while our model can gracefully handle the unseen embodiment. We quantitatively evaluate performance on generated videos across both DROID and BEHAVIOR in Table 1 and show that our method outperforms the baselines.
在图6中，我们强调在 DROID 的留出场景上，掩码视觉动作和 Ctrl-world 都能准确跟随机器人动作¹。另一方面，Wan-Move 和 Wan I2V 完全崩溃并变换输入场景。然而，与我们的方法不同，基于原始机器人状态的条件化无法泛化到未见过的形态 [39, 72]。我们使用来自 BEHAVIOR [39] 的数据评估在未见形态上的泛化能力，该数据集使用双臂机器人 R1-Pro。在图5中，我们证明 Ctrl-world 对未见形态仅输出静态或损坏的视频，而我们的模型能够优雅地处理未见形态。我们在表1中定量评估了在 DROID 和 BEHAVIOR 上生成视频的性能，并表明我们的方法优于基线。

¹Ctrl-World was trained on the entirety of DROID, so it has seen our held out scenes during training.
¹ Ctrl-World 在完整的 DROID 上进行了训练，因此它在训练中已经见过我们的留出场景。

Best-of-N Planning

Task	1	2	3	4	5	6	7	8	9	10
Close microwave	60%	65%	70%	72%	75%	78%	80%	82%	85%	88%
Open dishwasher	55%	60%	65%	68%	70%	72%	75%	78%	80%	82%
Close toaster	50%	55%	60%	62%	65%	68%	70%	72%	75%	78%
Open drawer	20%	25%	30%	35%	40%	45%	50%	55%	60%	65%
Coffee setup mug	20%	22%	24%	26%	28%	30%	32%	34%	36%	38%
Close fridge	20%	21%	22%	23%	24%	25%	26%	27%	28%	29%

Model-Based Planning with Base Policy

Task	Base Policy (%)	With Planning (%)	Improvement (%)
Close microwave	56%	80%	+24%
Open drawer	18%	44%	+26%
Open dishwasher	50%	71%	+21%
Close fridge	18%	29%	+11%
Coffee setup mug	20%	29%	+9%
Close toaster	62%	69%	+7%

Figure 8: Application on Planning. By rolling out multiple trajectories from a pretrained diffusion policy, we can evaluate each trajectory by simulating the actions with the video model, and then using a VLM judge to pick the best action trajectory. We observe consistent improvement in task success when using the video model to roll out and choose best action sequences, as well as the positive correlation with the number of samples evaluated at test time. This demonstrates the ability of the model to simulate counterfactuals given the same initial condition.
图8：规划中的应用。 通过从一个预训练的扩散策略中推演出多条轨迹，我们可以利用视频模型模拟动作来评估每条轨迹，然后使用 VLM（视觉语言模型）评判器 来挑选最佳动作轨迹。我们观察到，当使用视频模型进行推演并选择最佳动作序列时，任务成功率持续提升，并且与测试时评估的样本数量呈正相关。这证明了模型在相同初始条件下模拟反事实（counterfactuals，即"如果这样做了会怎样"）场景的能力。

Comparing the choice of visual actions Conditioning on visual actions allows diverse ways to represent the action. We compare against visualizing the end-effector pose, inspired by IRASim [82], and the robot skeleton, adopted in VAP [66]. We train the same base model used for our method, and use the same training dataset from DROID to train the baselines. While we expect the varying action conditioning to perform similarly on the same domain as the training set, sparse conditioning signals require the model to explicitly learn the correspondence between the sparse action and the target video. However, by conditioning on masked visual actions, the model simply needs to model the interaction between the masked input and the rest of the scene.
视觉动作选择的比较 对视觉动作进行条件化允许以多种方式来表示动作。我们与以下方法进行比较：受 IRASim [82] 启发、将末端执行器位姿可视化，以及在 VAP [66] 中采用的机器人骨架可视化。我们使用与我们的方法相同的基础模型，并使用来自 DROID 的相同训练数据集来训练这些基线。虽然我们希望不同的动作条件化在训练集所在的相同域上表现相似，但稀疏的条件化信号需要模型显式地学习稀疏动作与目标视频之间的对应关系。然而，通过对掩码视觉动作进行条件化，模型只需要建模掩码输入与场景其余部分之间的交互。

In Fig. 7, we show that on DROID, all the variants of our model perform similarly. However, on real-world data we captured using a similar robot to the one used in DROID, the Franka Emika Panda, but with a custom 3D-printed end-effector, we find that using a sparse conditioning signal suffers significantly. In particular, when conditioning on the robot skeleton, the video model would transform the robot to match the embodiment seen during training. When using the end-effector visualization as input, the model would simply introduce another robot into the scene that matches the training data. To further deviate from the training setting, we test the models on the R1 Pro in BEHAVIOR [39]. Given that R1 Pro has two end effectors, we adapt the baseline visualizations to show two end effectors and the skeleton poses of each. We find that conditioning on the end-effector or skeleton visualization completely collapses and distorts the robot. However, when using masked visual actions, the model can gracefully generalize and simulate the physical interaction of the robot opening the fridge. In Table 2, we quantitatively evaluate the video generation performance for masked visual actions, and the sparser conditioning mechanisms of end effector pose visualization and robot skeleton.
在图7中，我们展示了在 DROID 上，我们模型的所有变体表现相似。然而，在我们使用与 DROID 中相似的机器人（Franka Emika Panda）但配备自定义3D打印末端执行器所采集的真实世界数据上，我们发现使用稀疏条件化信号的表现显著下降。特别是，当基于机器人骨架进行条件化时，视频模型会将机器人变换为与训练期间见过的形态相匹配的样子。当使用末端执行器可视化作为输入时，模型会简单地在场景中引入另一个与训练数据相匹配的机器人。为了进一步偏离训练设置，我们在 BEHAVIOR [39] 中的 R1 Pro 上测试了这些模型。鉴于 R1 Pro 有两个末端执行器，我们调整了基线可视化以显示两个末端执行器以及各自的骨架姿态。我们发现，基于末端执行器或骨架可视化进行条件化会使机器人完全崩溃并扭曲。然而，当使用掩码视觉动作时，模型能够优雅地泛化，并模拟机器人打开冰箱的物理交互。在表2中，我们对掩码视觉动作以及更稀疏的条件化机制（末端执行器位姿可视化和机器人骨架）的视频生成性能进行了定量评估。

5.2 机器人学应用（Robotics applications）

We highlight multiple applications of our unified world model in robotics. We use our model as a forward model to simulate robot actions and demonstrate its use for planning and policy evaluation. We also use our model as an inverse model: given the desired object motion as a masked visual action, we generate a video of the robot performing the desired object manipulation and extract the actions using a learned inverse dynamics model. Across these applications, we use Robocasa [52] as the simulation environment.
我们展示了统一世界模型在机器人学中的多种应用。我们将模型用作前向模型来模拟机器人动作，并展示其在规划和策略评估中的应用。我们还将模型用作逆向模型：给定期望的物体运动作为掩码视觉动作，我们生成机器人执行期望物体操作的视频，并使用学习到的逆动力学模型提取动作。在这些应用中，我们使用 Robocasa [52] 作为仿真环境。

Planning Given the same environment observation, multiple rollouts sampled from a stochastic policy may achieve varying levels of task progress. By rolling them out in an action-conditioned video model, one may evaluate the trajectories purely in imagination before executing them in the actual environment. In our experiments, we use Diffusion Policy [11, 12] as the stochastic policy and Best-of-N as the simplest model-based planning algorithm. After simulating the action candidates using the video model, we evaluate each rollout with Gemini 3.1 Pro to assess their relative task success, interaction fidelity, and physical realism. We evaluate on 10 scenes per task, with $N=10$ . We include the detailed criteria in the appendix. After evaluating all the rollouts, we pick the best action sequence to execute. In Fig. 8, we highlight the improvement in performance on diverse tasks and show how success rate increases with the number of action samples. This approach can be viewed as a form of test-time scaling [48, 51], leveraging additional compute to achieve higher performance. In our case, the policy and video model act as the generator, and the VLM critic acts as the verifier.
规划 给定相同的环境观测，从随机策略中采样的多次推演可能达到不同程度的任务进度。通过在动作条件化的视频模型中对它们进行推演，可以在实际环境中执行之前，纯粹在想象（imagination）中评估这些轨迹。在我们的实验中，我们使用 Diffusion Policy [11, 12] 作为随机策略，并使用 Best-of-N 作为最简单的基于模型的规划算法。使用视频模型模拟动作候选后，我们使用 Gemini 3.1 Pro 评估每次推演，以评估其相对任务成功率、交互保真度和物理真实性。我们在每个任务的 10 个场景上进行评估，$N=10$。详细标准见附录。评估所有推演后，我们选择最佳动作序列执行。在图8中，我们强调了在多种任务上的性能提升，并展示了成功率如何随动作样本数量的增加而提升。这种方法可以被视为一种测试时缩放（test-time scaling） [48, 51]，利用额外的计算来换取更高的性能。在我们的案例中，策略和视频模型充当生成器，而 VLM 评判器充当验证器。

Task	Ground Truth Success Rate (%)	Video Model Success Rate (%)
Close microwave	~25	~28
Close fridge	~25	~25
Open drawer	~50	~55
Close toaster	~50	~50
Coffee setup mug	~50	~50
Open dishwasher	~75	~80
Close dishwasher	~75	~80

Figure 9: Robocasa policy evaluation. Video-model rollouts consistently track ground-truth success rates across RoboCasa tasks.

Figure 10: Real world policy evaluation. Rolling out real-world demonstrations with our video model produces videos with success progress closely aligned with what is observed in the real world execution.
图10：真实世界策略评估。 使用我们的视频模型对真实世界演示进行推演，生成的视频其成功进度与真实世界执行中观察到的结果紧密对齐。

Policy evaluation We can also use our model to evaluate policy performance by comparing a policy’s success rate within the video model to that within the ground-truth environment. Similarly to the section above, we use an open-loop diffusion policy across tasks and rollout 10 trajectories per scene. We simulate action trajectories using our model and manually evaluate each rollout as a success or failure based on predefined task rubrics. The simulated rollouts are additionally evaluated by physical interaction realism (e.g., hallucinated task progress without contact is considered failure). In Fig. 9, we plot the success rate of each policy in GT environment against that evaluated within the video model, which exhibits a strong correlation with $r=0.982$ .
策略评估 我们还可以通过比较策略在视频模型中的成功率与在真实环境（ground-truth environment）中的成功率，来使用我们的模型评估策略性能。与上一节类似，我们在各任务中使用开环扩散策略，每个场景推演 10 条轨迹。我们使用模型模拟动作轨迹，并根据预定义的任务评分标准手动评估每次推演为成功或失败。模拟推演还根据物理交互真实性进行评估（例如，没有接触却幻觉出任务进度被视为失败）。在图 9 中，我们绘制了每种策略在 GT 环境中的成功率与在视频模型中评估的成功率，二者表现出极强的相关性（$r=0.982$）。

However, we observe that the video model shows a positive bias towards task progress, as evidenced by consistently higher task success rates in its imagination. Beyond simulation, we evaluate our model in a real-world setup. For each of four tasks we collect 20 demonstrations, roll out each demonstration with the video model, and score both the real and simulated executions with a per-task rubric measuring partial task progress. For each task, we collect 20 demonstrations, and set a rubric for evaluating the success progress for each demonstration. Because each simulated rollout is paired with the demonstration it was generated from, we compare progress both in distribution and per trial. In Fig. 10 we plot the per-trial progress distribution in the video model against the ground-truth distribution for each task. The two distributions closely match, but similar to simulation, it shows a positive bias towards task progress. We include each task’s rubric in the appendix and all generated videos and GT demonstrations in the project webpage.
然而，我们观察到视频模型对任务进度存在正向偏差（positive bias），这体现在其想象（imagination）中任务成功率始终更高。除了仿真之外，我们在真实世界设置中评估了我们的模型。对于四个任务中的每一个，我们收集了 20 条演示，使用视频模型对每条演示进行推演，并根据衡量部分任务进度的逐任务评分标准对真实执行和模拟执行进行打分。由于每次模拟推演都与生成它所依据的演示成对，我们在分布层面和逐试验层面都比较进度。在图 10 中，我们绘制了视频模型中每次试验的进度分布与每个任务的真实分布。两个分布紧密匹配，但与仿真类似，它对任务进度表现出正向偏差。我们在附录中包含了每个任务的评分标准，并在项目主页上发布了所有生成视频和真实演示。

Method	Success Rate (%)
DP	50%
ACT	80%
SmolVLA	85%
Ours	90%

Figure 11: Action extraction. Even without task-specific video-model training, inverse modeling recovers competitive robot behavior.
图11：动作提取。 即使没有针对特定任务的视频模型训练，逆向建模也能恢复出有竞争力的机器人行为。

Action extraction Instead of providing the model with robot actions to execute, we can alternatively leverage Masked Visual Actions to formulate an inverse modeling problem: given desired object motion, prompting the video model to synthesize a video of a robot achieving that outcome. Action extraction can then be cast as an inverse-dynamics problem: given the synthesized robot video, recover an executable low-level action sequence with a learned inverse-dynamics model. We initially expected this setting to require explicit inverse-modeling finetuning. Instead, the video model trained only on forward examples already generalizes zero-shot to the inverse setting, likely because the conditioning signal is well-aligned with the model’s learned representation. We evaluate this pipeline on COFFEESERVEMUG in RoboCasa, where the robot must reach, grasp, transport, and place a mug from the coffee machine onto the table in a tightly constrained workspace. We compare to standard imitation learning baselines, including Diffusion Policy [11, 12], ACT [77], and SmolVLA [57]. The inverse-dynamics model and all baselines are trained on 100 demonstrations, whereas the video model itself has not seen examples from this task. Each method is evaluated with 20 trials, with success rates reported in Figure 11. Our method achieves the highest success rate at 90%. Thisindicates that, although the video model has not been trained on an inverse modeling problem, it can be effectively prompted to extract robot behaviors from its rich interaction priors, while maintaining the competitiveness of modern imitation learning methods.
动作提取 与其向模型提供要执行的机器人动作，我们可以转而利用掩码视觉动作来构建一个逆向建模问题：给定期望的物体运动，提示视频模型合成一段机器人实现该结果的视频。动作提取随后可被建模为一个逆动力学问题：给定合成的机器人视频，使用学习到的逆动力学模型恢复出可执行的底层动作序列。我们最初预期这种设置需要显式的逆向建模微调。然而，仅在前向示例上训练的视频模型已经能够以零样本方式泛化到逆向设置，这很可能是因为条件信号与模型学习到的表示高度对齐。我们在 RoboCasa 的 COFFEESERVEMUG 任务上评估了该流程，其中机器人必须在高度受限的工作空间中伸手、抓取、运送并将咖啡机上的杯子放置到桌面上。我们与标准模仿学习基线进行了比较，包括 Diffusion Policy [11, 12]、ACT [77] 和 SmolVLA [57]。逆动力学模型和所有基线都在 100 条演示上训练，而视频模型本身从未见过该任务的示例。每种方法均通过 20 次试验评估，成功率报告于图 11。我们的方法达到了最高的成功率 90%。这表明，尽管视频模型没有在逆向建模问题上进行过训练，但它可以被有效地提示（prompted），从其丰富的交互先验中提取机器人行为，同时保持与现代模仿学习方法相当的竞争力。

6 讨论与结论（Discussion and Conclusions）

By finetuning a pretrained video model on a small amount of Masked Visual Actions data, we efficiently leverage the prior of the video model to synthesize counterfactuals by conditioning on a subset of scene entities. Our model can simulate robot actions when conditioned on robotic embodiment visualization as an action-conditioned forward model, and when acting as an inverse model, where it synthesizes suitable robot motion to realistically manipulate the object.
通过对预训练视频模型在少量掩码视觉动作数据上进行微调，我们高效地利用了视频模型的先验知识，通过对场景实体子集进行条件化来合成反事实（counterfactuals）场景。我们的模型在以机器人形态可视化作为条件时，可以作为动作条件化的前向模型来模拟机器人动作；在作为逆向模型时，它能合成合适的机器人运动以真实地操纵物体。

Limitations It is worth noting that our model, similarly to existing generative models, learns the correlation between object interaction rather than causal relationships, which remains an open research question. Furthermore, our method is naturally limited by the base video model’s capabilities, in terms of both inference speed and what it can express, as it re-purposes the model’s prior rather than modifying its capabilities.
局限性 值得注意的是，与现有生成模型类似，我们的模型学习的是物体交互之间的相关性而非因果关系，这仍然是一个开放的研究问题。此外，我们的方法自然受限于基座视频模型的能力，包括推理速度及其能够表达的内容，因为它只是重新利用模型的先验而非修改其能力。

Societal and broader impact By enabling video-based policy evaluation, planning, and inverse modeling, our work could lower the cost of developing robotic systems and make robot learning more accessible. However, the same capabilities could also be used for unsafe or unauthorized robotic behaviors, highlighting the need for responsible use and deployment.
社会与更广泛影响 通过实现基于视频的策略评估、规划和逆向建模，我们的工作可以降低开发机器人系统的成本，并使机器人学习更加普及。然而，同样的能力也可能被用于不安全或未经授权的机器人行为，这凸显了负责任使用和部署的必要性。

通俗解释

第5节：实验——“这玩意儿到底好不好使？”

这一节就是拿数据说话，证明"贴胶带"的方法确实比别的方法强，而且能在真实机器人任务里派上用场。

5.1 可控视频生成：对比实验（“谁画的更像真的？”）

他们做了个大比拼，看看不同的"指挥方式"哪个更靠谱：

指挥方式	通俗理解	表现如何
掩码视觉动作（我们的）	把机器人运动轨迹直接贴成胶带	最稳，尤其在没见过的情况下
Ctrl-World	直接给机器人关节角度数字	训练域内很强，但换个机器人就崩了
Wan-Move（轨迹条件化）	给一些关键点轨迹	完全翻车，场景都变了
Wan I2V（纯图生视频）	只给第一帧，自由发挥	也翻车，机器人动作不遵循指令
末端执行器可视化	只画一个爪子在哪	训练域内还行，换个夹爪就** hallucinate（幻觉）**出训练时的机器人
机器人骨架	只画几根骨头线条	训练域内还行，换个机器人就把它变形回训练时的样子

关键发现：泛化能力

他们在两个场景测试：

1. DROID（训练时的数据）：所有方法都还能打，差距不大。
2. BEHAVIOR（完全没见过的双臂机器人 R1 Pro）：
   • 其他方法直接崩了——要么机器人扭曲变形，要么画面静态/花屏。
   • 只有掩码视觉动作还能正常生成"机器人开冰箱"的视频。

大白话总结：别的指挥方式就像"背答案"，题目一变就不会；掩码视觉动作是"学原理"，所以换了个机器人也能举一反三。

---

5.2 机器人应用：三个真刀真枪的测试

他们把模型拉到三个实际任务里，证明不是只会生成视频，而是真能帮机器人干活。

---

应用一：规划（Planning）——“多想几个方案，让AI评委打分”

场景：机器人要做一件事（比如把杯子放到桌上），但有很多种动法，有的能成，有的会砸。

流程：

1. 先用一个扩散策略（Diffusion Policy）随机生成 N=10 条不同的动作轨迹。
2. 把这10条轨迹分别用视频模型在脑子里"预演"一遍，生成10段预测视频。
3. 请一个**AI评委（Gemini 3.1 Pro）**当裁判，看这10段视频哪个最靠谱（任务成功了吗？交互真实吗？物理合理吗？）。
4. 选得分最高的那条，让真机器人去执行。

结果：

• 样本越多（比如从1个试到10个），成功率持续上升。
• 这叫做**“测试时缩放”（Test-time Scaling）**——就像考试多检查几遍，花更多算力换更高正确率。

大白话：就像你下棋时多想几步，在脑子里模拟"如果我走这步，对方会怎么走"，然后选最好的一步。只不过这里机器人想的是"如果我这样动，杯子会不会掉"。

---

应用二：策略评估（Policy Evaluation）——“在脑子里预演，看策略靠不靠谱”

场景：你训练了一个机器人策略，但不想直接上真机器人试（怕摔坏东西），能不能先在视频模型里"彩排"？

做法：

• 在仿真环境里：把策略在视频模型里跑一遍，记录成功率；同时在真实仿真器里也跑一遍，记录成功率。
• 发现两者高度相关（相关系数 $r=0.982$），几乎是一条直线！

但有个小毛病：视频模型是个**“乐观派”**（positive bias），它想象出来的成功率总是比实际高一点。就像你考试前觉得自己能考90，实际考了85。

真实世界验证：

• 他们在真实机器人上做了4个任务，各收集20条演示。
• 视频模型预测的进度分布，和真实执行的进度分布几乎重合。

大白话：这个视频模型就像一个**“靠谱的预言家”**——虽然不能100%准，但能告诉你"这个策略大概行不行"，省得你拿真机器人去撞墙试错。

---

应用三：动作提取（Action Extraction）——“杯子要飞到那，机器人该怎么动？”

场景：这是逆向建模的实战测试。任务叫 COFFEESERVEMUG（咖啡服务）：机器人要从咖啡机上拿杯子，放到桌上。

做法：

1. 告诉视频模型：“我希望杯子这样动”（把杯子的运动轨迹当胶带贴上去）。
2. 视频模型零样本生成一段视频：机器人伸手、抓杯、运送、放下。
3. 再用一个逆动力学模型（Inverse Dynamics Model）从视频里读出：“机器人关节该怎么转”。
4. 真机器人按这个动作去执行。

结果：

• 成功率 90%。
• 吊打了所有模仿学习基线：Diffusion Policy、ACT、SmolVLA。

关键点：视频模型从来没在这个任务上训练过逆向能力，但它直接就会了！因为"贴胶带"的方式让它真正学会了"物体和机器人之间的物理关系"，而不是死记硬背"给这组数字就画这个"。

大白话：就像你看别人做咖啡看了很多遍，虽然没人专门教你"怎么从倒推动作"，但当你看到"杯子要从A到B"，你自然就知道手该怎么伸了。

---

第6节：讨论与结论——“收尾总结 + 泼冷水”

核心结论

只要用少量数据（15小时）在视频大模型上微调，教它看懂"贴胶带"的指挥方式，同一个模型就能既当预言家（前向：给动作猜结果）又当编剧（逆向：给结果编动作）。

局限性（作者自己泼的冷水）

1. 学的是"相关性"不是"因果性"：

   • 模型知道"杯子动了通常是因为机器人碰了"，但它不理解物理因果（力、重力、摩擦）。
   • 就像一只鹦鹉学会了"说火会烫"，但它不懂热力学。

2. 受限于"底子"：

   • 用的是现成的140亿参数视频大模型，推理速度、画质上限、物理准确性都被基座模型锁死了。
   • 他们只是"调教"了这个画家，而不是重新培养了一个更懂物理的画家。

社会影响

好处：

• 让机器人开发更便宜、更普及——小公司也能用视频模型做策略评估和规划，不需要买一堆真机器人试错。

风险：

• 同样的技术也可能被用来训练不好的机器人行为（比如未经授权的操控）。
• 所以作者强调要负责任地使用。

---

一句话总结整篇论文

“别给机器人下数字指令了，直接把动作画在视频像素上（贴胶带）。这样教出来的视频模型，既能当预言家预测未来，又能当编剧反推动作，而且换个机器人也能直接用——只学了15小时，就能在真实世界里干活。”