026、VLM的幻觉问题：视觉语言模型在机器人场景中的错误模式与缓解

026、VLM的幻觉问题：视觉语言模型在机器人场景中的错误模式与缓解

上周在调试一台双臂协作机器人抓取场景时，我遇到一个特别诡异的case。机械臂已经对准了桌面上的红色马克杯，视觉语言模型（VLM）给出的指令是“grasp the red mug”，但抓取点却落在了杯柄左侧三厘米的位置——那里什么都没有。我第一反应是标定出了问题，反复检查了相机内外参，没问题。后来把VLM的中间层特征可视化出来才发现，模型在回答“red mug”时，注意力热图居然同时激活了旁边一个红色包装的巧克力盒。模型“看到”了红色，但把红色物体的空间位置搞混了。这就是典型的VLM幻觉在机器人场景中的具象化表现——不是模型在胡说八道，而是它在视觉特征和语言符号之间建立了错误的对应关系。

这类问题在纯对话场景里可能只是闹个笑话，但在机器人操作里就是实打实的抓空、撞物、甚至伤人风险。今天这篇笔记，我想把VLM幻觉在机器人场景下的几种典型错误模式拆开揉碎，结合我实际调试中踩过的坑，聊聊怎么从数据、模型、推理三个层面去缓解。

一、机器人场景下VLM幻觉的四种典型错误模式

先说第一种，也是最常见的：空间锚定幻觉。VLM在回答“杯子在哪里”这类问题时，会把语言描述中的属性词（颜色、形状、纹理）错误地绑定到场景中其他相似物体上。上面那个红色马克杯的case就是典型。我后来统计过，在包含多个同色物体的场景中，VLM的空间定位错误率比单物体场景高出将近四倍。这不是模型笨，而是它的训练数据里，图像-文本对往往只描述显著物体，对背景中的相似物体缺乏负样本约束。

第二种是存在性幻觉。模型会“看到”场景中根本不存在的物体。我遇到过最离谱的一次，VLM在空荡荡的传送带上检测到“一个蓝色螺丝刀”，然后机械臂直接执行了抓取动作，在空气中比划了半天。后来查原因，发现是训练数据里蓝色螺丝刀出现的频率太高，模型形成了先验偏好。这种幻觉在纯视觉问答里可能只是答错一道题，但在机器人场景里就是一次无效甚至危险的动作执行。

第三种是属性混淆幻觉。物体识别对了，但属性搞错了。比如把“金属杯”说成“陶瓷杯”，把“装满水的杯子”说成“空杯子”。这种错误在抓取策略选择时特别致命——抓取力、夹爪开度、移动速度全都依赖这些属性判断。我调试过一个倒水任务，VLM正确识别了杯子，但把“半满”误判为“全满”，导致机械臂移动速度过快，水洒了一桌。

第四种是时序幻觉，这个在机器人场景里尤其隐蔽。VLM在处理视频帧序列时，会把过去帧中的物体状态“投射”到当前帧。比如一个苹果在上一帧还在桌上，这一帧已经被拿走了，但VLM仍然认为它存在。这种幻觉在动态场景中特别危险，因为机器人需要基于当前状态做决策，而不是基于记忆中的状态。

二、为什么机器人场景放大了VLM幻觉

纯对话场景里，VLM幻觉顶多影响用户体验，用户可以用常识去纠正。但机器人场景是闭环的——模型输出直接驱动物理动作，没有人类在中间做常识过滤。这意味着幻觉的代价从“信息错误”升级为“物理后果”。

另一个关键差异是空间精度要求。对话场景里说“杯子在桌子左边”就够了，但机器人需要的是像素级的抓取坐标。VLM在语言空间里是连续的，但在视觉空间里是离散的——它可能知道“杯子在左边”，但不知道“左边多少像素”。这种精度缺失在VLM输出自然语言坐标时会被放大，因为语言本身就是模糊的。

还有一个容易被忽视的点：训练数据分布偏移。大多数VLM的训练数据来自互联网图片，这些图片是“摆拍”的——物体清晰、背景干净、光照良好。但机器人场景是“抓拍”的——物体堆叠、光照变化、动态干扰。模型在分布外的数据上更容易产生幻觉，这就像让一个只在晴天开过车的人去开暴雨中的高速。

三、缓解策略：从数据、模型、推理三个层面下手

数据层面，我试过最有效的方法是构造“负样本对”。具体做法是，在训练数据中刻意加入“场景中存在但描述中不提及”的物体，让模型学会抑制对非目标物体的响应。比如一张桌子上有红杯子和蓝杯子，文本描述只提红杯子，但训练目标要求模型对蓝杯子的特征响应为负。这个思路类似于对比学习，但更直接。我用了大概两万张这样的负样本对微调，空间锚定幻觉的错误率降了将近一半。

还有一个数据技巧是属性解耦增强。把物体的形状、颜色、纹理、位置分别做随机组合，生成合成训练数据。比如一个红色方形金属杯、一个蓝色圆形陶瓷杯，让模型学会把“红色”和“位置”解耦，而不是把“红色”和“杯子”绑定。这个做法在缓解属性混淆幻觉上效果显著，但要注意合成数据的物理合理性——别生成一个悬浮的杯子，那会让模型学到错误的空间先验。

模型层面，我强烈推荐在VLM的视觉编码器后面加一个空间注意力调制模块。这个模块的作用是，在语言特征和视觉特征融合之前，先对视觉特征做一次空间维度的“聚焦”。具体实现上，可以用一个轻量的卷积层学习一个空间权重图，把与当前语言指令相关的区域权重提高，无关区域压低。这个模块参数量很小，但能显著减少空间锚定幻觉。我用的实现是：

class SpatialAttentionModulator(nn.Module):
    def __init__(self, feat_dim):
        super().__init__()
        # 这里踩过坑：一开始用全连接层做空间权重预测，效果很差
        # 因为全连接层打乱了空间结构，换成卷积后效果好很多
        self.conv = nn.Conv2d(feat_dim, 1, kernel_size=3, padding=1)
        self.sigmoid = nn.Sigmoid()
    
    def forward(self, visual_feat, lang_feat):
        # visual_feat: [B, C, H, W]
        # lang_feat: [B, C] 语言特征
        # 别这样写：直接把lang_feat广播到每个空间位置做拼接
        # 这样会让模型学到“语言特征均匀影响所有位置”的错误先验
        # 正确做法是先用lang_feat生成一个条件向量，再调制空间权重
        cond = self.lang_proj(lang_feat).unsqueeze(-1).unsqueeze(-1)
        attn = self.sigmoid(self.conv(visual_feat) + cond)
        return visual_feat * attn

这个模块的关键在于，语言特征不是直接加到视觉特征上，而是作为条件调制空间注意力权重。这样模型必须学会“语言指令指向哪里，注意力就集中在哪里”，而不是“语言指令说什么，视觉特征就变成什么”。

推理层面，我试过最实用的方法是多轮自洽性校验。具体做法是，让VLM对同一个场景生成多个不同的描述（比如用不同的提示词模板），然后做一致性检查。如果多个描述在关键属性上不一致，就判定为高幻觉风险，触发保守策略——比如降低机械臂速度、扩大避障范围、或者请求人工确认。这个方法不需要改模型，纯推理时就能用，特别适合工程落地。

还有一个推理技巧是空间锚点约束。在VLM输出坐标之前，先用一个轻量的目标检测器（比如YOLO）生成候选物体的边界框，然后约束VLM的输出必须落在某个边界框内。这相当于给VLM加了一个“空间先验”，防止它输出到空白区域。我用的实现是：

def constrained_decode(vlm_output, bboxes, threshold=0.5):
    # vlm_output: VLM生成的文本，包含坐标信息
    # bboxes: 检测器输出的候选框列表
    # 别这样写：直接解析VLM输出的坐标，不做任何校验
    # 这样在幻觉发生时，机械臂会直接执行错误坐标
    coords = parse_coords(vlm_output)
    for bbox in bboxes:
        if is_inside(coords, bbox):
            return coords
    # 如果坐标不在任何候选框内，返回最近的候选框中心
    # 这里宁可保守一点，也不要让机械臂去抓空气
    return nearest_bbox_center(coords, bboxes)

这个方法的思路是，检测器提供“物理上可能存在物体的位置”，VLM提供“语言上描述的物体位置”，两者取交集。如果VLM的幻觉导致输出位置不在任何检测框内，就强制回退到最近的检测框——至少保证机械臂抓的是个真实存在的物体。

四、实验与调优：一个真实案例的完整记录

我在一个“桌面整理”任务上做了完整的实验对比。任务要求机器人根据自然语言指令，把指定物体从桌面抓取到指定区域。场景中有5-8个物体，包含颜色、形状、材质的多种组合。

基线模型用的是开源的LLaVA-1.5，直接输出抓取坐标。第一轮测试，30次任务里失败了11次，其中7次是空间锚定幻觉（抓错物体），3次是存在性幻觉（抓空气），1次是属性混淆（抓取力度错误导致物体滑落）。

加入负样本对微调后，空间锚定幻觉从7次降到3次，但存在性幻觉没变化。接着加了空间注意力调制模块，存在性幻觉从3次降到1次，但属性混淆还是老样子。最后加了多轮自洽性校验和空间锚点约束，属性混淆也降下来了，30次任务只失败了2次，而且都是因为物体本身太相似（比如两个完全一样的白色杯子）。

调优过程中有个细节特别值得说：负样本对的比例不是越多越好。我一开始把负样本对加到和正样本一样多，结果模型变得过于保守，经常“看不到”目标物体——因为它学会了抑制所有非目标物体的响应，但目标物体和非目标物体的界限在复杂场景里本来就模糊。后来把负样本对比例调到正样本的三分之一，效果最好。这个比例可能跟具体任务有关，但思路是：负样本是用来“纠偏”的，不是用来“主导”的。

另一个调优经验是空间注意力调制模块的初始化。如果初始化为全零权重，模型一开始会忽略这个模块，训练过程比较稳定。如果初始化为随机权重，模型可能会在早期就学到错误的注意力模式，后面很难纠正。我建议初始化为单位映射——让模块一开始不改变视觉特征，然后随着训练逐渐学习调制。

五、落地经验总结：几个反直觉的教训

第一个教训是：不要过度依赖VLM的“理解能力”。很多同学觉得VLM这么强，应该能直接理解复杂指令。但实际调试中我发现，VLM在简单指令上的表现远好于复杂指令，而且复杂指令更容易触发幻觉。比如“把红色杯子和蓝色杯子都放到托盘上”这种多物体指令，VLM经常只关注其中一个物体，忽略另一个。我的建议是，把复杂指令拆解成多个简单子指令，逐个执行，每个子指令都做一次自洽性校验。虽然慢一点，但可靠性高很多。

第二个教训是：视觉编码器的分辨率比想象中重要。我一开始用的是224x224的输入分辨率，VLM在识别小物体时经常出错——不是幻觉，是压根看不清。后来改成448x448，错误率直接降了三分之一。但分辨率也不是越高越好，超过512后收益递减，而且推理速度明显变慢。在机器人场景里，推理延迟和精度需要平衡，我建议先试448，如果精度不够再往上加。

第三个教训是：幻觉检测不能只看置信度。很多VLM会输出一个置信度分数，但实际测试中发现，幻觉样本的置信度往往并不低——模型对错误答案很自信。我试过用置信度阈值来过滤幻觉，效果很差。后来改用多轮自洽性校验，虽然增加了推理开销，但检测准确率高了很多。在机器人场景里，宁可多花几百毫秒做校验，也不能让机械臂执行一个错误动作。

第四个教训是：别忽视物理约束的反馈作用。VLM是纯数据驱动的，它不知道机械臂的运动学约束、夹爪的抓取范围、物体的重量限制。所以即使VLM输出了正确的坐标，也可能因为物理约束无法执行。我的做法是，在VLM输出和机械臂执行之间加一个“物理可行性检查层”——检查坐标是否在机械臂工作空间内、物体是否在夹爪可抓取范围内、抓取姿态是否会导致碰撞。这个检查层不需要很复杂，但能拦截掉大部分“语言上正确但物理上不可行”的输出。

最后说一个我最近在探索的方向：用机器人执行结果作为反馈信号来微调VLM。传统VLM训练用的是静态图像-文本对，但机器人场景里，我们可以拿到执行结果——抓成功了还是失败了。这个反馈信号是纯对话场景没有的。我目前在做的是，把执行结果作为奖励信号，用强化学习的方式微调VLM的空间注意力模块。初步实验显示，这个方法能进一步降低幻觉率，但训练稳定性还需要调。如果你也在做这个方向，欢迎交流。

VLM幻觉在机器人场景里不是一个小问题，它直接决定了系统能不能安全可靠地工作。但好消息是，这个问题不是无解的——通过数据层面的负样本构造、模型层面的空间注意力调制、推理层面的自洽性校验和物理约束检查，能把幻觉率降到可接受的范围。工程落地没有银弹，每一步都要根据具体场景去调，但方向对了，路就不会白走。