Franka机器人赋能算法验证——打通通用机器人的调度鸿沟

当前通用视觉语言动作（VLA）机器人存在明显短板：单一模型需要同时完成感知、逻辑推理、任务规划、动作执行、结果校验与故障修复，复杂指令下极易失效。现有方案多依靠扩充机器人演示数据、额外训练专用推理模块提升能力，数据采集与模型微调成本高昂。

本文研究提出 Pigey（Physical Agency）闭环调度框架，核心思路是能力解耦 + 推理时调度，不新增机器人演示数据、不微调底层运动模型。框架将机器人系统拆分为两大部分：一是底层冻结技能模型，二是由大视觉语言模型（VLM）搭建的高层调度器。调度器负责任务拆解、技能选型、执行校验、故障重试，底层仅负责物理动作输出，以此弥合 “单纯底层动作能力” 与 “完整复杂任务执行” 之间的调度鸿沟。

Pigey 框架实现的典型推理行为示例

整套框架适配两套底层运动后端：基于 TiPToP 的 TAMP 刚性物体抓取规划模块、\(\pi_{0.5}\)视觉语言动作模型，分别处理刚性规整物体与柔性、杂乱接触场景，二者配合覆盖绝大多数桌面操作需求。

前沿视觉语言大模型（VLM）运行一套「观测 - 推理 - 执行 - 校验」闭环流程，调度两套参数冻结的运动底层模块；将每个子目标分配给 TAMP 模块（刚性物体抓取放置）或\(\pi_{0.5}\)视觉语言动作模型（柔性物体处理 / 故障恢复），校验执行结果，并在执行失败时启动修复流程。

Franka Research 3 机器人在项目中的核心应用

本项目真实硬件实验全部依托 Franka Research 3 机械臂搭建测试平台，是验证 Pigey 框架落地效果的核心载体，硬件配套包含 Robotiq 2F-85 夹爪、多组视觉采集相机，承担三类关键作用：

标准化真实物理执行载体

Franka FR3 作为通用桌面操作机械臂，提供稳定、可控的连续电机动作空间，复现家庭分拣、物品堆叠、障碍移除等 30 类标准化实操任务。所有底层 TAMP 抓取、\(\pi_{0.5}\)视觉动作输出，最终都通过该机械臂完成落地执行，为调度框架提供真实物理交互反馈。

每行展示一项任务，任务指令置于该行上方，每一帧画面下方标注 Pigey 的逐帧推理过程。

多维度感知数据采集终端

机械臂搭载腕部 Zed-Mini 相机与机身侧置双目相机，可同步输出第三人称全景画面、腕部近距离特写；夹爪内置开度传感器，能输出物体抓取状态判定信号。这些图像、机械状态数据会实时回传给 Pigey 调度器，作为任务校验、故障判断的核心依据，支撑框架完成抓取校验、目标遮挡识别等闭环逻辑。

框架性能量化验证硬件基准

研究基于 Franka FR3 设计完整能力测试集，覆盖基础拾取放置、知识推理、多步骤规划、故障恢复、长时序记忆 8 大类任务，每组任务重复 5 次测试。对比仅使用\(\pi_{0.5}\)、仅使用 TiPToP 两套无调度底层方案，搭载 Pigey 调度框架的 FR3 整机任务综合完成率达到 97.3%；在障碍处理、错误恢复、长时序记忆等推理类任务中，解决了纯底层模型几乎无法完成的操作需求。

项目实验价值与应用意义

依托 Franka FR3 硬件与 LIBERO-PRO 仿真平台双重验证，Pigey 框架无需训练即可提升现有机器人能力，为通用机器人开发提供新思路：不必优先投入高额成本扩充机器人数据集，可先通过推理层调度挖掘现有模型潜力。

同时项目存在客观局限：框架运行依赖大模型接口带来额外延迟，机械臂底层操作上限仍受基础运动模型能力约束。后续研究将依托 Franka 机械臂采集调度轨迹，通过行为克隆优化轻量化调度模块，降低运行成本。