VLA (视觉-语言-动作) 模型学习路线规划

原创 已于 2025-11-20 14:24:34 修改 · 1.8k 阅读 · 52 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#学习 #人工智能
于 2025-11-20 14:13:12 首次发布
🎞️ THE LEATHER ARCHIVE高端 AI 穿搭实验室

「The Leather Archive」 是一个基于 Anything V5 与 Stable Yogi 皮衣系列 LoRA 构建的高端 AI 穿搭实验室。与传统的工具化界面不同，本项目采用了非对称剪贴报布局 (Asymmetrical Zine Layout)，旨在为 AI 绘画提供一种如时尚杂志内页般的沉浸式创作体验。

Qwen 推荐路线

作为2025年最热门的机器人AI研究方向之一，VLA（Vision-Language-Action）确实值得深入学习。根据最新研究动态，规划一条从入门到进阶的学习路线。

一、预备知识（1-2个月）

在深入VLA前，需要打好以下基础：

  1. 计算机视觉基础

    • 目标检测、语义分割、姿态估计
    • 推荐资源：CS231n (Stanford) 课程、《深度学习计算机视觉》

  2. 自然语言处理基础

    • Transformer架构、预训练语言模型
    • 推荐资源：CS224n (Stanford) 课程、Hugging Face教程

  3. 机器人学基础

    • 机器人运动学、控制理论
    • 推荐资源：《机器人学导论》(Siciliano)、ROS教程

  4. 深度学习进阶知识

    • 多模态学习、表示学习
    • 推荐资源：《深度学习》(花书) 相关章节

二、VLA核心概念与技术（2-3个月）

基础概念

  • VLA严格定义：使用在互联网规模视觉-语言数据上预训练的骨干网络，能将视觉观察+语言指令映射到机器人动作
  • 与相关概念的区别：
    • 多模态策略(Multimodal Policies)：没有经过视觉-语言联合预训练
    • 大型行为模型(LBMs)：强调在大量机器人演示数据上训练

关键技术模块

  1. 跨模态融合架构

    • 参数高效融合技术
    • 视觉-语言对齐方法

  2. 动作表示学习

    • 动作分词器(Action Tokenizer)
    • ActionVAE等动作编码技术

  3. 预训练-微调范式

    • 互联网规模预训练
    • 机器人领域适应

三、必读论文与开源项目（持续更新）

入门必读（按学习顺序）

  1. 基础性工作

  2. 最新突破（2025年）

  3. 综述文献

开源项目

四、实践项目路线

初级项目（3-4周）

  1. 环境搭建

    • 安装ROS2、PyTorch、RLBench或ManiSkill仿真环境
    • 配置基础VLA模型推理环境

  2. 简单任务实现

    • 在仿真环境中实现简单的"拾取-放置"任务
    • 尝试使用预训练的开源VLA模型完成指定任务

中级项目（1-2个月）

  1. RynnVLA-001复现

    • 在简化环境中实现其三阶段训练流程
    • 重点理解从人类视频到机器人动作的知识迁移

  2. 具身思维链(ECoT)实验

    • 实现一个简单的"先想后做"机制
    • 比较有/无ECoT的性能差异

高级项目（2-3个月）

  1. 跨体态学习实验

    • 尝试让一个VLA模型适应不同机械臂构型
    • 探索软提示(soft-prompting)或适配器(adapter)方案

  2. 真实机器人部署

    • 在小型桌面机械臂上部署简单VLA模型
    • 分析Sim2Real差距及解决方案

五、2025-2026年热点方向（选择1-2个深入）

根据ICLR 2026投稿趋势，以下方向最具潜力：

  1. 离散扩散VLA：解决自回归生成效率瓶颈
  2. 具身思维链(ECoT)：提升复杂任务推理能力
  3. 人类视频到机器人技能迁移：如RynnVLA-001的路线
  4. 高效VLA：降低计算成本，适合边缘部署
  5. 上下文学习(In-context Learning)：少样本适应新任务

六、学习社区与资源

  1. 学术会议

    • 重点关注：ICLR、RSS、CoRL、NeurIPS、CVPR
    • 特别推荐：ICLR 2026的VLA专题(投稿量同比增长18倍!)

  2. 开源社区

    • Hugging Face机器人专区
    • GitHub上的VLA相关项目
    • RoboGym挑战赛

  3. 行业动态

    • 阿里达摩院、Google Robotics、特斯拉的VLA进展
    • 小鹏汽车VLA 2.0等工业界实现

七、实用建议

  1. 避免常见误区

    • 不要过度关注仿真基准分数(LIBERO等已被饱和)
    • 重视真实世界能力而非仅关注模型规模

  2. 学习节奏

    • 前3个月：专注基础+1-2篇核心论文精读
    • 4-6个月：完成1-2个中级项目
    • 6个月后：选择热点方向深入研究

  3. 就业/研究方向选择

    • 工业界：关注效率优化、Sim2Real迁移、工程落地
    • 学术界：探索基础架构创新、新评测基准、跨领域迁移

八、资源汇总表

类别资源名称链接/获取方式适合阶段
课程CS330 (多模态学习)Stanford Online基础阶段
代码库RynnVLA-001官方实现https://github.com/alibaba-damo-academy/RynnVLA-001中级
仿真环境RLBenchpip install rlbench初级
评测基准LIBEROhttps://libero-benchmark.github.io中级
论文集ICLR 2026 VLA投稿OpenReview进阶

特别提示：根据最新研究，RynnVLA-001的成功表明视频预训练和轨迹感知是VLA性能突破的关键。初学者建议从理解其三阶段训练流程入手，这比单纯追求模型规模更能提升真实世界性能。

希望这条学习路线对你有所帮助！VLA领域发展迅速，建议每2-3个月重新评估研究热点，调整学习重点。

Google Gemin 推荐路线

欢迎来到 具身智能 (Embodied AI) 的世界！VLA (Vision-Language-Action) 模型是当前机器人学习皇冠上的明珠，它试图让机器人像 ChatGPT 理解文本一样，通过视觉观察世界，理解语言指令，并直接输出机械臂的动作。

作为一个初学者，直接阅读所有论文容易迷失。为了帮你高效入门，我将为你梳理一条从 基础原理 到 前沿模型 的学习路线，并重点介绍必须精读的核心论文。

🚀 VLA 学习路线图 (Roadmap)

为了系统性掌握 VLA，建议按照以下四个阶段进阶：

第一阶段：地基搭建 (基础知识)

不要急着看 VLA，先理解它的三个组成部分：

  1. Vision (视觉): 了解 ViT (Vision Transformer) 和 CLIP。VLA 极其依赖 CLIP 将图像和文本对齐。
  2. Language (语言): 理解 Transformer 的 Decoder 架构 (GPT) 和 Tokenization (分词) 机制。
  3. Action (动作): 了解 Imitation Learning (模仿学习) 和 Behavior Cloning (行为克隆) 的基本概念。
第二阶段：开山之作 (必读经典)

这一阶段主要关注 Google DeepMind 的工作，它们定义了 VLA 的范式。

  • 核心思想: 将“动作”也视为一种“语言”，把 ( I m a g e , T e x t ) → A c t i o n (Image, Text) \to Action (Image,Text)→Action 变成一个 Token 预测问题。
第三阶段：开源爆发 (当前主流)

Google 的模型通常闭源，这一阶段你需要学习开源社区的成果，这些是目前最活跃的研究方向。

  • 重点: 通用性 (Generalization) 和 跨形态 (Cross-Embodiment)。
第四阶段：前沿与挑战 (进阶研究)
  • 方向: 数据集 (Open X-Embodiment)、推理加速、以及 Sim-to-Real (仿真到现实)。

📚 核心论文与关键技术整理

以下我为你精选了从入门到进阶的必读论文，按重要性排序：

1. 定义时代的里程碑 (Google DeepMind 系列)
模型名称论文标题核心贡献 (一句话总结)
RT-1RT-1: Robotics Transformer for Real-World Control at ScaleVLA的前身。证明了 Transformer 可以通过 Tokenize 图像和动作指令来通过行为克隆控制机器人。
PaLM-EPaLM-E: An Embodied Multimodal Language Model多模态注入。将图像作为连续向量注入 LLM，让 LLM 具备“看图说话”并进行逻辑规划的能力，但不直接输出底层动作。
RT-2RT-2: Vision-Language-Action ModelsVLA 的真正定义者。直接微调 VLM，将机器人的动作离散化为 Token (例如: “Move hand 10, 12”)，与文本 Token 一起训练。拥有了 LLM 的泛化能力。

💡 学习重点: 阅读 RT-2 时，重点理解它是如何将连续的机械臂动作 (x, y, z, yaw, pitch, roll) 转化成离散的 Token (Integers) 的。这是 VLA 的核心魔法。

2. 开源社区的崛起 (2023-2024 必读)

Google 的模型太大且不开源，以下模型更适合学术研究和复现：

  • Octo

    • 论文: Octo: An Open-Source Generalist Robot Policy
    • 特点: 基于 Transformer Diffusion Policy。它不是基于 LLM 的 VLA，但它是目前最强的开源通用策略模型，使用了由 Open X-Embodiment (最大的机器人数据集) 训练而来。
    • 为什么学: 它是目前开源界的基准 (Baseline)。

  • OpenVLA (🔥 最新热门)

    • 论文: OpenVLA: An Open-Source Vision-Language-Action Model
    • 特点: 基于 Llama 2/3 和 Prismatic VLM 微调。
    • 创新: 相比 RT-2，它使用了 Action Detokenization 的技巧，并且通过量化 (Quantization) 可以在消费级显卡上运行。
    • 地位: 目前最强的开源 VLA 模型之一。

  • ACT / Mobile ALOHA (虽然不是纯 VLA，但必须了解)

    • 论文: Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware
    • 核心: Action Chunking Transformer (ACT)。
    • 为什么学: 它解决了动作生成的平滑性和精度问题，现在的 VLA 研究经常会结合 ACT 的思想。
3. 数据集 (燃料)

没有数据就没有 VLA。你需要了解数据的来源：

  • Open X-Embodiment: 机器人领域的 ImageNet。汇集了全球实验室的机器人数据，旨在训练通用的 Robot Brain。

🛠️ 建议的起步实践 (Hands-on)

只读论文是不够的，建议按以下步骤动手：

  1. 玩转 Hugging Face: 去 Hugging Face 上找 OpenVLA 的模型页面，尝试跑通它的推理 Demo (Inference)。
  2. 配置环境: 尝试配置 SimplerEnv 或 Maniskill2。这是两个主流的仿真环境，你可以在不用买实体机器人的情况下，测试 VLA 模型的性能。
  3. 微调 (Fine-tuning): 下载一个小规模数据集 (例如 BridgeData V2)，尝试用 LoRA (Low-Rank Adaptation) 技术微调一个小的 VLM 模型来输出动作。

📝 总结：你的第一周学习计划

  1. Day 1-2: 阅读 RT-1 和 RT-2 的论文。不要纠结数学细节，看懂架构图 (Architecture Figure)。
  2. Day 3: 阅读 OpenVLA 论文，这是你目前最可能用到的模型。
  3. Day 4: 了解 Open X-Embodiment 数据集项目，理解为什么“跨形态”训练很难。
  4. Day 5: 在 GitHub 上搜索 OpenVLA 的代码库，尝试 Clone 下来读一读 inference.py，看看代码里是怎么把图片变成动作的。

您可能感兴趣的与本文相关的镜像

🎞️ THE LEATHER ARCHIVE高端 AI 穿搭实验室

🎞️ THE LEATHER ARCHIVE高端 AI 穿搭实验室

图片生成
LoRA

「The Leather Archive」 是一个基于 Anything V5 与 Stable Yogi 皮衣系列 LoRA 构建的高端 AI 穿搭实验室。与传统的工具化界面不同，本项目采用了非对称剪贴报布局 (Asymmetrical Zine Layout)，旨在为 AI 绘画提供一种如时尚杂志内页般的沉浸式创作体验。

VLA模型（具身智能入门十）
weixin_39699362的博客
07-17 9026
Vision Language Action（VLA）模型VLA模型是机器人领域的“感知-理解-执行”一体化框架，通过Transformer架构融合视觉、语言、动作模态，核心目标是让机器人在自然语言驱动下，自主完成复杂操控任务。其定义的核心在于“跨模态统一”与“具象化行动”——不仅能“看懂”“听懂”，更能“做出正确的动作”，是实现通用机器人智能的关键方向。提供通用序列建模骨架，让视觉、语言、动作能以“序列”形式统一处理；ViT将视觉输入转换为序列特征，提供“看”的能力；LLMs。
具身智能VLA（视觉-语言-动作）入门+RTX4060+Ubuntu22.04
hzm8341的博客
01-15 1570
从2024年的11月20日开始到现在差不多有2个月，总结一下这段时间的VLA学习经历。
小鸡毛的具身智能VLA入门自学路线
最新发布
2303_77547168的博客
04-08 595
我在有一些C语言、git、linux、ROS的基本使用基础，SLAM方面的理论基础，了解部分传感器使用的情况下，大概花了300小时左右完成了对下列内容的学习来入门具身智能VLA领域。赵世钰老师的《强化学习中的数学原理》课程，再去学习PPO, GRPO, SAC等常见算法，学习方法同上，先通过AI定性了解，再回到原论文学习即可。比较古早的开源模型，适合快速上手复现微调来了解VLA到底在干嘛，不过不建议花大量时间进行学习，重心推荐放在Pi上，其在未来使用的频率会高得多。时间充裕的话上LLM: cs336；
视觉语言动作模型（VLA）及其应用：一文带你轻松掌握！
2401_85343303的博客
06-21 3235
摘要：视觉语言动作模型(VLA)已成为自动驾驶和机器人领域的前沿AI技术，其通过融合视觉和语言信号实现场景理解与智能决策。VLA具有预训练高效、人机交互自然、端到端统一训练等优势，最早由Google RT-2项目提出。当前机器人领域已实现VLA双层专家系统架构，而汽车领域Wayve、理想、小鹏等企业正加速应用落地。文章详细解析了VLA的技术原理、发展历程及产业应用现状，指出VLA是Physical AI的核心实现路径，但强调先进技术需转化为良好用户体验。文末提供大模型学习资源获取方式。（149字）
vla学习
henyaoyuancc的博客
06-09 1389
π0，开源π0.5hi Robot。
关于 VLA，它有问题，但也不是一无是处
GKxx
02-25 3744
关于 VLA 的影响、好处和坏处。
VLA模型最新综述！近80多个VLA 模型，涉及架构、训练，实时推理等
CV_Autobot的博客
05-22 4151
谷歌在 2023 年推出 RT-2，作为里程碑式的 VLA 模型，统一视觉、语言和动作标记，将机器人控制视为自回归序列预测任务，使用离散余弦变换（DCT）压缩和字节对编码（BPE）离散化动作，使新对象处理性能提高 63%。ORION 结合多种组件，实现视觉问答和轨迹规划。双系统架构：以 NVIDIA 的 Groot N1（2025）为例，结合快速扩散策略（系统 1，10ms 延迟用于低级控制）和基于 LLM 的规划器（系统 2，用于高级任务分解），实现战略规划和实时执行的高效协调，增强动态环境适应性。
机器人智能控制领域技术路线
qq_40165706的博客
09-04 985
您提到的模块化集中调度方法本质上是黑板系统或分层架构的具体实现，而行为树则是其工程落地的典型工具。这些技术路线通过任务分解资源协调和动态反馈，实现了机器人系统的高效控制。选择时需结合场景需求（如实时性、环境复杂度）和技术成熟度，同时关注大模型与边缘计算的融合趋势，以提升系统的智能化水平。
具身智能的视觉-语言-动作模型：综述
CV_Autobot的博客
06-04 1985
作者|黄浴 编辑| 自动驾驶之心原文链接：https://zhuanlan.zhihu.com/p/699860714点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『具身智能』技术交流群本文只做学术分享，如有侵权，联系删文24年5月论文“A Survey on Vision-Language-Action Mo...
一文搞懂具身智能的VLA模型
huang9604的博客
11-18 1295
VLA模型就是让机器人能像人一样，通过“看”和“听”来理解任务，并用“手”去完成任务的终极解决方案。
世界模型VLA SOTA！DriveWorld-VLA：自驾VLA的统一潜在空间世界建模（小米&北交）
CV_Autobot的博客
02-10 665
大量开环与闭环实验验证了DriveWorld-VLA的有效性，该框架在NAVSIMv1数据集上取得91.3的预测驾驶模型评分（PDMS），在NAVSIMv2数据集上取得86.8的扩展预测驾驶模型评分（EPDMS），在nuScenes数据集上实现0.16的3秒平均碰撞率，性能达到当前最优，显著优于LAW、Epona和HERMES-p等专用基线模型。在二者的融合体系中，VLA提供复杂的多模态感知与语言推理能力，而世界模型通过对环境动态和动作条件下的未来状态进行显式建模，赋予智能体“前瞻想象”的能力。
超越ORION！CoT4AD：显式思维链推理VLA模型（北大最新）
CV_Autobot的博客
12-02 1127
而将感知特征与视觉特征结合后，模型性能进一步提升，取得了最优闭环指标——这表明：尽管有限的感知标签可提供部分环境信息，但图像特征能保留更完整的语义信息，二者结合可增强模型的整体性能。软提示微调的有效性已在图像分类、数值推理等多种基于Transformer的任务中得到验证，后续实验将证明，该方法在端到端自动驾驶任务中同样有效，能够提升多模态感知与语言推理的融合效果。综上，定性结果验证了所提“思维链推理”的优势：不仅提升了轨迹的平滑性和安全性，还增强了模型在复杂交通交互场景下的稳健性和决策可解释性。
性能暴涨60%！上交提出DriveMoE：基于MoE的端到端自动驾驶SOTA VLA模型~
CV_Autobot的博客
05-27 1312
点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『VLA』技术交流群论文作者 | Zhenjie Yang等编辑 | 自动驾驶之心端到端自动驾驶（E2E-AD）需要有效处理多视角的感官数据，并且能够稳健地应对各种复杂和多样化的驾驶场景，特别是罕见的操控动作。最近，Mixture-of-Experts（MoE）架构在大型语言模型（LLMs）中的成功表明，参数的专业化能够实现强大的可扩展性。在这项工作中，我们提出了DriveMoE，这是一种基于MoE的
VLA学习笔记 2025
jacke121的专栏
06-26 2072
VLA学习笔记 2025
智能机器人控制的技术路线分析
qq_40165706的博客
09-04 1277
VLA是**“感知-理解-动作”端到端融合**的技术路线，核心是通过大模型（如视觉语言模型VLM+动作生成模型）将“视觉输入（摄像头/激光雷达）+语言指令（自然语言）”直接映射为机器人的动作序列（如“移动1米→抓取左侧物体”），无需人工拆分中间任务。输入层：多模态数据融合（RGB图像、点云、文本指令）；推理层：预训练大模型（如Google RT-2、Meta Flamingo）解析指令意图+识别环境目标（如“红色杯子”）；动作层。
高效VLA终极指南：从入门到精通，算力不够也能提速，收藏这篇就够了！
weixin_58753619的博客
11-03 1385
随着具身智能的快速发展，动作视觉语言（Vision-Language-Action，VLA）模型正成为机器人理解环境与执行任务的核心框架。通过将视觉感知、语言理解与动作生成端到端地映射，VLA使机器人能够在复杂场景中完成通用指令执行和多任务操作。然而，当前主流VLA系统通常依赖体量庞大的视觉与语言模型，带来巨大的计算与存储开销，同时推理延迟较高，难以满足真实机器人平台对实时性与能耗的严格要求。效率问题已成为VLA从实验室研究向实际应用转化的关键瓶颈。
从零开始学VLA模型：一文读懂具身智能效率优化全攻略（建议收藏）
Androiddddd的博客
10-27 1628
本文回顾了关于视觉-语言-动作（VLA）模型效率最优化的研究。从基础模型架构、感知表示到高层动作生成的演进过程，涵盖了训练与推理两个方面。在此基础上，重点阐述几项新兴研究方向：模型与数据的协同演化、时空感知以构建动态世界模型、用于智能动作生成的审慎推理、兼顾模仿与强化学习策略的学习范式，以及统一的评估框架以实现可复现的评价。
万字长文，读懂具身智能的“大脑”：一文详解视觉-语言-动作（VLA）大模型
Trb701012的博客
08-03 3199
VLA模型：迈向具身智能的关键一步 视觉-语言-动作（VLA）模型通过整合视觉感知、语言理解和物理动作，成为实现具身智能（Embodied AI）的核心技术。VLA模型基于多模态融合，结合预训练视觉表征（如CLIP、DINOv2）、动力学学习和世界模型，使机器人能够理解指令、感知环境并生成动作。其底层控制策略（如RT-1、DiffusionPolicy）和高层任务规划器（如PaLM-E、SayCan）协同工作，完成复杂长时程任务。尽管面临数据稀缺、安全性和泛化性等挑战，VLA模型仍展现出广阔应用前景，如家庭
小鹏刘先明挂名工作！EvoDriveVLA：通过蒸馏进化VLA，感知规划不再割裂
CV_Autobot的博客
03-13 586
与之并行的基于Oracle的轨迹蒸馏则采用具备未来感知能力的教师模型，结合由粗到精的轨迹优化方法与蒙特卡洛丢弃采样策略生成高质量轨迹候选集，进而筛选出最优轨迹指导学生模型的预测任务。因此，轨迹蒸馏的核心在于。值得注意的是，零值附近的损失占比降低约50%，近30%的教师模型预测轨迹与真实轨迹间的。而DistillDrive等多轨迹蒸馏方法则通过构建Planning词汇表，促使教师模型生成多样化的轨迹输出，旨在借助结构化的轨迹候选集丰富蒸馏过程中的规划知识，缓解单一轨迹带来的表达能力受限与场景适应性差的问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值