Eureka：自然语言驱动的强化学习革命——英伟达用LLM重构机器人智能训练范式

一、核心思想：语言即策略的元编程框架

1.1 范式突破

Eureka不是简单的"LLM+RL"组合，而是​​建立自然语言到强化学习的编译通道​​，其本质是：

• ​​语言即奖励函数​​：将人类模糊的意图描述转化为精确的数学奖励函数
• ​​代码即策略​​：自动生成可执行的策略网络架构和训练代码
• ​​反思即进化​​：通过自我批判机制持续优化策略

1.2 技术范式演进

1.3 关键创新点

1. ​​语义奖励编译器​​
   • 将自然语言指令转化为多目标奖励函数：
     
2. ​​神经架构搜索(NAS)引擎​​
   • 根据任务复杂度自动生成策略网络：

     简单任务 → 3层MLP  
     复杂操作 → 时空Transformer  

3. ​​反思优化器​​
   • 基于训练日志的自我批判：

     "抓取失败因接触面积不足" → 增加表面接触奖励项  

二、模型架构：语言到动作的编译流水线

2.1 整体架构图

自然语言指令 → [语义解析器] → [奖励函数生成器] → [策略架构搜索] → [RL训练引擎]  
                      ↑               ↑               ↑  
                 [反思优化器] ← [训练日志分析] ← [环境交互]  

2.2 语义解析器

​​多模态理解层​​：

1. ​​语言图神经网络​​
   • 构建指令的语义依存树：

     "灵巧抓取易碎品" → {动作:抓取, 属性:灵巧, 约束:防碎}  

2. ​​物理常识嵌入​​
   • 融合物理知识图谱：

     "易碎品" → 最大受力阈值<5N  

3. ​​不确定性量化​​
   • 输出置信区间：
     

2.3 奖励函数生成器

​​分层奖励架构​​：

1. ​​基础生存奖励​​