2025_NIPS_Flexible Attention-Based Multi-Policy Fusion for Efficient Deep Reinforcement Learning

文章总结与翻译

一、主要内容

本文聚焦强化学习（RL）智能体学习效率与灵活性不足的问题，提出了知识接地强化学习（KGRL） 范式，旨在通过融合外部知识策略，让智能体具备类人学习的五大核心属性：知识可获取性、样本高效性、泛化性、组合性和增量性。

为实现该范式，文章设计了知识包容性注意力网络（KIAN） 作为KGRL的执行者架构，其核心组件包括：

1. 内部策略：智能体通过与环境交互自主学习的策略；
2. 知识键：为每个内部/外部策略分配的可学习嵌入向量，实现策略的统一表征；
3. 查询网络：基于状态生成查询向量，通过注意力机制动态融合多策略。

此外，文章针对最大熵KGRL中存在的熵不平衡问题（智能体过度依赖少数策略，阻碍高效探索），提出了改进的策略分布模型，分别适配离散和连续动作空间。

实验在MiniGrid（网格导航）和OpenAI-Robotics（机器人操作）环境中展开，对比BC、RL、RL+BC、KoGuN、A2T等基线方法，验证了KIAN在样本效率、泛化性、组合学习和增量学习方面的优越性。

二、创新点

1. 提出KGRL范式：首次明确定义了融合外部策略的强化学习框架及五大核心属性，为类人高效灵活学习提供理论基础；
2. 设计KIAN架构：通过知识键与查询网络的分离设计，实现策略表征与融合机制的解耦，支持策略的自由重组、新增和替换，天然适配组合性和增量学习；