2025_NIPS_Semantic HELM: A Human-Readable Memory for Reinforcement Learning

文章核心总结与翻译

主要内容

文章针对强化学习（RL）中部分可观测环境下现有记忆机制缺乏可解释性的问题，提出了一种名为Semantic HELM（SHELM）的新型记忆机制。该机制利用预训练的视觉-语言模型（CLIP）将环境视觉观测映射为人类可读的语言令牌，再通过预训练语言模型构建连贯的历史记忆表示，无需额外训练即可实现语义级记忆压缩。在MiniGrid、MiniWorld、Avalon和Psychlab等环境的实验中，SHELM在依赖记忆的任务（如Psychlab的连续识别任务）上表现远超基线，收敛速度快两个数量级，同时在非记忆依赖任务上与现有强基线性能相当，且具备全程可解释性。

创新点

1. 首次将人类语言作为强化学习记忆的表示形式，使智能体的记忆内容可直接被人类理解，便于故障排查和系统优化。
2. 采用CLIP实现视觉观测到语言令牌的语义映射，结合预训练语言模型构建记忆模块，无需训练即可完成历史信息的有效压缩。
3. 突破了HELM系列方法中视觉与语言嵌入空间的维度匹配限制，支持任意类CLIP编码器作为语义提取器，灵活性更强。
4. 在记忆依赖型任务中实现了性能与可解释性的兼顾，解决了传统可解释模型通常性能受损的痛点。

翻译部分（Markdown格式）

Abstract

强化学习智能体在现实世界中部署时，往往需要应对部分可观测的环境。因此，大多数智能体都会采用记忆机制来逼近环