2025_NIPS_Improved Bayesian Regret Bounds for Thompson Sampling in Reinforcement Learning

文章总结与翻译

一、主要内容

本文聚焦强化学习中汤普森采样（Thompson Sampling, TS）的贝叶斯遗憾界问题，针对时变（time inhomogeneous）的马尔可夫决策过程（MDP）场景展开研究，核心内容如下：

1. 问题设定：考虑更具一般性的贝叶斯强化学习框架，允许转移函数和奖励函数均为贝叶斯形式且时变，不附加任何先验假设（如狄利克雷先验），拓展了现有研究的适用范围。
2. 核心方法：引入“替代环境（surrogate environments）”概念，通过环境空间的离散化简化学习问题，将原问题的遗憾分析转化为对替代环境空间的分析；结合信息论方法与后验一致性工具，对探索-利用权衡的关键指标“信息比（information ratio）”进行精细化分析。
3. 关键定义与边界：定义了环境空间的Kolmogorov l1l_1l<