强化学习 RL 基础 4：随机近似求解贝尔曼方程 | 从 时序差分 到 Q-learning

前言

本文内容主要参考《赵世钰. 强化学习的数学原理》 整理编写，属于个人学习笔记，详细内容请参见教材，致谢 赵世钰 老师。

1. 时序差分算法推导 – 应用随机近似

1.1 状态值更新

在 强化学习 RL 基础 1：马尔科夫决策过程 MDP 与 贝尔曼方程 中，我们知道状态价值通过贝尔曼方程可描述为：
$$v_{\pi }(s_k)=\mathbb{E}(r_{k+1}+\gamma v_{\pi }(s_{k+1}))\text{\hspace{1em}(1.1)}$$
在 强化学习 RL 基础 2：从贝尔曼方程到策略求解 中，描述了通过系统模型，或无模型通过数据（蒙特卡洛方法），来计算贝尔曼方程；
然而在无模型时，蒙特卡洛方法需要完整的回合 (esipode) 数据来进行估计，更高效的方法是通过随机近似来完成这一过程：

针对式 $(1.1)$，可定义函数：
$$g(v_k)=v_k-(\mathbb{E}(r_{k+1}+\gamma v_{\pi }(s_{k+1})))$$

在存在噪声 $\eta$ 单次观测下，有：
$$\begin{array}{rl}\tilde{g}(v_k)& =v_k-(\mathbb{E}(r_{k+1}+\gamma v_{\pi }(s_{k+1}))+{\eta }_k)\\ & =v_k-(r_{k+1}+\gamma v_{\pi }(s_{k+1}))\end{array}$$
根据 RM 算法，有：
$$\begin{array}{rl}{v}_{k+1}& =v_k-{\alpha }_k\tilde{g}(v_k)\\ & =v_k-{\alpha }_k(v_k-(r_{k+1}+\gamma v_{\pi }(s_{k+1}))\end{array}\text{\hspace{1em}(1.2)}$$
迭代可得 $g(w_k)=0$，即实现：
$$v_k=\mathbb{E}(r_{k+1}+\gamma v_{\pi }(s_{k+1}))=v_{\pi }(s_k)$$

使用 $v_k(s_{k+1})$ 替换式 $(1.2)$ 中的 $v_{\pi }(s_{k+1})$
即得到时序差分 (TD) 算法 (严格的数学推动参见教材)：
$$v_{k+1}(s_k)=v_k(s_k)-{\alpha }_k[v_k(s_k)-(r_{k+1}+\gamma v_k(s_{k+1}))]\text{\hspace{1em}(1.3)}$$
其中，$v_{\mathrm{targ}}(s_k)=r_{k+1}+\gamma v_k(s_{k+1})$ 一般称为 TD 目标，在先进的算法中也常使用；
$v_k(s_k)-(r_{k+1}+\gamma v_k(s_{k+1}))$ 称为 TD 误差

时序差分算法实现了 只使用即时奖励 $r_{k+1}$ 来对贝尔曼方程进行快速更新

1.2 动作值更新

类似的，针对动作值：
$$\begin{array}{rl}{q}_{\pi }(s_k,a_k)& ={\mathbb{E}}_{s\sim S}[r_{k+1}+\gamma v_{\pi }(s_{k+1})|a_k]\\ & =\mathbb{E}(r_{k+1}|s_k,a_k)+\gamma {\mathbb{E}}_{s\sim S}(v_{\pi }(s_{k+1}))\\ & =\mathbb{E}(r_{k+1}|s_k,a_k)+\gamma {\mathbb{E}}_{s_{k+1}\sim S}(\sum \pi (a_{k+1}|s_{k+1})q_{\pi }(s_{k+1},a_{k+1}))\\ & =\mathbb{E}(r_{k+1}|s_k,a_k)+\gamma {\mathbb{E}}_{s_{k+1}\sim S,a_{k+1}\sim \pi }{q}_{\pi }(s_{k+1},a_{k+1}))\end{array}\text{\hspace{1em}(1.4)}$$
有 TD 算法可估计状态值：
$$q_{k+1}=q_k-{\alpha }_k(q_k-(r_{k+1}+\gamma q_k(s_{k+1},a_{k+1}))\text{\hspace{1em}(1.5)}$$

2. 使用 TD 算法求解贝尔曼方程 | sarsa 算法最终的

与 强化学习 RL 基础 2：从贝尔曼方程到策略求解 中的截断策略迭代类似，sarsa 算法使用 TD 算法同时更新贝尔曼方程和策略

单步 sarsa 算法
初始化 $q_0(s,a)$，并导出探索贪婪 ($ϵ$-Greedy) 策略 ${\pi }_0$，选取常数 ${\alpha }_k=c$、$\gamma$
for t = 0:T do:
---- 设置初始状态 $s_0$，根据 ${\pi }_0$ 生成 $a_0$
---- for k = 0:K do:
---- ---- 根据 $s_k,a_k,{\pi }_k$ 生成 $s_{k+1},a_{k+1}$，并记录样本数据 { s k , a k , r k + 1 , s k + 1 , a k + 1 } \{s_k, a_k, r_{k+1}, s_{k+1}, a_{k+1}\} {sk​,ak​,rk+1​,sk+1​,ak+1​}
---- ---- 更新价值：
$q_{Kt+k+1}(s_k,a_k)=q_{Kt+k}(s_k,a_k)-c(q_k(s_k,a_k)-(r_{k+1}+\gamma q_k(s_{k+1},a_{k+1}))$
---- ---- 更新策略($ϵ$-Greedy)：
---- ---- for $a$ in $\mathcal{A}$ do:
---- ---- ---- if $a==\arg {\max }_a{q}_{Kt+k+1}(s_k,a)$ do:
---- ---- ---- ---- ${\pi }_{Kt+k+1}(a|s_k)=1-ϵ(|\mathcal{A}|-1)/|\mathcal{A}|$
---- ---- ---- else do:
---- ---- ---- ---- ${\pi }_{Kt+k+1}(a|s_k)=ϵ/|\mathcal{A}|$

在更新价值时，也可采用 $n$ 的形式估计：
$$q_{k+1}(s_k,a_k)=q_k(s_k,a_k)-c(q_k(s_k,a_k)-(r_{k+1}+\gamma r_{k+2}+\cdots +{\gamma }^{n-1}{q}_k(s_{k+n},a_{k+n}))$$
以上称为 $n$ 步 sarsa 算法
当 $n\to \infty$ 时，其等价于 强化学习 RL 基础 2：从贝尔曼方程到策略求解 中的蒙特卡洛估计。

3. Q-learning 算法

将单步sarsa 算法中的价值更新改为：
$$q_{k+1}(s_k,a_k)=q_k(s_k,a_k)-c(q_k(s_k,a_k)-(r_{k+1}+\gamma \underset{a}{\max }{q}_k(s_{k+1},a))$$
即为著名的 Q-learning 算法，其本质上是在求解贝尔曼最优方程，
最优策略即最终通过贝尔曼最优方程导出的贪婪策略。