强化学习入门4：无模型算法之蒙特卡洛

MC算法总结

一、算法核心背景与基础定义

核心关联：与策略迭代（Policy Iteration）的衔接

MC类算法本质是无模型（model-free）版本的策略迭代，其核心改造是将策略迭代中依赖系统模型（状态转移概率$p(s^{\prime }|s,a)$、奖励概率$p(r|s,a)$）的策略评估步骤，替换为基于经验样本的蒙特卡洛（MC）估计。

关键数学定义

• 动作值函数（Action Value Function）：对于策略$\pi$，状态-动作对$(s,a)$的动作值定义为从$(s,a)$出发遵循$\pi$的期望回报：
  $$q_{\pi }(s,a)={\mathbb{E}}_{\pi }\left[G_t\mid S_t=s,A_t=a\right]$$
  其中$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots$为折扣回报，$\gamma \in [0,1]$为折扣因子。

• 蒙特卡洛估计原理：若从$(s,a)$出发收集$n$个独立同分布（i.i.d.）的episodes，第$i$个episode的回报为$g_{\pi }^{(i)}(s,a)$，则$q_{\pi }(s,a)$的无偏估计为样本均值：
  $${\hat{q}}_{\pi }(s,a)=\frac{1}{n}\sum _{i=1}^n{g}_{\pi }^{(i)}(s,a)$$
  由大数定律，当$n\to \infty$时，${\hat{q}}_{\pi }(s,a)\to q_{\pi }(s,a)$，且估计方差$\text{var}({\hat{q}}_{\pi }(s,a))=\frac{1}{n}\text{var}(G_t)$（随$n$增大趋于0）。

二、MC Basic算法

算法定位

MC Basic是最简单的MC强化学习算法，直接对策略迭代的“策略评估-策略改进”框架进行无模型改造，采用初始访问（Initial-Visit）样本利用策略（仅用episode估计初始$(s,a)$的动作值）。

完整数学推导与步骤

步骤1：策略评估（Policy Evaluation，无模型MC估计）

• 输入：当前策略${\pi }_k$，所有$(s,a)\in \mathcal{S}\times \mathcal{A}(s)$
• 目标：估计$q_{{\pi }_k}(s,a)$

具体操作：

1. 对每个$(s,a)$，收集$n$个独立episode：每个episode以$(s,a)$为起始，遵循${\pi }_k$生成轨迹$(s,a,r_1,s_1,a_1,r_2,\cdots ,s_{T-1},a_{T-1},r_T)$，计算每个episode的回报$g_{{\pi }_k}^{(i)}(s,a)$（$i=1,2,\cdots ,n$）。
2. 动作值估计：利用样本均值近似$q_{{\pi }_k}(s,a)$：
   $$q_{{\pi }_k}(s,a)\approx q_k(s,a)=\frac{1}{n}\sum _{i=1}^n{g}_{{\pi }_k}^{(i)}(s,a)$$
   当$n$足够大时，由大数定律，$q_k(s,a)$收敛到真实$q_{{\pi }_k}(s,a)$。

步骤2：策略改进（Policy Improvement，贪心策略）

• 输入：估计的动作值$q_k(s,a)$
• 目标：生成更优策略${\pi }_{k+1}$

具体操作：

1. 策略改进的数学目标：求解使动作值期望最大的确定性策略：
   $${\pi }_{k+1}(s)=\arg \underset{\pi }{\max }\sum _{a\in \mathcal{A}(s)}\pi (a|s)q_k(s,a)$$
2. 贪心策略解：对每个状态$s$，选择使$q_k(s,a)$最大的动作$a_k^{\ast }(s)=\arg {\max }_{a\in \mathcal{A}(s)}{q}_k(s,a)$，则：
   $${\pi }_{k+1}(a|s)=\{\begin{array}{ll}1& \text{if }a=a_k^{\ast }(s)\\ 0& \text{otherwise}\end{array}$$

步骤3：收敛性分析

MC Basic的收敛性继承自策略迭代：

• 若每个$(s,a)$的样本数$n\to \infty$，则$q_k(s,a)\to q_{{\pi }_k}(s,a)$（策略评估收敛）；
• 策略改进满足${\pi }_{k+1}\ge {\pi }_k$（即$q_{{\pi }_{k+1}}(s,a)\ge q_{{\pi }_k}(s,a)$对所有$(s,a)$成立），且有限步内收敛到最优策略${\pi }_{\ast }$和最优动作值$q_{\ast }$。

三、MC Exploring Starts算法

算法定位与核心改进

MC Exploring Starts是MC Basic的样本高效改进版，核心优化两点：

1. 样本利用策略：从“初始访问”改为每次访问（Every-Visit），利用单个episode中所有$(s,a)$的访问记录估计动作值；
2. 策略更新时机：从“收集所有样本后更新”改为“单episode后即时更新”，符合广义策略迭代（GPI）中“不精确评估仍可改进策略”的逻辑。

• 前提条件：探索起始（Exploring Starts）——需保证所有$(s,a)$都能作为episode的起始点被充分采样（满足大数定律的i.i.d.样本要求）。

完整数学推导与步骤

步骤1：初始化

• 初始策略${\pi }_0(a|s)$（任意确定性/随机性策略）；
• 初始动作值估计$q_0(s,a)$（任意初始值，如0）；
• 累计回报计数器：$\text{Returns}(s,a)=0$，访问次数计数器：$\text{Num}(s,a)=0$（对所有$(s,a)$）。

步骤2：Episode生成

• 选择起始状态-动作对$(s_0,a_0)$，需满足“探索起始”条件（所有$(s,a)$均有机会作为$(s_0,a_0)$）；
• 遵循当前策略${\pi }_k$生成episode：$s_0,a_0,r_1,s_1,a_1,r_2,\cdots ,s_{T-1},a_{T-1},r_T$，其中$T$为episode长度（终止步数）。

步骤3：策略评估（Every-Visit MC估计）

具体操作：

1. 反向计算回报：从episode终止步$t=T-1$反向迭代至$t=0$，累积折扣回报：
   $$\begin{array}{rl}g& \leftarrow 0\\ \text{for }& t=T-1,T-2,\dots ,0:\\ & g\leftarrow \gamma \cdot g+r_{t+1}\end{array}$$
   （反向计算确保每个$(s_t,a_t)$的$g$对应从$t$时刻出发的回报$G_t$）

2. 更新累计回报与访问次数：
   $$\begin{array}{rl}\text{Returns}(s_t,a_t)& \leftarrow \text{Returns}(s_t,a_t)+g\\ \text{Num}(s_t,a_t)& \leftarrow \text{Num}(s_t,a_t)+1\end{array}$$

3. 动作值估计：基于累计样本均值更新$q_k(s_t,a_t)$：
   $$q_k(s_t,a_t)\leftarrow \frac{\text{Returns}(s_t,a_t)}{\text{Num}(s_t,a_t)}$$

步骤4：策略改进（贪心策略，与MC Basic一致）

对episode中涉及的每个$(s_t,a_t)$，更新策略：
$$a_k^{\ast }(s_t)=\arg \underset{a\in \mathcal{A}(s_t)}{\max }{q}_k(s_t,a)$$
$${\pi }_{k+1}(a|s_t)=\{\begin{array}{ll}1& \text{if }a=a_k^{\ast }(s_t)\\ 0& \text{otherwise}\end{array}$$

步骤5：收敛性分析

• 样本效率提升：单个episode可同时估计多个$(s,a)$的动作值，避免MC Basic中“每个$(s,a)$需独立收集episode”的冗余；
• 收敛性保证：若“探索起始”条件满足（所有$(s,a)$被充分采样，$\text{Num}(s,a)\to \infty$），则$q_k(s,a)\to q_{{\pi }_k}(s,a)$，策略${\pi }_k$收敛到最优策略${\pi }_{\ast }$。

四、MC $ϵ$-Greedy算法

算法背景：为什么需要 MC $ϵ$-Greedy？

前两种蒙特卡洛（MC）算法（MC Basic、MC Exploring Starts）存在一个关键限制：
必须满足探索起始（Exploring Starts）条件——即所有状态-动作对$(s,a)$都需作为episode的起始点被充分采样，才能保证动作值估计准确。
但实际场景中（如游戏、机器人控制），很难强制让所有$(s,a)$都成为起始点。

MC $ϵ$-Greedy 的核心价值：
通过引入软策略（$ϵ$-Greedy 策略），在“探索未知动作”和“利用已知好动作”之间找平衡，无需探索起始条件，即可覆盖所有$(s,a)$，更贴近实际应用。

核心概念：$ϵ$-Greedy 策略

$ϵ$（读作“epsilon”）是介于$[0,1]$之间的超参数，控制“探索”与“利用”的权重。
该策略是一种随机软策略——对任意状态$s$，所有动作都有正概率被选择，而非仅选“当前最优动作”。

$ϵ$-Greedy 策略的概率定义

设状态$s$对应的动作集合为$\mathcal{A}(s)$，其大小为$|\mathcal{A}(s)|$（即$s$处的动作总数）；
令$a_{\ast }=\arg {\max }_{a\in \mathcal{A}(s)}q(s,a)$（当前动作值最大的“贪心动作”），则：
$$\pi (a|s)=\{\begin{array}{ll}1-ϵ+\frac{ϵ}{|\mathcal{A}(s)|}& \text{若 }a=a_{\ast }(\text{利用：高概率选贪心动作})\\ \frac{ϵ}{|\mathcal{A}(s)|}& \text{若 }a\ne a_{\ast }(\text{探索：低概率选非贪心动作})\end{array}$$

关键性质：贪心动作概率 > 非贪心动作概率

对任意$ϵ\in [0,1]$，可证明贪心动作的选择概率始终大于非贪心动作：
$$1-ϵ+\frac{ϵ}{|\mathcal{A}(s)|}\ge \frac{ϵ}{|\mathcal{A}(s)|}$$
推导：左边展开为$1-ϵ+\frac{ϵ}{|\mathcal{A}(s)|}$，因$1-ϵ\ge 0$（$ϵ\le 1$），故左边 ≥ 右边。

• 特殊情况：
  • 当$ϵ=0$时，$\pi (a_{\ast }|s)=1$，退化为“纯贪心策略”（仅利用，无探索）；
  • 当$ϵ=1$时，$\pi (a|s)=\frac{1}{|\mathcal{A}(s)|}$，退化为“均匀随机策略”（仅探索，无利用）。

动作选择逻辑（初学者可直接落地）

生成episode时，按以下步骤选择动作（以“随机数判断”为例）：

1. 生成一个服从$[0,1]$均匀分布的随机数$x$；
2. 若$x\ge ϵ$：选择当前贪心动作$a_{\ast }=\arg {\max }_{a}q(s,a)$（利用）；
3. 若$x<ϵ$：从$\mathcal{A}(s)$中随机选择一个动作（每个动作概率相等，探索）。

MC $ϵ$-Greedy 完整算法步骤

算法遵循“生成episode → 估计动作值 → 改进策略”的循环，核心是“无探索起始条件”和“$ϵ$-Greedy 策略更新”。

步骤1：初始化（准备工作）

输入：环境状态空间$\mathcal{S}$、动作空间$\mathcal{A}(s)$（每个$s$对应的动作）、折扣因子$\gamma \in [0,1]$（通常取$0.9$）、超参数$ϵ\in (0,1]$（建议取$0.1\sim 0.3$）。

初始化参数：

• 初始动作值估计：$q(s,a)=0$（对所有$(s,a)\in \mathcal{S}\times \mathcal{A}(s)$，初始值可设为0）；
• 累计回报计数器：$\text{Returns}(s,a)=0$（记录$(s,a)$的所有episode回报总和）；
• 访问次数计数器：$\text{Num}(s,a)=0$（记录$(s,a)$被访问的总次数）；
• 初始策略：任意软策略（如均匀随机策略，$\pi (a|s)=\frac{1}{|\mathcal{A}(s)|}$）。

步骤2：生成 Episode（实际“试错”过程）

目标：生成一条包含“状态-动作-奖励”的轨迹，无需指定起始$(s_0,a_0)$。

过程：

1. 随机选择起始状态$s_0$（如环境初始状态、上一轮终止状态）；
2. 对每个时间步$t=0,1,\dots ,T-1$（$T$为episode终止步数）：
   • 在状态$s_t$，按$ϵ$-Greedy 策略选择动作$a_t$（遵循上述动作选择逻辑）；
   • 执行动作$a_t$，观察环境反馈的奖励$r_{t+1}$和下一状态$s_{t+1}$；
3. 记录轨迹：$(s_0,a_0,r_1),(s_1,a_1,r_2),\dots ,(s_{T-1},a_{T-1},r_T)$（$s_T$为终止状态，无后续动作）。

步骤3：策略评估（估计动作值 $q(s,a)$）

核心：通过“反向计算折扣回报”，利用episode中所有$(s_t,a_t)$的访问记录更新动作值（Every-Visit 策略，样本利用率高）。

过程：

1. 初始化累积回报$g=0$（终止状态后无奖励，故初始为0）；
2. 从episode的最后一步$t=T-1$反向迭代至第一步$t=0$（反向确保回报对应“从$t$时刻出发的未来奖励”）：
   1. 更新累积回报：$g=\gamma \cdot g+r_{t+1}$（折扣因子$\gamma$体现“未来奖励的当前价值衰减”）；
   2. 累加累计回报：$\text{Returns}(s_t,a_t)=\text{Returns}(s_t,a_t)+g$；
   3. 累加访问次数：$\text{Num}(s_t,a_t)=\text{Num}(s_t,a_t)+1$；
   4. 估计动作值：$q(s_t,a_t)=\frac{\text{Returns}(s_t,a_t)}{\text{Num}(s_t,a_t)}$（样本均值，无偏估计，符合大数定律）。

步骤4：策略改进（更新 $ϵ$-Greedy 策略）

目标：基于新估计的$q(s,a)$，更新策略为“当前最优的$ϵ$-Greedy 策略”，而非纯贪心策略。

过程：
对episode中涉及的每个状态$s_t$：

1. 找到当前贪心动作：$a_{\ast }=\arg {\max }_{a\in \mathcal{A}(s_t)}q(s_t,a)$（动作值最大的动作）；
2. 按$ϵ$-Greedy 概率公式更新策略：
   $${\pi }_{new}(a|s_t)=\{\begin{array}{ll}1-ϵ+\frac{ϵ}{|\mathcal{A}(s_t)|}& \text{若 }a=a_{\ast }\\ \frac{ϵ}{|\mathcal{A}(s_t)|}& \text{若 }a\ne a_{\ast }\end{array}$$

迭代终止

重复步骤2~4，直至满足以下条件之一：

• 动作值$q(s,a)$的变化量小于阈值（如$|q_{new}(s,a)-q_{old}(s,a)|<10^{-4}$）；
• 策略$\pi$的更新趋于稳定（连续多轮episode的策略无明显变化）；
• 达到预设的episode总数（如10000轮）。

与前两种MC算法的核心对比