Policy Gradient Methods for Reinforcement Learning with Function Approximation

Policy Gradient Methods for Reinforcement Learning with Function Approximation

1 Policy Gradient Theorem

在时间t∈{0,1,2,...}t\in\{0,1,2,...\}t∈{0,1,2,...}的state, action, reword表示为$s_t\in \mathcal{S},a_t\in \mathcal{A},r_t\in \mathcal{R}$。环境的动态是由状态转移概率Pss′a=Pr{st+1=s′∣st=s,at=a}\mathcal P^a_{ss'}=\mathcal P_r\{s_{t+1}=s'|s_t=s,a_t=a\}Pss′a​=Pr​{st+1​=s′∣st​=s,at​=a}描述，expected rewards定义为Rsa=E{rt+1∣st=s,at=a},∀s,s′∈S,a∈A\mathcal R_s^a=E\{r_{t+1}|s_t=s,a_t=a\},\forall s,s'\in\mathcal S,a\in \mathcal ARsa​=E{rt+1​∣st​=s,at​=a},∀s,s′∈S,a∈A。agent在每个时间的决策由一个policy来描述π(s,a,θ)=Pr{at=a∣st=s,θ},∀s∈S,a∈A\pi(s,a,\theta)=P_r\{a_t=a|s_t=s,\theta\},\forall s \in \mathcal S,a\in\mathcal Aπ(s,a,θ)=Pr​{at​=a∣st​=s,θ},∀s∈S,a∈A，其中$\theta$是参数。我们假说$\pi$对其参数是可微的，KaTeX parse error: Undefined control sequence: \part at position 7: \frac{\̲p̲a̲r̲t̲\pi(s,a)}{\part…存在，一般情况下把$\pi (s,a,\theta )$写成$\pi (s,a)$。

在函数近似的情况下，有两种制定agent目标的方法。一种是average reward formulation，在这种表述中，policies是根据每一步的 long-term expected reward p(rr)进行排序的。他们每一步的长期预期报酬，$\rho (\pi )$

我们讨论的第二个公式是有一个指定的起始状态$s_0$我们只关心从中获得的长期回报。

我们的第一个结果涉及到 performance metric相对于策略参数的梯度:

证明：

上面用到了Bellman公式：

2 Policy Gradient with Approximation

现在考虑$Q^{\pi }$被一个学习函数近似器近似的情况。如果这个近似值足够好，我们可能希望用它来代替(2)中的$Q^{\pi }$，并且仍然大致指向梯度的方向。

3 Application to Deriving Algorithms and Advantages

给定一个策略参数化，定理2可以用来推导值函数参数化的适当形式。例如，考虑一个由多个特征组成的吉布斯分布的策略:

其中每个${\varphi }_{sa}$是一个关于 characterizing state-action pair s, a的l维的特征向量。满足compatibility condition（4）要求

换句话说，fw必须是与策略相同的线性特征，只是归一化为每个状态的平均值为零。对于各种非线性策略参数化，如多层反向传播网络，可以很容易地得出其他算法。

参考链接：
https://zhuanlan.zhihu.com/p/139011267

https://zhuanlan.zhihu.com/p/104288536

https://blog.csdn.net/weixin_30530339/article/details/99306820