Policy Optimization

本文主要对基于策略优化定理的强化学习算法及相关变体进行一个梳理和总结。

Preliminaries

一个马尔可夫决策过程（Markov decision process, MDP）可以由五元组 $<\mathcal{S},\mathcal{A},\mathcal{R},\mathcal{T},\gamma ,{\rho }_0>$ 定义，其中：

• $\mathcal{S}$ 表示状态空间，是由状态构成的集合
• $\mathcal{A}$ 表示动作空间，是由动作构成的集合
• $\mathcal{R}:\mathcal{S}\times \mathcal{A}\to \mathbb{R}$ 表示奖励函数，$\mathcal{R}(s,a)$ 表示在状态 $s$ 下执行动作 $a$ 获得的奖励
• $\mathcal{T}:\mathcal{S}\times \mathcal{A}\times \mathcal{S}\to [0,1]$ 表示状态转移概率函数，$\mathcal{T}(s^{\prime }|s,a)$ 表示在状态 $s$ 下执行动作 $a$ 到达状态$s^{\prime }$ 的概率
• $\gamma$ 表示折扣因子
• ${\rho }_0:\mathcal{S}\to [0,1]$ 表示状态初始分布

Agent 的决策过程由一个随机策略 $\pi :\mathcal{S}\times \mathcal{A}\to [0,1]$ 表示，$\pi (a|s)$ 表示 agent 在状态 $s$ 下选择动作 $a$ 的概率。基于策略 $\pi$ 可以定义出状态价值函数： $$\begin{array}{}\text{(1)}& V_{\pi }(s)=\mathbb{E}[\sum _{t=0}^{\mathrm{\infty }}{\gamma }^t\mathcal{R}(s_t,a_t)|\pi ,s]\end{array}$$ 状态动作价值函数： $$\begin{array}{}\text{(2)}& Q_{\pi }(s,a)=\mathcal{R}(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim \mathcal{T}(\cdot |s,a)}[V_{\pi }(s^{\prime })]\end{array}$$

优势函数： $$\begin{array}{}\text{(3)}& A_{\pi }(s,a)=Q_{\pi }(s,a)-V_{\pi }(s)\end{array}$$ Agent 的优化目标通常为最大化在初始状态分布上的折扣汇报，即： $$\begin{array}{}\text{(4)}& \eta (\pi )={\mathbb{E}}_{s\sim {\rho }_0}[V_{\pi }(s)]\end{array}$$ 状态的折扣访问频率表示为： $$\begin{array}{}\text{(5)}& {\rho }_{\pi }(s)=(P(s_0=s)+\gamma P(s_1=s)+{\gamma }^{2}P(s_2=s)+...)\end{array}$$

策略梯度定理： $$\begin{array}{}\text{(6)}& \mathrm{\nabla }\eta (\pi )=\sum _{s,a}{\rho }_{\pi }(s)\mathrm{\nabla }\pi (a|s)Q_{\pi }(s,a)\end{array}$$

Approximately Optimal Approximate Reinforcement Learning

Kakade, S. & Langford, J. Approximately Optimal Approximate Reinforcement Learning. in Proceedings of the Nineteenth International Conference on Machine Learning 267–274 (Morgan Kaufmann Publishers Inc., 2002).

本文提出了三个想要回答的问题：

1. 是否存在性能度量可以保证每一步更新都有提升？
2. 验证某个更新提升该性能度量有多么困难？
3. 在一定合理的次数的策略更新后，策略性能能达到什么样的水平？

考虑如下保守策略更新规则： $$\begin{array}{}\text{(7)}& {\pi }_{new}(a|s)=(1-\alpha )\pi (a|s)+\alpha {\pi }^{\prime }(a|s)\end{array}$$ 其中，$\alpha \in [0,1]$，如果要在 $\alpha =1$ 时保证策略提升，那么 ${\pi }^{\prime }$ 需要在每个状态下都采取比 $\pi$ 更好的动作。考虑 $0<\alpha <1$ 时，策略提升只需要 ${\pi }^{\prime }$ 在大部分而非全部状态选择更好的动作。定义策略优势 ${\mathbb{A}}_{\pi ,{\rho }_0}({\pi }^{\prime })$ 为 $$\begin{array}{}\text{(8)}& {\mathbb{A}}_{\pi ,{\rho }_0}({\pi }^{\prime })={\mathbb{E}}_{s\sim {\rho }_{\pi }}[{\mathbb{E}}_{a\sim {\pi }^{\prime }(\cdot |s)}[A_{\pi }(s,a)]]\end{array}$$ 该策略优势函数衡量了在状态初始分布为 ${\rho }_0$，行动策略为 $\pi$ 时，${\pi }^{\prime }$ 选择具有更大优势动作的程度。对于 $\alpha =0$ 时，显然有 $\frac{\partial \eta }{\partial \alpha }{|}_{\alpha =0}=\frac{1}{1-\gamma }{\mathbb{A}}_{\pi ,{\rho }_0}$

to be continue......

TRPO

Schulman, J., Levine, S., Moritz, P., Jordan, M. & Abbeel, P. Trust region policy optimization. in Proceedings of the 32nd International Conference on International Conference on Machine Learning - Volume 37 1889–1897 (JMLR.org, 2015).

策略优势定理： $$\begin{array}{}\text{(9)}& \eta (\tilde{\pi })=\eta (\pi )+{\mathbb{E}}_{s_0\sim {\rho }_0,a\sim \tilde{\pi }(\cdot |s),s^{\prime }\sim \mathcal{T}(\cdot |s,a)}[\sum _{t=1}^{\mathrm{\infty }}{\gamma }^t{A}_{\pi }(s_t,a_t)]\end{array}$$ 证明如下（为方便书写，省略期望下标中的 $s_0\sim {\rho }_0,s^{\prime }\sim \mathcal{T}(\cdot |s,a)$，$a\sim \pi (\cdot |s)$ 简写为 $a\sim \pi$）： $$\begin{array}{rl}\text{(10)}& & {\mathbb{E}}_{a\sim \tilde{\pi }}[\sum _{t=0}^{\mathrm{\infty }}{\gamma }^t{A}_{\pi }(s_t,a_t)]& ={\mathbb{E}}_{a\sim \tilde{\pi }}\left[\sum _{t=0}^{\mathrm{\infty }}{\gamma }^t[Q_{\pi }(s_t,a_t)-V_{\pi }(s_t)]\right]\\ & ={\mathbb{E}}_{a\sim \tilde{\pi }}\left[\sum _{t=0}^{\mathrm{\infty }}{\gamma }^t[r_t+\gamma V_{\pi }(s_{t+1})-V_{\pi }(s_t)]\right]\\ & ={\mathbb{E}}_{a\sim \tilde{\pi }}\left[\sum _{t=0}^{\mathrm{\infty }}{\gamma }^t{r}_t\right]+{\mathbb{E}}_{a\sim \tilde{\pi }}[\sum _{t=0}^{\mathrm{\infty }}{\gamma }^{t+1}{V}_{\pi }(s_{t+1})]-{\mathbb{E}}_{a\sim \tilde{\pi }}[\sum _{t=0}^{\mathrm{\infty }}{\gamma }^t{V}_{\pi }(s_t)]\\ & =\eta (\tilde{\pi })-{\mathbb{E}}_{a\sim \tilde{\pi }}[V_{\pi }(s_0)]\\ & =\eta (\tilde{\pi })-\eta (\pi )\end{array}$$

根据式 $\text{5}$ ，式 $\text{9}$ 表明也可以写为以下形式： $$\begin{array}{}\text{(11)}& \eta (\tilde{\pi })=\eta (\pi )+\sum _s{\rho }_{\tilde{\pi }}(s)\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a)\end{array}$$ 根据式 $\text{11}$，如果对于每一个状态 $s$，使 $\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a)\ge 0$，那么就保证了新策略是比旧策略好的。然而，式 $\text{11}$ 对于 ${\rho }_{\tilde{\pi }}$ 的依赖导致在实际优化过程中无法直接计算，由此，考虑下面对 $\eta$ 的局部估计： $$\begin{array}{}\text{(12)}& L_{\pi }(\tilde{\pi })=\eta (\pi )+\sum _s{\rho }_{\pi }(s)\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a)\end{array}$$ $L_{\pi }(\tilde{\pi })$ 和 $\eta (\tilde{\pi })$ 唯一的区别在于把 ${\rho }_{\tilde{\pi }}$ 换为了 ${\rho }_{\pi }$，接下来对 $L_{\pi }(\tilde{\pi })$ 进行分析。若有一参数化的策略${\pi }_{\theta }$ 且对 $\theta$ 可微，则有： $$\begin{gathered} \begin{array}{}\text{(13)}& L_{{\pi }_{{\theta }_0}}({\pi }_{{\theta }_0})=\eta ({\pi }_{{\theta }_0}) \\ {\mathrm{\nabla }}_{\theta }{L}_{{\pi }_{{\theta }_0}}({\pi }_{\theta }){|}_{\theta ={\theta }_0}={\mathrm{\nabla }}_{\theta }\eta ({\pi }_{\theta }){|}_{\theta ={\theta }_0}\end{array} \end{gathered}$$ 因此，如果 $\pi$ 更新的足够小，则提升 $L_{\pi }$ 也会提升 $\eta$，考虑如下策略更新： $$\begin{array}{}\text{(14)}& \tilde{\pi }(a|s)=(1-\alpha )\pi (a|s)+\alpha {\pi }^{\prime }(a|s)\end{array}$$ 其中，${\pi }^{\prime }=\arg \underset{{\pi }^{\prime }}{max}{L}_{\pi }(\tilde{\pi })$，从而有（证明见 (Kakade & Langford, 2002)）： $$\begin{array}{}\text{(15)}& \eta (\tilde{\pi })\ge L_{\pi }(\tilde{\pi })-\frac{2ϵ\gamma }{(1-\gamma (1-\alpha ))(1-\gamma )}{\alpha }^2\end{array}$$ 其中 $ϵ=\underset{s}{max}|{\mathbb{E}}_{a\sim \tilde{\pi }(\cdot |s)}{A}_{\pi }(s,a)|$

当 $\alpha$ 足够小的时候则有： $$\begin{array}{}\text{(16)}& \eta (\tilde{\pi })\ge L_{\pi }(\tilde{\pi })-\frac{2ϵ\gamma }{(1-\gamma {)}^2}{\alpha }^2\end{array}$$ 令 $\alpha =D_{TV}^{max}(\pi ,\tilde{\pi })$，$ϵ=\underset{s}{max}\underset{a}{max}{A}_{\pi }(s,a)$，则式 $\text{16}$ 依然成立，证明见 (Schulman et al., 2015)。考虑到 $D_{TV}(p||q{)}^2\le D_{KL}(p||q)$，则有： $$\begin{array}{}\text{(17)}& \eta (\tilde{\pi })\ge L_{\pi }(\tilde{\pi })-C{D}_{KL}^{max}(\pi ,\tilde{\pi })\end{array}$$ 令 $M_i(\pi )=L_{{\pi }_i}(\pi )-C{D}_{KL}^{max}(\pi ,\tilde{\pi })$，则有： $$\begin{gathered} \begin{array}{}\text{(18)}& M_i({\pi }_i)=\eta ({\pi }_i) \\ {M}_i({\pi }_{i+1})\le \eta ({\pi }_{i+1}) \\ {M}_i({\pi }_{i+1})-M_i({\pi }_i)\le \eta ({\pi }_{i+1})-\eta ({\pi }_i)\end{array} \end{gathered}$$ 因此，如果最大化 $M_i(\pi )$，则 $\eta (\pi )$ 也会随之不断提升，对于参数化的策略 ${\pi }_{\theta }$，策略优化问题便可以转换为下面的优化问题： $$\begin{array}{}\text{(19)}& \underset{\theta }{max}[L_{{\theta }_{old}}(\theta )-C{D}_{KL}^{max}({\theta }_{old},\theta )]\end{array}$$ 转换为信赖域约束的形式为： $$\begin{array}{}\text{(20)}& & \underset{\theta }{max}{L}_{{\theta }_{old}}(\theta )\text{(21)}& & s.t.D_{KL}^{max}({\theta }_{old},\theta )\le \delta \end{array}$$

上述优化稳定的约束很难进行技术员，可以使用平均 $KL$ 散度作为对该约束启发式的估计： $$\begin{array}{}\text{(22)}& {\overline{D}}_{KL}^{\rho }({\theta }_1,{\theta }_2)={\mathbb{E}}_{s\sim \rho }[D_{KL}({\pi }_{{\theta }_1}(\cdot |s)||{\pi }_{{\theta }_2}(\cdot |s))]\end{array}$$ 在采样估计时有如下形式： $$\begin{array}{}\text{(23)}& & \underset{\theta }{max}\sum _s{\rho }_{{\theta }_{old}}\sum _a{\pi }_{\theta }(a|s)A_{{\theta }_{old}}(s,a)\text{(24)}& & s.t.{\overline{D}}_{KL}^{{\rho }_{{\theta }_{old}}}({\theta }_{old},\theta )\le \delta \end{array}$$ 使用重要性采样（Importance Samping）可得： $$\begin{array}{}\text{(25)}& \sum _a{\pi }_{\theta }(a|s)A_{{\theta }_{old}}(s,a)={\mathbb{E}}_{a\sim {\pi }_{{\theta }_{old}}}[\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_{old}}(a|s)}{A}_{{\theta }_{old}}(s,a)]\end{array}$$ 从而得到TRPO的优化目标： $$\begin{array}{}\text{(26)}& & \underset{\theta }{max}{\mathbb{E}}_{s\sim {\rho }_{{\theta }_{old}},a\sim {\pi }_{{\theta }_{old}}}[\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_{old}}(a|s)}{A}_{{\theta }_{old}}(s,a)]\text{(27)}& & s.t.{\mathbb{E}}_{s\sim {\rho }_{{\theta }_{old}}}[D_{KL}({\pi }_{{\theta }_{old}}(\cdot |s)||{\pi }_{\theta }(\cdot |s))]\end{array}$$

PPO

Schulman, J., Wolski, F., Dhariwal, P., Radford, A. & Klimov, O. Proximal Policy Optimization Algorithms. Preprint at http://arxiv.org/abs/1707.06347 (2017).

TRPO的优化目标为： $$\begin{array}{}\text{(28)}& & \underset{\theta }{max}{\mathbb{E}}_{s\sim {\rho }_{{\theta }_{old}},a\sim {\pi }_{{\theta }_{old}}}[\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_{old}}(a|s)}{A}_{{\theta }_{old}}(s,a)]\text{(29)}& & s.t.{\mathbb{E}}_{s\sim {\rho }_{{\theta }_{old}}}[D_{KL}({\pi }_{{\theta }_{old}}(\cdot |s)||{\pi }_{\theta }(\cdot |s))]\end{array}$$ 将约束转换为一个惩罚项，即可将该优化问题转换为无约束优化 $$\begin{array}{}\text{(30)}& \underset{\theta }{max}{\mathbb{E}}_{s\sim {\rho }_{{\theta }_{old}},a\sim {\pi }_{{\theta }_{old}}}[\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_{old}}(a|s)}{A}_{{\theta }_{old}}(s,a)-\beta D_{KL}({\pi }_{{\theta }_{old}}(\cdot |s)||{\pi }_{\theta }(\cdot |s))]\end{array}$$ 令 $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{old}}(a_t|s_t)}$，则$r_t({\theta }_{old})=1$，TRPO的近似优化目标为： $$\begin{array}{}\text{(31)}& L^{CPI}(\theta )={\mathbb{E}}_t[r_t(\theta ){\hat{A}}_t]\end{array}$$ 在无约束的情况下，$L^{CPI}$ 可能会导致一次优化产生很大的策略更新，为此，约束 $r_t(\theta )$ 在 1 附近来限制优化幅度： $$\begin{array}{}\text{(32)}& L^{CLIP}(\theta )={\mathbb{E}}_t[min(r_t(\theta ){\hat{A}}_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t]\end{array}$$

IMPALA

Espeholt, L. et al. IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures. in Proceedings of the 35th International Conference on Machine Learning 1407–1416 (PMLR, 2018).

IMPALA 采用异步收集经验的方式来提高采样效率，使用 V-trace 解决采样策略和更新策略不一致的问题。

V-trace Target

$$\begin{array}{}\text{(33)}& v_t=V(s_t)+\sum _{\tau =t}^{t+n-1}{\gamma }^{\tau -t}(\prod _{i=t}^{\tau -1}{c}_i){\delta }_{\tau }V\end{array}$$

其中，${\delta }_{\tau }V={\rho }_{\tau }(r_{\tau }+\gamma V(s_{\tau +1})-V(s_{\tau }))$，${\rho }_{\tau }=min(\overline{\rho },\frac{\pi (a_{\tau }|s_{\tau })}{\mu (a_{\tau }|s_{\tau })})$，$c_i=min(\overline{c},\frac{\pi (a_i|s_i)}{\mu (a_i|s_i)})$，规定当$t=\tau$时，$\prod _{i=t}^{\tau -1}{c}_i=1$，此外$\overline{\rho }\ge \overline{c}$，当$\pi =\mu$时，${\rho }_{\tau }=1$且$c_i=1$，则上式转变为 on-policy n-step $TD$的形式： $$\begin{array}{rl}{v}_t& =V(s_t)+\sum _{\tau =t}^{t+n-1}{\gamma }^{\tau -t}(r_{\tau }+\gamma V(s_{\tau +1})-V(s_{\tau }))\\ \text{(34)}& & =\sum _{\tau =t}^{t+n-1}{\gamma }^{\tau -t}{r}_{\tau }+{\gamma }^{n}V(s_{t+n})\end{array}$$

V-trace 可以由如下递归形式计算： $$\begin{array}{}\text{(35)}& v_t=V(s_t)+{\delta }_{t}V+\gamma c_t(v_{t+1}-V(s_{t+1}))\end{array}$$ 可以考虑给 $c_i$ 的计算中加入类似 $Retrace(\lambda )$ 的折扣系数 $\lambda \in [0,1]$，得到 $c_i=\lambda min(\overline{c},\frac{\pi (a_i|s_i)}{\mu (a_i|s_i)})$，在 on-policy 场景下，当 $n=\mathrm{\infty }$ 时，V-trace 变为 $TD(\lambda )$

Off-Policy TRPO

Meng, W., Zheng, Q., Shi, Y. & Pan, G. An Off-Policy Trust Region Policy Optimization Method With Monotonic Improvement Guarantee for Deep Reinforcement Learning. IEEE Transactions on Neural Networks and Learning Systems 33, 2223–2235 (2022).

策略优势定理为$\text{9}$，在 TRPO 中使用其 on-policy 的近似形式 $\text{12}$，两者的区别在于 TRPO 使用了近似状态分布 ${\rho }_{\pi }$ 替代策略分布 ${\rho }_{\tilde{\pi }}$。Off-policy TRPO 更进一步，采用行为策略 $\mu$ 来进行经验收集更新策略 $\pi$，从而提出新的近似形式： $$\begin{array}{}\text{(36)}& L_{\pi ,\mu }(\tilde{\pi })=\eta (\pi )+\sum _s{\rho }_{\mu }(s)\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a)\end{array}$$ 由该近似推出 off-policy 的优化目标： $$\begin{array}{rl}& \underset{\theta }{max}{\mathbb{E}}_{s\sim {\rho }_{\mu },a\sim \mu }[\frac{{\pi }_{\theta }(a|s)}{\mu (a|s)}{A}_{{\pi }_{{\theta }_{old}}}(s,a)]\\ \text{(37)}& & s.t.{\overline{D}}_{KL}^{{\rho }_{\mu },sqrt}(\mu ,{\theta }_{old})D_{KL}^{{\rho }_{\mu },sqrt}({\theta }_{old},\theta )+D_{KL}^{{\rho }_{\mu }}({\theta }_{old},\theta )\le \delta \end{array}$$ 详细证明见(Meng et al., 2022)

Off-Policy PPO

Meng, W., Zheng, Q., Pan, G. & Yin, Y. Off-Policy Proximal Policy Optimization. Proceedings of the AAAI Conference on Artificial Intelligence 37, 9162–9170 (2023).

off-policy trpo 的 clip 近似形式，使用如下 clipped surrogate object： $$\begin{array}{}\text{(38)}& L_{\text{Off-Policy}}^{\text{CLIP}}={\mathbb{E}}_{s\sim {\rho }_{\mu },a\sim \mu }[min[r(s,a)A_{{\pi }_{old}}(s,a),\text{clip}(r(s,a),l(s,a),h(s,a)),{\hat{A}}_{{\pi }_{old}}(s,a)]]\end{array}$$ 其中 $r(s,a)=\frac{\pi (a|s)}{\mu (a|s)}$，$l(s,a)=\frac{{\pi }_{old}(a|s)}{\mu (a|s)}(1-ϵ)$，$h(s,a)=\frac{{\pi }_{old}(a|s)}{\mu (a|s)}(1+ϵ)$

详见(Meng et al., 2023)

Behavior PPO

Zhuang, Z., Lei, K., Liu, J., Wang, D. & Guo, Y. Behavior Proximal Policy Optimization. in Proceedings of the eleventh International Conference on Learning Representation (2023).

在线同策略算法天然可以解决离线强化学习问题

该工作的架构为 BC（行为克隆）+RL（强化学习），RL部分通过保守更新和 $ϵ$ 来实现在 offline dataset 上的多步更新。

根据 $\text{9}$ 策略优势可写为： $$\begin{array}{}\text{(39)}& J_{\mathrm{\Delta }}(\pi ,{\hat{\pi }}_{\beta })={\mathbb{E}}_{s\sim {\rho }_{\pi },a\sim \pi (\cdot |s)}[A_{{\hat{\pi }}_{\beta }}(s,a)]\end{array}$$ 其中，${\hat{\pi }}_{\beta }$ 为行为策略（behavior policy，可以从 dataset 通过行为克隆学习）

提出其在 offline dataset $\mathcal{D}$ 上的近似形式为： $$\begin{array}{}\text{(40)}& {\hat{J}}_{\mathrm{\Delta }}(\pi ,{\hat{\pi }}_{\beta })={\mathbb{E}}_{s\sim {\rho }_{\mathcal{D}},a\sim \pi (\cdot |s)}[A_{{\hat{\pi }}_{\beta }}(s,a)]\end{array}$$ 两者之间的差距为： $$\begin{array}{rl}{J}_{\mathrm{\Delta }}(\pi ,{\hat{\pi }}_{\beta })\ge & {\hat{J}}_{\mathrm{\Delta }}(\pi ,{\hat{\pi }}_{\beta })\\ & -4\gamma {\mathbb{A}}_{{\hat{\pi }}_{\beta }}\cdot \underset{s}{max}{D}_{TV}(\pi ||{\hat{\pi }}_{\beta })[s]\cdot {\mathbb{E}}_{s\sim {\rho }_{{\hat{\pi }}_{\beta }}(\cdot )}[D_{TV}(\pi ||{\hat{\pi }}_{\beta })[s]]\\ \text{(41)}& & -2\gamma {\mathbb{A}}_{{\hat{\pi }}_{\beta }}\cdot \underset{s}{max}{D}_{TV}(\pi ||{\hat{\pi }}_{\beta })[s]\cdot {\mathbb{E}}_{s\sim {\rho }_{\mathcal{D}}(\cdot )}[1-{\hat{\pi }}_{\beta }(a|s)]\end{array}$$ 其中，${\mathbb{A}}_{{\hat{\pi }}_{\beta }}=\underset{s,a}{max}|A_{{\hat{\pi }}_{\beta }}(s,a)|$，详细证明见(Zhuang et al., 2023)。由式 $\text{41}$ 可知，要保证优化目标 $J_{\mathrm{\Delta }}(\pi ,{\hat{\pi }}_{\beta })$ 不下降，应该在最大化 ${\mathbb{E}}_{s\sim {\rho }_{\mathcal{D}},a\sim \pi (\cdot |s)}[A_{{\hat{\pi }}_{\beta }}(s,a)]$ 的同时最小化 $\underset{s}{max}{D}_{TV}(\pi ||{\hat{\pi }}_{\beta })[s]$，由此便得到了从 ${\hat{\pi }}_{\beta }$ 出发的单步更新。

考虑在离线数据集 $\mathcal{D}$ 上进行多步更新，即在 ${\pi }_k$ 的基础上优化得到 ${\pi }_{k+1}$ ，根据策略优势定理，优化目标为： $$\begin{array}{}\text{(42)}& J_{\mathrm{\Delta }}(\pi ,{\pi }_k)={\mathbb{E}}_{s\sim {\rho }_{\pi },a\sim \pi (\cdot |s)}[A_{{\pi }_k}(s,a)]\end{array}$$

考虑状态从离线数据集 $\mathcal{D}$ 进行采样的如下近似形式： $$\begin{array}{}\text{(43)}& {\hat{J}}_{\mathrm{\Delta }}(\pi ,{\pi }_k)={\mathbb{E}}_{s\sim {\rho }_{\mathcal{D}},a\sim \pi (\cdot |s)}[A_{{\pi }_k}(s,a)]\end{array}$$ 两者之间的差距为： $$\begin{array}{rl}{J}_{\mathrm{\Delta }}(\pi ,{\pi }_k)\ge & {\hat{J}}_{\mathrm{\Delta }}(\pi ,{\pi }_k)\\ & -4\gamma {\mathbb{A}}_k\cdot \underset{s}{max}{D}_{TV}(\pi ||{\pi }_k)[s]\cdot {\mathbb{E}}_{s\sim {\rho }_{{\pi }_k}(\cdot )}[D_{TV}(\pi ||{\pi }_k)[s]]\\ & -4\gamma {\mathbb{A}}_k\cdot \underset{s}{max}{D}_{TV}(\pi ||{\pi }_k)[s]\cdot {\mathbb{E}}_{s\sim {\rho }_{{\hat{\pi }}_{\beta }}(\cdot )}[D_{TV}({\pi }_k||{\hat{\pi }}_{\beta })[s]]\\ \text{(44)}& & -2\gamma {\mathbb{A}}_{{\pi }_k}\cdot \underset{s}{max}{D}_{TV}(\pi ||{\pi }_k)[s]\cdot {\mathbb{E}}_{s\sim {\rho }_{\mathcal{D}}(\cdot )}[1-{\hat{\pi }}_{\beta }(a|s)]\end{array}$$ 其中，${\mathbb{A}}_{{\pi }_k}=\underset{s,a}{max}|A_{{\pi }_k}(s,a)|$，详细证明见(Zhuang et al., 2023)。由式 $\text{44}$ 可知，若保证 $J_{\mathrm{\Delta }}(\pi ,{\pi }_k)$ 非降，则需要在最大化 ${\mathbb{E}}_{s\sim {\rho }_{\mathcal{D}},a\sim \pi (\cdot |s)}[A_{{\pi }_k}(s,a)]$ 的同时最小化 ${\mathbb{A}}_k\cdot \underset{s}{max}{D}_{TV}(\pi ||{\pi }_k)[s]$，从而实现在离线数据集 $\mathcal{D}$ 上的多步更新。

上述结论可写为： $$\begin{array}{rl}& \underset{\pi }{max}{\mathbb{E}}_{s\sim {\rho }_{\mathcal{D}},a\sim \pi (\cdot |s)}[A_{{\pi }_k}(s,a)]\\ & s.t.\underset{s}{max}{D}_{TV}(\pi ||{\pi }_k)\le ϵ\end{array}$$ 经过一系列推导之后得到 clip 形式的无约束优化目标为： $$\begin{array}{}\text{(45)}& L_k={\mathbb{E}}_{s\sim {\rho }_{\mathcal{D}},a\sim {\pi }_k(\cdot |s)}[min(\frac{\pi (a|s)}{{\pi }_k(a|s)}{A}_{{\pi }_k}(s,a),\text{clip}(\frac{\pi (a|s)}{{\pi }_k(a|s)},1-2ϵ,1+2ϵ)A_{{\pi }_k}(s,a))]\end{array}$$