这一章进入整本书最实用的部分。上一节我们把层次化强化学习的基本框架、时间抽象的意义和选项Option的数学定义铺开了这一节直接把算法、优化技巧和泛化特性全部落地从公式推导到训练调试完整走一遍。如果你只是听说过“Option-Critic”这个名字但没真正推过梯度这节可以补齐如果你已经在做分层策略但总感觉训练不稳定这节内容也应该能帮上忙。1. 层次化RL如何真正解决稀疏奖励的痛点层次化方法不是“听起来很高级所以去做”的技术选型它解决的是一类非常具体的工程问题当奖励信号过于稀疏、层级过深或决策链路过长时普通强化学习算法会陷入“什么都学不到”的困境。这种情况下智能体面对的不是“怎么做得更好”而是“完全不知道该往哪个方向走”。对于随机初始化的策略来说几百步之内能踩到一次非零奖励都是小概率事件梯度信号自然就趋近于零后面所有优化都是空转。层次化结构做的事情本质上就是把一个长视距、难探索的问题拆成多个短视距、易探索的子问题。每个子问题有自己的局部目标或者子奖励不需要完全依赖最终的任务奖励来驱动学习。拿一个生活化的场景类比如果你要让一个新人学会“筹备一场线下活动”直接给他一个“活动满意度达到90%以上”的终极目标他大概率会懵掉。但如果先拆成“确定场地档期”“邀约嘉宾名单”“确认流程单”“彩排走位”这些子任务每个子任务都有明确的完成标志那整件事就变成了一个可在局部验证、逐步推进的工程。层次化RL也是这个逻辑高层策略决定“先做哪个子任务”底层策略负责“在这个子任务里具体怎么动作”。从马尔可夫决策过程MDP的角度看普通强化学习是在原始状态空间上做策略搜索而选项框架引入了半马尔可夫决策过程SMDP的视角。SMDP的关键特征是决策时刻不再局限于每一个离散时间步而是在“一个选项结束时”进行决策。这意味着高层策略的决策频率降低了但从宏观层面看它看到的是更有意义的“状态—子任务—结果”三元组而不是微观的动作序列。这个视角转换带来两个直接收益第一高层策略的信用分配距离变短了它不需要回溯几十上百步去判断“哪个底层动作导致了最终结果”只需要关注“哪个子任务选择之后得到了正反馈”第二探索效率大幅提升因为底层选项本身已经把“如何在这个场景里活动”的经验固化了高层不必从零开始学动作层面的探索策略。还有一个容易忽略的点层次化结构天然是模块化的。如果底层选项设计得足够通用比如“走到目标点附近”“打开面前的容器”“沿走廊前进”那么更换顶层任务时底层选项可以直接复用不需要重新训练。这种迁移特性在实际项目里非常吃香我后面会单独用一节详细讲泛化问题这里先记住一个结论选项机制的价值不只是在单个任务上提升样本效率更在于它把“策略知识”和“任务意图”解耦了这是普通单层策略做不到的。1.1 宏观—微观策略的协调机制在典型的层次化结构里宏观策略Meta Policy在高层次决策微观策略Sub-policy在选项内部执行动作。这两个层级不是简单的上下级命令关系它们之间的信息流和时序交互是有讲究的。宏观策略在每个决策时刻根据当前状态选择一个可用的选项然后这个选项对应的微观策略开始在环境中交互直到终止条件被触发。有意思的地方在于终止条件可以由选项自身定义也可以由外部条件触发比如“状态进入某个集合”“持续了固定步数”“底层策略的置信度低于阈值”。终止设计其实是影响整体性能的关键变量如果终止条件太宽松选项会很早就退出宏观策略就变成了在高频切换的微观策略之间跳来跳去等于退化回原始MDP层次化的优势就丢了。如果终止条件太严格选项迟迟不退出宏观策略就丧失了干预能力底层策略一旦进入错误方向高层也拉不回来。我自己的经验是终止条件最好和“子目标是否达成”挂钩而不是单纯依赖时间步数。例如一个导航类选项终止条件可以定义为“当前位置与目标点的距离小于某阈值”一个抓取类选项终止条件就是“抓手传感器反馈夹持力达到设定区间”。这种目标导向的终止条件有一个额外好处高层策略收到的状态转移信号是带有语义信息的它知道“导航成功了”或“抓取失败了”而不是仅仅看到一个数字奖励变化。另外一个容易被忽视的点是宏观策略的时间尺度调节能力。在很多实现里宏观策略的决策周期不是固定的一步而是由选项的持续时间动态决定的。这意味着同一个高层策略既能在需要精细操作时频繁介入也能在底层跑得顺时放手让选项执行到底。这个特性归功于SMDP的建模方式选项在不同状态下持续不同时长宏观策略观察到的是“从进入这个选项到它结束”的整体轨迹。训练时宏观策略的回报是选项执行期间累积奖励的聚合而不是单步奖励这直接降低了高层的学习难度。1.2 子目标天然具备的探索引导作用层次化RL对稀疏奖励的另一个缓解机制是“子目标即奖励塑形”。在很多环境里原始奖励只在最终目标达成的瞬间出现中间过程零奖励这种环境下普通RL的探索基本靠运气。但是一旦设置了子目标智能体就可以在完成子目标时获得内部奖励无论这个奖励来自环境本身还是来自人工设计的内部奖励机制这相当于给探索过程装了“路标”。这里要区分两种不同的做法一种是环境本身就提供了多阶段奖励完成每个里程碑都有反馈另一种是环境没有这种奖励需要我们自己设计内部奖励函数来驱动子目标完成。前者属于环境建模的范畴后者属于奖励工程的范畴。对于第二种情况我强烈建议不要把内部奖励设计得太密集。有一些团队为了让子目标更容易学会给每个小步骤都发正奖励比如“靠近目标0.1米就给0.01分”。这种做法短期看学得快长期看会产生一个很麻烦的副作用策略会倾向于在奖励容易获取的区域打转而不去推进真正重要的任务节点。这其实是层级结构下的一种局部最优陷阱——底层策略发现待在原地也能稳定拿奖励就不再积极寻找更优路径。所以内部奖励的设计原则是“只在子目标达成时给一次明显信号在子目标之外保持零奖励”让智能体自己学会如何从一个里程碑走向另一个里程碑。2. 选项学习的核心机制深入剖析选项Option不只是“带终止条件的子策略”这么简单它是一整套带有完整数学定义的抽象机制。这里先梳理一下选项的基本构成一个选项可以表示为三元组 (\langle I, \pi, \beta \rangle)其中I是初始状态集合只有状态在I中时这个选项才能被启动(\pi)是选项执行期间采用的内部策略(\beta(s))是终止函数表示在状态s下这个选项以多大概率结束。有些文献会把选项扩展成包含“意图”和“目标”的四元组形式用来支持子目标显式建模但在标准SMDP框架下三元组已经是完整且可计算的。从状态空间的角度理解选项像是在原始状态空间上叠加了一层“宏动作”。普通动作空间是离散或连续的物理动作集合选项空间则是“策略片段”的集合。当宏观策略决定调用某个选项时本质上不是执行一个动作而是把一个过程控制权转交给底层策略直到终止条件触发再交还控制权。这个概念差异在学习算法上会带来连锁变化所有原本建立在“状态—动作”对上的论证现在都要提成“状态—选项”对。在策略梯度类算法中处理选项有两种主流思路。一种是基于SMDP的策略梯度法把选项看作动作空间的一部分直接对宏观策略 (\pi_\Omega(a|s)) 做策略梯度其中a的选择范围从原始动作变成了选项集合。这种方式实现简单和普通策略梯度几乎一样但它要求选项执行期间的状态变化可以被完整观测而且对选项内部的策略梯度不敏感。另一种是基于intra-option的梯度方法它不仅更新宏观策略的选择概率还能对选项内部策略 (\pi_{\omega}(a|s)) 进行梯度更新从而实现选项自身的持续改进。Option-Critic算法就是在intra-option思想上发展出来的。2.1 Option-Critic方法的数学骨架Option-Critic的核心贡献在于它给出了一个可以同时优化选项内部策略和终止函数的完整梯度计算框架。它在不依赖子目标奖励信号的情况下靠任务奖励本身就能同步学习“选项做什么”和“选项何时结束”。这在工程上是很有价值的因为设计子目标奖励往往需要大量的先验知识而Option-Critic让系统自己涌现出有用的选项结构。它的目标函数是SMDP视角下的期望回报。假设宏观策略记为 (\pi_\Omega)选项集合为 (\Omega)每个选项(\omega)由内部策略 (\pi_\omega) 和终止函数 (\beta_\omega) 描述。那么选项在状态s被选中的概率为 (\pi_\Omega(\omega|s))执行选项后转移到的状态记为 s持续时间为k步。Option-Critic推导出的宏观策略梯度是[ \nabla \log \pi_\Omega(\omega|s) \cdot A_\Omega(s, \omega) ]其中 (A_\Omega(s, \omega)) 是优势函数表示在当前状态下选择选项(\omega)相对于平均水平的优势。这个公式和普通策略梯度长得几乎一模一样只是把动作换成了选项这给工程实现带来很大便利——宏观策略层的更新可以复用现有的策略梯度框架。更关键的是选项内部策略的梯度更新。它用的是intra-option策略梯度定理表述为[ \sum_{t0}^{k} \gamma^t \nabla \log \pi_\omega(a_t|s_t) \cdot G_t ]其中 (G_t) 是从t时刻开始的折扣累积回报或者说用优势函数替代。它的含义是选项内部策略沿着能提升后续回报的方向更新。注意这一刻画和“执行选项期间的每个状态”都挂钩但G_t是从该状态出发的完整回报这使底层策略能够理解“当前动作在整体任务中的长期影响”。终止函数 (\beta_\omega(s)) 的梯度更新是Option-Critic做得最有技巧的部分。它用一个“终止优势函数”来衡量如果在这个状态选择终止选项得到的期望回报 (V_{\Omega}(s)) 和继续执行当前选项得到的价值 (Q_{\Omega}(s, \omega)) 之差。如果终止后的价值更高就增大终止概率反之则降低终止概率。用公式表示就是[ \nabla \beta_\omega(s) \propto - \left( V_{\Omega}(s) - Q_{\Omega}(s, \omega) \right) \cdot A_\omega(s) ]这里的 (A_\omega(s)) 是选项内部的价值函数动作值函数信息。简化理解终止函数学习的是“什么时候应该交回控制权”而判断依据是“宏观策略重新决策是否比当前选项继续执行更有利”。2.2 终止函数学习中的熵保持与早停问题Option-Critic理论看起来很漂亮但在我实际跑实验的过程中终止函数的学习是最容易出问题的环节。最常见的现象叫做“早停倾向”premature termination终止函数学会在几乎所有状态下都以接近1的概率结束选项导致选项长度变得极短宏观策略事实上变成了在微观动作层面高频切换的普通策略。造成早停的原因很简单初始状态下终止函数的输出接近0.5随机初始化的sigmoid输出选项内部策略也是随机的。此时终止或继续都得不到什么信号梯度波动会很快把某些状态下的终止概率推向极端。一旦某个状态下终止概率偏高该选项在该状态被选中的概率就会降低从而又降低了对该状态相关梯度的更新频率形成恶性循环。到后期大部分选项只剩下很短的持续时间层次结构名存实亡。为了解决这个问题一个非常有效的实践技巧是在终止函数的loss中加一项熵正则惩罚过早变得尖锐的概率分布。具体做法是对 (\beta_\omega) 的输出施加熵惩罚让它在非必要情况下保持平滑的中间值。另外一个做法是限制终止概率的下限比如把sigmoid输出限制在0.05到0.95区间避免完全收敛到0或1的极端值。这种软约束在训练初期特别重要它能给内部策略留出足够多的探索机会等内部策略逐渐成熟了终止函数再慢慢变“硬”也不迟。还有一点注意的是终止函数要输入足够的信息。在一些实现里终止函数只接收局部观测作为输入这在部分可观测环境下会造成误判——因为某些决定是否终止的关键信息比如目标在环境中的相对位置根本不在观测里。一个可行的调整方案是让终止函数输入经过LSTM或注意力机制编码的历史状态信息使它在决策时有更强的上下文感知能力。3. 实操案例从零搭建一个Option-Critic导航智能体理论聊了不少这里给一个可以直接照做的完整实践。我们的模拟环境是一个离散的网格世界环境大小为20乘以20智能体从地图左上角出发需要到达地图右下角的目标位置。环境中随机分布着一些障碍物智能体每步可以执行上、下、左、右四个动作碰到障碍物则不移动。奖励设置尽量贴近稀疏奖励的困难模式只有到达目标位置时给100每走一步给-0.1作为时间惩罚。障碍物区域零奖励中途没有任何辅助信号。这个设置对普通DQN来说已经很难了因为探索空间巨大随机策略几乎不可能在合理步数内撞到目标。我们还额外设置了随机障碍物布局每次episode重置时障碍物位置都会变进一步加大难度——这也会在泛化测试里发挥作用。整个训练过程分四步走第一步设计选项结构第二步搭建Option-Critic网络第三步配置训练循环第四步调参与可视化分析。3.1 选项空间与网络结构设计在这个导航任务里我设计了四个有明确语义的选项“向北推进”“向南推进”“向西推进”“向东推进”。每个选项内部的策略都是一个将状态映射到四个动作概率分布的线性网络加softmax层。这个设计思路是四个选项对应四个移动方向倾向智能体通过组合这些倾向来形成复杂的路径。这里有个值得注意的细节选项内部策略并不强制只能输出对应方向的动作它只是通过训练学会“在这个选项下向某个方向移动更有利”。初始状态下每个选项内部的策略都是近均匀的随机分布没有任何先验知识。宏观策略的输入是智能体当前坐标的位置编码输出维度是4对应4个选项的softmax概率。终止函数同样以观察状态为输入每个选项各有一个独立的终止函数网络输出是终止概率。宏观策略网络、选项内部策略网络、终止函数网络三者共享底层的状态编码层这样可以减少参数量并促进特征共享但在更新时需要注意三者的梯度更新顺序——我们后面会细说。Option-Critic实现里有一个常见困惑宏观策略是只在高层次决策时刻更新还是每一步都更新严格来说按照SMDP定义宏观策略只在选项终止的决策时刻更新。但在实际操作中为了更新方便很多实现会在选项执行的每一步都对宏观策略做一次梯度回溯更新只不过只有当选项在当前步终止时才把这次更新视为有效决策。我自己更倾向的做法是在选项终止时做一次宏观策略更新在选项执行期间只更新内部策略和终止函数。这样梯度流更清晰避免宏观策略在高频切换时的方差问题。3.2 训练循环与参数更新时序这里给出一个裁剪过的核心伪代码完整实现中还需要补充回放缓冲区、目标网络软更新等工程细节初始化选项集 Omega内部策略 pi_omega终止函数 beta_omega 初始化宏观策略 pi_Omega价值函数 Q 初始化参数学习率 lr_pi3e-4lr_beta3e-4折扣因子 gamma0.99熵系数 eta0.01 for episode in range(总回合数): s env.reset() while not done: # 宏观策略在当前状态选择一个选项 omega sample(pi_Omega(omega | s)) # 记录当前选项的起点状态 t 0 while t max_option_steps and not done: a sample(pi_omega(a | s)) s_next, r, done env.step(a) # 计算终止概率 beta beta_omega(s_next) terminate (random() beta) or done # 更新内部策略梯度intra-option G r gamma * (1 - terminate) * V_hat(s_next) - V_hat(s) gradient_inner G * grad(log pi_omega(a | s)) update(pi_omega, gradient_inner) # 更新终止函数梯度 adv_termination V_Omega(s_next) - Q_Omega(s_next, omega) gradient_beta - adv_termination * grad(log beta_omega(s_next)) eta * grad(entropy(beta_omega)) update(beta_omega, gradient_beta) s s_next t 1 if terminate: break # 选项终止后更新宏观策略和价值函数 R 累积折扣回报 update(pi_Omega, R - V_hat(s_start)) update(V, R - V_hat(s_start))我简化了价值函数的更新细节核心是让读者理解更新时序内部策略使用“当前步奖励下一步状态价值-当前状态价值”作为优势估计终止函数用“宏观价值是否高于继续执行选项的价值”来调节终止概率宏观策略只在选项结束后更新一次。这个更新逻辑有一点容易踩坑(V_{\Omega}(s) - Q_{\Omega}(s, \omega)) 这个差值如果直接用网络输出来算在训练初期方差特别大因为两个价值网络的预测都还没收敛。我建议在训练的前一半回合内给这个差值乘一个衰减系数比如从1.0线性降到0.2前期的强信号更多分配给内部策略学习后期再逐步放大终止函数的调节权重。这个调参技巧在很多任务上稳住了Option-Critic的训练过程。3.3 训练效果与选项语义的自发涌现在随机障碍物网格环境中Option-Critic跑了大约8000个episode后开始出现明显的分层行为。宏观策略逐步学会了规避障碍物密集的区域选项内部策略也形成了方向偏好。最让我惊喜的是四个初始设置的选项并没有退化到完全相同的行为模式而是自发分化出了偏向“向上/向下/向左/向右”的独立策略。这说明intra-option梯度确实在起作用选项不是仅仅靠初始化差异来区分的。不过要注意的是选项的语义并不会一直保持稳定。训练到中后期如果终止函数调节得不当某些选项会合并——两个不同选项的内部策略会变得越来越相似宏观策略也几乎只在其中一个选项上分配概率。有研究者把这种现象称为“选项折叠”。我遇到一次折叠后重新审视了终止函数的熵系数发现是因为终止函数熵惩罚系数设得太低导致终止概率过早偏向极端选项差异被抑制了。把熵系数从0.01调到0.05再训练折叠现象明显缓解。训练完成后我测试了分层的优势对比单层DQNOption-Critic在到达目标的平均步数上优化了约30%但在训练样本量上节省了大概一半。这个差距在更大型的连续控制任务中会更加明显。用t-SNE可视化宏观策略的状态编码时还能看到状态空间被自然地分割成了几个区域每个区域对应一个选项的高概率选择区——这其实就是智能体自己学会的“状态空间分块”能力是层次化RL泛化能力的来源之一。4. 层次化结构如何带来更强的泛化能力泛化是RL里最玄学也最实际的问题。一个策略如果在训练环境里无所不能换个地图布局就彻底不会玩了那它在真实世界几乎没法用。层次化结构的泛化优势我理解下来主要来自三个层面模块化迁移、状态空间抽象、以及稳定底层行为带来的探索鲁棒性。模块化迁移是最直观的。由于选项本身是一个独立的“技能单元”当任务目标变化时我们只需要重新训练宏观策略底层选项可以原样复用。在一个仓库机器人项目中我需要让机器人把货物从A区搬到B区。原始版本的单层策略在A区B区位置对调后就完全失效了因为它的学习把“去哪个坐标”和“怎么移动”耦合在一起了。换成层次化方案后“移动到目标坐标”是一个通用选项不管目标坐标在哪里这个选项的内部策略都是学“走最短路径绕过障碍物”的泛化技能。重新训练时只需要调整宏观策略对“哪个区域是当前目标”的映射底层导航选项几乎可以原封不动地迁移过去。状态空间抽象则是另一个层面的泛化收益。宏观策略并不直接在原始的高维状态上做决策它观察的是经过选项执行效果抽象后的信息。比如机器人的原始状态可能包含关节角度、速度、目标坐标等十多个维度但宏观策略在决策时只需要知道“当前选项是否达成目标”“当前位置在哪个区域”这种抽象天然滤除了与高层决策无关的噪声使宏观策略对新变化的鲁棒性更强。换句话说层次化结构迫使系统把“需要知道的”和“可以忽略的”分开这种信息筛选本身就是一种正则化减少了过拟合到训练环境细节的风险。还有一点来自探索行为的稳定性。单层策略在探索时是高方差行为同样的状态下每次动作选择震荡很大这种不稳定会让策略的泛化能力下降因为它难以判断“哪个行为是可靠的”。而选项层面的探索相对稳定一个选项一旦被选中内部策略会持续执行一段时间产生一致的、有方向性的行为轨迹。这种一致性使宏观策略能够更清晰地评估“这个选项带来的结果”因而也更容易对新场景做出正确决策。4.1 子目标驱动的跨任务迁移实验为了验证层次化泛化能力我做了一个对照实验。训练环境是20乘以20的网格地图随机生成障碍物。每次episode重新随机布置障碍物和目标位置。两个对照组分别是单层DQN和带四个选项的Option-Critic。训练20000个episode后用三种方式测试同分布测试障碍物布局与训练时分布相同分布偏移测试障碍物密度比训练时提高了20%完全新布局测试使用训练数据中从未出现过的迷宫式布局结果让我印象深刻。同分布测试中单层DQN和Option-Critic表现接近都能在大约40到60步到达目标。分布偏移测试中Option-Critic的步数仅增加了约10%而单层DQN增加了40%以上。完全新布局测试中Option-Critic依然能完成任务只是路径更长单层DQN则频繁陷入死循环成功率骤降到原来的三成以下。这个结果背后的原因可以归结为选项内部策略学习了“向某个方向推进时如何避开局部障碍”这一种不依赖于全局布局的技能。这种技能在训练过程中被反复强化因此面对新布局时也能发挥基本作用。而方向DQN把所有经验都建模成了“在特定坐标附近选择特定动作”的映射一旦全局布局发生较大变化映射关系崩塌策略自然退化。4.2 宏微观探索的平衡策略泛化能力的另一个来源是探索-利用的层级化平衡。在普通单层RL中探索往往意味着大幅随机化动作这会导致行为很不稳定。在层次化RL中探索主要发生两个层面宏观层面探索的是“当前情况下应该选哪个选项”微观层面探索的是“在当前选项下哪些具体动作更好”。两个层面的探索可以有不同的温度和频率这让整体系统既能保持一定的探索意愿又不会让行为过于混乱。举个例子我可以在宏观策略上设置较高的温度参数让智能体在训练前期频繁尝试不同选项而底层策略的温度保持较低让每一个选项的行为相对稳定。这样的配置在普通单层策略里做不到因为它只有一个探索维度。层次化结构天然提供了这种多尺度探索能力而这带来的直接好处是训练出的策略对初始状态、环境扰动和各种干扰的鲁棒性明显提升。这在实际部署时非常重要因为真实环境总是和仿真环境有偏离稳扎稳打的层次策略不容易被细小变化带跑偏。5. 训练时的常见问题与排错手册这一节把Option-Critic训练中最常遇到的问题集中梳理一下附带可操作的排查步骤和参数调整建议。按照我的经验新手跑通Option-Critic至少会撞上下面四类问题。5.1 选项折叠所有选项学成同一个策略现象训练过程中两个甚至多个选项的内部策略分布曲线几乎重叠宏观策略也只在一两个选项上分配概率。本质原因通常是初始化不够分化和训练过程中终止函数的熵惩罚太低。排查步骤先检查选项内部策略输出分布的方差如果在几百个episode后趋近于零说明选项已经开始坍缩。检查组间KL散度如果两两之间散度很小基本可以确认折叠。调整方法有两个方向。一是增大终止函数的熵惩罚系数让每个选项有更强的“保持”倾向不会轻易交回控制权二是修改终止函数初始化比如把不同选项的终止函数初始偏置设在不同值使它们在训练初期就有行为差异。这个技巧看似简单却非常有效因为它打破了对称性避免所有选项同步优化到同一个解。5.2 终止概率完全趋于0一个选项永不结束这个问题是早停的对立面。现象是某个选项的终止概率在所有状态下都接近0它一旦被选中就会一直执行到底宏观策略几乎无法中途切换。这种情况通常是因为终止函数梯度更新中 (V_{\Omega}(s) - Q_{\Omega}(s, \omega)) 长期为正或者绝对值很小让模型认为“继续当前选项”总是更有利。解决思路从终止函数的目标函数入手。我建议给终止概率加一个“最小终止频率”的约束比如每执行固定步数就强制触发一次终止。这个约束等价于给训练过程引入了一个强制性的事件边界迫使终止函数依然处于“可用”状态。实际上很多工作证明在稀疏奖励环境中定期强制终止选项能让宏观策略获得更多的决策机会从而更好探索——这远比让一个笨拙的底层选项跳个不停更高效。5.3 奖励函数设计不良导致子目标策略变形当子目标奖励被设计得不够合理时底层策略可能会找到一条“刷奖励”的捷径而不是真正解决子任务。一个经典例子是如果子目标奖励定义为“与目标点的距离减少”底层策略可能学会不停抖动位置来制造小的距离减少从而持续获得奖励。这个问题的根治方法奖励函数本身要能够被验证还要求子目标在设计时具备“完成态识别”而不是“过程态度量”。也就是说只有到达某个明确的状态或完成某个标志性事件才给正奖励不要对中间过程提供奖励增量。如果你控制不了环境能不能提供明确的事件信号那么退而求其次给奖励函数加一个“完成之后不再产生新奖励”的保护逻辑防止刷分行为反复发生。5.4 高层策略收敛慢或者震荡大宏观策略的训练方差通常比单层策略高因为它要等选项执行一段时间才能收到反馈所以往往表现为收敛慢或长期震荡。我踩过的一个坑是宏观策略的学习率开得太大导致它在几个候选选项中左右横跳无法稳定。比较系统的调参建议宏观策略学习率设置成底层策略学习率的三分之一到二分之一。宏观策略的价值估计使用较大的折扣因子让它更关注长期回报。如果宏观策略依然震荡可以考虑使用多步回报或带有基线的方法来降低方差。对于更复杂的环境还可以考虑把宏观策略的输入从原始状态换成高层特征表示比如用对比学习或世界模型先压缩状态维度再让宏观策略在这个压缩空间里决策训练方差会小很多。结束前的一个小经验最后分享一个我自己调Option-Critic时最有价值的习惯训练过程中不要只看累计回报曲线一定要把选项的终止概率分布、选项内部策略的熵、宏观策略的选项选择频率分开可视化。很多次累计回报看起来在涨但实际已经发生了选项折叠或终止函数退化如果不看这些细分指标等问题浮到回报曲线上时往往已经积重难返。单独追踪这些内部指标能让你早好几千个episode发现问题这对训练效率的提升是立竿见影的。层次化RL在理论上还有很多有趣的方向比如结合目标条件强化学习、动态选项生成等但把Option-Critic这套框架摸透、把训练细节调稳已经是能在实际项目里发挥作用的重要一步。
