聊强化学习绕不开的一个痛点就是稀疏奖励Sparse Reward。我见过太多项目算法选得没问题、网络结构也还算合理结果训练曲线一出来就是一条直直的平线——不是因为代码写错了而是因为整个任务里“有效反馈”少得可怜智能体在环境里转了几万步一次正向信号都碰不到自然什么都学不到。这个问题的典型表现是随机策略的成功率可能不到1%上了PPO、SAC这类主流算法后前几十万步依然纹丝不动。很多人第一反应是调超参数、换网络实际上问题往往出在“奖励信号”本身太稀疏算法根本没有可以学习的梯度方向。这篇就围绕稀疏奖励这个主题把我实际项目中处理这类问题时最常用的三招讲清楚奖励塑形Reward Shaping、课程学习Curriculum Learning和分层强化学习Hierarchical RL。三者的定位不太一样适用场景也不是完全替代关系。无论你是刚接触强化学习的小白还是已经在调稀疏奖励问题上折腾过一阵的研究者这篇文章提供的都是可以直接落地的思路、代码片段和避坑经验。1. 稀疏奖励到底难在哪先说清楚什么叫“稀疏”。在强化学习里稀疏奖励通常指智能体完成整个任务后才会收到一次非零反馈中间过程没有任何正负信号。用大白话说就是“只有终点才告诉你做得对不对”。比如一个导航任务机器人从起点出发走到目标位置。环境只在到达目标时给一个 10 的奖励其他任何时刻都是 0。听起来很简洁但训练起来很痛苦——智能体初始策略完全是随机的它大概率永远不会到达目标位置所以它永远收不到 10也就没有任何正向激励来修正自己的动作。就算它偶然转到了目标附近也不知道是哪几步、哪个动作让这次尝试成功了因为整条轨迹从第一步到最后的每一步都得到了相同的零奖励信度分配根本没有办法做。这里藏着一个很多人没意识到的问题稀疏奖励本质上同时引爆了两个雷。第一个是探索困难。奖励是探索的信号源没有信号智能体就没有方向。随机探索在高维动作空间里撞到目标状态的概率极低。我曾经在一个模拟机器人控制环境里统计过纯随机的动作序列跑一万个回合能完成一次任务的比例约在 0.2% 左右。这种成功率意味着就算你用再好的 off-policy 算法经验池里也几乎全是“失败的轨迹”算法从中提取不出任何有效知识。第二个是信用分配困难。就算侥幸完成任务你也没法判断这条轨迹里哪些动作是关键的、哪些是多余的。传统的蒙特卡洛回报估计在这种长轨迹任务上方差极大TD类方法又因为中间没有非零奖励学习信号几乎从终点瞬间消失。简单说算法即使看到了成功也不知道是怎么成功的。所以你会看到很多稀疏奖励问题最终表现出来的不是“训练慢”而是“训练停滞”——成功率长期为零loss 曲线毫无变化。如果你刚跑了一个实验发现百万步内 reward 一直是零先别怀疑代码大概率就是掉进了稀疏奖励的坑。2. 先别急着改奖励Reward Shaping 的正确用法2.1 为什么“手动加辅助奖励”容易翻车面对稀疏奖励最朴素的想法就是既然到终点才有奖励那我干脆把奖励改得密一点——比如离目标越近给分越多“这样智能体不就知道往哪走了吗”。这个思路本身没错但直接改 reward不加任何约束非常容易翻车。我见过一个真实的翻车案例某开发者在导航任务里加了“距离目标点越近奖励越大”的辅助项结果机器人学出了一个诡异的策略——它不再径直走向目标点而是绕着目标点转圈因为这样可以保持“距离不远不近”把每一步的辅助奖励都拿满同时因为动作也是奖励的一部分它还把转动控制出各种花样。这就是典型的奖励注入Reward Hacking。本质原因是一旦你改了奖励函数你就换了一个任务。目标点不再是“到达”而变成了“在距离惩罚的局部极小值附近待着”。很多时候你加的那些“小分数”远不如原任务本身重要但智能体的优化器不在乎——它看到什么奖励高就学什么行为。所以辅助奖励可以做但必须遵循一套理论保证的框架。这就是势能函数塑形Potential-Based Reward ShapingPBRS要解决的问题。2.2 PBRS为什么它能把信号变密、又不改任务PBRS 的核心设计是这样的定义任意一个状态上的势能函数 Φ(s)然后每一步在环境原始奖励 R 之上额外加上一个塑形项 FF(s, a, s) γ * Φ(s) - Φ(s)其中 γ 是环境的折扣因子s 是当前状态s 是执行动作 a 后到达的下一个状态。加上塑形项之后实际奖励变成 R R F。这公式看着简单但有个非常漂亮的数学性质它对任何轨迹的回报比较顺序都不产生影响。原因在于把一整条轨迹上的所有 F 项按折扣累加中间的 Φ 项会互相抵消最后只剩下一个首尾差Σ γ^t F_t γ^T Φ(s_T) - Φ(s_0)也就是说不管智能体中间绕了多复杂的路塑形项给整条轨迹的总贡献只取决于初始状态和最终状态的势能之差中间怎么走都不影响总回报的相对排序。既然每条轨迹的相对优劣和原始任务保持完全一致那最优策略也就不会因为加了塑形项而变成“另一个任务的最优策略”。用生活类比来说这就像考试评分时老师在卷面上加了“平时分”但平时分对所有人来说都是同一个起跑线差异不会改变最后谁高谁低。智能体不会因为加了平时分就改变答题策略。注意这个理论保证依赖一个前提——塑形项必须是当前状态到下一状态之间的势能差不能随便写成“当前状态势能越高越好”这种形式。如果你直接写 R R Φ(s)大概率会重蹈前面翻车的覆辙因为这种奖励不再是与路径无关的常数差。2.3 一个可以直接抄的案例网格导航的曼哈顿势能在动手实验里我最常用的一个例子是平面导航任务。智能体在一个网格世界里从起点走向终点环境原始奖励只在到达终点时给 10每走一步小惩罚 -0.1。初始版本是典型稀疏奖励智能体根本学不会。我用 PBRS 做了一个势能函数Φ(s) -d(s, goal)其中 d 是当前状态到目标点的曼哈顿距离。意思就是“离目标越近势能越高负数绝对值越小”。每一步的塑形项就是def compute_shaping(state, next_state, goal, gamma0.99): phi_s -manhattan_distance(state, goal) phi_s_next -manhattan_distance(next_state, goal) return gamma * phi_s_next - phi_s把这个值加到每一步的奖励上原本稀疏的导航任务就变成了“每一步都能感知到离目标近了还是远了”的稠密任务。训练前一百步就能看到成功率明显爬升而理论上最优路径仍然和原始任务保持一致——不会出现绕远路赚塑形分的情况。这里有个细节值得说γ 不要随便设成 1.0最好和训练环境的折扣因子保持一致。如果你用 1.0 而环境用的是 0.99塑形项的作用尺度会和原始回报偏离长期下来策略会偏向“更早拿分”偏离最优。调参上Φ(s) 定义直接影响难度和稳定性。理想情况是它能反映任务本质的“距离到目标还有多远”但很多任务的势能函数不好定义比如围棋、对话系统这种。经验是如果领域知识给不出 Φ可以从数据里学一个势能函数或者用成功率相关的环境状态做简易代理。总之一开始别把 Φ 设计得太复杂一个单调递减的度量函数往往就够用。每次加完塑形项都要做一次消融实验把塑形项去掉只用原始稀疏奖励继续训练看最终策略性能是否明显下降。如果下降很多说明塑形项兜底了太多任务你并没有真正解决只是换了反馈方式。3. 课程学习从“容易”到“原版”的自动推进3.1 核心思路任务难度本身就是可调参的课程学习的灵感来自人类学习先学简单的再学难的。放到强化学习里就是把一个稀疏奖励任务按某种方式拆成一系列难度递增的子任务。智能体先在接近“白给”的条件下学通再逐渐过渡到原版难度。拿导航任务举例最简单的课程设计就是调整初始位置和目标位置的距离。一开始让目标点就在起点旁边智能体几步就能走完几乎必拿奖励然后逐步拉远直到恢复原始任务的全图导航。这样智能体前期已经掌握了“朝着目标走”的基础策略后面只是在已有策略上做延伸不会像一开始就面临全图挑战那样完全不知道往哪探索。但课程学习的关键不是“手动设定几个难度档位”而是“难度怎么自动调节”。手动档位容易踩的一个坑是如果课程推进太快智能体在上一级还没学扎实就被丢到高难度反而会崩溃推进太慢又浪费时间在已经掌握的任务上。3.2 成功率作为课程开关我常用的自动课程做法非常直接用最近 N 个 episode 的成功率作为难度调节信号。成功率连续高于某个阈值就自动加一档难度连续低于某个阈值就降一档防止智能体在困难档位反复失败导致学不到东西。伪代码大概是这样的def curriculum_update(episode_successes, level, max_level): recent episode_successes[-100:] success_rate sum(recent) / len(recent) if success_rate 0.75 and level max_level: level 1 elif success_rate 0.30 and level 0: level max(level - 1, 0) return level这里有两个经验参数很关键。第一个是阈值我一般把上调阈值设得偏低一些比如 0.60.75确保智能体真的稳定掌握了当前级别再升级避免“偶发成功”导致课程推太快。第二个是窗口长度100 个 episode 是比较常规的选择太短会因单次波动频繁跳档太长又对变化反应迟钝。在另一个模拟机械臂项目里某开发者用的课程维度不是距离而是目标区域的半径。一开始目标区域特别大抓取成功率很高随着训练进行半径慢慢缩小任务逐渐逼近真实难度。他记录了一个现象如果不加课程学习直接从最小半径开训前期完全学不动加了课程之后虽然总训练步数长了但成功率一直在上升最终效果反而比直接硬训好很多。3.3 课程学习的三个坑第一个坑是“难度切换太硬”。我见过有人直接把难度从 1 跳到 5结果策略表现瞬间崩回随机水平。课程应该平滑过渡建议每一档之间先用较少的 episode 预演或者用线性插值的方式逐渐调整环境参数。第二个坑是“遗忘”。难度升上去之后智能体可能在高级任务上投入太多反而把低难度下学好的能力丢掉了。解决思路是在训练池里以一定比例混入旧难度的样本做“反向复习”维持前期技能不退化。第三个坑是“平台期”。如果课程已经推到最高难度但成功率一直卡在 40% 上不去这时候不要盲目调课程参数先检查低层策略是否达到表达瓶颈。课程学习只负责把任务难度逐步摆正它不能解决策略本身欠拟合问题。遇到平台期我一般会把网络容量、训练步数和探索噪声一起查一遍。4. 分层强化学习把稀疏目标变成一串小目标4.1 为什么分层能缓解稀疏奖励稀疏奖励的本质问题是“最终目标距离当前状态太远中间没有任何反馈”。那换个思路能不能把最终目标拆成一组小目标让每个小目标内部都有相对稠密的反馈分层强化学习Hierarchical Reinforcement Learning就是干这个的。它的高层策略不直接输出底层动作而是输出一个“子目标”或“宏观动作”Option底层策略再把子目标当作自己的任务去完成。整个流程像极了项目管理老板定大方向员工拆小任务每完成一个小任务就有一次阶段检视。从奖励设计的角度这种拆分把原本“整条轨迹才有一个奖励”的长程问题切成“每个子任务段各自有终点反馈”的短程问题。高层的目标是选择正确的子目标顺序它每选一个子目标其实就相当于把原问题缩窄了一部分探索空间大幅减小。4.2 一个导航任务的分层实操设计我曾经在某个机器人导航环境里试过一套两层结构思路完全沿着 Option 框架走。高层策略每隔固定的 25 步输出一个“中继目标点”低层策略在这一段时间内只负责从当前位置走到高层给出的中继点。奖励设计上高层奖励每成功到达中继点 1同时给予一个随步数增加的微小负项鼓励高层尽量少用步数完成任务。低层奖励用中继点到当前位置的距离缩小作为主要正项附带对超过中继点的惩罚再加一点平滑惩罚避免抖动。这样设计后低层策略学到的基本是“跟踪点”技能而高层策略要学会的是“下一个中继点该选在哪一类位置”。两层各自面对的都不是整条轨迹的稀疏问题训练信号都相对密集。实现上要注意高层的决策频率不能太短也不能太长。太短会导致高层变成“每一步都选点”和不分层没什么区别太长则会让高层控制粒度太粗子目标之间的连接节点不准确。25 步是我在常见导航任务里试出来比较顺手的设置你可以根据环境维度和动作频率调整。4.3 分层训练的两个常见失败模式第一个是“子目标设得太大”。如果高层给出的中继点和当前状态距离太远低层策略根本完不成那低层长期处于零奖励状态还是退回到稀疏困境。解决方法是让高层输出的子目标受到距离约束或者在低层未完成时给予负反馈而不是直接归零。第二个是“高层学得比低层快导致双重退化”。高层很快发现某个子目标好拿分于是反复选择同一个容易的子目标不去探索真正靠近全局目标的中继点低层在高层的误导下也学偏。这种情况我建议采用交替冻结训练先固定高层训练低层到中继点跟得比较稳再固定低层训练高层选择子目标最后再联合微调。整个过程更像是一个课程式的交替优化而不是同时端到端训整套。5. 三种方案对比与组合实操5.1 先看一张对比表三种方案各有各的适用场景把它们放在一张表里对比会更清楚方法核心思想适合场景主要风险见效速度实现成本Reward Shaping给奖励加势能差塑形项任务势能函数容易定义、目标状态明确势能设计不当导致任务偏移快十几到几十万步就有信号低Curriculum Learning难度由易到难自动推进环境参数可调节、有天然难度维度课程推进不当引发遗忘和崩溃中等需要多轮课程迭代中Hierarchical RL把长程任务拆成多层子目标任务天然可拆解、长周期目标高层低层训练失衡、目标分裂慢框架调通后收益高高实际中我的选择路径一般是这样先跑一个随机基线确认问题确实是稀疏奖励导致的。如果任务目标状态清晰、可以写出度量函数最先上 PBRS这是成本最低的做法。如果加完塑形信号依然学不会大概率是探索范围太大这时候引入课程学习把环境难度维度调至可学范围。如果任务本身周期很长比如要求几十步以上才能完成而且有明显的子目标结构再考虑分层强化学习。5.2 组合才是常态三种方法并不互斥实战里组合用非常常见。常见的组合方式有PBRS 课程学习课程每一级内部再加势能塑形让智能体在每级难度上都有稠密梯度升级时过渡更平滑。我做过一个任务课程推进到最难一档后成功率一直上不去后来在每档内部补了一个小的进度塑形立刻就看到效果。分层 课程学习高层子目标的选择可以做成课程——先让高层只能在“距离当前状态近的”中继点里选随着训练逐渐放开距离上限。这相当于给高层也加了一个由易到难的探索漏斗。分层 PBRS低层如果仍然面对的是稀疏的“是否到达中继点”那就给低层也做势能塑形通常低层信号就更密了。但组合不是越多越好。每多一个机制就多一层可调参数调试成本成倍上升。我的经验是先用单一方法做出一个基线确认问题确实被缓解到某个程度再叠加下一种方法。一次只动一个变量出了问题也容易定位。5.3 一轮实操复盘最后复盘一个我实际跑过的案例。某模拟项目X是个环境很复杂的机器人控制任务目标状态明确但从起始到目标的轨迹很长原始奖励稀疏到近乎无法学习。我第一轮直接加了 PBRS用的是目标距离的负势能。效果出来训练前三十万步确实有信号了但跑到八、九十万步成功率卡在 30% 左右不动。这时我判断不是塑形信号不够而是探索覆盖不了后续的长距离路径——这一段就适合课程学习。第二轮我把初始位置和目标位置的距离做了 5 档课程配合上一次 PPO 里加入的成功率回调成功率从 30% 慢慢爬到 65%。但仍然没有到理想水平。随后我注意到一个现象即使距离缩短了智能体在复杂区域仍然会卡住说明策略本身缺少子目标级的拆分能力。第三轮我引入两层 Option 结构把整条路径切成两段中继点低层负责点间移动高层负责选择中继点顺序。最终成功率稳定在 90% 以上。这个过程的教训是三招不是互相替代而是按任务瓶颈逐步叠加。先解决信号稀疏 → 再解决探索范围 → 最后解决长程信用分配。卡在哪里加哪一层。6. 说几句实践中的真实体会写到这里想讲一个我自己的体会。早年面对稀疏奖励时我最沉迷的就是改奖励函数——总觉得是奖励设计得不够好加这个项、加那个项结果做出各种诡异的 reward hacking 行为打脸无数次。后来慢慢明白奖励是强化学习里最敏感的那根弦动它之前一定要有理论兜底比如 PBRS 这种能保证最优策略不变的框架否则就是在给算法挖坑。我现在遇到稀疏奖励问题第一反应已经不是“加分数”而是先画一条任务状态轨迹看看到底哪里信号断了再决定是用塑形填信号、用课程缩小探索范围、还是用分层切断长程信用分配。很多看起来“算法不行”的问题最后都是这一步排查带出来的。最后再分享一个小技巧训练过程中一定要把每个 episode 的成功标志、子目标完成度单独打日志。别看总 reward那玩意儿会被塑形项、课程补偿和分层奖励搅得看不出问题。分开记录之后你才能说出“原来低层成功率已经到 85%但因为高层总选错中继点所以任务级成功率才 40%”这种结论。数据能告诉你的远比你调参时的直觉多得多。
