策略梯度这玩意儿我最早接触是在一个机械臂抓取的项目里。当时用DQN做离散动作选择效果还行但一换成连续控制——比如控制关节力矩的大小和方向——DQN那套“给每个动作打分再挑最高的”逻辑就彻底卡住了因为连续动作空间根本没法穷举。后来被逼着啃策略梯度从REINFORCE一路写到PPO踩的坑能装一箩筐。这篇就把我这些年用PyTorch实现策略梯度算法的经验完整倒出来从核心思路、算法选型、代码实现到调参避坑尽量讲透。不管你是刚看完强化学习基础概念想动手写第一行代码还是已经在用DQN但被连续动作空间折磨得够呛下面这些内容应该都能直接拿去用。1. 为什么策略梯度值得单独拎出来讲1.1 从“挑动作”到“直接输出动作”的思维转变值函数方法DQN那一类的核心逻辑是先学会评估每个状态-动作对有多好然后选分数最高的动作。这套思路在离散动作空间里很自然比如游戏里只有上下左右四个方向算一遍Q值挑最大的就行。但现实场景里大量问题是连续的——机械臂关节要转多少度、无人机油门给多大、推荐系统里某个物品的曝光权重调多少这些动作是连续实数你没法给每个可能的动作都算一个Q值。策略梯度的思路完全不同它直接用一个神经网络参数化策略函数π(a|s)输入状态输出动作的概率分布离散或者动作的均值与方差连续。训练目标不是让Q值估得准而是直接调整策略参数让“能拿到高回报的动作”出现概率变大。打个比方值函数方法像是一个裁判给每个选项打分然后你挑最高分策略梯度则是你直接练一个“出手习惯”练得越多好动作越容易自然做出来。这个转变带来的直接好处是连续动作空间天然支持、可以学随机策略这对探索和博弈场景很关键、策略更新更平滑。代价是方差大、样本效率低、训练不稳定——后面会详细讲怎么对付这些问题。1.2 策略梯度到底解决了哪些值函数方法的痛点我总结下来策略梯度在四类场景里几乎是必选项。第一类是连续动作控制刚才说的机械臂、无人机、自动驾驶的转向控制都属于这类动作空间是连续的值函数方法要么得做离散化精度损失大要么得用DDPG这类专门为连续动作设计的算法本质上也是策略梯度思路。第二类是随机策略需求比如石头剪刀布这种博弈场景最优策略本身就是随机的确定性策略会被对手针对。第三类是高维动作空间动作维度一高离散化后的组合爆炸值函数方法直接失效。第四类是策略约束场景比如某些工业控制里动作不能突变策略梯度可以天然地通过输出分布来控制动作的平滑性。反过来策略梯度也有明显短板样本效率通常比DQN低on-policy算法每批数据用完就扔、方差大导致训练曲线抖动、超参数敏感。所以选型的时候得看清楚自己的场景到底需不需要策略梯度别为了用而用。1.3 本文覆盖的算法谱系与适用边界策略梯度不是一个算法而是一大家族。从最基础的REINFORCE到带基线的Actor-Critic再到工程上最常用的PPO以及连续控制里的DDPG/TD3/SAC思路一脉相承但工程细节差异很大。这篇重点放在REINFORCE、Actor-Critic、PPO这三个上因为它们构成了理解策略梯度的主干而且PyTorch实现起来最直观。DDPG和SAC会提一下思路和适用场景但不展开完整代码——那是另一个话题的量级。适用边界也得说清楚REINFORCE适合教学和小规模离散任务Actor-Critic是通用骨架PPO是目前工程落地最稳的选择OpenAI当年做Dota就是PPO打底。如果你要做的是连续控制的高精度任务SAC在样本效率和稳定性上通常更优但实现复杂度也更高。2. 策略梯度的核心原理拆解2.1 目标函数与策略梯度定理的直观理解策略梯度的目标函数很直白最大化期望回报J(θ) E[∑γ^t r_t]其中期望是对策略π_θ产生的轨迹取的。问题是怎么对这个期望求梯度——轨迹是采样出来的采样过程本身不可导。策略梯度定理给出了答案∇J(θ) E[∇log π_θ(a|s) · G_t]其中G_t是从t时刻开始的累积回报。这个公式的直观含义是如果某个动作带来的回报G_t高就增大这个动作的对数概率梯度上升方向反之减小。log π的梯度相当于“往哪个方向调参数能让这个动作更容易出现”乘以回报G_t就是给这个调整加权。回报高的动作加权大调整幅度大回报低的动作加权小甚至为负就往反方向调。这里有个容易忽略的细节G_t的绝对值大小会影响梯度幅度所以实践中通常要做标准化减均值除标准差否则不同任务之间学习率完全没法通用。另外公式里的期望是对当前策略采样估计的这就是为什么策略梯度是on-policy的——数据必须来自当前策略策略一更新旧数据就偏了。2.2 方差问题策略梯度的“阿喀琉斯之踵”REINFORCE最原始的版本用蒙特卡洛回报G_t做权重方差大得离谱。原因很简单一条轨迹的回报受太多随机因素影响环境随机性、策略随机性同一个动作在不同轨迹里回报可能天差地别。方差大的直接后果是梯度估计噪声大参数更新方向乱抖训练曲线像心电图。降方差的手段主要有三个。第一是引入基线baseline用G_t - b(s)代替G_tb(s)通常取状态价值函数V(s)的估计。数学上可以证明减去一个只依赖状态的基线不改变梯度的期望但能显著降低方差——因为减掉了回报的“平均水平”只保留“比平均好多少”这个信号。第二是用优势函数A(s,a) Q(s,a) - V(s)代替原始回报这是Actor-Critic的核心思想。第三是折扣因子γ的合理设置γ太小会让模型短视γ太接近1会让回报方差累积变大通常0.99是个稳妥起点。我在实际项目里最深的体会是基线的质量直接决定训练能不能收敛。早期偷懒直接用REINFORCE不加基线在CartPole上还能凑合一换到稍微复杂点的任务就完全学不动。后来老老实实加Critic网络估计V(s)同样的任务收敛速度快了好几倍。2.3 Actor-Critic架构把“演员”和“评论家”拆开Actor-Critic是策略梯度的工程化骨架。Actor就是策略网络π_θ(a|s)负责输出动作Critic是价值网络V_φ(s)负责评估当前状态有多好。Actor的更新用策略梯度Critic的更新用时序差分TD误差做回归。两者交替训练Critic给Actor提供更稳定的优势估计。这个架构的关键设计点在于优势估计的方式。最简单的是一步TD误差δ_t r_t γV(s_{t1}) - V(s_t)它本身就是优势的无偏估计在V准确的前提下方差小但有偏。另一种是广义优势估计GAE用多步TD误差的指数加权和通过参数λ在偏差和方差之间调节。λ0退化成一步TDλ1退化成蒙特卡洛。实践中λ取0.95左右是常见起点这个参数对训练稳定性影响很大后面调参部分会细说。Critic的训练目标是最小化TD误差的平方本质是个回归问题。这里有个坑Critic和Actor如果共享底层网络参数训练会互相干扰如果完全分开参数量翻倍但训练更稳。我的经验是中小规模任务分开更省心大规模任务可以尝试共享特征提取层。2.4 从策略梯度到PPO信任域思想的工程简化原始策略梯度有个致命问题步长稍微大一点策略更新过猛性能直接崩掉且很难恢复。因为策略梯度只保证“沿着梯度方向走一小步”能提升目标走大了就出了信任域。TRPO用二阶优化Fisher信息矩阵约束更新幅度理论漂亮但实现复杂、计算量大。PPO用了一个极其巧妙的简化用重要性采样比率r_t(θ) π_θ(a|s) / π_θ_old(a|s)来衡量新旧策略的差异然后把比率裁剪到[1-ε, 1ε]区间目标函数变成min(r·A, clip(r, 1-ε, 1ε)·A)。这个裁剪的含义是如果新策略相对旧策略的变化在合理范围内正常用比率加权如果超出范围梯度就被截断不再鼓励继续往那个方向走。ε通常取0.1到0.2。PPO的工程优势太明显了一阶优化就是普通的Adam、实现简单、超参数不敏感、可以多次复用同一批数据做多轮更新这点比原始策略梯度强太多。这也是为什么它成了工业界默认选择。但要注意PPO的“简单”是相对的裁剪机制、优势归一化、学习率调度这些细节没调好照样训崩。3. PyTorch实现从零搭一个能跑的PPO3.1 环境与依赖准备先明确技术栈Python 3.8、PyTorch 1.10、Gym 0.21注意Gym版本API有变化0.26之后reset返回值变了代码要对应调整。我习惯用GymnasiumGym的维护分支API更稳定。依赖安装就三行pip install torch gymnasium numpy matplotlib如果要做连续控制实验装个MuJoCo或者用PyBullet替代MuJoCo现在开源了但配置稍麻烦PyBullet开箱即用。可视化用matplotlib画训练曲线就够了TensorBoard可选但强烈建议装调参时看曲线方便太多。注意Gym和Gymnasium的API不兼容网上很多老代码用的是Gym 0.21的写法直接跑会报错。判断方法看reset调用——老版本是obs env.reset()新版本是obs, info env.reset()。选一个版本统一用别混着来。3.2 网络结构设计Actor和Critic怎么搭以连续动作控制为例比如Pendulum倒立摆Actor网络输入状态维度输出动作的均值μ和标准差σσ通常用softplus或exp保证为正且加个下界防止塌缩到0。Critic网络输入状态输出一个标量V(s)。两个网络结构可以对称两层隐藏层、每层64或128个单元、tanh激活是稳妥起点。import torch import torch.nn as nn import torch.nn.functional as F class Actor(nn.Module): def __init__(self, state_dim, action_dim, hidden64): super().__init__() self.fc1 nn.Linear(state_dim, hidden) self.fc2 nn.Linear(hidden, hidden) self.mu_head nn.Linear(hidden, action_dim) self.log_std nn.Parameter(torch.zeros(action_dim)) def forward(self, x): x F.tanh(self.fc1(x)) x F.tanh(self.fc2(x)) mu self.mu_head(x) std self.log_std.exp().expand_as(mu) return mu, std class Critic(nn.Module): def __init__(self, state_dim, hidden64): super().__init__() self.fc1 nn.Linear(state_dim, hidden) self.fc2 nn.Linear(hidden, hidden) self.v_head nn.Linear(hidden, 1) def forward(self, x): x F.tanh(self.fc1(x)) x F.tanh(self.fc2(x)) return self.v_head(x)几个设计细节值得说。log_std用独立可学习参数而不是网络输出是因为实践中这样更稳定——让网络同时输出均值和方差容易互相干扰。tanh激活在连续控制里比ReLU更常用因为输出有界、梯度平滑但注意tanh饱和区梯度小初始化别太大。动作输出后通常要经过tanh压缩到[-1,1]再按动作范围缩放这个变换在计算log概率时要加雅可比修正项容易漏后面讲。3.3 动作采样与对数概率计算的关键细节连续动作的采样用重参数化技巧a μ σ·εε~N(0,1)。这样采样过程对μ和σ可导梯度能回传。但注意PPO里我们其实不需要对采样过程求导策略梯度是score function估计重参数化主要是为了代码简洁。真正要小心的是对数概率的计算。如果动作经过tanh压缩原始高斯分布采样出的a_raw经过a tanh(a_raw)后概率密度要乘雅可比log π(a) log N(a_raw; μ, σ) - ∑log(1 - tanh²(a_raw))。漏掉这个修正项策略梯度方向就错了训练会莫名其妙地不收敛。我见过不止一个实现栽在这上面。def evaluate_actions(self, states, actions): mu, std self.actor(states) dist torch.distributions.Normal(mu, std) # 假设actions已经过tanh压缩需要反解出原始动作 actions_clipped torch.clamp(actions, -0.999, 0.999) raw_actions 0.5 * torch.log((1 actions_clipped) / (1 - actions_clipped)) log_prob dist.log_prob(raw_actions) # 雅可比修正 log_prob - torch.log(1 - actions_clipped.pow(2) 1e-6) return log_prob.sum(dim-1), dist.entropy().sum(dim-1)提示clamp到±0.999是为了防止log(0)出现NaN。这个细节在动作接近边界时特别重要不加的话训练到后期偶尔会炸出inf。3.4 GAE优势估计的实现与参数选择GAE的计算是倒序扫描轨迹维护一个累积的优势估计。核心递推是δ_t r_t γV(s_{t1}) - V(s_t)A_t δ_t γλ·A_{t1}最后一步Aδ。实现时注意done标志的处理——episode结束时下一状态的价值要置零。def compute_gae(rewards, values, dones, gamma0.99, lam0.95): advantages [] gae 0 next_value 0 for t in reversed(range(len(rewards))): if t len(rewards) - 1: next_val next_value else: next_val values[t 1] delta rewards[t] gamma * next_val * (1 - dones[t]) - values[t] gae delta gamma * lam * (1 - dones[t]) * gae advantages.insert(0, gae) returns [adv val for adv, val in zip(advantages, values)] return torch.tensor(advantages), torch.tensor(returns)γ0.99、λ0.95是绝大多数任务的稳妥起点。γ的选取跟任务的时间尺度有关如果奖励稀疏且需要长期规划γ要接近0.999如果任务短平快0.95甚至0.9都行。λ调大偏向蒙特卡洛方差大偏差小调小偏向TD方差小偏差大0.95是个平衡点。优势算出后一定要做标准化减均值除标准差这一步对PPO稳定性影响巨大别省。3.5 PPO裁剪目标的完整实现PPO的损失函数由三部分组成策略损失裁剪的重要性采样比率乘优势、价值损失Critic的TD回归、熵奖励鼓励探索。策略损失取裁剪前后两者的较小值这是PPO的核心。def ppo_loss(self, states, actions, old_log_probs, advantages, returns): log_probs, entropy self.evaluate_actions(states, actions) ratio torch.exp(log_probs - old_log_probs) surr1 ratio * advantages surr2 torch.clamp(ratio, 1 - self.clip_eps, 1 self.clip_eps) * advantages policy_loss -torch.min(surr1, surr2).mean() values self.critic(states).squeeze(-1) value_loss F.mse_loss(values, returns) entropy_loss -entropy.mean() total_loss policy_loss self.vf_coef * value_loss self.ent_coef * entropy_loss return total_loss, policy_loss, value_loss超参数起点clip_eps0.2、vf_coef0.5、ent_coef0.01、学习率3e-4Actor和Critic可以分开设Critic通常可以稍大。每批数据做多轮更新比如10个epoch但注意每轮更新后old_log_probs不能变——它是采样时策略的对数概率固定住才能算重要性比率。这个“固定旧策略”的细节是PPO能复用数据的关键实现时容易搞混。4. 训练流程与调参实战4.1 完整训练循环的搭建训练循环的骨架是采样一批轨迹→算GAE→多轮PPO更新→清空数据→重复。采样时用当前策略跑环境记录状态、动作、奖励、done、旧对数概率。这里有个效率细节可以并行跑多个环境加速采样但单环境调试阶段先别上并行出问题不好定位。for iteration in range(max_iters): trajectories collect_trajectories(env, actor, steps_per_batch) states, actions, old_log_probs, rewards, dones, values process(trajectories) advantages, returns compute_gae(rewards, values, dones) advantages (advantages - advantages.mean()) / (advantages.std() 1e-8) for epoch in range(update_epochs): loss, pl, vl ppo_loss(states, actions, old_log_probs, advantages, returns) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(params, max_grad_norm0.5) optimizer.step()梯度裁剪max_grad_norm0.5是必须的PPO虽然比原始策略梯度稳但偶尔还是会出梯度爆炸。学习率调度也建议加上线性衰减或者根据KL散度自适应调整KL超过阈值就降学习率后者是原论文的做法实现稍复杂但效果好。4.2 超参数敏感度实测与推荐区间我在Pendulum和几个自定义连续控制任务上做过一轮超参数扫描结论整理成表超参数推荐区间敏感度调参建议学习率1e-4 ~ 5e-4高从3e-4起训崩先降这个clip_eps0.1 ~ 0.3中0.2默认任务简单可调小γ0.95 ~ 0.999高按任务时间尺度定λ (GAE)0.9 ~ 0.98中0.95默认方差大就调小update_epochs5 ~ 15中数据复用多但别过头ent_coef0.0 ~ 0.02中探索不足就调大vf_coef0.25 ~ 1.0低0.5默认基本够用学习率是最敏感的训崩了第一反应就是降学习率。γ和λ影响的是优势估计的质量间接影响稳定性。ent_coef在训练早期可以设大点鼓励探索后期衰减。这些数值不是金科玉律但作为起点能省不少试错时间。4.3 训练曲线诊断从曲线形状反推问题训练曲线是最好的诊断工具。几种典型形态对应不同问题曲线剧烈震荡说明学习率太大或batch太小曲线长期不涨说明探索不足或奖励设计有问题曲线先涨后崩说明策略更新过猛clip_eps太大或update_epochs太多Critic损失不降说明价值网络容量不够或学习率不匹配。我习惯同时监控四个量平均回报、策略损失、价值损失、熵。熵持续下降是正常的策略在收敛但如果降得太快说明探索不够得加ent_coef。价值损失如果一直高位震荡检查一下returns的尺度——回报量级太大时价值网络很难拟合可以对回报做缩放。5. 踩坑实录与排查手册5.1 那些让我debug到凌晨的典型问题问题一训练完全不收敛回报一直在随机水平。排查下来最常见的原因是log概率算错了漏雅可比修正或者old_log_probs没固定住。前者导致梯度方向错后者导致重要性比率恒等于1PPO退化成普通策略梯度但还带着错误的裁剪。检查方法打印ratio的均值和方差正常应该在1附近小幅波动如果恒为1或者波动巨大都有问题。问题二训练到一半突然NaN。八成是log(0)或者除零。动作接近边界时tanh饱和雅可比项1-tanh²接近0取log变负无穷。解决办法就是前面说的clamp动作到±0.999以及在所有log和除法操作里加1e-8的epsilon。另外优势标准化时如果std为0也会炸加epsilon。问题三策略过早收敛到次优解。熵掉得太快探索不足。除了调大ent_coef还可以检查动作标准差有没有塌缩——如果log_std学到一个很大的负值策略几乎确定性就没法探索了。可以给log_std加个下界比如-2强制保留最低限度的随机性。问题四不同随机种子结果差异巨大。策略梯度对初始化敏感是出了名的。解决办法多跑几个种子取平均看趋势别信单次结果网络初始化用正交初始化orthogonal init配合较小的增益对策略网络特别有效环境随机种子也要固定不然对比实验没意义。5.2 常见问题速查表现象可能原因排查动作回报不涨学习率过大/过小、奖励设计问题扫学习率、检查奖励函数曲线震荡batch太小、优势未标准化增大batch、加优势标准化突然NaNlog(0)、除零、梯度爆炸加epsilon、梯度裁剪过早收敛熵系数太小、log_std塌缩调大ent_coef、给std加下界Critic不收敛回报尺度大、网络容量不足缩放回报、加宽网络新旧策略差异大clip_eps太大、更新轮次太多调小clip_eps、减epochs5.3 几个提升稳定性的独家技巧第一个技巧是奖励缩放。把回报缩放到大致[-10, 10]区间价值网络拟合起来轻松很多。具体做法是维护回报的滑动均值和标准差实时归一化。这个技巧在回报量级差异大的任务里效果立竿见影。第二个是学习率预热。训练最开始几百步用很小的学习率等Critic稍微靠谱了再升到正常值。因为早期优势估计噪声极大大学习率容易把策略带偏。第三个是双Critic取小TD3的思路。虽然PPO原版没这么做但在一些对过估计敏感的任务里用两个Critic网络取较小的价值估计能缓解过估计问题训练更稳。代价是计算量增加看任务需求取舍。第四个是观测归一化。状态维度里如果有量级差异很大的特征比如位置是0.1量级、速度是100量级不归一化的话网络很难学好。用RunningMeanStd做在线归一化几乎零成本但收益明显。6. 从PPO往外延伸连续控制的算法选型6.1 DDPG、TD3、SAC的定位差异PPO是on-policy的样本效率是硬伤——每批数据用完就扔。如果你的环境采样成本很高比如真实机器人、仿真很慢的物理引擎off-policy算法更合适。DDPG是最早的连续控制off-policy算法用确定性策略加经验回放但训练极不稳定。TD3在DDPG基础上加了三项改进双Critic取小、目标策略平滑、延迟策略更新稳定性大幅提升。SAC则用最大熵框架策略天然带随机性探索更好是目前连续控制综合表现最稳的。选型逻辑采样便宜、要快速迭代→PPO采样贵、要样本效率→SAC或TD3任务简单、想快速验证→DDPG但要有心理准备调参。我个人的默认选择是PPO打底效果不够再换SAC。6.2 离散动作场景的适配改动前面代码都是连续动作的离散动作比如Atari游戏改动不大但有几个关键点。Actor输出改成动作维度的logits用Categorical分布采样log概率直接取dist.log_prob(action)。不需要tanh和雅可比修正简单不少。Critic结构不变。熵的计算用Categorical的entropy。另外离散场景下PPO的表现通常比连续场景更稳因为动作空间有界、分布简单。6.3 工程落地的几点现实考量真要把策略梯度用到实际系统里有几个工程问题绕不开。推理延迟策略网络前向一次的时间要满足控制频率要求网络别搞太大必要时做量化或剪枝。安全性学出来的策略可能在训练分布外做出危险动作需要加动作限幅和兜底规则。可复现性固定所有随机种子Python、NumPy、PyTorch、环境记录完整的超参数配置不然出了问题没法回溯。监控训练时记录关键指标到日志部署后监控策略输出的分布漂移分布漂了说明环境变了得重新训练。我在一个仿真到现实的迁移项目里最深的一条经验是仿真里的策略梯度训练再漂亮sim2real的gap才是真正的难关。域随机化随机化物理参数、观测噪声、动作延迟是缩小gap的有效手段但随机化范围要拿捏好——太窄迁移不过去太宽策略学得保守性能上不去。这个平衡点只能靠实验试出来没有公式。最后分享一个我调PPO时常用的笨办法每次训崩了先把所有超参数退回默认值学习率3e-4、clip 0.2、γ 0.99、λ 0.95确认默认配置能跑通再一个一个改。同时改多个参数导致的问题根本没法定位这个习惯帮我省了无数个debug的夜晚。策略梯度这家族算法理论看着优雅工程上全是细节但把细节磨透了它在连续控制和复杂决策任务上的表现确实对得起这份折腾。
