做宇树机器人强化学习控制的朋友应该都有同感跑通一个Gazebo仿真策略不难难的是把策略真正挪到实机上还能保持同样的稳定性和响应速度。早期我还在用MLP做策略网络的时候仿真里跑得挺顺一上真机就出现关节抖动、步态左右不对称的问题后来被点醒——问题十有八九不在底层控制频率而在网络对状态历史完全没有记忆能力。这一篇把ActorCritic和ActorCriticRecurrent的Python实现拆开讲清楚重点放在网络结构怎么设计、TorchRL/RSL-RL这套框架里哪些参数是真正决定训练效果的以及循环结构GRU在机器人控制里到底是怎么起作用的。这篇适合两类人看一是刚入门足式机器人强化学习想弄明白policy网络内部结构的人二是已经在跑训练脚本但改网络结构总是出问题、步态不自然的人。我不会把代码完完整整贴出来而是挑关键的网络定义、调用链和让我踩过坑的地方讲。完整代码建议对着开源项目里的agent.py、ppo_actor_critic.py和actor_critic_recurrent.py一起看效果更好。1. 为什么足式机器人控制离不开Actor-Critic架构1.1 从策略梯度说起Critic不是摆设很多人第一次接触PPO时会误以为Critic只是给Actor提供一个方差缩减的baseline可有可无。在宇树这类需要高频力矩控制的机器人任务里Critic的作用远不止降方差它直接决定了策略更新的方向是否稳定。策略梯度最简单的形式是[ \nabla J \approx E[\nabla \log \pi(a|s) \cdot R] ]如果用单步奖励R作为权重一个随机采样到的轨迹如果恰好拿到了高回报所有动作的概率都会被推高如果拿到了低回报本来不错的动作也会被压下去。这相当于用一把没有准星的枪去打靶方差大得离谱。Critic网络做的就是拟合状态价值函数 ( V(s) )得到baseline ( b(s) )把奖励替换成优势函数[ A_t r_t \gamma V(s_{t1}) - V(s_t) ]这个优势函数表示“这一步动作比平均情况好多少”或者“差多少”而不是单纯地看奖励绝对值。在宇树实机策略中奖励大概在几十到几百的范围跳变很大如果直接用奖励做权重policy更新会非常剧烈。用了GAEGeneralized Advantage Estimation把 (\lambda) 设在0.95之后优势曲线平滑得多步态收敛也更顺。1.2 Policy和Value到底该怎么共享设计中第一个会纠结的点是Actor和Critic是否共享backbone层。节省参数、训练速度快——这是共享派的主要理由。但机器人控制任务的观测维度高达几十上百维包括关节角度、速度、角速度、相位、上一动作等它们既要求策略网络输出合理的动作均值也要求价值网络准确评估当前状态的价值。共享隐藏层容易让梯度互相干扰尤其在训练初期策略还没有收敛时价值网络的loss震荡会拉偏策略的更新方向。我实测过两版网络共享backbone的单头版本和完全独立的双头版本。共享版本训练到6000步左右就开始出现value loss突变伴随训练曲线整体抖动而独立双头结构虽然参数量涨了一些但整个训练过程稳定很多。特别是在加入随机化参数摩擦、负载、质心偏移后价值网络需要对不同动力学参数下的状态都有准确估计与策略网络解耦更安全。所以建议除非做极轻量级的验证否则不要让Actor和Critic共用全连接层。如果想在参数效率上妥协可以共享前两层在第三层分头输出分布参数和状态价值但要做好稳定性变差的心理准备。1.3 针对宇树这类机器人的“分布策略”选择策略输出的动作分布一般有两种确定性策略直接输出动作值随机性策略输出正态分布的均值和方差。在机器人控制里几乎无一例外选择后者。原因不复杂训练初期需要探索性如果输出固定动作系统无法感知环境反馈学不到步态的可行域。而输出高斯分布 (\mathcal{N}(\mu, \sigma)) 后动作采样自带随机探索。训练过程中随着熵权系数衰减分布逐渐变得尖锐最终收敛到接近确定性的轨迹输出。默认配置下std标准差并不是固定值。PPO的Actor网络会用单独的可学习参数维护logstd而不是直接由网络头输出。一开始logstd初始化为-1.2左右相当于标准差约0.3这个值在宇树仿真里动作变化幅度合适不会太小导致探索不足也不会太大导致动作乱跳。随着训练进行策略逐渐利用起这些探索logstd会自适应地下降。下面是RSL-RL框架里常见的Actor网络定义风格我稍微整理过class ActorCritic(nn.Module): def __init__(self, num_obs, num_actions, actor_hidden_dims[512, 256, 128], critic_hidden_dims[512, 256, 128], activationelu): super().__init__() self.actor_mean MLP(num_obs, num_actions, actor_hidden_dims, activation) self.critic MLP(num_obs, 1, critic_hidden_dims, activation) self.logstd nn.Parameter(torch.zeros(num_actions)) self.std nn.Parameter(torch.ones(num_actions) * 0.3) def act(self, obs, greedyFalse): mean self.actor_mean(obs) if greedy: return mean dist torch.distributions.Normal(mean, self.std) return dist.sample()注意act方法里同时有两个std实现方式。实际开源框架用的是直接实例化Normal(mean, self.std)训练中通过熵正则自动调节这个标准差。如果你在自定义实现中看到logstd参数且没有传入更新逻辑那训练后期策略会越来越保守步态会僵掉。2. MLP版本的ActorCritic网络逐层拆解2.1 观测维度和动作维度的匹配先想清楚输入是什么。以宇树小型四足机器人内部代号某型号为例在RL仿真环境里观测空间通常包含机身角速度3维机身姿态/四元数4维关节角度12维4条腿各3个关节关节角速度12维上一时刻动作12维重力向量3维或相位/步态信号2维这样加起来大约是46到48维。动作空间是12维的关节力矩或关节位置增量具体取决于训练环境用的action mode。某些环境会把上一动作和相位直接拼到观测里这相当于给策略网络提供了时间记忆的替代方案——但本质上MLP无法真正利用长距离的状态变化信息这也是后面为什么要引入循环网络。代码中的num_obs参数需要严格等于观测拼接后的维度否则会在训练日志里看到维度不匹配的错误。常见错误是忘记把上一动作12维拼进观测导致策略对执行过的动作完全没有感知训练出来的步态会有很大的跟踪滞后实机表现会更差。2.2 隐藏层宽度和深度怎么选隐藏层配置的常见选项是[512,256,128]、[256,128,64]和[512,512]几种。原则是宽度太窄比如64不足以表达复杂动力学变化步态会显得粗糙。深度太深超过4层在小样本情况下训练不稳定收敛慢。常用的激活函数是ELU或ReLU。ELU在负区间不是完全置零能保留一些梯度的连续性实机控制的策略训练里通常比ReLU稳定。我做过一个对比实验一个用ReLU一个用ELU其他条件完全一致。ReLU版本跑到7000步后偶尔出现梯度爆炸导致回合回报变NaN的情况ELU版本没有出现过。因此开源方案里默认ELU是有道理的。激活函数本身的选择不需要太纠结但在调试阶段如果发现loss爆炸优先检查激活函数是否ReLU且初始化不当。如果用的是Tanh作为输出层之后的变换需要注意最后输出范围。有些实现里动作头会先通过Tanh()把输出限制在[-1,1]因为仿真环境里动作经过scale后可以直接映射到关节力矩范围。此时协方差std需要配合地取较小值比如0.2否则Tanh后的分布不再是简单高斯探索范围会被压缩。2.3 初始化策略带来的不同我碰到过一个很隐蔽的问题Actor网络的最后一层如果不初始化成全零或极小权值训练初始阶段的力矩输出就可能超出关节限位导致仿真环境直接进入震荡状态。标准做法是让最后一层初始化为小的随机值比如(\mathcal{N}(0, 0.01))这样策略开始时输出接近0的动作好处是步态从“静止”状态开始学不容易一开始就发散。反观Critic输出层初始化为零或中等偏小值也可以。Critic初始输出接近0的价值与GAE计算的初始优势匹配度高训练初期的优势估计不会偏差过大。但要注意不需要把Critic也初始化为全零否则value loss的初始值就很大需要更长时间回到合理区间。2.4 输出动作的处理与action scaleMLP输出来的是动作分布的均值或采样值在训练环境中动作值经过action_scale映射后变成真实的目标力矩。这里有一个需要谨慎对待的地方action_scale并不是越大越好。有些环境把动作范围设在[-1,1]然后乘以50得到[-50,50]Nm的力矩范围如果策略头输出噪声较大大scale会加剧执行器的抖动。我习惯在训练初期关掉随机化参数包括action_noise等policy稳定后再打开。否则训练曲线会混入探索噪声和环境随机扰动很难判断网络本身是否已经收敛。3. Recurrent网络的“记忆”是怎么加入到框架里的3.1 为什么MLP在足式控制里不够用足式机器人是典型的部分可观测系统POMDP。传感器给的关节角度、角速度等信息有噪声且不包含地面反作用力、接触状态等关键信息。早期的MLP策略只能基于瞬时的观测输出动作缺乏对历史上下文的编码能力这就导致跨越障碍时策略无法根据过去几步的状态感知判断当前是否在打滑地形高度变化时策略无法区分是暂时的扰动还是持续的坡度变化实机传感器噪声比仿真更明显MLP对噪声非常敏感输出动作会对单帧观测过拟合。循环网络RNN系列天然适合解决这类部分可观测问题。它在隐状态里保存了过去的信息让策略能够利用时间上下文做出当前动作相当于把一段轨迹“压缩”成一个向量。加上Recurrent模块的ActorCritic就叫ActorCriticRecurrent也就是标题里的Recurrent版本。4.2 GRU隐藏状态怎么传递核心知识点在RSL-RL和TorchRL的实现里面循环网络通常用GRU而不是LSTM。两者的本质区别在于GRUGated Recurrent Unit门控循环单元只有更新门和重置门没有独立的记忆单元参数更少、训练更快对长时间记忆的需求不太高的时候通常用GRU就足够了。从网络层面看隐藏状态的变化可以类比成“从当前观测提炼出关键信息再与旧记忆混合”。公式大约是[ z_t \sigma(W_z [h_{t-1}, x_t]) \ r_t \sigma(W_r [h_{t-1}, x_t]) \ \tilde{h}t \tanh(W [r_t \cdot h{t-1}, x_t]) \ h_t (1 - z_t) \cdot h_{t-1} z_t \cdot \tilde{h}_t ]其中(z_t)是更新门控制旧记忆保留多少、新信息写入多少(r_t)是重置门决定对旧状态的遗忘程度。在机器人控制里趋势比较接近的情况是正常的周期步态下更新门很稳定遇到撞击或扰动时重置门短暂打开让新的观测把历史重置一瞬让策略快速适应环境突变。训练时GRU的输入序列不是一条一条独立地送入而是打包成[sequence_length, batch_size, feature_size]的形状。time steps之间的hidden state会自动传递。如果我们用单步观测喂给GRU而不做序列化循环的记忆能力就会完全失效——这可能是状态估计bug里最常见的一个。3.3 Recurrent版本的网络结构长什么样ActorCriticRecurrent的结构比普通版多了一个GRU层大体流程是观测先经过一个线性层激活函数提取初步特征将特征和上一时刻的hidden state输入GRU更新隐状态新隐状态再经过actor头产出动作分布的均值经过critic头产出状态价值隐状态在每次前向传播时由外部传入或者由网络自身保存训练时沿着序列方向传播。代码可以这么理解class ActorCriticRecurrent(nn.Module): def __init__(self, num_obs, num_actions, hidden_size512, recurrent_hidden_size256): super().__init__() self.trunk MLP(num_obs, recurrent_hidden_size, [512, 256], elu) self.gru nn.GRU(recurrent_hidden_size, recurrent_hidden_size) self.actor_mean nn.Linear(recurrent_hidden_size, num_actions) self.critic nn.Linear(recurrent_hidden_size, 1) self.logstd nn.Parameter(torch.zeros(num_actions)) def forward(self, obs, h): features self.trunk(obs) out, h_new self.gru(features, h) mean self.actor_mean(out) value self.critic(out) return mean, value, h_new这个结构看起来简单但它改变了整个训练的样本组织形式PPO要从普通版本的[batch, obs_dim]批量训练改成带序列长度的形式[seq_len, batch, obs_dim]。对应地训练日志里每一步的value输出也要按序列做正交化处理。3.4 训练循环里遗忘状态和ID处理的坑循环网络训练中最折磨人的地方在于隐藏状态在不同轨迹间是不能乱传的。两条独立的轨迹如果共享了同一个初始隐状态会导致策略错误地“回忆起”别的轨迹的经验直接矮化训练效果。所以训练脚本里必须用zero_state初始化每条轨迹的开始隐状态并且在done或truncated为True时重置隐状态。我当时的做法是为每个环境维护一个hidden_state缓存时间步推进后记录下每步的隐状态在下一个batch取数时除了取观测、动作、奖励还要把对应上一步的隐状态取出来。整个过程中最容易被忽略的是advantage计算和解码策略分布时用的隐状态必须来自同一条轨迹的同一时刻中间不能有任何offset错误。4. 强化学习训练循环中两个网络各自的前向过程4.1 数据采样的组织方式先明确训练流程中涉及Actor的前向在收集经验阶段actor根据当前观测输出动作执行到环境中得到下一个观测和奖励。这个循环跑num_envs个环境并行每个环境有独立的初始隐状态而策略网络本身不一定保存状态状态由训练器统一维护。推荐的数据组织形式是把并行环境按batch处理例如num_envs4096每一步前向都传入obs和当前步的h保存每一步的h到buffer用于后续GAE计算和更新。这样训练的稳定性最高。因为GPU一次处理上万个环境的时间远少于逐个环境串行采样的时间实机策略训练也依赖大规模并行环境来采集足够多的经验。一个常见的误解是循环策略只能串行地按时间步顺序处理其实并行环境下采集时仍然是按时间步前进同一时间步里的并行数据可以批量交给GRU这并不矛盾。GRU的批次维度是batch_size并行环境的数量时间维度才是1因为我们是单步推进的。4.2 PPO更新阶段要用序列形式重新计算PPO更新时整个batch数据会首先被打包成序列。比如num_steps_per_env24、num_envs4096更新时数据重新排成[24, 4096, obs_dim]。只有这样的形状才能让GRU正确沿时间维度传递隐状态。很多人改成循环版本后只改了网络结构没有改数据打包逻辑导致训练loss正常下降但实际控制效果一直很差就是这个原因。代码层面在计算GAE和value target之前需要把values以序列形式展开然后同样以序列形式计算def compute_gae(rewards, values, dones, gamma0.99, lam0.95): advantages torch.zeros_like(rewards) gae 0 for t in reversed(range(len(rewards))): delta rewards[t] gamma * values[t 1] * (1 - dones[t]) - values[t] gae delta gamma * lam * (1 - dones[t]) * gae advantages[t] gae return advantages注意上面的values用到了values[t1]意味着value序列在末尾要多出一个“下一状态”的值。循环策略的value是由该时刻的隐状态算出来的如果这里错用了当前的隐状态来算values[t1]GAE会在最后一个时间步出现额外偏差。4.3 隐状态在PPO更新中的来回传递在PPO更新中我们一般会对训练数据进行2-3轮mini-batch处理。每一轮mini-batch都要从序列开头重新初始化隐状态然后按顺序前向传播。这样避免了同一序列内部状态不同步的问题。一个提升训练效率的小技巧是对于循环网络版本可以只对values和log_probs做一次计算然后反复利用。因为PPO更新时只更新策略网络和目标分布旧值不变我们可以提前把旧value和旧log_prob存好所有epoch都复用同一份省掉重复的前向过程。这个优化在实机训练中能省约20%的GPU时间。5. 记忆结构对策略输出稳定性的影响5.1 周期感知能力四足机器人的步态天然是周期性的。MLP策略需要依靠观测向量里的相位信息或时间编码来隐式地判断当前处于摆动腿还是支撑腿阶段而循环网络可以直接在隐状态里编码这种周期性。如果训练环境里不提供相位信息MLP策略在慢速行走时的周期一致性会很差因为它在每个控制周期都得从观测中重新推断状态。循环网络能在几步之内形成“节拍器”即使观测在某些时刻包含瞬时噪声动作输出依然能保持相对平滑。我在宇树仿真里做过对比MLP策略在0.4m/s速度下关节力矩曲线高频抖动比较明显ActorCriticRecurrent策略在同样的速度设置下力矩曲线更干浄有轻微的相位延迟补偿感。这在实机上表现为噪声更低、电池损耗略小续航相应提升。5.2 对地形变化的适应局部地形起伏比如上下坡、越障会让观测频繁地在短时间内出现模式变化普通MLP容易把“踩到一个台阶”误判为“开始上坡”产生持续的过大力矩输出。而循环网络可以在局部切换重置门把上一步的“障碍”信息快速调整成“持续地形”状态动作输出更平稳。实操上可以通过保存不同地形条件下的隐状态来验证策略是否学到了不同的动力学模式。把同一段脚的轨迹喂给不同地形下训练好的循环策略隐状态向量会有较大的分布差异这相当于策略内部的场景分类器。这提示我们如果项目目标是让宇树在野外地形稳定行走Recurrent版本几乎是不二选择。它的代价是训练时间和存储量变多但这个代价换来的是控制系统的鲁棒性。6. 训练Recurrent版本时踩过的坑和优化方案6.1 梯度裁剪必须更激进循环网络梯度爆炸的概率高于MLP。因为在时间维度上展开后总步数可能在几十到上百之间而GRU的权重连乘会造成梯度指数级变化。如果仍然用MLP时代的clip参数比如0.2很容易造成训练中期突然跳出NaN。我的方法是训练开始前统一设max_grad_norm0.5比常规的1.0更保守些。同时监控训练日志里的grad_norm字段如果持续超过10说明网络初始化或数据归一化有问题要先处理不要依赖梯度裁剪硬扛。6.2 隐状态的维度怎么定GRU hidden state的维度通常比actor hidden dims小一些。典型配置是actor隐藏层[512,256]GRU隐层256。直接用512也是可以的但显存占用更大且实验中发现512维的隐状态并不会显著提升步态性能可能是冗余度过高。比较稳妥的做法是对照实验先用256跑10000步左右看value loss和平均回报如果策略动作的熵下降过快或者行为变得单一可尝试调高hidden size。训练过程的GPU显存占用也要看如果隐层是512一份序列数据的显存占用大约是256版本的一倍多。6.3 batch size和序列长度的权衡循环策略训练中num_steps_per_env的取值很重要。它决定了隐状态在时间上展开的长度。设得太短比如8GRU能利用的历史信息太少退化成类MLP设得太长比如512训练时梯度经过的步数过多容易出现遗忘长期依赖的问题。我用过最稳的组合num_steps_per_env24num_minibatches8每个minibatch大小约4096*24/812288条经验。这个规模在训练中大概用14GB显存不算仿真渲染单卡能跑。如果你用的是更小的机器可以把num_steps_per_env降到16minibatch降到4。6.4 动态归一化和观测预处理观测数据的分布会随训练过程变化比如关节角方差变大、姿态角漂移。这时用静态均值和方差做归一化会拖慢收敛。循环网络对输入分布更敏感因为它把历史信息存进隐状态如果输入分布有偏移旧的隐状态含义就被破坏了。建议在每个epoch重新统计观测的mean和std或者至少每5k步更新一次running stats。在RSL-RL框架中normalize_obs和normalize_value两个开关一定要打开同时记得在eval时使用训练阶段最后一次统计值。我还习惯对奖励做clip处理把异常大的reward截断到[-10,10]防止单步异常回传导致循环网络隐状态突变过度。这个操作对于步态控制的稳定性效果非常显著。6.5 real-time inference时的隐状态管理部署到宇树实机时控制器只有一个进程不会像训练时那样并行很多环境。此时策略网络本身要维护一个全局的hidden_state变量每个控制周期调用一次前向同时把上一周期的隐状态作为输入传入。这个隐状态在系统启动时初始化为0并随着运行持续更新。需要注意的一点是实机的控制频率通常比仿真高比如200Hz vs 50Hz训练时一个步长对应的时间间隔更长。部署时同一个隐状态在更高频的控制循环里会得到不同的动力学解释最好用相同时间步长的仿真推断来校准或微调不能直接套用训练好的策略参数就以为万事大吉。在我手里一个内部测试里没有做时间步长匹配校准的循环策略在实机上出现了前几步步态正常、几十秒后逐渐卡顿的情况。原因就是隐状态里累积的“每步时间”信息和实机不一致导致策略过快地进入了“步态晚期”的判断。7. 推理端优化与显存记忆7.1 显存优化GRU层的融合与算子选择Recurrent网络在推理端比MLP要慢。因为GRU内部有两个门控计算逐时间步呼唤时无法完全利用GPU的并行性。可以在推理时把GRU替换为同一结构的定制CUDA kernel或者用TensorRT把GRU层融合成一个op。这块优化比较深普通的实机控制器大概率不会走到这一步——实机推理用CPU做也一样。但如果要做仿真大规模评估GPU推理的吞吐量就很重要推荐把整个PPO策略打包成TorchScript配合Python推理loop进行batch推断。7.2 序列数据存储的显存占用计算显存占用里隐状态占一部分。以num_envs4096、hidden_size256、num_steps24为例隐状态存储约[ 4096 \times 24 \times 256 \times 4 \text{ bytes} \approx 96 \text{ MB} ]这还不算激活值和其他中间状态。加上值函数和动作概率存储、输入观测batch显存压力主要还是在GRU的中间状态。如果显存不足优先减少num_steps_per_env而不是减少hidden_size。减少序列长度对记忆能力影响较小而减小隐层维度会直接影响策略表达力。8. 实战调试Recurrent版本训练过程中的典型问题8.1 问题表格汇总调试过程中遇到的典型问题整理成表方便查阅现象可能原因解决思路训练回报正常但步态抖动隐状态没有在done时重置跨轨迹传播确保trajectory边界处hidden state置零回合return突然变成NaNGRU梯度爆炸调低grad clip检查输入观测是否出现NaN/Inf随着训练步数增加步态越走越慢训练时序列长度太短策略没有足够历史感知适当增大num_steps_per_env训练速度比MLP慢40%以上序列化前向的batch组织不佳检查是否用单步循环替代了向量化GRU实机隐状态漂移导致线性速度不匹配训练步长和实机时间步不一致校准控制频率检查策略频率匹配动作分布从高斯逐渐退化为确定性熵系数过小探索不足调整熵正则权重重新初始化logstd8.2 排查技巧怎么可视化隐状态一个非常实用的调试方法把同一批测试轨迹的GRU隐状态降维到2D空间比如取前两个主成分然后画成散点图。正常训练的隐状态会呈现分簇的形态不同的簇通常对应不同的相位或地形状态如果训练出了问题隐状态会挤成一团或在不同轨迹间乱跳。这个方法我用了很多次帮助找到过一个非常隐蔽的bug我把两个不同环境的观测序列喂给了同一个GRU实例导致隐状态在轨迹间串扰散点图上看不到清晰的分簇而只看到一大团模糊的点。8.3 坚持观察两个指标熵和value loss循环策略训练中最该盯的两个指标是策略熵如果过早降到接近0说明策略过早决定步态可能很快僵化value loss的收敛速度如果value loss振荡得很厉害优先检查GAE计算中的offset问题。带记忆的策略在收敛速度上超过MLP是比较常见的现象原因是它不用每次从零判断状态。但也要小心如果value loss下降太快说明critic学得太急可能掉进局部最小。此时可以适当提高value_loss_coef比如从0.5调到1.0来保持平衡。9. 关于代码实现和框架选型的一点体会如果只是做学习验证我推荐直接用现成的框架跑通先不折腾自定义网络结构。RSL-RL自带的一对实现足够覆盖大多数需要直接改num_obs和num_actions把policy_class设置成ActorCriticRecurrent就行。如果你想彻底理解底层实现可以自己写一个最小框架。我的建议是从采样、buffer存储、GAE计算、PPO更新四个模块依次写。写的过程中你会发现强化学习里最难的不是网络本身而是数据流的时间对齐和隐藏状态管理。这才是掌握ActorCriticRecurrent的真正门槛。最后分享一个小的实操选择如果机器人只是跑平整室内地面MLP版本足够。但一旦涉及草地、斜坡或者带载行走我建议直接用Recurrent版本。训练时间多花一小时换来的实机稳定性和泛化能力完全值回票价。我自己踩过几次换地形后MLP策略失效的坑之后现在默认就用GRU版本起步。
