做了这么久生成模型我越来越觉得光靠一个回归损失去拟合噪声和目标向量训练出来的流匹配模型只能做到“看起来合理”。一旦任务变成视觉问答、分子性质预测、推理正确率这类有着明确标量奖励的下游场景监督学习和真实指标之间的鸿沟会立刻暴露出来。所以看到 Flow-GRPO 这个方向时我的第一反应是这可能是把流匹配模型推向实用化的重要拼图之一。简而言之这项工作是把手头在语言模型里已经验证过的在线强化学习算法——无 Critic 的 GRPO——接到流匹配模型的 ODE 采样轨迹上通过最大化任务奖励去微调向量场而不是继续在噪声回归里打转。接下来我会从为什么需要在线 RL、核心设计思路、实操落地细节和常见坑四个层面展开适合那些已经能跑通流匹配或扩散模型、现在想把模型对齐到具体任务指标的开发者。1. 为什么需要在线强化学习来训练流匹配模型1.1 流匹配模型训练的本质与局限流匹配Flow Matching的核心是学习一个随时间变化的向量场 (v_\theta(x_t, t))用常微分方程 (dx_t v_\theta(x_t, t) dt) 把先验分布 (p_0) 平滑地转移到数据分布 (p_1)。训练时一般定义一条插值路径比如 (x_t (1-t)x_0 t x_1)那么真实速度就是 (x_1 - x_0)回归目标就变成[ \mathcal{L}{FM} \mathbb{E}{x_0, x_1, t} \left[ | v_\theta(x_t, t) - (x_1 - x_0) |^2 \right] ]这种做法的好处是训练稳定、收敛快采样时用欧拉法或龙格库塔法求解 ODE十几步就能出图像。但问题也很明显整个训练过程只见过“从噪声到数据”的搬运轨迹对一个外部标量奖励完全无感。换句话说流匹配模型擅长模仿目标分布但并不擅长优化任务指标。我在实际项目中踩过这个坑。用同一个模型做生成如果指标是 FID 或者重建误差流匹配的结果已经够好一旦把评估换成“生成分子是否有活性”或者“生成图片是否美观”模型就不知道朝哪个方向走了。因为这个指标没法写成简单的目标速度只能额外训练分类器做引导或者事后筛选效率显得低下。这也直接推动了我去关注在线 RL 的训练范式。1.2 从监督回归到任务奖励在线 RL 的切入点在线 RL 的思路和传统监督训练完全不一样。监督训练假设每一步都有一个确定的真值模型通过减小与真值的误差来学习。但在任务级场景里真值并不存在只有最终结果的得分。比如生成一张图片给它打一个“是否符合提示词”的分数生成一个分子给它打一个“预测活性值”。这些分数没法直接写成像素或坐标的标签但可以用做奖励信号。在线 RL 的做法是让当前模型先采样一批样本获得对应奖励再通过策略梯度去调整模型参数让高奖励样本的出现概率升高。放在流匹配模型中就是让模型自己生成轨迹、自己打分、自己更新形成一个闭环。这样做的好处是模型不再假设拟合某个静态向量场而是动态地朝任务奖励高的区域“挤”过去整个策略在训练过程中持续往奖励极大值偏移而不是原地镜像数据集里的分布。这也解释了“Online”这个词为什么重要。如果只用离线数据去拟合奖励等于依赖一个固定的数据集模型对数据覆盖外的区域完全没概念。在线采样让模型不断探索自身生成的样本哪怕这些样本不在数据集中也能通过奖励反馈让决策边界更加清晰。对我来说这个转变是生成模型跨过“真实可用”这条线时必须经历的过程。1.3 为什么是 GRPO 而不是 PPO先说说更常见的 PPO。PPO 在标准 RL 里用得很多核心是用一个 Critic 网络去估计状态价值然后计算出优势函数 (A(s,a) Q(s,a) - V(s))。但放到生成模型里Critic 的训练非常别扭生成的中间状态是高维图像或者分子图并没有一个天然的状态价值函数可用价值网络动不动就方差爆炸最终还容易跟策略网络“打架”训练开销直接翻倍。GRPOGroup Relative Policy Optimization巧妙地绕开了 Critic。它采样一组输出对这组输出的奖励做相对归一化直接用“这个结果比同组平均水平好多少”来作为优势估计[ A_i \frac{r_i - \mathrm{mean}(r)}{\mathrm{std}(r) \epsilon} ]这里 (i) 是同一个条件或任务提示下的一组生成样本。优势为正的样本会获得更高更新权重优势为负的样本会被压制。这种方式没有引入任何价值网络内存和算力都省下不少而且组内的相对比较天然规避了奖励尺度不一致的问题。用这个思路训练流匹配视觉上很像在同一个 prompt 下面生成一堆候选再用一个打分器比如多模态编码器距离、分子活性模型等给每个候选排序。Flow-GRPO 本质上就是把这种“排序后更新”的直觉变成可微的策略梯度只是把所有计算都落在流匹配的 ODE 路径上。2. Flow-GRPO 的核心思路把生成过程当作策略2.1 将 ODE 生成看成连续策略网络要应用 RL第一步是把生成过程抽象成策略。对于流匹配策略不是离散的动作序列而是整个 ODE 轨迹。我们采样一个初始噪声 (x_0 \sim p_0)然后通过求解[ x_1 x_0 \int_{0}^{1} v_\theta(x_t, t) dt ]得到最终样本。严格来说这个映射是确定性的策略参数就是向量场 (v_\theta)。但 RL 需要探索所以通常会在求解过程中注入噪声例如每步加入高斯扰动或者在初始噪声上增广一个探索噪声项。这样得到了一个条件分布 (\pi_\theta(x_1|x_0))于是就可以定义期望奖励[ J(\theta) \mathbb{E}_{x_0 \sim p_0, \xi} \left[ R(\text{solver}(x_0, \xi; \theta)) \right] ]其中 (\xi) 代表 ODE 求解器中的随机因素。目标变成找到最大化这个期望的参数这跟语言模型里“最大化一组 token 序列的期望奖励”在形式上对应起来了。需要注意语言模型里策略的对数概率可以直接由 token 概率相乘得到流匹配模型却没有这么现成的式子。连续分布的样本对数概率需要通过概率流方程来估计。这也是 Flow-GRPO 相比“语言模型 GRPO”最核心的差别。2.2 分组相对优势用对比奖励替代价值网络GRPO 的著名特性就是分组采样。在 Flow-GRPO 里通常的做法是对同一个条件 (y)从噪声分布里采样 (G) 条轨迹生成 (G) 个样本 ({x^{(1)}, ..., x^{(G)}})再用验证器或奖励模型为每个样本打一个分数 ({r^{(1)}, ..., r^{(G)}})。然后计算[ A^{(j)} \frac{r^{(j)} - \mu}{\sigma \epsilon} ]这里 (\mu) 是组内均值(\sigma) 是组内标准差。这个优势值取代了 Critic 的角色衡量的是“这条轨迹在同组中相对好坏”。从直觉上讲组内相对比较比绝对打分稳得多因为奖励尺度稍微偏移不会影响更新方向而且不需要估计一个全局的价值函数。我在实际调参中发现组大小 (G) 是个极其敏感的变量。(G) 太小优势估计的高方差会让更新变抖(G) 太大采样成本又直线上升而且很多样本在 ODE 求解中会重复走向相似区域边际收益递减。通常 (G4) 到 (8) 是一个可以接受的范围如果奖励噪声特别大再适当增加到 (16)。2.3 概率路径闭环如何估计连续生成的对数概率梯度为了使用策略梯度我们需要对期望奖励求关于 (\theta) 的导数标准的 REINFORCE 梯度是[ \nabla_\theta J \mathbb{E} \left[ A \cdot \nabla_\theta \log \pi_\theta(x_1) \right] ]所以关键就是估计 (\log \pi_\theta(x_1)) 的梯度。普通读者可能会想直接对 ODE 求解器做自动微分不就行了但问题在于奖励函数往往不可微只能走“对数概率”路线。对连续随机过程来说概率密度沿轨迹的对数变化率等于向量场散度的负值。这是一个非常漂亮的结论如果我们把生成过程当成一个确定性 ODE 加少量扰动那么对数密度满足[ \frac{d}{dt} \log p_t(x_t) -\text{div} v_\theta(x_t, t) ]积分后就得到[ \log \pi_\theta(x_1) \log p_0(x_0) - \int_0^1 \text{div} v_\theta(x_t, t) dt ]由于 (p_0) 是固定的高斯分布对 (\theta) 的梯度主要来自散度项。有了这个式子就可以把一个生成样本的“策略对数概率”写成一个可以反向传播的积分。散度可以直接用自动微分算但高维度下更常用 Hutchinson 无偏估计[ \text{div} v_\theta(x_t, t) \approx \mathbb{E}{\varepsilon \sim \mathcal{N}(0, I)} \left[ \varepsilon^\top \nabla_x v\theta(x_t, t) \varepsilon \right] ]这种估计方式可以只用一次向量-雅可比积就完成配合随机采样训练期间开销可控。我自己的体会是如果模型维度达到图像级别散度的每次计算都会多出一些 backprop 负担所以步数不能设得太多否则累计图非常占内存。3. 实操要点在线 RL 框架下的流匹配训练全流程3.1 训练循环和伪代码框架我用伪代码把 Flow-GRPO 的训练主循环整理一下方便复现时对照。这里假设奖励函数已经通过一个黑盒模型或者规则定义好。# flow_grpo_train.py (伪代码) for step in range(total_steps): # 1. 采样一组条件 y_batch每个条件采样 G 个初始噪声 y_batch sample_conditions(batch_size) x0 torch.randn(batch_size, G, latent_dim) # 2. 用当前策略生成轨迹和最终样本 trajs, x1 solve_ode(x0, v_theta, y_batch, num_stepsN) # trajs shape: [batch, G, N1, dim] # 3. 计算奖励并做组内归一化 rewards reward_model(x1, y_batch) # [batch, G] advantages (rewards - rewards.mean(dim1, keepdimTrue)) \ / (rewards.std(dim1, keepdimTrue) 1e-6) # 4. 估计每条轨迹的对数概率梯度这里用散度积分 logprob_grad estimate_logprob_grad(trajs, v_theta, x0) # 通过 Hutchinson 估计 随机时间点积分 # 5. GRPO 更新重要性加权 KL 约束 ratio torch.exp(logprob_grad) # 简化示意实际需计算新旧策略比值 clipped_ratio torch.clamp(ratio, 1 - eps, 1 eps) pg_loss -torch.mean(advantages * torch.min(ratio, clipped_ratio)) # 6. KL 惩罚参考模型可以是初始冻结权重或近期快照 kl_loss beta * estimate_kl(v_theta, v_ref, trajs, x0, y_batch) total_loss pg_loss kl_loss total_loss.backward() grad_clip_norm_(v_theta.parameters(), max_norm1.0) optimizer.step()这段代码是最简版本实际工程中需要重点优化两个环节第一estimate_logprob_grad不能真的展开完整图要用梯度检查点节省显存第二solve_ode最好使用固定步长的欧拉法否则步长自适应会让每步的噪声注入方式变复杂不利于梯度稳定性。3.2 关键超参数选择与经验把超参数写成一个速查表我认为比较实用。下面这些数值是我在类似规模模型上尝试过、相对稳的起点不代表所有任务都一样。超参数建议值范围说明ODE 步数 N8~20越大样本质量越高但会放大内存与延迟RL 阶段建议固定步长组大小 G4~8奖励噪声大时取大值噪声小可取 4基本不推荐超过 16KL 惩罚系数 β0.01~1.0越大越保守如果奖励提升慢说明 β 太大Clip 范围 ε0.2沿用常见配置连续控制里 0.2 表现稳学习率1e-5~1e-4相比监督训练要小一个数量级RL 更新方差高梯度裁剪1.0防止散度估计偶尔带来异常梯度探索噪声0.01~0.05加在 ODE 中间过程太大生成质量崩太小探索不足这里最值得强调的是 ODE 步数。在监督训练阶段我们往往可以容忍二三十步以获得更好的路径预测。但到了 RL 阶段每一步都需要额外缓存中间状态用于散度积分和重要性权重步数太多会直接把显存拉爆而且训练速度会成倍下降。我的做法是先用大步数在监督阶段把模型训好RL 阶段调小步数保持生成质量在一个基准线附近。3.3 奖励设计和归一化流匹配生成模型的奖励来源通常分成两类一类是任务可微的比如分子对接分数直接对输入求梯度也可以更新但容易陷入奖励欺骗另一类是真正黑盒的比如人类偏好打分、化学合成可行性、代码执行正确性这类必须用 REINFORCE 类方法。Flow-GRPO 其实不希望奖励可微因为分组优势本身就是一种友好的奖励转换。奖励归一化一定要做。组内归一化z-score是 GRPO 的标准动作但如果同一个 batch 里有不同任务条件它们的奖励分布可能完全不同只做组内归一化会造成组间梯度尺度不对齐。我在实际中会再加一个全局归一化层或者在奖励送入模型前做一个 rank 变换def rank_normalize(rewards): # 将奖励转换为 0~1 之间的排名减少尺度影响 ranked rewards.argsort().argsort().float() return ranked / (ranked.max() 1e-6)这个技巧在奖励分布长尾严重时非常有效。另外奖励最好不要直接使用原始值因为个别离群值会让整组的优势变成极端正负梯度直接带崩。4. 常见问题与排查实录4.1 训练不稳定策略崩坏、奖励振荡在线 RL 最经典的问题就是训练到中途策略突然退化生成样本质量大跌奖励曲线开始剧烈振荡。我在调试时遇到过几次原因几乎都指向同一个方向策略更新太快模型在一个小区域内过度拟合丢失了多样性。排查思路可以从三个点入手。第一个是降低 KL 惩罚的权重不一定有时反而是 KL 惩罚太弱导致策略远离参考模型。建议用自适应 KL设定一个目标区间比如每步期望 KL 在 0.1 到 0.5 之间然后动态调整 β。第二个是检查优势异常值把 advantages 的绝对值截断到 2 以内也就是只看组内相对差异最大的两个标准差可以防止一个高奖励样本主导更新。第三个是增加探索噪声让生成样本分布更宽减少过早坍缩。这里写下一个更耐人寻味的点流匹配模型本身是连续确定性映射策略不限噪声有限探索不足是大问题。强烈建议在 ODE 的中间状态加噪声而不是只在初始噪声上扰动。中间状态加噪声能让模型对整条轨迹的鲁棒性更好奖励信号也能在每一步传播得更充分。4.2 散度估计与自动微分开销散度估计是实现中最消耗资源的部分。很多人在第一版实现里直接用torch.autograd.grad对每个维度做对角线这在高维空间中完全不可行。正确做法是 Hutchinson 估计每次采样一个随机噪声向量 (\varepsilon)然后用它做向量-雅可比积。我曾经在一个百万维度的图像模型上做过对比Hutchinson 的方差虽然比精确散度大但配合组内优势均值化之后最终效果和精确散度几乎没有差别开销却只需要原来的几十分之一。训练时还需要小心梯度链的长度。ODE 求解连续十几步每一步都包含向量场和散度项反向传播会建立很长的计算图。实践经验是把散度积分做成分段计算在 ODE 求解过程中不记录梯度生成样本后再用前向传播重新计算轨迹。这样相当于做了一次“停止梯度”能让内存占用减少到原来的三分之一。代价是轨迹的梯度近似有偏差但在 RL 这类高噪声更新中这个偏差完全可控。4.3 样本效率与批大小在线 RL 是出了名的样本饥渴。Flow-GRPO 每次更新都要生成成百上千条轨迹如果任务本身是昂贵的黑盒模拟器这一步直接瓶颈。我建议分层缓解第一层是把组大小 G 和每个 batch 的条件数量分开调先看单个 batch 上的奖励方差如果奖励方差很小可以适当减少组数第二层是加入经验回放把过去几个 step 生成的样本和轨迹存入 buffer用重要性权重修正分布偏移这样可以提高样本利用效率。批次大小也要全量测试。我发现批大小过小时组内优势计算会发生严重偏差尤其是只有几个组均值和标准差都很不可靠。经验法则是保证每个训练 batch 至少包含 32 条轨迹也就是如果一个 batch 有 8 个条件G 至少取 4。此外用多任务条件混合训练能让模型的奖励曲面更平滑崩坏风险也小得多。4.4 KL 散度约束的陷阱GRPO 里的 KL 项目标是让策略不会永远偏离参考模型太远。在语言模型里参考模型通常是微调前的模型在流匹配场景里参考模型可以是初始稳定模型也可以每 N 步更新一次的快照。我的建议是除非训练遇到连续下降否则不要频繁换参考模型否则 KL 约束的目标不停漂移优势计算也跟着失去意义。实际代码里KL 散度也可以通过轨迹散度差值来近似估计而不需要真的计算两个模型的完整概率密度。另一种更简单的做法是用奖励模型在轨迹上的逐点分布差异来平滑 KL 系数。我把这些方法概括成一个原则KL 惩罚是“安全绳”不是“缰绳”。它只需要防止模型做出极端动作不应该限制探索方向。如果你发现训练指标提升很慢优先观察 KL 是否已经压到 0.01 以下如果是就果断调小 β。5. Flow-GRPO 的边界与未来扩展5.1 什么任务适合用 Flow-GRPO并不是所有流匹配模型都需要用在线 RL 重新训练。如果一个任务本身就是风格迁移目标和源域分布都能明确定义监督流匹配已经足够。Flow-GRPO 最适合的场景是“生成结果的评价标准可以量化但标准不在原始数据分布里”的任务。典型例子包括图像生成后要用多模态编码器衡量图文一致性、分子生成后要用预测模型衡量活性、点云补全后要用下游识别精度衡量重建质量。这类任务共同点是奖励函数不是传统密度意义上的概率而是外部世界对结果的反馈。用在线 RL 就能让模型学会根据反馈调整轨迹。需要注意的是奖励函数本身必须是稳定的如果奖励模型在训练中也持续更新那就成了一场移动靶射击很难收敛。5.2 后续可以扩展的方向我对这个方向最兴奋的一点是它把流匹配和语言模型里最前沿的 RL 技术连了起来。后续至少有三个扩展方向值得关注。一是把多个奖励目标加权融合比如同时优化质量、安全性、推理正确性用多目标 GRPO 让模型在多个指标间自动平衡二是将非 ODE 的流插件比如随机插值流Stochastic Interpolants通过同样的散度积分纳入在线 RL 框架这会让探索噪声控制更自然三是把离线数据和在线生成数据混合构造一个更稳定的优化器减少 RL 阶段对在线采样的强依赖。这些扩展看起来很远但 Flow-GRPO 的核心机制已经给出了一个相当干净的接口只要生成过程能写成连续时间路径、奖励能够分组归一化就能套上这个训练框架。我个人在实际操作中的体会是这个框架的调参难度低于预期但散度计算和 KL 控制才是真正的门槛。如果你正在跑流匹配模型并且手里有一个可靠的奖励函数可以直接从组大小 (G4)、ODE 步数 (12)、KL 系数 (0.1) 这个配置试起。先在小模型上确认奖励曲线上升再搬到大模型你会发现在线 RL 带来的多样性收益比离线拟合数据大得多。最后再分享一个小技巧奖励曲线的波动不要看单步而要滑动平均 200 步很多时候训练没有崩溃只是你的视觉效果被单步噪声吓到了。
