1. 决策模型这条赛道为什么突然热闹起来了过去一年多大家聊大模型十句话里有八句离不开“生成”——写文案、画图、写代码、做视频。但真正在企业里落过地的人心里都清楚生成只是前半场后半场是决策。推荐系统要不要推这条内容、风控系统要不要拦这笔交易、调度系统要不要把这个订单派给那个骑手、机器人下一步该往左拐还是往右拐这些都不是“生成一段漂亮文字”能解决的它们要的是在给定状态下选出一个动作。我自己做推荐和风控相关的项目差不多有六七年最早那会儿用的是树模型加人工特征后来上深度模型再后来大家一窝蜂去套大语言模型。套完之后发现一个很尴尬的事语言模型擅长的是“描述世界”不擅长“在世界里做选择”。你让它写一段商品文案它很在行你让它判断这个用户此刻该不该被推送这条广告它给出的答案往往不稳定、不可控、还特别贵。所以当我看到有团队专门发布面向决策的开源模型而且还同时支持图像、音频这类非文本输入的时候第一反应是这个方向终于有人认真做了。标题里提到的“两款开源决策模型”一款偏通用决策一款偏多模态决策这个组合其实很讲究——它对应的是两类完全不同的落地场景。纯结构化数据或者文本状态的决策用轻量那款就够了一旦状态里混进了图像、音频比如工业质检的画面、客服通话的录音、车载摄像头的路况就得上多模态那款。这篇文章我想干的事很明确把这个标题背后的东西拆开讲透。决策模型到底和生成模型差在哪、两款模型分别适合什么场景、多模态输入是怎么接进去的、部署的时候要注意什么、我踩过哪些坑。不管你是刚听说“决策模型”这个词的新手还是已经在做强化学习、序列决策的老手我都尽量让你读完能直接上手试。先说清楚适合谁看。如果你是做推荐、风控、调度、机器人、智能客服、工业检测这类“要做选择”的系统的这篇对你价值最大如果你只是做内容生成也可以看看因为决策模型和生成模型配合起来能做出很多单靠生成做不出来的东西。下面我按“整体设计思路 → 核心细节 → 实操落地 → 问题排查”这个顺序往下走中间会穿插大量我自己的经验和参数选择的理由。2. 两款决策模型的整体设计与选型思路2.1 决策模型和生成模型本质差在哪很多人第一次接触“决策模型”会懵觉得不都是神经网络吗能差到哪去。我用一个生活化的类比解释生成模型像一个会写剧本的编剧你给它一个开头它给你续出一大段合理的内容决策模型像一个坐在驾驶位上的司机你给它当前的路况它给你一个具体动作——踩油门、打方向、刹车。编剧可以天马行空司机必须对结果负责。落到技术层面差别主要体现在三个地方。第一是输出空间。生成模型的输出是词表上的概率分布动辄几万维决策模型的输出是动作空间可能只有几个离散动作比如“推/不推”也可能是一个连续向量比如机械臂的关节角度。输出空间小意味着模型可以做得更轻、推理更快这对线上系统是致命的优势。第二是目标函数。生成模型优化的是“下一个词预测得准不准”本质是似然决策模型优化的是“这一串动作累积下来回报高不高”本质是回报。回报这个东西很麻烦它往往是延迟的、稀疏的——你推了一条广告用户三天后才下单这个正反馈要三天后才回来。所以决策模型的训练范式跟生成模型完全不是一回事它更接近强化学习或者序列建模那一套。第三是对状态的理解方式。生成模型把一切当成 token 序列决策模型更关心“状态里哪些维度对当前决策真正有用”。这就解释了为什么决策模型特别强调状态编码这个环节也是为什么多模态能力对决策模型这么重要——现实世界里的状态本来就不只是文字。提示如果你之前只做过生成类模型转决策模型时最容易犯的错是继续用“预测下一个 token”的思维去设计损失函数。决策模型里一个动作选错了后面整条轨迹都可能崩这种“一步错步步错”的特性必须在训练时通过轨迹采样体现出来。2.2 为什么是“两款”而不是“一款通吃”标题里“两款”这个信息量很大。我判断这两款的定位大概率是这样切的一款是通用决策模型主打结构化状态和文本状态参数量相对小、推理快、部署门槛低另一款是多模态决策模型在通用款的基础上加了视觉和音频编码器能处理图像、音频输入参数量更大、更适合复杂场景。为什么不做成一款通吃因为工程上不划算。多模态编码器是很重的一张图过一遍 ViT 类的骨干网络算力开销可能是纯文本状态的几十倍。如果你的业务场景里根本没有图像音频硬上一个多模态模型等于每天多烧一大笔推理成本还拖慢响应。反过来如果你的场景里状态就是图像那通用款根本接不了。这其实就是按场景分层的思路跟当年推荐系统里“粗排模型 精排模型”的分层是一个道理。轻量模型扛高频、低延迟的请求重量模型扛低频、高价值的请求。两款模型配合起来整体性价比最高。我列个表把两类模型的典型差异摆出来方便你对号入座。维度通用决策模型多模态决策模型输入类型结构化特征、文本状态结构化、文本、图像、音频参数量级相对轻量相对重量推理延迟低适合高并发较高适合中低频典型场景推荐、风控、调度工业质检、智能客服、机器人部署门槛单卡即可需要更大显存或多卡训练数据轨迹数据、日志轨迹 多模态对齐数据这张表不是让你死记而是让你在选型的时候有个判断依据。我的经验是先问状态里有没有非文本模态有就上多模态没有就别浪费算力。这个判断能帮你省掉至少一半的选型纠结。2.3 开源这件事对决策模型意味着什么决策模型和生成模型有一个很大的不同决策高度依赖业务数据。生成模型你可以拿公开语料训一个通用版本大家都能用决策模型不行你的用户行为、你的风控规则、你的调度约束都是私有的。所以决策模型如果闭源用户几乎没法用——你没法把自己的业务数据喂进去微调。开源就解决了这个问题。你可以拿到模型权重和训练代码在自己的轨迹数据上做微调把通用的决策能力“迁移”到你的业务上。这也是为什么我觉得这次发布值得关注它把决策模型从“论文里的东西”变成了“能落到你机房里的东西”。不过开源也有代价。开源模型通常不会把最优的工程优化都给你推理加速、量化、显存优化这些得你自己补。后面实操部分我会专门讲这块怎么处理。3. 核心细节解析多模态输入是怎么接进决策链路的3.1 状态编码决策模型真正的“大脑”决策模型的核心说穿了就一句话把当前状态编码成一个向量然后基于这个向量选动作。所以状态编码器的质量直接决定决策质量。这一点很多人会忽略觉得决策模型的重点在“策略网络”其实状态编码才是地基。通用款的状态编码器通常处理的是数值特征和文本。数值特征要做归一化、分桶、embedding 化文本要走一个轻量的语言编码器。这里有个细节数值特征的归一化方式对决策模型的影响比生成模型大得多。生成模型里一个词向量偏一点无所谓决策模型里一个关键特征比如账户余额、库存数量没归一化好可能导致策略在某个区间完全失效。我一般会做分位数归一化把特征压到 0 到 1 之间同时对长尾做截断。多模态款的状态编码器就复杂了。它要同时处理图像、音频和文本然后把这些模态对齐到同一个语义空间里。图像一般走视觉骨干网络音频走音频编码器文本走语言编码器最后通过一个融合模块拼起来。融合方式有几种早期融合在输入层就拼、晚期融合各自编码完再拼、交叉注意力融合模态之间互相看。交叉注意力效果最好但算力最贵实际部署时要在效果和成本之间权衡。注意多模态融合最容易出的问题是“模态失衡”——某个模态的数值范围特别大把其他模态的信号淹没了。解决办法是在融合前对每个模态的输出做 LayerNorm让它们量级一致。这个技巧我在好几个项目里都用过效果立竿见影。3.2 动作空间设计离散还是连续这是个问题动作空间的设计是决策模型落地时最容易被低估的环节。离散动作和连续动作处理方式完全不同。离散动作比如“推/不推”“通过/拒绝”“派给A/B/C”输出层就是一个 softmax选概率最大的那个。简单直接但要注意动作数量不能太多。我见过有人把动作空间设计成几千个离散选项结果模型根本学不动因为每个动作的样本都太稀疏了。动作超过几百个就该考虑用连续表示或者分层决策了。连续动作比如机械臂的角度、无人机的速度输出层通常是一个高斯分布的均值和方差采样得到动作。连续动作的难点在于探索——你得让模型在训练时尝试不同的动作才能找到最优策略。常用的做法是加噪声噪声的幅度要随训练逐渐衰减。还有一个折中方案叫动作分桶把连续动作离散成若干个桶用分类的方式做。这个方案在工业界很受欢迎因为它兼顾了连续动作的表达能力和离散动作的训练稳定性。我自己做调度类项目时就经常用分桶把“派单时间”这种连续量分成 20 个桶效果比直接回归好很多。3.3 回报设计与训练目标延迟反馈怎么处理决策模型训练最难的地方是回报的延迟和稀疏。用户看了广告三天后才买这个正回报要三天后才到机器人走错一步可能十步之后才摔跤。这种延迟反馈是决策模型和生成模型最大的鸿沟。处理延迟反馈常见的有几种思路。一种是时序差分用下一步的估计值来更新当前步不需要等最终回报。一种是蒙特卡洛等整条轨迹走完再算总回报方差大但无偏。还有一种是奖励塑形人为设计一些中间奖励让模型更快学到东西。实际项目里我通常是几种混着用短期用奖励塑形给密集信号长期用时序差分做 bootstrap。这里有个经验奖励塑形一定要小心设计不好会引入偏见。比如你为了让模型快点学会“不推垃圾广告”给了一个中间奖励结果模型学会了“什么都不推”来骗奖励。这种“奖励黑客”现象在决策模型里非常常见必须通过约束动作空间或者加惩罚项来防。3.4 多模态决策的独特挑战模态缺失怎么办多模态决策模型上线后会遇到一个通用款不会有的问题模态缺失。比如你的模型训练时用的是“图像 文本 音频”但线上某次请求只有文本图像和音频没传过来。这时候模型怎么办几种处理方式。最简单的是零填充把缺失模态填成零向量但这样会让模型收到一个“假”的输入可能做出错误决策。好一点的是模态 dropout 训练训练时随机丢掉某些模态让模型学会在模态不全的情况下也能工作。最好的是显式建模缺失给每个模态加一个“是否存在”的标志位让模型自己决定怎么处理。我在实际项目里强烈推荐模态 dropout 训练。它相当于给模型做了数据增强让模型对模态缺失有鲁棒性。代价是训练时收敛慢一点但上线后稳定性提升非常明显。4. 实操落地从拿到权重到跑通第一条决策链路4.1 环境准备与依赖安装假设你已经拿到了这两款开源模型的权重和代码。第一步是搭环境。决策模型的依赖通常比生成模型干净因为它不需要那么大的 tokenizer 和生成相关的库。但多模态款会依赖视觉和音频处理库这块要提前装好。我一般会建一个独立的虚拟环境避免和现有项目冲突。基础依赖大概是深度学习框架、数值计算库、图像处理库、音频处理库这几类。具体版本要以模型仓库的说明为准我这里给一个通用的安装思路。# 创建独立环境 python -m venv decision_env source decision_env/bin/activate # 安装深度学习框架以主流框架为例 pip install torch torchvision torchaudio # 安装多模态处理依赖 pip install pillow librosa soundfile numpy pandas # 安装模型仓库自身的依赖 pip install -r requirements.txt装完之后先别急着跑模型先验证环境。跑一个最小的前向传播确认模型能加载、能输出。这一步能帮你提前发现版本不兼容、CUDA 不匹配这类问题。我踩过太多次“环境没弄好就开始调模型结果调了半天发现是版本问题”的坑。提示多模态模型对显存的要求比通用款高不少。如果你只有单张消费级显卡建议先用通用款跑通流程再上多模态款。别一上来就啃硬骨头。4.2 数据准备轨迹数据的组织方式决策模型要的是轨迹数据不是单条样本。一条轨迹是“状态 → 动作 → 回报 → 下一个状态”的序列。这个数据组织方式和生成模型的“输入 → 输出”对完全不同是新手最容易搞错的地方。我一般会把轨迹数据组织成这样的结构每条轨迹是一个列表列表里每个元素是一个时间步包含状态、动作、回报、是否终止这几个字段。状态本身可能是个字典包含数值特征、文本、图像路径等。# 轨迹数据的典型结构示意 trajectory [ { state: { numeric: [0.3, 0.7, 0.1], # 数值特征 text: 用户刚刚浏览了数码产品, # 文本状态 image: frames/001.jpg, # 图像路径多模态款用 audio: audio/001.wav, # 音频路径多模态款用 }, action: 2, # 离散动作编号 reward: 0.0, # 即时回报 done: False, # 是否终止 }, # ... 后续时间步 ]组织好数据之后还要做回报计算。如果回报是延迟的你需要把未来的回报按折扣因子折算回当前步。折扣因子一般取 0.95 到 0.99 之间取值越大模型越看重长期回报。这个参数很关键我后面会专门讲怎么调。4.3 模型加载与推理跑通第一条决策数据准备好就可以加载模型做推理了。推理的流程是把状态喂给模型模型输出动作分布选一个动作。这里有个细节推理时是选概率最大的动作还是采样训练时通常采样为了探索推理时通常选最大为了稳定。但有些场景下采样反而效果更好因为能增加多样性。这个要结合业务试。# 推理流程示意 import torch # 加载模型具体接口以仓库为准 model load_decision_model(general_decision_model) model.eval() # 构造状态输入 state build_state(raw_features) with torch.no_grad(): action_logits model(state) # 选概率最大的动作 action torch.argmax(action_logits, dim-1) print(f模型选择的动作: {action.item()})多模态款的推理要多一步把图像和音频编码成特征再和文本、数值特征一起喂进去。图像预处理要注意尺寸和归一化音频要注意采样率和时长。这些预处理参数必须和训练时一致否则模型收到的输入分布就变了决策质量会断崖式下跌。4.4 微调把通用决策能力迁移到你的业务开源模型给的是通用能力要真正好用得在你的业务数据上微调。微调决策模型和微调生成模型不一样不能只做监督学习因为决策的优劣不是靠“标签对不对”衡量的而是靠“回报高不高”。我的做法是分两步。第一步做行为克隆用历史日志里的“状态 → 动作”对做监督学习让模型先学会模仿现有策略。这一步收敛快能让模型快速达到“不比现有策略差”的水平。第二步做策略优化用回报信号继续训练让模型超越现有策略。这一步风险高容易训崩要小步慢走密切监控。微调时的学习率要比预训练时小一到两个数量级因为决策模型对参数扰动很敏感。我一般从 1e-5 开始试如果 loss 震荡就再降。batch size 也别太大轨迹数据本身方差就大batch 太大反而学不到细节。注意微调决策模型时一定要留一部分轨迹做离线评估。评估指标不是准确率而是策略价值——用模型选的动作算出来的累积回报和现有策略比是高还是低。这个指标才是决策模型真正的“成绩单”。5. 常见问题与排查技巧实录5.1 模型输出动作单一怎么办这是决策模型最常见的问题不管什么状态模型都选同一个动作。原因通常有三个。一是回报信号太弱模型学不到动作和回报的关联二是动作空间不平衡某个动作在训练数据里占比太高模型偷懒全选它三是探索不足模型没试过其他动作不知道它们好不好。排查思路先看训练数据里各动作的分布如果严重倾斜就要做重采样或者加类别权重。再看回报的方差如果所有轨迹的回报都差不多模型确实没法学。最后看训练时的熵如果策略熵很快降到接近零说明探索不够要加熵正则项。我的经验是熵正则项的系数从 0.01 开始调太大模型学不动太小没效果。这个参数对决策模型的多样性影响极大值得多花时间调。5.2 多模态模型推理慢怎么优化多模态决策模型推理慢瓶颈通常在视觉和音频编码器上。优化手段有几个层次。最直接的是降低输入分辨率图像从 224 降到 128速度能快一倍多代价是精度略降。其次是量化把模型权重从 FP16 量化到 INT8速度提升明显精度损失可控。再就是缓存如果相邻时间步的图像变化不大可以复用上一帧的编码结果。我实测下来量化加分辨率调整能把多模态推理延迟压到原来的三分之一左右。但要注意量化后一定要重新评估策略价值因为量化误差可能让某些关键决策出错。我见过量化后模型在边界情况下判断失误的案例所以量化后必须做一轮完整的离线评估。5.3 训练不收敛loss 震荡决策模型训练不收敛比生成模型更常见因为轨迹数据的方差天然就大。排查顺序是这样先看数据轨迹长度是不是差异极大如果是要做长度归一化或者截断再看回报是不是有极端值有的话要做裁剪最后看学习率决策模型对学习率很敏感太大直接震荡太小半天不动。我一般会加梯度裁剪把梯度范数限制在一个阈值内防止个别样本把参数带偏。阈值取 1.0 到 5.0 之间具体看模型规模。另外用 Adam 而不是 SGDAdam 对决策模型这种噪声大的场景更友好。5.4 常见问题速查表问题现象可能原因排查方向解决手段动作单一回报弱、动作不平衡、探索不足看动作分布、回报方差、策略熵重采样、加熵正则推理慢多模态编码器重看各模块耗时降分辨率、量化、缓存训练震荡学习率大、回报有极端值看 loss 曲线、回报分布降学习率、梯度裁剪、回报裁剪上线效果差训练推理不一致对比预处理、特征分布统一预处理、做分布校验模态缺失崩溃没做模态 dropout看缺失模态时的输出加模态 dropout 训练这张表我建议你打印出来贴在工位上出问题的时候按顺序过一遍能省很多时间。5.5 几个我踩过的坑第一个坑是特征穿越。做离线训练时不小心用了未来才有的特征比如用“用户最终是否购买”去预测“当前该不该推”。这种特征在训练时让模型表现极好上线后直接崩。排查方法是检查每个特征的生成时间确保它只依赖当前及之前的信息。第二个坑是离线评估和线上效果不一致。离线评估用的是历史数据但线上策略会改变数据分布这叫“分布偏移”。解决办法是做离线策略评估用重要性采样校正分布差异。这个技术有点门槛但做决策模型绕不开。第三个坑是多模态对齐没做好。图像和文本的时间戳对不上导致模型学到的是错误关联。上线前一定要做时间对齐校验确保同一时间步的各个模态是真正同步的。6. 这套东西后续还能怎么扩展跑通基础流程之后有几个方向值得继续深挖。一个是分层决策把大动作拆成几个小动作先选大类再选细类能显著降低动作空间的复杂度。一个是多智能体决策多个决策模型协同工作比如调度场景里每个骑手一个模型模型之间还要协调。还有一个是在线学习让模型在线上持续更新适应数据分布的变化。我个人最看好的是决策模型和生成模型的结合。生成模型负责“想”决策模型负责“选”。比如客服场景生成模型生成几个候选回复决策模型从中选一个最合适的。这种组合能同时利用生成模型的表达能力和决策模型的判断能力是我最近在试的方向效果比单用任何一种都好。最后分享一个小技巧决策模型的日志一定要记全。状态、动作、回报、时间戳一个都不能少。因为决策模型的迭代高度依赖历史数据日志记不全后面想优化都没数据。我见过太多团队上线时图省事日志记得稀稀拉拉结果想迭代的时候发现无从下手。这个坑希望你别踩。
