你有没有遇到过这种学生平时模拟考永远年级前三可一到那种开放性、没有标准答案的真实项目里反而不如班里那个成绩中等但点子特别多的同学。他做题特别稳但稳的代价是他只会用那几种解题套路一旦题目稍微换个样子他就卡住了而那个成绩中等的同学,偏偏在这种时候总能试出点新花样。这篇来自Meta超级智能实验室和威斯康辛大学麦迪逊分校团队的论文,讲的就是一群研究者发现经过强化学习训练之后的大语言模型很可能就是那个永远年级前三但缺乏创造力的学生。而没有经过这种训练的原始模型反而更像那个点子多的同学。**这篇论文的名字叫《Sharpening Tax in Post-Training》翻译过来大概是后训练中的锐化税。**这个税字用得很有意思,它暗示的是你获得了某种好处比如模型答题更准了但你必须为此付出一笔隐藏的代价,而这笔代价一直没人认真算过。问题到底出在哪儿先说清楚背景。现在的大语言模型通常经过两个阶段。第一阶段叫预训练模型吞下海量互联网文本学会续写句子、理解语言规律这个阶段产出的模型叫基座模型脑子里塞满了各种知识和表达方式但不太听指挥你让它干活它可能自己跑偏。第二阶段叫后训练常见的做法是用强化学习让模型在不断试错中学会按人类期望的方式回答问题、完成任务。这个阶段产出的模型就是我们平时用的ChatGPT、Claude这类产品背后的正式版。一直有个说法流传在研究圈里强化学习后训练到底是让模型学会了全新的本事还是只是把它原本就会的几招练得更熟练了。这个争论之前几乎都是在数学题和编程题上展开的因为这两类任务最好打分答案对不对一清二楚。研究者们发现一个现象经过强化学习训练的模型如果你让它答一道题正确率确实比没训练过的基座模型高。但如果你允许模型对同一道题反复尝试很多次比如128次,基座模型最终能蒙对的题目数量反而可能超过训练后的模型。这个指标在论文里叫passK。**passK给模型K次机会去解决同一个任务只要K次里有一次成功就算这道题被攻克了这个指标衡量的是模型的解题覆盖面有多广而不是单次尝试的准确率有多高。**想象你去射箭pass1就是你第一箭能不能射中靶心,这代表你的稳定性。pass128则是给你128箭只要有一箭中了就算你拿下这个靶子,这代表你的潜力上限哪怕你平时手抖只要箭够多总有蒙中的时候。数学编程领域的这个发现当时就挺震撼了,但很多人觉得这事儿不能一概而论,因为数学编程这两类任务预训练阶段模型已经见过海量类似题目了基座模型底子厚训练后反而缩小了它的发挥空间,这情况特殊。**而真正需要全新能力的应该是那种需要模型多轮调用工具、处理复杂环境反馈、长程保持逻辑连贯的智能体任务agentic tasks这类任务在预训练数据里非常罕见大家普遍认为这种本事必须靠后训练才能学会。**这就是这篇论文选择的战场智能体任务。研究团队挑了三个有代表性的智能体测试集:BFCL v4专门测试多轮工具调用能力)、WebShop模拟网购场景要求模型搜索商品、点击按钮、完成购买)、ACEBench综合性的工具使用和多步骤问题解决测试)。这三个测试集有个共同的硬核特点它们检查的不只是最终答案对不对还检查过程中每一步动作对不对,状态变化对不对。这就杜绝了那种瞎蒙对了答案也算分的漏洞,数学题里经常出现推理过程全错但碰巧蒙对最终数字的情况,而在这种讲究过程的任务里这种漏洞走不通。一个让人意外的发现研究团队选了四个主流开源模型家族Gemma-4、Ministral-3、Qwen2.5、Qwen3.5涵盖从3B到35B参数不等的14组基座模型和对应的训练后模型然后把它们扔进上面那三个智能体测试集里每道题让每个模型跑128次。结果出乎很多人的预料。那些没经过强化学习训练的基座模型单独拿出来几乎没法干活,工具调用格式都写不对更别说完成多轮任务了。但研究团队给它们配了一个很简单的外挂,一个叫harness的轻量级脚手架。**harness推理外壳一套跟具体任务、具体模型都无关的通用提示词模板用简单的系统提示加上宽松的工具调用解析规则帮基座模型把输出格式整理成规整的工具调用指令这个外壳不包含任何针对题目本身的提示或示例。**配上这个外壳之后奇迹发生了。基座模型的pass1确实还是比训练后的模型低不少但随着允许尝试的次数K从1涨到128基座模型的曲线涨得特别猛到后面直接反超训练后的模型。拿gemma-4-31B这个模型来说,在WebShop测试里当尝试次数到达128次时基座模型的覆盖率能冲到87.6%而训练后的版本只有56%差了整整31个百分点。**这意味着一件很反常识的事:同一个模型家族同一个任务没训练过的版本反而比训练过的版本能解决更多的题目,只要你给它足够多的尝试次数。**这就好比两个工人去修一批不同的水管,老王基座模型第一次上手总修不好但他敢在同一根管子上反复尝试各种修法试十次总能试出一种能用的办法而小李训练后模型第一次出手就很稳大部分管子一次就修好了可剩下那部分修不好的管子他无论试多少次都用同一套手法死活修不好。如果不给小李足够多的试错机会你会觉得他比老王强多了,但一旦你把试错次数拉满你会发现老王其实能啃下更多难题只是他需要更多耐心。研究团队进一步发现这个反超的交叉点跟模型大小密切相关。模型越大基座模型反超训练后模型所需要的尝试次数就越少。还是拿Gemma-4系列做例子在WebShop任务里4B这个小模型基座版本要尝试超过128次才可能追上训练后版本但到了31B这个大模型仅仅3次尝试基座版本就已经反超了。这说明一件挺有意思的事:后训练这件事对小模型来说更像是雪中送炭对大模型来说更像是画地为牢。**小模型本来脑子里存的东西就不够多,训练之后相当于把它仅有的那点本事打磨得更规整几乎是净赚不赔的。但大模型脑子里本来就装了很多种解题思路训练之后反而把这些思路砍掉大半只留几条路走到黑这时候代价就显现出来了。**后训练到底对模型做了什么研究团队没有止步于发现这个现象他们还想搞清楚背后的机制。他们把每道题在128次尝试里的成功次数统计出来按照这个成功率把题目分成三类:**永远没解出来128次全失败、看情况能解出来128次里成功次数在0到128之间、永远能解出来128次全成功。**这个分类揭示的东西很直接。拿WebShop任务里的gemma-4-31B来说基座模型里占比最大的类别是看情况能解出来有87.6%的题目属于这一类意味着这些题多试几次总能撞上答案。而经过训练之后这个看情况能解出来的类别暴跌到30%,原本那87.6%里的大部分题目都被挤到了另外两个极端去有26%的题目变成了永远能解出来这部分是真正的进步但有44%的题目变成了永远解不出来这部分是实实在在的损失比训练前的12.4%还高。**这就是论文里反复强调的核心机制,双峰化bimodalization。**后训练把原本分布比较均匀、散落在各种成功率区间的题目强行推向两个极端,或者彻底学会或者彻底放弃中间那个再试试就能成的区域被大幅压缩了。这种双峰化带来了另一个连带效应模型变得更一致了,同一道题让它反复答答案基本不变。研究团队用一个叫consistency一致性的指标来衡量这个,测的是K次尝试全部成功的概率。训练后的模型覆盖率曲线和一致性曲线靠得特别近而基座模型的一致性几乎跌到零因为它每次尝试结果都不太一样覆盖率曲线却一路爬升。这就跟开头说的那个学生例子完全对上了:训练后的模型就是那个解题稳定但思路单一的学生答案可预测但碰到不在套路里的题目就两眼一黑。基座模型就是那个点子多的同学每次答案都不太一样但正因为每次都不一样总有一次能撞对。怎么给这件事定一个数发现规律是一回事怎么把这个规律变成一个可以量化、可以比较的指标这是另一回事。研究团队提出了一个叫**Sharpening Tax锐化税**的新指标。要理解锐化税得先理解它的两块基础材料。第一块叫**A(K)原始可扩展性衡量的是如果你给模型更多尝试次数它能多攻克多少题目用passK曲线下方多出来的那块面积来表示。**第二块叫**S(K)校准可扩展性把A(K)用模型本身的平均失败率标准化一下让这个数字落在0到1之间方便不同模型之间互相比较。**有了这两块基础材料锐化税就是拿基座模型的这个值减去训练后模型的这个值。**如果结果是正数意味着后训练压缩了模型靠多次尝试去挖掘潜力的空间,相当于你为了换取当下这一次答得更准付出了未来可能性被削减的代价。**这个指标还有一个很直观的概率解释,论文里证明了这个A(K)实际上衡量的是在预算K次尝试内模型平均要失败多少次才能等到第一次成功。换句话说一道题如果模型第一次就蒙对了或者128次全部失败这道题对A(K)的贡献都是零,因为对第一种情况重试没有意义模型根本不需要重试而对第二种情况重试同样没有意义因为重试多少次都没用。只有那种试了几次之后终于成功的题目才真正体现出多试一次有没有价值这个意思。**这就好比考察一个保险箱的破解难度,如果你一上来就能猜中密码或者试遍所有密码都打不开这两种情况下多试几次这件事本身都没有意义唯独那种试了37次终于撞对的情况才真正说明这个保险箱是有运气空间可挖的而不是彻头彻尾的死局或者送分题。**团队把这个锐化税算在了14组模型、三个测试集一共42种组合上,结果显示在36个组合里锐化税在K128时是正的,也就是说绝大多数情况下后训练确实在用覆盖面换效率。更有意思的是这个税还有一个实用价值,只用8次尝试估算出来的税值,就能相当准确地预测用32次尝试才能算出来的税值两者的相关系数高达0.85。这意味着你不需要跑完128次那么昂贵的实验花很小的代价就能大致判断一个训练后的模型是不是在用一种短视的方式换取了短期的准确率。怎么把这笔税省下来发现了问题研究团队没有停在诊断阶段他们还提出了一个解决方案叫**posterior-tempered group sampling简称PTGS中文可以叫后验温度分组采样。**要理解PTGS,得先理解一个很朴素的想法,如果模型对某道题总是答错那就应该让它在训练阶段多疯一点多尝试一些不常规的答案说不定能撞上正确路径,而如果模型对某道题已经答得很稳了那就不需要再冒险稳稳地强化现有的解法就行。这里的疯一点或者稳一点技术上对应的是**采样温度temperature这个概念,简单理解温度越高模型给出的答案越五花八门越敢去尝试冷门选项,温度越低模型越倾向于反复给出它最有信心的那个答案。**过去的常见做法是给所有题目设置同一个固定温度,这种做法有个明显的缺陷,如果温度调高确实能让模型探索更多可能性提升passK但代价是单次回答的准确率pass1会跌下来,如果温度调低准确率保住了但探索空间又被压没了。这就是一个此消彼长的死结调温度本身解决不了根本矛盾。PTGS的做法是不再用一个全局温度而是给每道题单独分配一个温度这个温度取决于模型目前对这道题的掌握程度。具体怎么判断掌握程度论文用了一个叫Beta-Binomial的统计模型持续追踪每道题过去的成功和失败次数动态估计出模型此刻对这道题的胜率,如果胜率低于某个目标值就调高温度鼓励探索,如果胜率已经超过目标值就调低温度鼓励稳定输出。这套机制整体上更像一个有经验的健身教练在带一群学员,对那些动作还没掌握的学员教练会让他们多尝试不同的发力方式找到适合自己的那种,对那些已经掌握标准动作的学员教练会让他们固定住这个动作反复巩固不要再瞎折腾了。如果教练对所有学员都用同一套训练强度无论他们各自进度如何那进步快的学员会被拖慢进步慢的学员又跟不上节奏这正是固定温度策略的问题所在。团队把PTGS套用到两个经典的强化学习算法PPO和GRPO上在Sokoban推箱子游戏和FrozenLake冰面导航游戏这两个智能体环境里做了实测。**结果显示加了PTGS之后无论是PPO还是GRPO都同时提升了准确率和覆盖率而且锐化税明显降低。**具体数字摆出来看会更有感觉。在Sokoban任务里普通PPO训练出来的模型pass1是46.5pass128是55.0,加上PTGS之后,pass1涨到61.1pass128涨到69.7两个指标同时往上走而不是像调固定温度那样此消彼长。锐化税也从0.094降到了0.081。GRPO上的表现更夸张,普通GRPO的pass128是55.3,加了PTGS之后直接跳到72.5提升了17个百分点锐化税从0.081骤降到0.025。这组数据之所以重要是因为它第一次证明了这个此消彼长的死结不是不能破的,只要你用对了方法用对了判断依据是真的能做到两头都要。研究团队还做了一个很细致的分析,他们追踪了训练过程中模型输出的熵值可以理解为模型输出的多样性程度。普通PPO训练下熵值一路下滑到接近零意味着模型越训练越死板,而加了PTGS之后熵值一直维持在比较高的水平并且反复出现回升说明PTGS一直在给那些训练失败的题目加温强迫模型别放弃探索。两组模型最终的准确率差不多但一组是靠不断探索保住了灵活性另一组是靠彻底躺平换来了稳定这完全是两种不同的学习方式。这件事背后的理论支撑论文里还给出了几个数学证明解释为什么双峰化一定会导致锐化税以及PTGS为什么能起作用。有一个核心定理说的是假设后训练用某个概率把一部分题目从中间状态推向两个极端彻底学会或彻底放弃那么锐化税的大小正好跟这个被推向极端的题目比例成正比,比例越高税越重这给了之前的实验观察一个坚实的数学解释,不是巧合是必然。另一个定理解释了为什么PTGS能帮助强化学习训练,在群组采样group sampling也就是同时让模型针对同一道题生成多份答案再从里面挑出有参考价值的信号去更新模型的框架下如果一组答案里全是失败的这组数据对训练基本没用,如果一组答案里既有成功也有失败这组数据对训练最有价值,因为模型能从对比中学到什么导致了成功。论文证明当PTGS把一道难题的成功概率往上提一点,这道题产生既有成功也有失败这种高价值答案组合的概率会显著增加。这就从数学上说明了为什么给难题加温不是瞎折腾而是真的能让训练过程捞到更多有用的信号。一些值得想一想的延伸论文最后也坦诚地说了这些开源模型背后的具体训练配方并没有完全公开所以整篇研究更像是观察性的不是严格可控的因果实验。研究团队也提到这个结论目前局限在纯文本的智能体任务上像多模态模型、机器人控制这些领域会不会出现同样的规律目前还没有答案。但这篇论文真正值得记住的不是某个具体的数字而是它逼着我们重新审视一个习以为常的假设,我们总以为经过更多训练、更多打磨的模型就是更好的模型但这篇论文提醒我们更好这个词背后藏着一个隐含的问题,更好是对什么任务而言,如果你的使用场景是单次问答、不容许犯错那经过充分后训练的模型确实更可靠,但如果你的场景是允许多次尝试、追求某种突破性的答案比如科学发现里那种需要大量试错才能撞上的灵感那一个没被打磨得太光滑的基座模型反而可能藏着更多没被开发出来的可能性。这让我想起一句老话熟能生巧但巧往往也意味着路越走越窄。QAQ1Sharpening Tax是什么ASharpening Tax锐化税是论文提出的一个诊断指标用来衡量模型经过强化学习后训练之后损失了多少依靠多次尝试去挖掘潜在能力的空间正值意味着训练后模型用单次准确率换取了未来可能性的削减。Q2为什么基座模型反而能超过训练后的模型A因为后训练会把模型的答题概率分布推向两个极端大部分题目变成彻底学会或彻底放弃而没训练过的基座模型答案分布更分散只要给足够多尝试次数很多原本看似失败的题目最终都能靠反复试错蒙对所以覆盖率反而更高。Q3PTGS具体是怎么解决这个问题的APTGS会给每道题动态分配不同的采样温度模型答得差的难题会被调高温度鼓励探索答得好的题目会被调低温度保持稳定这样在训练强化学习模型时能同时提升准确率和覆盖率而不是像固定温度那样只能二选一。
