标题Beam Search as Test-Time Self-Distillation via Counterfactual Contexts来源arXiv, 2609.37041v1️文章简介研究问题如何在不需要更新模型参数、没有外部奖励模型和专家示范的情况下在推理阶段利用自蒸馏原理提升大模型的生成质量主要贡献论文提出了一种名为“测试时自蒸馏”的方法通过反事实上下文构建对比奖励信号并结合束搜索算法在解码阶段引导模型生成更高质量的回答。重点思路用反事实上下文替代专家示范由于推理时没有真实的专家示范作者设计了两个固定的文本模板作为“反事实上下文”。一个是正面上下文如“这是一个具有优秀推理能力的回答示例”另一个是负面上下文如“这是一个推理错误的回答示例”。构建对比互信息奖励计算候选答案在正面上下文和负面上下文下的对数概率之差。如果某个答案在正面上下文中出现的概率远高于负面上下文则给予高奖励。这构成了一个隐式的奖励信号反映了模型自身对高质量推理的偏好。推导全局重加权策略理论上基于该奖励的最优策略是对基础分布进行吉布斯重加权。但这种重加权是全局的不能简单分解为每个token的独立操作因为忽略未来轨迹的质量会导致偏差。采用对比束搜索近似采样为了高效地从目标分布中采样作者提出了对比束搜索算法。该算法以块为单位生成文本并在每一步根据累积的对比奖励分数对候选轨迹进行剪枝和扩展从而近似全局最优解避免了逐token采样的短视问题。分析总结性能全面超越基线在数学推理MATH500、代码生成HumanEval和研究生科学问答GPQA三个基准测试中该方法在四种不同规模的模型上均优于标准采样、低温采样、传统束搜索和幂采样等基线方法。语义对比是关键驱动力消融实验表明性能提升主要源于正负上下文之间的语义对立如“优秀推理”vs“错误推理”而非仅仅增加了上下文长度。使用中性的对照组上下文无法带来类似的提升。推理成本可控虽然对比束搜索比标准束搜索慢约1.5倍但其生成的token数量更少且不需要额外的训练或验证器整体效率在可接受范围内。块大小影响显著束搜索中的块大小存在最佳值如32个token过大会减少纠正机会过小则评分不稳定适中大小能平衡探索与利用。个人观点论文不依赖外部数据或复杂的奖励模型而是挖掘模型内部已有的知识通过简单的提示词对比好vs坏来激发模型的自我纠错能力。
