【导语当大型推理模型普遍暴露中间推理轨迹评估安全性只看最终答案是否足够哈佛大学等多个机构的研究者联合研究给出否定答案并提出相应缓解方法为模型安全评估和控制提供新框架。】推理模型安全评估新视角拆分推理与回答阶段大型推理模型LRM常将中间推理轨迹暴露研究团队意识到仅看最终答案评估安全性不足。他们将推理和回答拆开来评为推理模型的推理轨迹和最终答案两个阶段分别设计了20条安全原则采用1 - 5分风险程度评分体系。设定统一风险度阈值划分出Unsafe、Leak、Escape三类核心失败模式使“答案安全 ≠ 轨迹安全”可量化测量。评测数据与设置多数据集覆盖15个推理模型研究团队构建了分布内提示词池整合七个公开的有害/越狱数据集划分出41K条分布内评测数据集和2K条held - out测试集。还从四个数据集构建分布外评测集。评测覆盖15个推理模型打分由两个LLM打分器完成并与人工标注员做一致性校验打分器间Pearson相关系数在推理阶段达0.799、回答阶段达0.820均超过人与人之间的一致性为大规模自动化评分提供可信度支撑。核心发现推理轨迹风险更高且集中于特定类别研究有两个核心发现。一是普适性发现在全部15个被测模型上推理轨迹的平均危险程度都高于最终答案的平均风险程度如Gemini - Pro - 3.1推理比回答高出0.028分等。二是结构性发现风险集中在虚假信息、违法合规、歧视偏见、人身伤害、心理伤害等几个核心类别其中违法合规类别表现出最明显的CoT - 答案分化是“泄露”失效的最强信号来源。缓解方法自适应多准则激活引导提升模型安全性基于诊断结果团队提出自适应多准则激活引导方法。先针对每条安全原则收集模型“安全”和“不安全”状态下的内部激活值得到安全和不安全中心点确定“引导方向”。推理新问题时实时判断当前内部状态锁定被击中的原则方向在生成链结束前修正模型内部表示。在三个开源模型上验证消融实验验证关键设计选择的必要性DeepSeek - R1 - Qwen - 7B取得最佳安全 - 效用平衡平均降低40.8%不安全数量同时在三个基准上保留97.7%的平均准确率。编辑观点该研究创新性地打通推理模型“诊断”与“控制”虽有局限但为模型安全评估和改进提供了新方向有望推动行业在模型安全领域的发展。
