一、研究背景与核心问题背景CLI 智能体在复杂软件工程和终端任务上表现优异但其效果越来越依赖于智能体脚手架agent harness——负责管理执行、工具交互、上下文和环境反馈的机制。近期研究将递归式自我改进RSI扩展到脚手架使智能体能从经验中改进执行机制。核心挑战可泛化的脚手架 RSI 面临两个难题基准污染问题现有方法Meta-Harness、AHE、HarnessFix直接在下游基准或其子集上演化导致可迁移改进与基准特定适应难以区分。信用分配粗粒度问题机制级任务级奖励太粗难以定位改进应落在脚手架的哪个组件行为级单条轨迹将系统性缺陷与任务特定推理、随机失败纠缠在一起。核心假设可迁移的脚手架自我改进需要提高两个层级信用分配的精度而非简单扩大自我修改空间。二、方法ModularRSI 框架1. 模块化分解机制级信用分配将 Terminus-2 脚手架重组为五个功能模块各自独立演化模块职责Agent Loop推理-行动-观测循环、执行流、交互控制、恢复行为Tool Use工具选择、调用、验证Observation Management保留任务相关反馈、过滤/压缩噪声观测Context Management交互历史的信息保留、压缩、检索Task Completion Detection判断任务是否完成基础设施组件沙箱初始化、并行执行、LLM 通信不在演化范围内。2. 对比轨迹采样与分析行为级信用分配对每个演化实例收集 K 条轨迹按奖励分为三组Positive全部成功 → 寻找效率改进机会Contrastive部分成功部分失败 → 同任务对比成功/失败轨迹识别函数级差异因素Negative全部失败 → 检索历史成功轨迹配对或单独诊断明显缺陷诊断结果记录为结构化 JSON包含模块、证据、因果判断、建议修改等字段。3. 模块级脚手架修改将语义相似的诊断合并为候选修改按支持任务数投票排序取 Top-KK10优先修改聚焦反复出现的缺陷而非实例特定失败。每个模块独立演化 3 个 epoch不共享中间更新。4. 验证门三重保障每个函数更新须依次通过程序检查静态检查有效性与兼容性差异审查检测任务特定解决方案/过拟合执行验证随机抽 2 个任务实际运行任一失败则回滚。5. 跨模块集成独立演化后组合为统一脚手架额外执行一个集成 epoch修复跨模块冲突重复机制、行为冲突、交互不一致。6. 函数库管理函数合并LLM 比较并合并功能重叠的函数评估时不执行任务感知函数组合根据任务描述选择相关函数子集激活评估时执行集成后函数库冻结评估时仅允许任务感知选择。三、演化数据集与协议从 GitHub、Hugging Face、Kaggle、Linux 内核文档等外部来源构建2,000 个可执行任务以 Harbor 格式呈现。基准仅提供类别级检索指导不使用任何基准实例、轨迹或任务特定信息。多阶段质控LLM 过滤环境完整性、实用性、评估器有效性→ 可执行验证参考解通过 空操作不得正奖励→ 人工审查 → 语义相似性筛查。任务分布数据加工、机器学习、构建部署、系统OS、语言API、网络、算法、安全加密、数据库等TB 相关与 SWE 相关子集分布大致均衡。四、实验结果1. 基准与指标基准TerminalBench 2.089 个长时程终端任务、SWE-Bench-Verified500 个真实仓库任务指标Acc准确率、Pass33次内至少成功1次、Pass33次全部成功、StepNum平均交互步数2. 主要结果1超越演化经验的泛化表1设置TB 2.0 AccSWE-Bench Acc无演化基线47.5773.40TB 相关演化域内52.4375.80域外SWE 相关演化域内49.44域外76.40域内提升TB 2.0 4.86SWE-Bench 3.00Pass³ 从 30.34 提升至 35.96执行可靠性显著增强跨领域迁移有效证明发现的是可复用机制改进2跨模型泛化表2冻结在 TB 数据上演化的脚手架应用于不同基础模型模型基线 AccModularRSI AccGLM-5.259.5561.80MiniMax-2.541.5744.94DS-V4-Flash47.5752.433模块化 vs 非模块化表3方法Acc无演化基线47.57非模块化演化46.44↓联合全模块演化44.19↓ModularRSI52.43更大的自我修改空间反而增加信用分配模糊性非模块化演化甚至低于基线。4单模块演化效果表4Agent Loop最大单模块准确率增益50.56Observation ManagementStepNum 从 34.70 降至 22.50效率最高跨模块集成进一步提升至 52.43说明各模块捕获互补改进5消融研究表5方法AccModularRSI52.43无 CTA对比轨迹分析50.56无 FLM函数库管理49.81无 VG验证门48.31无演化基线47.57三个组件均贡献显著其中 FLM 影响最大Pass3 和 Pass3 退化明显。6与现有 RSI 方法比较表6方法Acc无演化基线47.57Meta-Harness49.44AHE49.81ModularRSI52.43在相同初始脚手架、演化数据、基础模型和预算下ModularRSI 优势明显。7数据规模扩展图2演化实例从 120 → 600TB 2.0 准确率从 47.6 持续提升至57.3呈现持续上升趋势。3. 统计可靠性附录 G 采用任务级配对 bootstrap100,000 次重采样计算 95% 置信区间ModularRSI 相对基线的 ΔAcc 4.86CI [3.37, 9.36]显著Meta-Harness1.87CI 含 0和 AHE2.24CI 含 0提升不显著4. 数据质量影响附录 H中等难度为中心的演化数据优于难易分布SWE-Bench 上 76.40% vs 74.20%原因中等难度任务更易产生信息量丰富的成功-失败对比5. 演化曲线附录 M随 RSI 代际增加准确率和 LLM 评判分数均持续上升验证演化过程有效。五、案例研究附录 K四类典型案例说明机制如何工作类型案例发现与改进ContrastiveScala→PySpark 迁移任务成功轨迹保留 NULL 过滤要求失败轨迹丢弃引入 planning_with_guardNegativeFFmpeg 构建任务缺少 ldd 验证链接库引入 completion_integrity_guardPositiveGo 文件上传漏洞修复write_file 多行代码被误路由到 shell改进工具分发逻辑步数 36→25跨模块集成组合独立演化模块修复重复机制、明确职责、调整协调逻辑六、主要贡献与结论贡献问题形式化将可泛化脚手架 RSI 定义为基准不相交的信用分配问题提出两级信用分配框架。方法创新ModularRSI 通过对比轨迹分析识别行为缺陷通过模块受限演化定位机制改进再跨模块集成。数据资源构建2,000 个基准不相交的可执行演化任务经可执行验证、人工质控和相似性筛查。实验验证在 TB 2.0 和 SWE-Bench Verified 上验证跨任务、跨领域、跨模型泛化能力受控实验证明模块化演化和对比归因的必要性。核心结论在基准不相交演化下有效的脚手架 RSI 需要将执行经验转化为可复用的机制级改进而非从任务级反馈中广泛修改脚手架。ModularRSI 通过对比轨迹归因和模块受限演化缩小信用分配空间、减少无关机制干扰从而发现真正可泛化的改进。局限性隐含演化数据构建依赖人工标注和 LLM 过滤成本较高模块分解基于 Terminus-2 特定架构迁移到其他脚手架需重新设计跨模块集成仅执行一个 epoch可能未充分优化模块间交互实验主要基于 DeepSeek-V4-Flash-Preview 作为演化骨干其他模型作为演化骨干的结果在附录 D 中ModularRSI 通过将智能体脚手架分解为五个功能模块独立演化、用对比轨迹分析精准定位行为缺陷、再经三重验证门和跨模块集成在完全不接触下游基准的演化数据上实现了可跨任务、跨领域、跨模型泛化的脚手架自我改进在 TerminalBench 2.0 和 SWE-Bench Verified 上显著超越 Meta-Harness 和 AHE 等现有方法。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示项目地址在这里如下所示摘要近期工作将递归式自我改进Recursive Self-Improvement, RSI扩展到面向长时程编程与终端任务的智能体脚手架agent harness使智能体能够从经验中改进其执行机制。然而实现可泛化的脚手架 RSI 面临两个挑战在下游基准上进行演化使得可迁移的改进难以与基准特定的适应区分开来而粗粒度的任务级结果对于“改进应在何处实施”以及“脚手架中应改变何种执行行为”所提供的指导有限。我们提出 ModularRSI一个用于可泛化脚手架自我演化的模块化框架在信用分配中同时解决机制级定位与行为级归因问题。ModularRSI 将脚手架分解为五个功能模块包括智能体循环Agent Loop、工具使用Tool Use、观测管理Observation Management、上下文管理Context Management和任务完成检测Task Completion Detection并独立演化每个模块以实现局部化的机制改进。在每个模块内ModularRSI 对同一任务的成功与失败轨迹进行对比分析并跨任务聚合证据以识别反复出现的执行缺陷。最后将独立演化的模块集成起来构建最终脚手架。我们进一步从外部来源整理了 2,000 个可执行的演化任务这些任务与下游评估基准不相交。在 TerminalBench (TB) 2.0 和 SWE-Bench-Verified 上的实验表明该方法在未见任务、演化领域和基础模型上具有一致的泛化能力。使用 DeepSeek-V4-Flash-Preview 时域内演化将 TB 2.0 上的准确率从 47.57% 提升至 52.43%将 SWE-Bench-Verified 上的准确率从 73.40% 提升至 76.40%。在域内设置之外演化后的脚手架还能有效跨演化领域和基础模型迁移带来约 2%–5% 的性能提升。在统一的基准不相交协议和匹配的演化预算下ModularRSI 在 TerminalBench 2.0 上达到 52.43% 的准确率优于 Meta-Harness 的 49.44% 和 AHE 的 49.81%。消融研究进一步证实模块化演化和对比分析都对性能提升有所贡献。1 引言CLI 智能体在复杂软件工程和基于终端的任务上已取得显著性能Jimenez et al., 2024; Deng et al., 2025; Merrill et al., 2026; Hong et al., 2026。除了基础模型之外它们的有效性越来越依赖于智能体脚手架后者负责管理执行、工具交互、上下文管理和环境反馈。因此近期工作开始探索脚手架的递归式自我改进RSI使智能体能够从经验中精炼这些执行机制。然而可泛化脚手架 RSI 的核心挑战不在于脚手架能否在用于演化的经验上有所改进而在于所产生的变化是否代表对底层执行机制的可迁移改进。现有方法如 Meta-Harness、AHE 和 HarnessFix通常直接在下游基准或由其衍生的子集上进行演化Lee et al., 2026; Lin et al., 2026; Du et al., 2026; Chen et al., 2026a; Pan et al., 2026; Nguyen et al., 2026使得可复用的改进难以与基准特定的适应区分开来。即使在演化与评估分离的情况下任务级奖励也只能提供粗粒度监督单个轨迹将系统性的脚手架缺陷与任务特定的推理纠缠在一起而粗放的整体脚手架更新又难以在不影响无关机制的情况下定位可复用的改进。因此我们将可泛化脚手架 RSI 视为一个两级的信用分配问题这在基准不相交演化下尤为重要。成功的自我改进过程必须回答两个互补的问题改进应在脚手架的何处实施以及应改进何种执行行为。第一个是机制信用分配问题一旦识别出可复用的缺陷相应的更改必须定位到负责的脚手架组件而不是广泛修改无关组件。第二个是行为信用分配问题必须对执行轨迹进行比较和聚合以将反复出现的脚手架缺陷与任务特定的决策或随机失败区分开来。我们的核心假设是可迁移的脚手架自我改进需要提高两个层级上信用分配的精度而不是简单地扩大自我修改空间。HarnessFixChen et al., 2026a改进了从执行轨迹中定位失败的能力但未能明确将识别出的缺陷分配到负责的脚手架机制。AHELin et al., 2026认识到脚手架中功能上不同的组件但仍然在联合的脚手架级过程中演化它们而不是独立地归因和优化机制特定的改进。因此行为级和机制级信用分配仍然只得到部分解决。为解决这两个层级的信用分配问题我们提出 ModularRSI一种用于可泛化脚手架演化的模块化方法。对于机制级信用分配它将可演化脚手架分解为五个功能连贯的模块即智能体循环、工具使用、观测管理、上下文管理和任务完成检测。每个模块在受限的修改范围内独立演化随后进行跨模块集成形成统一脚手架。对于行为级信用分配它对比同一任务内的成功与失败轨迹并跨任务聚合证据以识别超越任务特定变化的反复出现的缺陷同时引导对负责脚手架机制的局部化更新。为了对可泛化脚手架 RSI 进行干净的评估我们建立了基准不相交的演化协议并从与下游基准不相交的外部来源整理了 2,000 个可执行任务。在 TerminalBench 2.0 和 SWE-Bench Verified 上的实验表明该方法在未见任务、领域和基础模型上具有一致的泛化能力同时受控研究证明了模块化演化、对比轨迹分析及其他一些组件的优势。我们的主要贡献总结如下我们将可泛化脚手架 RSI 形式化为一个基准不相交的信用分配问题并提出 ModularRSI在两个互补层级上执行信用分配。对比轨迹分析识别反复出现的行为缺陷而模块受限演化则定位并实施相应的机制级改进。我们建立了基准不相交的演化协议并从外部数据源独立整理了 2,000 个可执行的演化任务。通过可执行验证、人工质量控制和相似性筛查该资源使得脚手架自我改进研究无需直接接触下游基准实例。我们在 TerminalBench 2.0 和 SWE-Bench Verified 上广泛评估了 ModularRSI。演化后的脚手架在未见任务、演化领域和基础模型上具有泛化能力。受控研究进一步表明在匹配预算下模块化演化显著优于联合演化和非模块化演化而移除对比归因会降低性能支持了行为级和机制级信用分配的重要性。图 1ModularRSI 概览。该框架收集并分析对比轨迹执行模块级脚手架修改并通过验证门保留修改。2 相关工作2.1 智能体脚手架与自我改进随着编程模型的进步Yang et al., 2026a;b可执行环境和经过验证的轨迹为智能体改进提供了可扩展的信号Wu et al., 2026a; Gandhi et al., 2026; Cheng et al., 2026。近期工作利用轨迹反馈来优化提示和外部智能体机制Agrawal et al., 2026; Zhang et al., 2026c; Fan et al., 2026诊断失败并定位可编辑组件Lin et al., 2026; Chen et al., 2026a或通过合成脚手架代码直接演化智能体Zhang et al., 2026b; Lou et al., 2026; Lee et al., 2026; Ren et al., 2026。2.2 自我改进中的泛化一个核心挑战是区分可迁移的改进与对开发数据的适应。HarnessDev 及相关研究考察了脚手架演化、反馈预算和留出泛化Wu et al., 2026b; Wang et al., 2026。Aspire 研究了隐藏评估下的权重和脚手架演化Wu et al., 2026c而 S3Gym 通过历史、记忆或参数更新将自测试、自评判和改进分离Shi et al., 2026。尽管有这些进展现有的脚手架演化方法通常依赖基准衍生数据或将脚手架视为单一整体使得可泛化的细粒度改进仍未得到充分探索。我们通过基准不相交的演化数据集和协议来填补这一空白并提出 ModularRSI它使用对比轨迹分析来指导独立的、模块受限的演化随后进行跨模块集成。3 方法3.1 MODULARRSI 概览如图 1 所示ModularRSI 通过模块受限演化和随后的跨模块集成来组织脚手架自我改进。它从相同的初始脚手架独立演化五个功能模块不共享中间更新。在每个模块特定的谱系内对比轨迹归因识别行为缺陷并通过三个阶段指导局部化的功能更新(i) 对比轨迹采样与分析从执行证据中识别行为缺陷(ii) 模块级脚手架演化3.2 脚手架模块化我们将 HarborMerrill et al., 2026中 Terminus-2 的行为机制重新组织为五个功能模块。基于我们对脚手架实现和执行轨迹的分析该分解涵盖了直接介导智能体-环境交互的机制。基础设施组件如沙箱初始化、并行执行和 LLM 通信不在演化范围内。我们将 HarborMerrill et al., 2026中 Terminus-2 的行为机制重新组织为五个功能模块。基于我们对脚手架实现和执行轨迹的分析该分解涵盖了直接介导智能体-环境交互的机制。基础设施组件如沙箱初始化、并行执行和 LLM 通信不在演化范围内。(1) 智能体循环控制推理-行动-观测循环包括执行流、交互控制和恢复行为(2) 观测管理在过滤或压缩噪声观测的同时保留任务相关的环境反馈(3) 工具使用管理工具选择、调用和验证(4) 上下文管理通过信息保留、压缩和检索来维护交互历史(5) 任务完成检测确定任务是完成还是需要进一步交互。每个模块为后续演化定义了不同的功能范围。在执行过程中智能体循环协调其他模块并构建提示供 LLM 与环境交互。模块交互和函数接口详见附录 B。3.3 对比轨迹采样与分析轨迹记忆Trajectory Memory存储每个任务跨演化轮次的历史轨迹和奖励在当前 rollout 不足时提供额外证据。代码修改智能体Code-Modify Agent针对目标模块分析每个任务。对于 Contrastive 组它比较同一任务的成功与失败轨迹以识别与不同结果相关的函数级因素。对于 Negative 组它在可用时检索历史成功轨迹并将其与当前失败轨迹配对进行同任务比较。否则它仅从失败轨迹中诊断明显的执行缺陷。对于 Positive 组它检查成功轨迹寻找提高执行质量和效率的机会。诊断结果记录为结构化 JSON 发现指定所分析的模块、支持性轨迹证据、支持或反对修改的理由以及适用时的建议更改。分析提示和输出模式见附录 J.1 和 I。3.4 模块级脚手架修改在每个独立的演化谱系内代码修改智能体将第 3.3 节的发现转换为限制在目标模块内的函数更新。两种机制指导这些更新的选择和实施。修改目标选择。对于每个批次我们将针对同一函数语义相似的诊断合并为候选修改。每个候选获得一个投票计数等于提供支持证据的不同任务数。然后按投票计数对候选进行排序并优先选择前 K 个候选进行修改从而关注反复出现的缺陷而非实例特定的失败。我们在所有实验中设置 K10。3.5 验证门每个函数更新必须通过三个顺序验证门才能被保留。任何门失败都会使用记录的差异触发回滚。程序检查。静态检查验证修改后的脚手架的有效性以及与周围系统的兼容性包括导入和协议合规性。差异审查。代码修改智能体检查修改差异寻找任务特定的解决方案、启发式方法或不太可能泛化到演化实例之外的条件。审查提示见附录 J.3。执行验证。我们从当前批次中随机抽取两个任务使用修改后的脚手架执行以检测运行时错误或违反预期执行协议的情况。额外验证细节见附录 C。3.6 跨模块集成独立演化后我们将验证过的模块变体组合成统一脚手架。尽管每个变体在其自身功能范围内开发但组合它们可能引入重复机制、冲突行为或不一致的交互。因此我们在演化集上额外执行一个跨模块集成轮次。代码修改智能体分析集成脚手架的轨迹以识别跨模块冲突然后通过移除重复机制、明确职责和调整协调逻辑来精炼模块交互。集成提示见附录 J.4。3.7 函数库管理随着模块级演化的扩展函数库不断增大我们通过两种互补机制控制模块内冗余和任务特定函数激活。函数合并。在演化过程中LLM 比较每个模块内的函数描述和行为合并功能相似或重叠的函数以减少冗余同时保留已学能力。函数合并在下游评估期间不应用。任务感知函数组合。每个演化后的函数都有其当前行为的自然语言描述。给定任务描述和所有候选函数的描述LLM 选择任务相关的子集只有这些函数在执行期间被激活。组合器在轨迹收集和下游评估期间都运行。跨模块集成后函数库被冻结。下游评估允许从该固定库中进行任务感知选择但不进行进一步的函数合并或修改。4 演化数据集与协议在 TerminalBench 和 SWE-Bench 系列的高层任务类别指导下人工标注者从外部来源检索公开可用资源包括 GitHub 仓库、Hugging Face、Kaggle 和 Linux 内核文档。这些资源用于以 Harbor 格式构建新的可执行任务。基准仅提供类别级检索指导在任务构建期间不使用任何基准实例或任务特定信息。所有实例都经过多阶段质量控制流程。基于 LLM 的过滤评估环境完整性检查所需数据、依赖项、文件和工具的可用性实用性和非平凡性排除人为或过于简单、推理或交互有限的任务以及评估器有效性要求测试评估功能正确性而非表面完成度。可执行验证要求参考解决方案 solution.sh 通过所有任务特定测试且无操作提交不获得正奖励。然后对每个实例进行人工审查检查任务清晰度、环境完整性和评估器正确性随后进行基于 LLM 的语义相似性筛查以移除与基准高度重叠的实例。如附录 E 中图 4 所示我们整理了 2,000 个高质量、基准不相交的演化实例任务类别相对平衡TB 相关和 SWE 相关子集之间的分布大致可比。它们不同的构建来源限制了重叠SWE 相关任务涉及 GitHub 上的仓库级软件工程而 TB 相关任务侧重于直接终端交互。该数据集为研究脚手架自我演化是否产生可泛化改进而非基准特定适应提供了基础。5 实验设置5.1 基准为验证 ModularRSI 的有效性我们在两个近期且具有挑战性的终端相关基准上对其进行评估TerminalBench 2.0Merrill et al., 2026和 SWE-Bench-VerifiedJimenez et al., 2024。TerminalBench 2.0 包含 89 个多样化的长时程终端任务而 SWE-Bench-Verified 包含 500 个来自真实世界仓库的人工验证软件工程任务。它们共同提供了对通用终端交互和仓库级软件工程的互补评估。为保证可复现性我们使用原始发布的基准版本并在 Harbor 框架下进行所有评估。5.2 指标考虑到评估结果的稳定性以及比较不同脚手架效率和性能的需要我们评估以下四个指标准确率Acc准确率衡量所有 rollout 轨迹的平均成功率。如果智能体根据任务特定评估器成功完成任务则该轨迹被视为成功。Pass3Pass3 衡量智能体是否能在三次独立 rollout 尝试内成功解决任务。如果至少有一条轨迹成功则该任务计为已解决最终分数在所有评估任务上取平均。StepNumStepNum 衡量每次 rollout 所需的智能体-环境交互步骤的平均数。它反映智能体的执行效率步骤越少通常表示问题解决过程越高效。Pass3Pass3 衡量智能体在 3 次独立 rollout 尝试中的一致性和可靠性。只有当所有 3 条轨迹都成功时任务才计为成功解决最终分数在所有评估任务上取平均。5.3 实现细节ModularRSI 中每个模块特定的演化谱系演化 3 个轮次。五个独立演化的模块随后通过一个跨模块集成轮次组合。对于以联合方式演化整个脚手架的不同方法或设置的实验我们调整轮次数以匹配 ModularRSI 的总演化预算详见第 6.3 节和第 6.5 节。由于计算和时间限制我们从 2,000 个实例演化数据集的 TB 相关和 SWE 相关子集中各选择 120 个实例进行脚手架演化。用于演化的主要模型是 DeepSeek-V4-Flash-Preview。我们为部署的模型提供每分钟 200 万 token 的 TPM 限制并在整个演化过程中使用批量大小 10。在本工作中我们将 Terminus-2 视为无演化No-Evol基线。表 1演化后脚手架的跨基准迁移。在 TB 相关或 SWE 相关任务上演化后每个脚手架在两个留出基准上评估。6 结果6.1 超越演化经验的泛化脚手架 RSI 的核心挑战不仅在于提高用于演化的任务上的性能还在于发现能泛化到演化经验之外的脚手架修改。为评估这一能力我们构建了两个独立的演化集即 TB 相关和 SWE 相关。从每个集合中我们采样 120 个实例进行脚手架演化得到 120 个 TB 相关和 120 个 SWE 相关演化任务。然后我们在域内和域外设置下在 TerminalBench 2.0 和 SWE-Bench-Verified 上评估演化后的脚手架。演化集不包含任何下游基准实例、轨迹、评估器反馈或任务特定内容基准分类法仅用作源覆盖的粗粒度类别指导。如表 1 所示以 DeepSeek-V4-Flash-Preview 作为骨干模型ModularRSI 在不同演化设置下的两个评估基准上均持续提升性能。在域内设置中演化后的脚手架将 TerminalBench 2.0 上的准确率从 47.57 提升至 52.43将 SWE-Bench-Verified 上的准确率从 73.40 提升至 76.40。我们进一步分析了连续 RSI 代际的性能观察到在整个演化过程中基本单调的改进见附录 M。更重要的是这些增益可迁移到演化领域之外。在 TB 相关数据上演化的脚手架将 SWE-Bench-Verified 准确率提升至 75.80而在 SWE 相关数据上演化的脚手架将 TerminalBench 2.0 准确率提升至 49.44。这些结果表明ModularRSI 发现了对底层智能体执行机制的可复用改进而不仅仅是专门适应演化过程中遇到的任务。值得注意的是TB 2.0 上 Pass3 的增益尤为显著从 30.34 提升至 35.96。这一改进表明脚手架演化不仅提高了平均任务解决能力还增强了执行可靠性减少了重复试验中的随机失败。6.2 跨模型泛化除了任务级泛化之外我们进一步检查所发现的脚手架改进是否可跨不同基础模型迁移。由于不同模型在规划、工具交互和错误恢复方面表现出不同行为模型特定的优化可能无法泛化。为评估这一能力我们冻结在 TB 相关演化集上用 DeepSeek-V4-Flash Preview 演化的脚手架并将其应用于 TerminalBench 2.0 上的不同基础模型。表 2在 TB 2.0 上使用演化脚手架在不同推理模型上的泛化。推理模型方法Acc↑Pass3↑Pass3↑GLM-5.2无演化基线59.5570.7946.07GLM-5.2ModularRSI61.8074.1649.44MiniMax-2.5无演化基线41.5756.1824.72MiniMax-2.5ModularRSI44.9457.3030.34DS-V4-Flash无演化基线47.5758.4330.34DS-V4-FlashModularRSI52.4365.1735.96如表 2 所示演化后的脚手架在所有评估的基础模型上持续提升 Acc、Pass3 和 Pass。例如演化后的脚手架将 GLM-5.2 准确率从 59.55 提升至 61.80将 MiniMax-2.5 准确率从 41.57 提升至 44.94。此外我们使用不同模型作为演化骨干应用 ModularRSI。如附录 D 所示ModularRSI 持续6.3 模块化演化的效果我们检查 ModularRSI 的增益是来自更大的演化暴露还是来自模块化演化本身。我们与联合全模块演化和非模块化整体脚手架演化进行比较。所有方法每个任务使用 3 条 rollout 轨迹两个替代方案均演化 16 个轮次以匹配 ModularRSI 五个模块各三轮演化加一个跨模块集成轮次的总演化预算。如表 3 所示更大的自我修改空间不一定有利于 RSI。在相同的轨迹和演化预算下联合全模块演化和无限制整体脚手架演化都比初始脚手架表现更差而独立局部化演化将准确率从 47.57 提升至 52.43。这表明在基准不相交的脚手架 RSI 中修改系统更多部分的能力可能增加信用分配模糊性而不是改善适应。表 4 进一步显示所有独立演化的模块都提高了准确率但具有不同的行为效果。智能体循环提供最大的单模块准确率增益而观测管理将执行步骤从 34.70 大幅减少至 22.50。跨模块集成进一步将准确率提升至 52.43表明独立演化的模块捕获了互补的改进可以有效地组合。表 3TerminalBench 2.0 上不同脚手架演化策略的比较。方法Acc ↑Pass3 ↑Pass3 ↑StepNum ↓无演化基线47.5758.4330.3434.70非模块化演化46.4464.0424.7229.03联合全模块演化44.1961.8024.7244.34ModularRSI本文52.4365.1735.9635.57表 4TB 2.0 上单模块演化和跨模块集成的性能。单模块演化下的每一行报告从模块化 Terminus-2 独立演化一个模块所获得的脚手架。方法Acc ↑Pass3 ↑Pass3 ↑StepNum ↓无演化基线47.5758.4330.3434.70单模块演化上下文管理49.4461.8030.3435.10工具使用50.1962.9230.3441.28智能体循环50.5664.0434.8340.40观测管理49.8165.1733.7022.50任务完成检测49.4465.1731.4631.06跨模块集成ModularRSI本文52.4365.1735.9635.576.4 消融研究我们进行消融研究以检查 ModularRSI 中三个关键组件的贡献对比轨迹分析CTA、函数库管理FLM和验证门VG。我们单独移除每个组件同时保持其余演化设置不变并在 TerminalBench 2.0 上评估所得脚手架。表 5TB 2.0 上 ModularRSI 中 CTA、FLM 和 VG 的消融研究。方法Acc ↑Pass3 ↑Pass3 ↑ModularRSI52.4365.1735.96ModularRSI 无 CTA50.5664.0434.83ModularRSI 无 FLM49.8162.9231.46ModularRSI 无 VG48.3161.7930.34无演化基线47.5758.4330.34如表 5 所示所有三个消融都导致明显的性能下降表明这些组件解决了脚手架演化的互补方面。移除 CTA 将准确率从 52.43 降至 50.56表明对比成功和失败轨迹为识别反复出现的行为缺陷提供了更可靠的信号。没有 VG准确率降至 48.31表明显式验证对于防止无效或有害修改在演化过程中被保留很重要。FLM 有实质性影响移除它使准确率降至 49.81在 Pass3 和 Pass3 上观察到进一步退化。这一结果表明简单地累积演化函数是不够的合并冗余函数和选择任务相关函数对于减少独立演化改进之间的干扰很重要。附录 K 中的案例研究进一步说明了对比轨迹分析如何识别跨轨迹反复出现的行为缺陷并将其转化为可复用的脚手架改进而非任务特定的修复。6.5 与现有 RSI 方法的比较我们在第 5.3 节描述的统一下基准不相交演化协议下将 ModularRSI 与 AHE 和 Meta-Harness 进行比较。所有方法从相同的 Terminus-2 脚手架开始使用相同的演化数据、骨干模型DeepSeek-V4-Flash-preview和匹配的演化预算进行演化。实现细节见附录 F。如表 6 所示AHE 和 Meta-Harness 相比初始脚手架仅提供适度改进准确率分别从 47.57 提升至 49.81 和 49.44。相比之下ModularRSI 达到 52.43 的准确率在 Pass3 和 Pass3 上也观察到一致的改进。由于所有比较方法共享相同的初始脚手架、演化数据、基础模型和演化预算更大的改进不能简单归因于更多的轨迹暴露或额外的演化轮次。相反结果表明具有更精确信用分配的模块化演化能够更有效地发现可泛化的脚手架改进。表 6TerminalBench 2.0 上与现有脚手架演化方法的比较。方法Acc↑Pass3↑Pass3↑无演化基线47.5758.4330.34Meta-Harness49.4461.8031.40AHE49.8164.0433.70ModularRSI本文52.4365.1735.96这一结果与我们的核心设计假设一致在基准不相交演化下有效的脚手架 RSI 需要将执行经验转化为可复用的机制级改进而不是从任务级反馈中广泛修改脚手架。ModularRSI 通过对比轨迹归因和模块受限演化来约束这一过程从而缩小信用分配空间并减少无关脚手架机制之间的干扰。因此结果表明当演化经验与下游评估任务不相交时这些约束尤其有益。6.6 演化数据的扩展基准不相交的演化数据和统一实验协议下的公平比较对于评估 RSI 方法的泛化能力很重要。为评估我们整理的演化数据集的质量和效用我们检查增加演化实例数量是否能为 ModularRSI 带来进一步的性能增益同时将演化轮次固定为一个。我们使用 DeepSeek-V4-Flash-Preview 作为骨干模型并在 TerminalBench 2.0 上评估演化后的脚手架。如图 2 所示我们使用 120、240、360 和 600 个演化实例运行 ModularRSI。随着演化数据量的增加性能持续提升呈现持续上升趋势。这些结果表明ModularRSI 可以从扩展高质量演化数据中受益并进一步证明了我们整理数据集的质量和效用表明其更广泛的子集可以有效地支持脚手架演化。图 2ModularRSI 在 TerminalBench 2.0 上的准确率随演化数据集大小的变化。7 结论我们提出 ModularRSI一个用于可泛化脚手架自我改进的基准不相交模块化框架。通过对比执行轨迹并独立演化脚手架模块ModularRSI 识别可复用的机制级改进同时减少任务特定适应。在 TerminalBench 2.0 和 SWE-Bench Verified 上的实验表明该方法在未见任务、领域和基础模型上具有一致的增益。总体而言我们的结果证明了基准不相交、对比式和模块化演化在构建更可泛化的自我改进智能体脚手架方面的潜力。
分析与三地址码生成)
