note研究背景现有 Agent 自进化方法AHE、GEPA、A-Evolve、Hyperagents缺乏统一的执行、评测与组合框架难以公平比较和复用。核心方法统一进化闭环Select → Rollout → Analyze → Mutate → Guardrail → Evaluate → Absorb通过任务执行、失败分析、候选修改、独立评测和版本吸收实现 Agent 持续迭代。可组合进化策略集成四种已有方法支持优化 Prompt、Skills、Harness 等 Agent 组件而非直接更新模型权重。隔离评测机制划分 Train、Gate、Sealed 三类任务分别用于进化反馈、候选筛选和最终泛化评测并支持版本追踪。Evolution Loop七阶段Select从已有版本中选择一个 Parent Agent例如 Gen3。Rollout让 Gen3 执行训练任务收集成功、失败、工具调用和执行轨迹。Analyze分析轨迹提炼错误原因与改进建议。Mutate修改允许编辑的 Agent 文件产生新 Candidate。Guardrail检查修改有没有越界例如是否改动受保护的评测文件。Evaluate使用冻结的评测器在 Gate 任务上评估新 Candidate。Absorb记录结果按策略决定是否接纳候选版本。实验结果基于 MiniSWE、Codex 两类 Agent 基座在 Terminal Bench 2 上最大实现 pass1 提升 13.5 个百分点不同进化策略各有优势但存在对训练任务过拟合、未见任务泛化不足的问题。文章目录note一、研究动机问题不在算法在账本二、论文核心Recipe 生命周期 可验证证据1. 核心抽象Recipe配方2. 七阶段生命周期3. 三层数据切分可信度的关键4. 可验证存证Certified Record三、实验设计三组问题对照近乎苛刻四、实验结果1. 进化有效性表 12. 执行保真度表 23. 完整性与恢复表 34. 开销与集成成本附录 B五、分析价值与边界值得重视的三点必须注意的局限论文自承点评六、延伸资源Reference一、研究动机问题不在算法在账本概括RSIHub 不是一个新的智能体自我进化算法而是一套让这些算法能在同一赛道、同一把尺子下公平比较的开源基础设施——把进化策略与执行、打分、存证拆开用可审计的证据链解决该领域长期存在的复现与归因难题。论文信息arXiv:2610.32253v1ByteDance / Simple Agent Lab 等机构2026-10-22Apache-2.0 开源。链接https://simpleagentlab.com/RSIHub/https://github.com/simple-agent-lab/RSIHub智能体进化agent evolution指 LLM 智能体在任务执行后依据反馈自动修改提示词、技能、工具或编排方式把改进持久化。已有大量方法Reflexion、Self-Refine、Promptbreeder、A-Evolve、AHE、GEPA、Hyperagents、DGM、AlphaEvolve 等。作者指出一个尖锐的归因风险attribution risk当一个方法既能改提示词、又能改工具链、甚至还能改怎么打分、怎么记日志时——它声称的性能提升到底是真的变聪明了还是悄悄改了测量条件三种污染路径方法侧修改评估器→ 尺子被换了方法侧改写执行记录→ 证据被改写了方法侧越界编辑不该改的文件→ 改进不可归因。工程层面同样浪费各家都在重造 workspace、容器执行、轨迹采集、检查点恢复、血统追踪。想比较两种策略先要对齐三套运行时。这就是 RSIHub 的出发点把方法策略做成可插拔算子把执行、打分、存证、恢复做成方法碰不到的受保护运行时。 关注Figure 1论文第 1–2 页架构图直观展示 Recipe 驱动与 Agent 驱动两种模式下方法算子与框架受控阶段如何分离。二、论文核心Recipe 生命周期 可验证证据1. 核心抽象Recipe配方一份声明式配置做三件事绑算子为每个生命周期阶段指定实现如select: pareto、mutate: gepa声明可变面include: [target/**]明确本实验允许改哪些文件指定运行配置target 智能体、评估器、运行时、数据切分。四条设计原则可互换零件组装方法 / 明确能改什么能看什么 / 其余管线只实现一次 / 把打分挡在方法够不到的地方。2. 七阶段生命周期Select → Rollout → Analyze* → Mutate → Guardrail → Evaluate → Absorb必需算子5Select、Rollout、Mutate、Gate、Record。可选算子4标*Analyze、Validate、Novelty、Reflect。要点提案在Evaluate 之前不提交Guardrail 对候选做真实目录树 diff对照声明的 surface 强制校验Validate / Novelty 在评估前过滤不合规或重复提案节省预算。3. 三层数据切分可信度的关键切分用途参与反馈train进化反馈来源✅gate候选准入判断❌sealed留出集报告❌sealed 既不进反馈也不进选择是真正的盲测。4. 可验证存证Certified Record每次评估把以下要素哈希绑定成一个内容寻址 contract候选 commit、父代、配方快照、评估器指纹、数据/任务集摘要、切分与重复设置、模型与运行时身份、框架版本。框架写受保护的打分字段算子只能提议注解由框架过滤后写入。评估落盘后才允许 Gate 决策 → 天然形成恢复检查点。三、实验设计三组问题对照近乎苛刻问题怎么测RQ1能否支持有效进化4 方法 × 2 种子 × 2 benchmark模型与评估器全固定RQ2框架本身是否改变能力Direct-A / RSIHub 第 0 代 / Direct-B 交错各 3 次重复RQ3完整性与可恢复性mutation/evaluation/收据写入后断电重启伪造改评估器、越界写、伪造归档设置要点种子智能体MiniSWE、Codex模型统一GPT-5.4高推理强度变异智能体同模型 xhigh。BenchmarkTerminal Bench 289 任务50 train / 19 gate / 20 sealed、τ³ Banking9750/20/27。指标pass1每任务 1 次最多 10 代每代 1 个子代。 关注Table 1论文第 7–8 页四种方法各自的算子组合与变异焦点prompt / target / 全套等。四、实验结果1. 进化有效性表 1Terminal Bench 2 MiniSWE最强配置四种方法全部提升 7.8–13.5 个百分点Hyperagents 与 A-Evolve 并列 69.713.5全文最大增幅。换成更强的 Codex 种子69.7 基线空间骤小AHE 71.92.2Hyperagents 与 A-Evolve 1.1GEPA 原地不动0.0。τ³ Banking 上排名又换Hyperagents 对 MiniSWE 最好27.8→33.05.2但AHE 对 Codex 最好24.7→34.09.3GEPA 紧随 33.0。分层结果暴露关键陷阱——只看 Overall 会误判Terminal Bench 2 CodexAHE、Hyperagents 的gate 切分反而降 3.4 / 2.2 点τ³ Banking MiniSWEHyperagents 拿到最大 Overall 增益但sealed 倒退 2.1 点A-Evolve MiniSWE 拿到最大 train 增益7.9但gate 零提升。作者结论很诚实没有一种方法跨 benchmark、跨种子、跨切分占优更高总分可能掩盖留出集回退。 关注Table 1论文第 8 页train / gate / sealed / overall 四项拆分数据是全文最重要的一张表。2. 执行保真度表 2框架中介执行 vs Direct 执行Terminal Bench 2 上两智能体均为−2.6 点τ³ Banking 上为 −2.6 / 3.4 点。关键Direct 两次执行自己就在12.0%–18.9% 的任务上互相矛盾D–D 一致性仅 80%–88%。意味着 2–3 个百分点的差异很可能落在任务级随机性范围内单轮微弱优势不能宣称显著。 关注Table 2论文第 9 页Avg3、D–D 与 D–R 一致性、超额分歧。3. 完整性与恢复表 3420 次故障注入试验全部 30/30 通过、无一例接纳损坏状态mutation 中断恢复4.72s、evaluation 中断恢复、收据对账、拒绝评估器文件改动、剔除越界写入、屏蔽 gate/sealed/anchor 证据访问、伪造归档一律 fail-closed。 关注Table 3论文第 9–10 页7 类故障/越界场景 × 2 benchmark 的恢复与拦截结果。4. 开销与集成成本附录 B运行时开销可忽略框架独占时间占整代0.019%–0.02%中位数。集成成本极低四种方法各需47–61 行配方、复用 2 个算子绑定、零框架源码改动方法专属算子代码 216–1087 行。 关注Table 6 与 Table 7附录配方行数、算子代码量、运行时开销细分。五、分析价值与边界值得重视的三点定义了一种诚实协议——打分与存证置于方法权限外用内容指纹把改进与测量条件变化分开回应了自我改进研究中改进还是改尺子的元问题。分层报告是方法论示范——train / gate / sealed 分列让总分提升但留出集回退无所遁形比单纯刷榜更有科学价值。实验克制难能可贵——主动报告框架本身带来 −2.6 点偏差、声明单轮结果不显著、承认 420 次试验只覆盖既定攻击面自我检验在同类工作中少见。必须注意的局限论文自承证据保证建立在信任框架服务之上依赖宿主与文件系统保护、Git 与摘要运算、外部服务可信不含恶意代码更强部署需独立证明与隔离。可审计 ≠ 可遏制配方与候选适配器仍可在宿主机执行越出容器隔离审计与回滚不能撤销已发生的外部动作或数据泄露。4 种方法均为接口级适配非与原文逐字节等价——提示词、模型、预算、依赖不同结论不能外推为某方法本身更优。实验为固定配方的 run未验证 agent-driven 自适应改配方路径且仅测一个目标模型GPT-5.4。数据成本固定模型 10 代 双 benchmark未给出精确 GPU/API 费用复现预算需自行评估。点评RSIHub 的贡献更像给混乱的 Agent 进化赛道修了一条有监控、有里程碑、有黑匣子的标准赛道——它不替你赢比赛但让每一次加速都可归因、可复现、可回滚。论文用 13.5 个百分点的实测增益证明赛道跑得动又用分层回退与 420 次故障注入提醒你跑得快不等于方向对。六、延伸资源代码https://github.com/simple-agent-lab/RSIHub Apache-2.0项目页https://simpleagentlab.com/rsihub/底层执行基座Harbor Framework v0.18.0容器化评估与轨迹采集对应领域综述AI4AI survey区分 measured gains / retention / held-out transferReference[1] RSIHub: A Composable Frameworkfor Agent-Evolution Methods[2] 字节联合开源RSI统一实验底座Agent自进化策略可搭配组合
