如何让你的Agent自动打分?launch-your-agent的Outcome评分循环完全实战指南

发布时间:2026/10/16 1:53:05
如何让你的Agent自动打分?launch-your-agent的Outcome评分循环完全实战指南 【免费下载链接】launch-your-agentClaude Code skills that take a founder from idea to a live Claude Managed Agent: interview, scope a v0, launch in their own account, grade it, iterate, and schedule it项目地址https://gitcode.com/gh_mirrors/la/launch-your-agent点击查看免费下载为什么你的 Agent 需要自动打分很多新手在搭 Agent 时都有一个痛点Agent 干完活到底算不算做好了如果每次都要人肉盯着、逐条检查那 Agent 就只是一个更贵的聊天框而不是一个可以托付的自动 worker。launch-your-agent正是为解决这个问题而生的一个 Claude Code skill它跑在Claude Managed AgentsCMA上带你从想法一路做到上线——访谈需求、划定 v0 范围、在你自己的账号里发布 Agent、按你定义的完成标准自动打分Outcome 评分循环、迭代改进最后把合格的任务挂上定时部署。其中最值得新手重点学会的就是Outcome 评分循环任务 评分标准rubric 迭代上限max_iterations三件套交给 CMA 托管的独立评分器graderAgent 做完 → 打分 → 不通过自动重做全程不用你手动打分。Outcome 评分循环Agent、评委和迭代上限把 Outcome 循环想象成学生写作业、老师批改的闭环角色对应 CMA 概念职责学生Agentagent_…领取任务、干活、产出文件作业要求 评分细则descriptionrubric说明做什么和做到什么程度算对老师自动评分器grader逐条打分给出通过/修改结论和理由重做次数上限max_iterations防止无限返工默认 3最大 20作业本Sessionsesn_…一次运行的完整记录含全部评分历史三个关键设计值得新手记住评委是独立上下文的。grader 由系统自动配置运行在与 Agent 隔离的上下文窗口里不受 Agent自我感觉良好的影响——这就是它敢自动停下来的底气。评分结论会驱动下一轮。grader 返回的不通过 解释会直接反馈给 Agent作为新一轮迭代的输入。每个 Session 同时只跑一个 Outcome但可以串接上一个 Outcome 结束后再下发新的。这个循环在 cma-primitives.md 的 Outcomes 一节有完整机制说明是理解自动打分的原理手册。三步搭出你的自动打分 Agent完整流程由 skill 的四个阶段驱动访谈 → 搭建发布 → 评分迭代 → 无人值守运行自动打分发生在第三阶段Grade, iterate, eval见 SKILL.md第 1 步定义任务 写好评分细则rubric访谈阶段见 interview.md会追问一句很关键的话什么叫做好了具体一点你会检查什么答案会被收敛成 3–6 条二元评分项例如输出是一个 markdown 文件恰好列出 5 条最重要信息每条都带来源链接每条附一句为什么重要的说明无臆造事实好 rubric 的三个要点每条都能独立判定通过或不通过。模糊的条目写得不错会导致评分结果不稳定从过往的优秀案例反推——如果你有历史上的好答案官方文档明确建议从它身上提炼评分标准rubric 放在任务开场kickoff里而不是系统提示词里。这个位置的小差别换来的是以后想调严标准改一下 rubric 重跑即可不用给 Agent 升版本迭代成本几乎为零。第 2 步一键下发 OutcomeAgent 自动开工skill 创建 Session 后会用一个user.define_outcome事件把任务描述 rubric max_iterations一次性下发命令形态可参考 cma-api.md 的 Kickoff events 一节。Agent 收到后立即开工产出文件统一写到会话输出目录每轮结束后 grader 自动评分结论以outcome_evaluations[]的形式记录在 Session 上随时可查、可审计。第 3 步看结论按规则迭代运行结束后skill 会先读评分器的结论result explanation再把 Agent 的产出和 rubric 逐条对照成一张标准 | 结论 | 证据的评分表然后一次只改一处不通过的类型改哪里代价标准写得不够清楚编辑 rubric新 Session 重跑最便宜无需升版本提示词/工具/技能问题更新 Agent同 ID版本号 1产生新版本任务描述不清改任务文本重新下发便宜记住一句话第一次跑不完美是预期结果——评分 → 迭代 → 再评分本身就是这个 skill 想教给你的核心能力。读懂 5 种评分结论verdict每次评分结束后系统会给出一个结论含义各不相同结论含义该怎么应对satisfied全部标准通过Session 回到 idle进入黄金测试集验证考虑上定时任务needs_revision有标准没通过自动进入下一轮看 explanation找出最弱的那条标准max_iterations_reached达到max_iterations上限仍未通过停下来人工介入通常是任务或标准本身有问题failedrubric 与任务根本性不匹配重写 rubric别硬跑interrupted被user.interrupt中断视需要继续或放弃想实时盯盘可以流式监听span.outcome_evaluation_start / _ongoing / _end事件或者直接轮询 Session 接口读取outcome_evaluations[].result在 Consoleplatform.claude.com → Managed Agents里也能直接看到会话时间线和评分历史。黄金测试集让 Agent 稳定下来单次跑通只是开始。skill 的做法是把你的真实历史案例变成回归测试集你有 2–5 个已知正确答案的旧案例 → 留 1 个作为 v0 的启动输入其余扣住held back等 Agent 版本跑通 rubric 后逐案例各开一个 Session、固定同一 Agent 版本重跑收集结论与成本只有 1 个优秀成品 → 从它反推 rubric拿它当首次评分的参照物有真实输入但没有标准答案 → 你本人就是评分器首轮人工逐条判分把判断沉淀成更锐利的 rubric 条目喂给第二轮完全没有历史数据 → 关闭会话时把当天验证通过的输出保存为evals/case-01的期望结果——它就是未来所有新版本的回归基线。这一步的价值在于防回归每次升级 Agentv2、v3…之前重跑黄金测试集、对比新旧版本的结论就能抓出修好了一个案例却弄坏了另一个的情况。这也是为什么 skill 会要求把新版本 Agent 部署上线前先重跑一遍 evals。新手最常踩的 6 个坑max_iterations开太大。默认 3 就够了只有任务确实难啃、且单次运行成本美分级可接受时才往 5–10 调上限 20。把 rubric 写进系统提示词。后面想调标准就得给 Agent 升版本白白增加成本。一次改多处。改完不知道是哪处生效调试直接乱套——坚持一次只改一处。评分项含糊。写得清晰无法判定改成每条不超过 200 字才可靠。跳过保留测试案例。只有一个案例跑通就宣布完成换一批输入可能立刻翻车。上线前不重跑黄金集。部署到定时任务scheduled deployment之前先重跑 evals别让修 A 坏 B的版本静默运行。收尾从会打分到无人值守当某个 Agent 版本稳定通过评分循环后skill 的第四阶段就接上了重复性任务直接创建定时部署cron 时区 initial_events原样重放每次运行先手动触发一次验证再放心交给 cron。到这里你的 Agent 就真正具备了 worker 的形态自己干活、自己接受打分、不达标自己返工、按钟表定期运行。关键文件速查文件看什么SKILL.md四阶段主流程重点读 Phase 3Grade, iterate, evalcma-primitives.mdOutcome 原语机制grader、verdict、max_iterations上限interview.md如何把什么叫做好了变成 3–6 条可判定标准cma-api.mduser.define_outcome下发与结果轮询的命令形态build-sheet.example.json构建清单样例rubric 在整份设计里如何落位ui/agent-overview-example.html总览页示例本地浏览器打开看 rubric 和评分卡片如何展示上手方式克隆仓库后进入目录启动 Claude Code输入/launch-your-agent触发整个流程完成后输入/wrap-up做收尾复盘。你的第一个会自己接受打分的 Agent就是从这里开始的。赞分享【免费下载链接】launch-your-agentClaude Code skills that take a founder from idea to a live Claude Managed Agent: interview, scope a v0, launch in their own account, grade it, iterate, and schedule it项目地址https://gitcode.com/gh_mirrors/la/launch-your-agent点击查看免费下载相关推荐如何用launch-your-agent快速启动你的第一个Claude托管Agent10分钟从git clone到上线的完整教程如何用launch your agent快速启动你的第一个Claude托管Agent10分钟从git clone到上线的完整教程 launch your ag如何让自己的 AI Agent Harness 登上榜单best-of-Agent-Harnesses 贡献流程与评分标准完整指南如何让自己的 AI Agent Harness 登上榜单best of Agent Harnesses 贡献流程与评分标准完整指南 ! best of AgeFastLED ESP32 RMT5 驱动 WiFi 抗干扰深度解析中断优先级饥饿问题与修复方案FastLED ESP32 RMT5 驱动 WiFi 抗干扰深度解析中断优先级饥饿问题与修复方案 导读 本文基于 FastLED 仓库中 README_RMT创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

关于本文作者

来自尧图内容编辑团队

尧图内容编辑团队 内容团队

尧图内容编辑团队

本文由尧图网络内容编辑团队执笔。团队由资深项目经理、前端工程师与设计师组成,所有内容均来自亲手交付的真实项目,先讲清问题、再给出可落地的解法。尧图深耕北京网站建设十年,服务过京华建材集团、智造科技等各行业客户,把一线经验沉淀为可复用的行业观察。

  • 十年建站经验,覆盖建材、制造、服务、文创等
  • 项目经理把关选题与事实准确性
  • 工程师与设计师联合撰写专业细节
  • 统一编辑规范,保证文风与排版一致
  • 每月复盘转化数据,迭代选题方向

延伸阅读

相关资讯与近期热门内容

深度阅读推荐

建站决策前值得细读的三篇

网站改版的5个关键决策
2024-08-12

网站改版的5个关键决策

什么时候该改版、改到什么程度、如何避免流量掉光,京华建材集团改版复盘给出答案。

获取专属建站方案

看完文章,把您的行业与预算告诉我们,免费获取一份量身定制的官网建设方案与报价。

立即免费咨询