摘要skill 装上跑通三遍只证明它工作过不证明它有功劳。这一课给评测立一条公式对预期的账、对基线的账、对成本的账三笔缺一不可。出题按真实使用收判分带原文证据、存疑从 FAIL算差看双臂 delta再按四形态把检查项过堂双臂全过的检查项是死重。两轮真机实验把账算给你看pass rate、delta、token 三列读数比孤零零的分数诚实。老规矩先交底文里的机制、数字、实验记录全部为真涉及身份的细节一律化名两轮实验数据在 lab/skill-eval/ 留档读数级题库、双臂 benchmark、沙箱代码与测试判分 evidence 原文未逐条存档路径下文随给。1、开场你只见过它工作没见过它缺席一个 skill 写完我的标准动作是装上扔几个真实任务过去看着都办得像样收工上架。跑通这三遍证明它工作过证明不了它有功劳。有没有用得跟没有它的时候比。这动作不丢人跑通了至少证明装载没毛病、入口是通的比写完不试强。这个比法我是被两轮实验教的。第一轮拿自家审计装置 skill-audit 开刀关掉它预埋的病灶裸模型照样一个个揪出来我最得意的那条检查项双臂 6/6 全过一点没少装置真正改变的是另外两列token 少烧四成输出从三跑三个样收敛到三跑一个样。第二轮换成装机百万级的 tdd 技能同一套比法再来一遍装着它检查全过关掉它过一半。全过的那四条里有两条是模型本来就会的装不装都过白挂在题库里。这一课就把这个比法拆开先立公式评测到底是件什么事再出题、判分、算差四形态过堂然后是两轮真机实验的完整报告最后工具和出处对账。2、评测不是体检不是调试先立公式评测两个字一出口收到的第一个问题很实在“就是 skill 的质量高不高?是不是达到了预期?”本会话学员原话2026-10-20 当堂提问问得对差半步质量是它自己的属性有没有用是它和没有它的世界之间的差值。给差值立账之前先把三件常被混作一谈的事分开。平时说评一评这个 skill底下其实是三件事对象、问题、证据渠道都不同体检写得规范吗静态看文本一次模型都不用跑。调试出故障找哪层按分诊的路数逐层排除第 6 课五连问答的就是这摊。评测有没有用静态看不出来单看它自己也不行必须跟没有它比。前两件做完代替不了第三件。体检满分说明它合格调试干净说明它没病都不回答它在场世界好了多少。这一课只管第三件公式一句话评测 对预期的账 × 对基线的账 × 对成本的账。对预期的账最直白题库判分落 pass rate答做到没。对基线的账就得跑双臂差出 delta才知道做到的算不算它的功。成本另记一本token 和时长答值不值。三笔缺一笔结论就飘。飘是什么样我撞过一个。同一个会话里连跑三遍三遍成功我差点当场宣布很稳。细看全是水分会话里留着上一跑的上下文没有关掉它的对照组任务里还有个 git commit裸模型本来就会。三个成功摞在一起零信息。机理到这儿评测的单位是差分不是分数。2.1 没有总分与及格线公式讲完第二个问题自己浮了上来。所以你是自己搞了一个评分模型本会话学员原话2026-10-20 当堂追问不是。官方 skills 文档的评测节从头到尾没给过总分agentskills.io 的指南里也没有权重表产出就三样读数pass rate、delta加一份 token 账各记各的不合成一个数这是这行的共识。这不是官方偷懒分数会把它工作过和它有功劳捏在一个数里差分把它们分开。及格线同理官方没定。要卡质量就自己设门槛门槛设在 CI 上判分低于阈值让构建挂掉第 8 节有现成工具。也不必定成 100%Hamel Husain 在《Your AI Product Needs Evals》里写过 “unlike traditional unit tests, you don’t necessarily need a 100% pass rate.”hamel.dev2024英文原句照抄3、第一笔账出题题库是评测的本钱第一笔账对预期预期落成纸面就是题库。先对个表出题和判分合起来是对预期的账算差那一笔同时记对基线和对成本。官方指南给的结构是三件套prompt题目expected_output期望产出外加可选的输入文件。一条题一档收进 evals.jsonagentskills.io《Evaluating skill output quality》2026-10-20 全文已抓。题型我自己分三类收应触发题真实使用里会出现的话考该响的时候响。负对照题明知不该触发 skill 的输入考不该响的时候闭嘴。质量题输出被逐条检查考响过之后干得对不对。投资节奏官方给得很保守“Start with 2-3 test cases. Don’t over-invest before you’ve seen your first round of results.”agentskills.io2026-10-20 检索英文原句照抄先两三条探路看见第一轮结果再加仓。口径守住一条官方管题目叫 realistic prompts按真实使用出题别自己造句自己考。实验一我的题库四条两句用户原话、一个同义变体、一条负对照全是会话里出现过的措辞点名保底那一条留库未跑要用得先把占位符换成真路径。3.1 负对照是什么为什么必须有负对照值得单独一节因为它是题库里最反直觉的一条给评测故意喂错的题。第 2 课说过 description 是路由表领地窄是设计窄得对不对应触发题管不着只有负对照能给对账单。实验一的负对照靶子我选了条狠的让模型裸审审计装置自己的 audit_skill.py。一个 .py 脚本按 skill-audit 自己划的边界体检对象是技能目录单文件不适用本不该被它接走。结果先把装置自己考出了嫌疑四个疑似真 bugBOM 头导致双 FAIL顶层 YAML 列表整段消失折叠标量被截断resolve 首目录短路。四条都还挂着疑似没定案留档待复核。给别的 skill 出题顺手把出题的装置审了一遍这笔意外收获值回半轮 token。4、第二笔账判分assertion 与证据题跑完判分开始。判分的单位是 assertion一条可判对错的具体检查。官方指南里它是后置的“You’ll add detailed checks (called assertions) after you see what the first run produces.”agentskills.io2026-10-20 检索英文原句照抄先看第一轮真实产出再落检查项顺序反过来写出来的多半是空检查。什么算好 assertion官方给过正反例。好的可验证、可观察比如图表有坐标轴标签。坏的两种太虚“The output is good”没法定判太脆“必须出现原句”模型换个措辞就误杀。我自己还贡献了第三种坏法实验二里现的形被题面吃掉。题目写明用 TDD 方式实现检查项有 red 步骤就永远成立。这一格先记账第 6 节过堂。判分纪律两条都是官方明文。其一每条 PASS 或 FAIL 必须带证据“The evidence should quote or reference the output, not just state an opinion.”agentskills.io2026-10-20 检索英文原句照抄其二存疑从 FAIL指南给的原例产出有 Summary 标题点开一句空话判 FAIL。官方 skill-creator 的实现把这两条焊死了grading.json 每条期望就三个字段text、passed、evidence证据栏留原文anthropics/skills 仓库 main 分支2026-10-20 已核。断言实在想不出来eval 圈有句老经验“If you have trouble thinking of assertions, you should critically examine your traces and failure modes.”Hamel Husain2024英文原句照抄回头翻运行记录和失败样本检查项是从真实失败里长出来的不是拍脑袋拍出来的。5、第三笔账算差benchmark 上的 delta第三笔账把两臂摆到一起。每臂各自聚合 pass rate差出来的是 deltatoken 和时长同表记账。官方文档把这话放在了结论的位置上A high score on its own doesn’t tell you the plugin helped because Claude might do as well without it.Their differenceΔ is what the plugin contributed.code.claude.com《Test plugins with evals》2026-10-20 检索英文原句照抄plugin 评测如此skill 同构。agentskills.io 指南的读法更直白“Thedeltatells you what the skill costs (more time, more tokens) and what it buys (higher pass rate).”2026-10-20 检索delta 一栏左边是价右边是货。拿两轮实验的数字过一遍每个数回答一个问题pass rate 100% 对 50%delta 50 个百分点实验二答它买到了什么。买到的不是会 TDD是切片纪律7.2 拆开看。token 119%时长 77%实验二答代价是什么。多烧的钱换的是逐片红绿的可追溯。token -40%时长 -31%实验一答它卖什么。先记读数再打折这份差值里混着两跑污染的燃料干净子样本下成本差约等于零7.1 交底实验二那边 skill 臂反而更贵成本方向别预设。方向相反的两笔账读法相同先问没有它的那一臂长什么样再谈贵贱。社区里有位同题作者压得更短“The delta is the whole story.”James Phoenixunderstandingdata.com个人博客2026-10-20 检索英文原句照抄其文示例数字转抄自官方指南最后立一块牌子成本读数不等于质量分。/skill-doctor 这类工具会告诉你一个技能烧多少 token便宜不等于有用贵也不等于值钱只是一列。6、分拣四形态把 assertion 过一遍堂一轮跑完每条 assertion 落进四种形态之一各有诊断和处置双臂全过死重。证明不了价值只虚胖 pass rate移除或改写到能区分两臂为止。双臂全挂坏题。两臂都过不了先怀疑题目或环境修题。on 过 off 挂价值所在。差分在这里发生逐条深挖写进发布说明的就是它。忽过忽挂flaky。官方提示 “the eval may be flaky (sensitive to model randomness)”agentskills.io2026-10-20 检索成因分析另见 Anthropic 工程博客《Demystifying evals for AI agents》指向共享状态先查环境再怪模型。四格里这两轮真踩到的是第一和第三。死重最扎堆实验一查出预载缺票双臂 6/6实验二四条检查两条双臂全过。第三格是实验二真正值钱的部分on 全过、off 全挂的那两条7.2 细讲。双臂全挂和忽过忽挂没踩到最接近的一次是实验一 off 臂 2/3 异常后来查实是环境的病题没毛病7.3 交底。官方对死重这格的处置写得毫不含糊Remove or replace assertions that always pass in both configurations.agentskills.io《Evaluating skill output quality》2026-10-20 检索英文原句照抄这也不是 skill 圈的新发明。测试圈管它叫永真测试tautological test有人给过一个检验句式能让这条检查挂掉的最小实现改动是什么想不出来它就是永真的sureprompts.com2026-04个人博客已核原句。Gopher Academy 2017 年那篇性质测试的老文骂得更直接“If you’re testing function Foo, you can’t use Foo to verify that Foo works! That’s just nuts!”blog.gopheracademy.com英文原句照抄机理讲完口诀落地双臂全过的检查项是死重。7、整机案例两轮实验报告数据表格化可复核这一节是被一句追问逼出来的“找个真实的 skill,跑一下,跑出的结果给我看看。”本会话学员原话节引2026-10-20 当堂追问好整节都是结果。先给可复核路径。读数级留档在 lab/skill-eval/ 下iteration-1 和 iteration-2 各一份 benchmark.json连同 evals.json 题库、沙箱 a1/a2/a3/b1/b2 的代码与测试两轮合计 16 跑约 467 万 subagent token读数取自每次子代理任务的 usage 结算总账含负对照与探针跑后文 16.1 万对 26.9 万这类读数都是双臂评测跑的均值口径。两轮同宿主、同模型、同一天2026-10-20实验二每臂 n2方向性结论。跑批用子代理图的是它天然新会话官方指南的说法是 each child task starts freshagentskills.io2026-10-20 检索。流程也先抄成单子两轮就是照它跑的出题题库三件套落 evals.json先 2-3 条探路口径按真实使用。装置自检探针先行该触发的触发、该关的关得动再开跑。双臂跑批同题装/关各跑一遍子代理新会话靶子放中立目录。判分对首轮产出落 assertion再逐条判分每条附原文证据存疑从 FAIL。聚合双臂各算 pass ratedelta 和 token、时长同表落 benchmark.json。分拣四形态过堂整臂异常或忽过忽挂先查污染再怪模型。人审反馈要可执行写得更好不算反馈。迭代开新 iteration 目录再来一轮反馈持续为空就停手。7.1 实验一自家装置的自嘲第一轮先审自家装置结论先认它最得意的一条检查是死重。靶子是手搭的 18 行 commit 插件假目录预埋四类病灶预载缺 3 票!cmd 四条name 与目录名不一致description 没写触发时机。题库四条连探针共十跑烧掉约 172 万 subagent token。触发面干净利落装上3/3该响的全响关掉0/3一条不响。顺手清了一笔旧账早先课里挂过某同构查询 n1 未触发这轮那句原话两跑两中没复现归档。负对照也在成绩单上装态那跑audit_skill.py 是脚本不是技能skill-audit 按边界正确沉默3.1 的四个疑似 bug 就是这一跑的副产关态负对照没跑题库设计如此。轮到质量面自嘲就来了。检查项查出预载缺票双臂 6/6 全过关掉装置裸模型照样把病灶一个个揪出来。这里得交底一笔off 臂三跑里有两跑后来查实被污染7.3 交底真正干干净净的裸审只有一跑那一跑照样把预载缺票推理了出来死重的结论不掉但那半臂确实脏了。装置引以为傲的发现其实是模型的它自己卖的是另外两样。成本和形态把这两样亮了出来。token 少烧 40%16.1 万对 26.9 万时长省 31%139 秒对 203 秒。更要紧的是输出形态on 臂三跑一个样off 臂三跑三个样。发现是模型的过程才是 skill 的装置卖的是 token 压缩搭售一份方差压缩。顺手再交底一笔这份成本差里两跑污染贡献了几乎全部燃料干净的那一跑 off 臂 16.1 万对 on 臂均值 16.1 万基本打平压缩的结论要打问号方差的结论不受影响。这轮还出了一次事故off 臂三跑两跑被污染。评测环境中立就是被这次事故逼成一条律的7.3 交底。7.2 实验二模型本来就会 TDD然后呢第二轮换了个更狠的问题。tdd 是装机百万级的第三方技能而模型本来就会 TDD它是不是白装基线对照最锋利的一刀就该切在这儿。检索时看到过同款案例有人给自己的 skill 做差分第四题零提升“Look at eval 4 though: zero uplift.”Daniel Sogldev.to2026-05个人博客已核原句月份见于原页年份系推断裸模型本来就会的那部分差分自己会说话。题目一道用 TDD 方式实现 parse_duration‘1h30m’ 解析成 90非法输入抛 ValueError。on 两跑、off 两跑外加两条探针裸措辞一条、关闸验证一条六跑约 295 万 token。靶子吸取实验一的教训搬进中立沙箱探针先行跑完还原再验一遍。两臂的跑法是两个物种。on 臂两跑都把实现拆成小片一片先写测试、看它红、补实现、看它绿一轮跑出 5 个循环另一轮 4 个每圈开头声明这一片测什么。off 臂两跑一批测试一口气写完b1 留档实收 19 例、b2 18 例跑一次红一口气实现转绿。TDD 的词裸模型全会但它交的这份作业恰好是 tdd 正文反模式清单点名的 horizontal slicing原文writing all tests first, then all implementation照抄知道名字没有纪律。分数对得上故事。四条检查里分界精确落在两条垂直切片实现是否分片、先测后码接缝声明是否逐片写明测什么。on 全过off 全挂pass rate 100% 对 50%delta 50 个百分点。另外两条“有 red 步骤和测试质量”双臂全过死重题面把 TDD 写在题目里答案人人都有。成本是笔双向账on 臂贵token 119%94.5 万对 43.2 万时长 77%205 秒对 116 秒。多花的钱买切片性和可追溯每片有名字、有红绿记录挂了知道挂在哪片。值不值看你要不要这种可追溯评测把账算清主意你拿。裸措辞探针又验了一手“帮我写个函数”0/1不触发。这不算病tdd 的 description 把领地锁死在三个意图上description 原文即 test-first、mentions “red-green-refactor”、wants integration tests 三个短语照抄普通请求本来就不归它管跟第 2 课那个 pr 技能的六词窄领地同款。想让日常请求默认走 TDD要动的是 description不是给 skill 判死刑。7.3 装置工艺探针、关闸与环境中立两轮实验里真正让我后背发凉的不是分数是装置自己出的三件事。第一件官方姿势失灵。官方文档说个人和项目技能的关闸走 skillOverrides官方 skills 文档评测节2026-10-20 现查。我照写进 ~/.zcode/settings.json实测无效宿主代码里确实有这套实现全机却搜不到一份落盘配置写了个寂寞。幸亏开跑前的探针先试了一把关闸不然实验一 off 臂三跑全部作废最后可靠的关闸只剩物理搬移。这开关设计上本来就管不到插件技能这门手艺一路见过的静默家族这里又添一格。第二件搬移路上撞见新形态。软链指着的本体被搬走后装载器静默跳过技能名单显示一切健康。名单不报错账面无懈可击技能就是不在场。第三件新会话防不了所有残留。官方要求每条题全新会话理由是残留上下文“will mask gaps in the written instructions”官方 skills 文档评测节2026-10-20 现查英文原句照抄。新会话防的是上下文残留防不了环境残留实验一 off 臂 2/3 中招子代理在注册表里看不到 skill-audit却在文件系统里自寻到隔壁的脚本和 SKILL.md自费重建了整套流程off 臂跑成了变相的 on 臂。实验二把靶子搬进中立目录零污染。SOP 第六步那句异常先查污染就是这两轮的差价买来的。这两轮的坑折成三条守则下次关闸照抄搬之前先查同名副本与软链名单里同名出现几次就得关几次搬走一份不等于关干净双注册的库尤其如此个人技能整目录搬出扫描路径跑完搬回还原还原后用探针再验一遍关成的判定只有一条探针名单里搜不到它。探针话术就一句“列出你当前可用的技能与工具清单不要执行任务”关闸前后各发一次对照名单搜名字探针顺手带回两条边角按原样记档嵌套派工复验 n3探针自报没有 Agent 工具AskUserQuestion 出现在子代理工具清单里而官方文档说子代理丢问询。后者正好反着来官方说不该在的在场了。n1我到现在没想通待复核。这一节收尾把两轮的全套读数收进一张对照表最后是给你的实操单元三行就够输入任一已装 skill先落 5 条左右的题首轮先跑 2-3 条应触发为主至少一条负对照。执行上面八步照单走探针永远在跑批之前。预期输出一份 benchmark.json含双臂 pass rate、delta 和 token 账附四形态分拣记录。8、工具盘点与出处对账这套方法是谁的轮到你动手之前先盘一盘家底。手段按成本分三档静态七查零 token每次改完跑当回归门槛触发批测子代理对题库便宜触发面随时跑基线差分双臂全跑贵大改动发布前才值得。三档不互斥我全都要。工具五件各管一段skill-creator 评测器官方文档描述了全装置evals.json 题库、每条题同回合派两个子代理一装一关、grading.json 判分、benchmark.json 聚合、盲 A-B还能按结果回头调描述。claude plugin eval插件专用判分低于阈值 exit 非零直接接 CI 当门禁。/skill-doctor逐技能的上下文成本与使用率要求 v2.1.252本机 2.1.251差一版没用上。agentskills.io 指南方法原文第 3 到第 6 节的流程骨架全从它来。自制 skill-audit 七查不评分是评分前置的静态回归门槛。第一件得先兑一句旧话。第 2 课留过一笔账说查询集攒下来别扔评测自动化是评测课的正菜。正菜这回上桌上桌先看灶官方文档里的评测器是全自动装置本机插件缓存里那份 0.1.0 是手工作坊版自述只有一句2-3 个提示词逐个看。文档描述的装置未必装在你机器上装置也有版本。这套方法也不是自创逐行对账回到 2.1 那个追问这套东西不是我的评分模型。主干每一环都有出处上表逐行对过它没有总分没有权重不给你的 skill 打一个孤零零的数。它是流程产出 pass rate、delta 和一份 token 账。对账时也毙掉一批mager.co 与一份第三方基准报告的16 个百分点疑似同一来源的转述前者没注明出处后者单源没核到原始论文dev.to 那份的 16 系其自身 100% 减 84% 的独立计算只用它的数不碰前两处OpenAI 官方的 evals 文档抓取直接 403。没验证过的一个都没进这篇。9、收束回到公式开头那个老动作我还在用只是收工前多了一步装着跑一遍关掉再跑一遍。三笔账对着算题库判出的 pass rate 答做到没双臂差出的 delta 答是不是它的功token 账答值不值。分数只证明它工作差分才证明它有功。带走三样评测的单位是差分不是分数pass rate 只对预期存在理由要看 delta没有官方总分与及格线门槛自己定CI 是设门槛的地方。双臂全过的检查项是死重移除或改写每轮分拣过堂它不证明价值只虚胖 pass rate。发现是模型的过程才是 skill 的发现读不出价值时去看方差、看成本账成本方向因 skill 而异一轮省、另一轮贵的事都发生了评测负责把账算清不负责替你预设。临走三问凭记忆自测别翻回去同一个会话里连跑三遍任务三遍全成同事把这三个数当评测结论贴了出来。这份结论缺哪条臂你让他补什么一条检查项在装与不装两臂里全过。按四形态它进哪格处置动作是什么关掉装置病灶照样被查出来单跑还更贵。实验一里这份 skill 的价值该记在哪一列读数上三道都能答上来这一课才算真的带走。这个系列写到这儿前四课立骨架上下文经济学管字怎么花description 当路由表正文是快照脚本不进门从第五课起长出接口和帮手三张口、五连问、子代理派工到第八课从治一个到治一片这一课把好坏怎么量补上模块三收官。下一篇开模块四第 10 课·字段全景与可移植性frontmatter 盘剩下的字段和一篇 skill 出远门要花的路费。下回开箱。共约 6006 字 · 阅读约 15 分钟如果这篇文章对你有帮助欢迎转发给需要的同事和朋友。
