1. 技能为什么会悄悄过期从 Landing Page 技能说起你手里可能已经攒了十几个 Skill写的时候都挺好用但最近总觉得输出质量在往下掉。问题往往不在模型而在技能本身已经过期了。Claude Skills 2.0 引入的技能基准 A/B 测试就是专门用来发现这种悄悄失效的机制。它通过 Comparator Agents 同时跑两个版本让评判代理在不知道哪个是哪个的前提下给出结论从而消除确认偏见。这套方法适合已经积累多个 Skill、并且经历过至少一次模型大版本更新的开发者。我拿一个真实场景举例。三个月前你写了一个帮 Claude 写 Landing Page 的技能里面详细规定了标题层级、CTA 按钮位置、配色对比度检查步骤。当时模型确实不擅长这些你的技能让它表现明显变好。然后 Anthropic 发布了一个新模型这个新模型本身对 Landing Page 的结构理解已经很强甚至不加载技能时输出的排版比你的技能指导下的还要干净。但你的旧技能还在那儿固执地告诉 Claude按我说的步骤来结果就是模型被你的技能拖累而不是被帮助。这种情况最麻烦的地方在于技能没有报错没有崩溃它只是让你的输出变差了。你打开对话看到结果好像还行但跟三个月前比细节质量在下降。这就是 AI 时代的技术债务——技能也会过期而且你往往后知后觉。要理解技能为什么会过期得先分清两种类型。第一种是 Capability uplift能力提升型这类技能教 AI 做它本来做不好的事。随着模型能力变强这些技能可能变得多余。关键信号是如果基础模型不加载技能就能通过你的 eval 测试说明模型的默认能力已经吸收了你的技能技巧这时候技能不是坏了而是可以退休了。第二种是 Encoded preference偏好编码型这类技能记录的是流程——模型已经会做每一步但需要按你团队的方式串联起来。这类技能更持久但也有风险流程变了技能没跟上也等于失效。无论是哪种类型核心问题都是你需要一个机制来发现技能何时失效。凭感觉运行一次有改善就开心没改善就困惑这种做法有致命问题人类有确认偏见我们倾向于看到我们想看到的结果。Comparator Agents 的做法完全不同它同时运行技能 A 和技能 B或者技能加载和不加载两个版本评判代理不知道哪个版本是哪个所以不存在先入为主最后输出一个清晰结论哪个版本更好好多少。这就像在产品经理的世界里做 A/B 测试数据说话消除偏见。2. TaoToken 前置把 Comparator Agents 跑起来需要什么Comparator Agents 本身是 Claude Skills 2.0 里的评测机制但它需要调用模型来生成两个版本的输出再让评判代理做对比。这意味着你需要一个稳定的 API 入口来承载这些请求。TaoToken 在这里的角色是提供统一的模型调用通道让你在跑技能基准 A/B 测试时不用来回切换多个平台的 Key。先明确你要准备的三件套Base URL、API Key、Model ID。Base URL 用https://taotoken.net/api注意这个地址不带任何查询参数。API Key 在控制台的 API Keys 页面创建建议单独建一个用于评测的 Key方便后续按项目统计用量。Model ID 根据你当前技能面向的模型来选比如你测的是 Claude 系列技能就填对应的模型标识。如果你用的是 Claude Code 或者 Cline 这类工具来跑评测脚本配置方式略有不同。Claude Code 走的是 Anthropic 兼容接口需要在 settings 里指定 Base URL 和 Key。Cline 的 MCP 配置则是通过 JSON 文件注入环境变量。Codex 的 auth.json 也是类似思路把 Base URL 和 Key 写进认证配置。不管哪种方式核心都是让评测脚本能通过 TaoToken 的 API 地址发请求。这里有个容易踩的坑很多人把 Base URL 写成带/v1或者带 UTM 参数的地址结果请求直接 404。TaoToken 的 API 地址就是https://taotoken.net/api不要自己加后缀。另外评测脚本里通常会并发发多个请求建议在 TaoToken 控制台看一下当前 Key 的速率限制避免因为并发过高触发限流导致评测结果不完整。如果你还没有自己的 Skill或者想先拿一个现成的技能来练手可以先用 Skill Creator 生成一个基准技能。Skill Creator 的 benchmark 模式能批量运行所有 eval生成一份完整的技能健康报告。但前提是你要有一个可调用的模型入口TaoToken 就是干这个的。配置好之后你的评测脚本、Comparator Agents 的评判请求、以及 Skill Creator 的批量运行都走同一个 API 地址省去反复切换的麻烦。3. 可复制配置Comparator Agents 对比配置与 Skill Creator 基准用例模板这一节直接给可复制的配置片段。先看 Comparator Agents 的对比配置。假设你用 Claude Code 来跑评测settings 文件路径是~/.claude/settings.json内容如下{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_API_KEY: sk-your-taotoken-key, ANTHROPIC_MODEL: claude-sonnet-4-20250514 }, permissions: { allow: [Bash, Read, Write] } }如果你用的是 Cline 的 MCP 配置路径在~/.cline/mcp_settings.json写法是{ mcpServers: { skill-benchmark: { command: npx, args: [-y, anthropic/skill-benchmark-mcp], env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_API_KEY: sk-your-taotoken-key, ANTHROPIC_MODEL: claude-sonnet-4-20250514 } } } }Codex 的 auth.json 路径在~/.codex/auth.json内容如下{ base_url: https://taotoken.net/api, api_key: sk-your-taotoken-key, model: claude-sonnet-4-20250514 }三件套的核心就是 Base URL、Key、Model ID 三处保持一致。Base URL 统一用https://taotoken.net/apiKey 用你在控制台创建的那个Model ID 根据你实际要测的模型填。接下来是 Skill Creator 的基准用例模板。Skill Creator 的 benchmark 模式需要一个 eval 文件通常放在技能目录下的evals/文件夹里。模板结构如下name: landing-page-skill-benchmark version: 1.0.0 skill_path: ./skills/landing-page model: claude-sonnet-4-20250514 comparator: enabled: true judge_model: claude-sonnet-4-20250514 blind: true cases: - id: hero-section input: 为一个 SaaS 产品写 Landing Page 的 Hero 区域产品是团队协作工具 assertions: - 标题包含价值主张 - 副标题说明目标用户 - CTA 按钮文案明确 - id: feature-grid input: 写 Landing Page 的功能展示区三个核心功能 assertions: - 每个功能有图标占位说明 - 功能描述不超过两行 - 有统一的视觉层级 - id: pricing-table input: 写 Landing Page 的定价区三档价格 assertions: - 推荐档位有视觉强调 - 价格数字清晰 - 每档有功能对比这个模板里comparator.enabled设为 true 就会启用 Comparator Agentsblind设为 true 表示评判代理不知道哪个版本是技能加载版。cases下面是具体的测试用例每个用例有 input 和 assertions。assertions 是评判代理用来判断输出质量的依据。跑的时候用 Skill Creator 的命令行skill-creator benchmark --config ./evals/landing-page-benchmark.yaml --output ./reports/运行完成后会在./reports/下生成一份 JSON 报告里面包含每个用例的 A/B 对比结果、评判代理的结论、以及通过率变化趋势。报告里会明确标出哪个版本更好好多少以及哪些用例出现了技能拖累模型的情况。4. 验证请求与成功结果跑一次完整的 A/B 对比配置好之后先做一次最小验证确认 API 通道是通的。用 curl 发一个最简单的请求curl -X POST https://taotoken.net/api/v1/messages \ -H Content-Type: application/json \ -H x-api-key: sk-your-taotoken-key \ -H anthropic-version: 2023-06-01 \ -d { model: claude-sonnet-4-20250514, max_tokens: 128, messages: [ {role: user, content: 回复 OK 两个字母} ] }如果返回的 JSON 里content字段有OK说明 Base URL 和 Key 都正确。如果返回 401检查 Key 是否复制完整如果返回 404检查 Base URL 是否多加了路径。通道验证通过后跑一次完整的技能基准 A/B 测试。假设你的技能目录是./skills/landing-pageeval 文件是上一节那个模板执行skill-creator benchmark \ --config ./evals/landing-page-benchmark.yaml \ --output ./reports/ \ --verbose运行过程中你会看到每个用例依次执行两次一次加载技能一次不加载技能。然后评判代理对两个输出做盲评。整个过程大概需要几分钟取决于用例数量和模型响应速度。成功的结果长这样{ summary: { total_cases: 3, skill_win: 1, baseline_win: 1, tie: 1, skill_avg_score: 7.2, baseline_avg_score: 7.8 }, cases: [ { id: hero-section, winner: baseline, score_diff: -0.8, judge_reason: Baseline 输出的标题更简洁CTA 文案更直接技能版引入了不必要的步骤说明 }, { id: feature-grid, winner: skill, score_diff: 1.2, judge_reason: 技能版的功能描述层级更清晰图标占位说明更完整 }, { id: pricing-table, winner: tie, score_diff: 0.0, judge_reason: 两个版本在价格展示和推荐档位强调上表现一致 } ] }这份报告告诉你hero-section 这个用例上基础模型已经比你的技能做得更好说明你的技能在这个环节已经过期了。feature-grid 上技能仍然有优势可以保留。pricing-table 打平说明技能没有拖累也没有增益可以考虑简化。关注趋势比单次分数更重要。如果你连续几次模型更新后跑基准发现 baseline_win 的用例在增加skill_avg_score 在下降那就是技能整体过期的信号。这时候需要逐个用例看 judge_reason定位是哪些步骤在拖累模型。5. 本篇常见错排查401、local proxy failed、reading choices、OAuth跑 Comparator Agents 和 Skill Creator 的过程中最常见的报错有这几类。第一类是 401 Unauthorized返回体里通常写着invalid api key或者authentication failed。原因一般是 Key 复制时带了空格或者用了控制台里已经删除的旧 Key。解决方法是重新在 TaoToken 控制台创建一个新 Key粘贴时注意不要带首尾空格。如果你用的是 Claude Code检查~/.claude/settings.json里的ANTHROPIC_API_KEY字段如果是 Cline检查mcp_settings.json里的env.ANTHROPIC_API_KEY。第二类是local proxy failed或者connection refused。这个报错通常出现在你本地配了代理工具但代理没有启动或者端口不对。Comparator Agents 的请求走的是你配置的 Base URL如果本地有代理拦截了taotoken.net的请求就会报这个错。解决方法是检查本地代理设置确保taotoken.net的请求不被拦截。如果你不确定可以先用 curl 直接测一下 API 地址是否可达。第三类是reading choices相关的报错通常出现在解析模型返回时。Comparator Agents 期望模型返回结构化的 JSON但有时候模型会返回带 markdown 代码块的 JSON导致解析失败。解决方法是在 eval 配置里加上response_format: json参数或者在评判代理的 prompt 里明确要求只返回 JSON不要包裹代码块。如果你用的是 Skill Creator检查comparator.judge_model是否支持结构化输出。第四类是 OAuth 相关的报错比如oauth token expired或者invalid_grant。这类报错通常出现在你用 Claude Code 的 OAuth 登录方式而不是 API Key 方式时。Comparator Agents 的批量请求建议用 API Key 而不是 OAuth因为 OAuth token 有有效期批量跑评测时容易中途过期。解决方法是在 Claude Code 里切换到 API Key 模式把ANTHROPIC_API_KEY填成 TaoToken 的 Key而不是依赖 OAuth 登录。还有一个容易忽略的坑Model ID 写错。比如你填了claude-sonnet-4但实际模型标识是claude-sonnet-4-20250514请求会返回model not found。解决方法是去 TaoToken 的模型列表页面确认当前可用的 Model ID直接复制粘贴不要手写。6. 把技能体检变成固定动作从单次测试到持续回归跑通一次 A/B 测试之后真正有价值的是把它变成固定动作。建议每次模型大版本更新后跑一次全量技能基准记录技能加载和不加载的对比结果。判定规则可以这样定基础模型胜出的用例考虑退役对应技能技能险胜的用例继续保留但持续监控技能大比分胜出的用例保持并持续优化。关注通过率变化趋势比单次分数更重要如果连续两次更新后技能胜率都在下降那就是整体过期的信号。工具选择上Skill Creator 的 benchmark 模式可以批量运行所有 eval生成一份完整的技能健康报告。你可以把这个命令写进 CI 流程每次模型更新后自动跑一遍报告直接发到团队频道。Comparator Agents 的盲评机制保证了结论的客观性你不需要自己盯着输出判断哪个更好。如果你还没有自己的 Skill或者想先拿一个现成的技能来练手可以先用 Skill Creator 生成一个基准技能再跑一次 A/B 测试感受一下流程。配置过程中如果遇到 API 通道的问题可以直接用 TaoToken 的模型对话页面快速验证 Key 是否可用确认通道没问题后再回到评测脚本。对于需要长期跑评测和 Agent 任务的场景Coding Plan 提供了更稳定的调用额度适合把技能体检做成日常动作。真正的问题从来不是能不能写技能而是写了之后怎么维护。你的 AI 工作流不是一次性的项目而是需要持续维护的数字资产。就像代码需要重构技能也需要定期体检和升级。在这个模型能力快速迭代的阶段会维护技能的人比会写技能的人更有价值。
