name: agent-orchestration-improve-agentdescription: “Systematic improvement of existing agents through performance analysis, prompt engineering, and continuous iteration.”risk: criticalsource: communitydate_added: “2026-02-27”代理性能优化工作流通过性能分析、提示词工程和持续迭代来系统性地改进现有代理。[扩展思考代理优化需要一种数据驱动的方法结合性能指标、用户反馈分析和高级提示词工程技术。成功取决于系统评估、针对性改进和严格测试并具备回滚能力以保障生产安全。]何时使用此技能改进现有代理的性能或可靠性分析失败模式、提示词质量或工具使用情况运行结构化的 A/B 测试或评估套件为代理设计迭代优化工作流不要使用此技能的情况您正在从零开始构建全新的代理没有可用的指标、反馈或测试用例任务与代理性能或提示词质量无关说明建立基线指标并收集代表性示例。识别失败模式并优先处理高影响力的修复。应用提示词和工作流改进附带可衡量的目标。通过测试验证并在受控阶段推出更改。安全避免在没有回归测试的情况下部署提示词更改。如果质量或安全指标出现回归快速回滚。第一阶段性能分析和基线指标使用上下文管理器进行历史数据收集对代理性能进行全面分析。1.1 收集性能数据使用context-manager 命令analyze-agent-performance $ARGUMENTS --days 30收集指标包括任务完成率成功 vs 失败任务响应准确性和事实正确性工具使用效率正确工具、调用频率平均响应时间和令牌消耗用户满意度指标纠正、重试幻觉事件和错误模式1.2 用户反馈模式分析识别用户交互中的重复模式纠正模式用户持续修改输出的地方澄清请求常见的歧义领域任务放弃用户放弃的点后续问题不完整回答的指标正面反馈要保留的成功模式1.3 失败模式分类按根本原因对失败进行分类指令误解角色或任务混淆输出格式错误结构或格式问题上下文丢失长对话退化工具误用不正确或低效的工具选择约束违反安全或业务规则违规边缘情况处理不寻常的输入场景1.4 基线性能报告生成定量基线指标性能基线 - 任务成功率[X%] - 每次任务平均纠正次数[Y] - 工具调用效率[Z%] - 用户满意度评分[1-10] - 平均响应延迟[Xms] - 令牌效率比[X:Y]第二阶段提示词工程改进使用提示词工程师代理应用高级提示词优化技术。2.1 思维链增强实现结构化推理模式使用prompt-engineer 技术chain-of-thought-optimization添加显式推理步骤“让我们逐步处理…”包含自我验证检查点“在继续之前验证…”为复杂任务实现递归分解添加推理轨迹可见性以进行调试2.2 少样本示例优化从成功的交互中策划高质量示例选择多样化的示例涵盖常见用例包含先前失败的边缘情况展示正面和负面示例并附解释从简单到复杂排序示例注释示例标出关键决策点示例结构好示例 输入[用户请求] 推理[逐步思考过程] 输出[成功响应] 为什么有效[关键成功因素] 坏示例 输入[类似请求] 输出[失败响应] 为什么失败[具体问题] 正确方法[修复版本]2.3 角色定义优化加强代理身份和能力核心目的清晰的一句话使命专业领域特定的知识领域行为特征个性和交互风格工具熟练度可用工具及何时使用约束条件代理不应该做什么成功标准如何衡量任务完成2.4 宪法 AI 集成实现自我纠正机制宪法原则 1. 在响应前验证事实准确性 2. 自我检查潜在的偏见或有害内容 3. 验证输出格式符合要求 4. 确保响应完整性 5. 保持与先前响应的一致性添加批评和修订循环初始响应生成根据原则进行自我批评如检测到问题自动修订输出前的最终验证2.5 输出格式调整优化响应结构常见任务的结构化模板基于复杂性的动态格式详细信息的渐进式披露可读性的 Markdown 优化带语法高亮的代码块格式用于数据呈现的表格和列表生成第三阶段测试和验证带 A/B 比较的综合测试框架。3.1 测试套件开发创建代表性测试场景测试类别 1. 黄金路径场景常见成功案例 2. 先前失败的任务回归测试 3. 边缘情况和角落场景 4. 压力测试复杂、多步任务 5. 对抗性输入潜在破坏点 6. 跨领域任务组合能力3.2 A/B 测试框架比较原始版本与改进版本使用parallel-test-runner 配置 - 代理 A原始版本 - 代理 B改进版本 - 测试集100 个代表性任务 - 指标成功率、速度、令牌使用量 - 评估盲审 自动评分统计显著性测试最小样本量每个变体 100 个任务置信水平95% (p 0.05)效应量计算 (Cohen’s d)未来测试的功效分析3.3 评估指标综合评分框架任务级指标完成率二进制成功/失败正确性评分0-100% 准确率效率评分所采取步骤 vs 最优工具使用适当性响应相关性和完整性质量指标幻觉率每次响应的事实错误一致性评分与先前响应的一致性格式合规性匹配指定结构安全评分约束遵守用户满意度预测性能指标响应延迟到第一个令牌的时间总生成时间令牌消耗输入 输出每次任务成本API 使用费用内存/上下文效率3.4 人工评估协议结构化人工审查流程盲审评估者不知道版本带有清晰标准的标准化评分标准每个样本多个评估者评估者间信度定性反馈收集偏好排名A vs B 比较第四阶段版本控制和部署安全推出带监控和回滚能力。4.1 版本管理系统化版本管理策略版本格式agent-name-v[MAJOR].[MINOR].[PATCH] 示例customer-support-v2.3.1 MAJOR重大能力变更 MINOR提示词改进新示例 PATCH错误修复微小调整维护版本历史基于 Git 的提示词存储带改进详情的变更日志每个版本的性能指标记录的回滚程序4.2 分阶段推出渐进式部署策略Alpha 测试内部团队验证5% 流量Beta 测试选定用户20% 流量金丝雀发布逐步增加20% → 50% → 100%全面部署满足成功标准后监控期7 天观察窗口4.3 回滚程序快速恢复机制回滚触发器 - 成功率比基线下降 10% - 关键错误增加 5% - 用户投诉激增 - 每次任务成本增加 20% - 检测到安全违规 回滚流程 1. 通过监控检测问题 2. 立即通知团队 3. 切换到先前的稳定版本 4. 分析根本原因 5. 修复并重新测试后再重试4.4 持续监控实时性能跟踪关键指标仪表板异常检测警报用户反馈收集自动回归测试每周性能报告成功标准代理改进成功条件任务成功率提高 ≥15%用户纠正减少 ≥25%安全违规无增加响应时间保持在基线的 10% 以内每次任务成本不增加 5%正面用户反馈增加部署后审查生产使用 30 天后分析累积的性能数据与基线和目标进行比较识别新的改进机会记录经验教训计划下一轮优化周期持续改进循环建立定期改进节奏每周监控指标并收集反馈每月分析模式并计划改进每季度主要版本更新带新能力每年战略审查和架构更新记住代理优化是一个迭代过程。每个周期建立在前一个学习的基础上逐步提高性能同时保持稳定性和安全性。限制仅当任务明确匹配上述范围时使用本技能。不要将输出视为特定环境验证、测试或专家审查的替代品。如果缺少必需的输入、权限、安全边界或成功标准请停下来要求澄清。
