name: advanced-evaluationdescription: This skill should be used when the user asks to “implement LLM-as-judge”, “compare model outputs”, “create evaluation rubrics”, “mitigate evaluation bias”, or mentions direct scoring, pairwise comparison, position bias, evaluation pipelines, or automated quality assessment.risk: safesource: communitydate_added: 2026-03-18高级评估此技能涵盖了使用大型语言模型LLM作为评判者来评估LLM输出的生产级技术。它将学术论文、行业实践和实际实施经验的研究成果综合为可操作的模式用于构建可靠的评估系统。关键见解将大语言模型作为裁判并不是单一的技术而是一系列方法每种方法适用于不同的评估情境。选择合适的方法并减轻已知偏见是这一技能所培养的核心能力。何时使用在以下情况下激活此技能为大型语言模型输出构建自动化评估管道比较多个模型响应以选择最佳响应在评估团队中建立一致的质量标准调试显示结果不一致的评估系统为提示或模型更改设计 A/B 测试为人工或自动评估创建评分标准分析自动评估与人工评估之间的相关性核心概念评估分类法评估方法主要分为两大类且其可靠性特征各不相同直接评分一个大型语言模型在定义的评分标准上对一个回答进行评价。最适合客观标准事实准确性、遵循指令、毒性可靠性对于明确定义的标准中到高故障模式分数校准漂移尺度解释不一致逐对比较大语言模型比较两个回答并选择更好的一个。最适合主观偏好语调、风格、说服力可靠性比直接评分偏好更高失败模式位置偏差长度偏差来自 MT-Bench 论文Zheng 等2023 年的研究表明对于基于偏好的评估成对比较比直接评分与人工评判者的一致性更高而对于具有明确真实标准的客观指标直接评分仍然是适用的。偏见格局大型语言模型评审表现出必须积极缓解的系统性偏见位置偏差在成对比较中首位的回答会受到优先对待。缓解方法交换位置后进行两次评估使用多数投票或一致性检查。长度偏差无论质量如何更长的回答评分更高。缓解方法明确提示忽略长度使用长度归一化评分。自我提升偏差模型会对自己的输出评价更高。缓解方法使用不同的模型进行生成和评估或承认这一限制。冗长偏差即使不必要详细的解释也会获得更高的分数。缓解方法使用针对特定标准的评分量表对无关的细节进行惩罚。权威偏见自信、权威的语气会得到更高评价无论其准确性如何。缓解方法要求引用证据增加事实核查环节。指标选择框架根据评估任务结构选择指标Task TypePrimary MetricsSecondary MetricsBinary classification (pass/fail)Recall, Precision, F1Cohen’s κOrdinal scale (1-5 rating)Spearman’s ρ, Kendall’s τCohen’s κ (weighted)Pairwise preferenceAgreement rate, Position consistencyConfidence calibrationMulti-labelMacro-F1, Micro-F1Per-label precision/recall关键洞察高绝对一致性不如系统性分歧模式重要。在特定标准上持续与人类意见不一致的评审比起存在随机噪声的评审更成问题。评估方法直接评分实现直接评分需要三个组成部分明确的标准、校准的量表和结构化的输出格式。标准定义模式Criterion: [Name] Description: [What this criterion measures] Weight: [Relative importance, 0-1]秤校准1-3 分量表二元选项带中性选项认知负荷最低1-5 量表标准李克特量表粒度和可靠性良好平衡1-10 评分尺度颗粒度高但难以校准仅在详细评分细则下使用直接评分的提示结构You are an expert evaluator assessing response quality. ## Task Evaluate the following response against each criterion. ## Original Prompt {prompt} ## Response to Evaluate {response} ## Criteria {for each criterion: name, description, weight} ## Instructions For each criterion: 1. Find specific evidence in the response 2. Score according to the rubric (1-{max} scale) 3. Justify your score with evidence 4. Suggest one specific improvement ## Output Format Respond with structured JSON containing scores, justifications, and summary.链式思维要求所有评分提示都必须在给出分数前要求提供理由。研究表明与先给分数的方法相比这可以提高15-25%的可靠性。成对比较实现成对比较在基于偏好的评估中本质上更可靠但需要减轻偏见。位置偏差缓解协议:第一次处理回应 A 在第一位回应 B 在第二位第二遍回应 B 放在第一位回应 A 放在第二位一致性检查如果通过与不通过意见不一致则返回信心降低的平局最终裁定平均置信度下的持续获胜者成对比较的提示结构You are an expert evaluator comparing two AI responses. ## Critical Instructions - Do NOT prefer responses because they are longer - Do NOT prefer responses based on position (first vs second) - Focus ONLY on quality according to the specified criteria - Ties are acceptable when responses are genuinely equivalent ## Original Prompt {prompt} ## Response A {response_a} ## Response B {response_b} ## Comparison Criteria {criteria list} ## Instructions 1. Analyze each response independently first 2. Compare them on each criterion 3. Determine overall winner with confidence level ## Output Format JSON with per-criterion comparison, overall winner, confidence (0-1), and reasoning.置信度校准置信度分数应反映位置一致性两轮结果一致置信度 各自置信度的平均值通过意见不一致置信度 0.5裁决 平局评分标准生成与开放式评分相比定义明确的评分标准可以将评估差异减少40-60%.评分标准组成部分:等级描述每个分数等级的清晰界限特征定义每个层级的可观察特征示例每个级别的代表性文本可选但有价值边缘情况模糊情境的指导评分指南一致应用的一般原则严格性校准:宽松较低的及格分标准适合鼓励反复尝试平衡公平适合生产使用的典型预期严格高标准适用于安全关键或高风险评估领域适应评分标准应使用特定领域的术语。“代码可读性”评分标准提到变量、函数和注释。“医学准确性”评分标准引用临床术语和证据标准。实用指导评估流程设计生产评估系统需要多层次┌─────────────────────────────────────────────────┐ │ Evaluation Pipeline │ ├─────────────────────────────────────────────────┤ │ │ │ Input: Response Prompt Context │ │ │ │ │ ▼ │ │ ┌─────────────────────┐ │ │ │ Criteria Loader │ ◄── Rubrics, weights │ │ └──────────┬──────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────────┐ │ │ │ Primary Scorer │ ◄── Direct or Pairwise │ │ └──────────┬──────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────────┐ │ │ │ Bias Mitigation │ ◄── Position swap, etc. │ │ └──────────┬──────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────────┐ │ │ │ Confidence Scoring │ ◄── Calibration │ │ └──────────┬──────────┘ │ │ │ │ │ ▼ │ │ Output: Scores Justifications Confidence │ │ │ └─────────────────────────────────────────────────┘常见反模式反模式没有理由的打分问题分数缺乏基础难以调试或改进解决方案在评分前始终要求有基于证据的理由反模式单次遍历的逐对比较问题位置偏差会损坏结果解决方法始终交换位置并检查一致性反模式过多的标准问题衡量多种事物的标准不可靠解决方案一个标准 一个可衡量的方面反模式缺少边缘情况指导问题评估人员处理模糊情况不一致解决方案在评分标准中包含边缘情况并提供明确指导反模式忽视置信度校准问题高置信度的错误判断比低置信度的更糟解决方案根据位置一致性和证据强度校准信心决策框架直接法与成对法使用这个决策树Is there an objective ground truth? ├── Yes → Direct Scoring │ └── Examples: factual accuracy, instruction following, format compliance │ └── No → Is it a preference or quality judgment? ├── Yes → Pairwise Comparison │ └── Examples: tone, style, persuasiveness, creativity │ └── No → Consider reference-based evaluation └── Examples: summarization (compare to source), translation (compare to reference)规模评估用于大批量评估LLM小组 (PoLL)使用多个模型作为评审汇总投票减少个体模型偏差更贵但在重大决策中更可靠分层评估快速廉价的模型用于筛选昂贵的模型用于边缘情况大批量成本效益高需要校准筛查阈值人类在回路中对明确情况进行自动评估对低置信度情况进行人工审核关键应用的最佳可靠性设计反馈循环以改进自动化评估例子示例 1准确性直接评分输入:Prompt: What causes seasons on Earth? Response: Seasons are caused by Earths tilted axis. As Earth orbits the Sun, different hemispheres receive more direct sunlight at different times of year. Criterion: Factual Accuracy (weight: 1.0) Scale: 1-5输出:{criterion:Factual Accuracy,score:5,evidence:[Correctly identifies axial tilt as primary cause,Correctly explains differential sunlight by hemisphere,No factual errors present],justification:Response accurately explains the causeofseasonswithcorrect scientific reasoning.Both the axial tilt and its effect on sunlight distribution are correctly described.,improvement:Could add the specific tilt angle (23.5°) for completeness.}示例 2位置交换的两两比较输入:Prompt: Explain machine learning to a beginner Response A: [Technical explanation with jargon] Response B: [Simple analogy-based explanation] Criteria: [clarity, accessibility]第一次通过A 首轮:{winner:B,confidence:0.8}第二次通道先B{winner:A,confidence:0.6}注意获胜者是A因为B位居第一名映射第二遍:{winner:B,confidence:0.6}最终结果:{winner:B,confidence:0.7,positionConsistency:{consistent:true,firstPassWinner:B,secondPassWinner:B}}示例 3评分标准生成输入:criterionName: Code Readability criterionDescription: How easy the code is to understand and maintain domain: software engineering scale: 1-5 strictness: balanced输出缩写{levels:[{score:1,label:Poor,description:Code is difficult to understand without significant effort,characteristics:[No meaningful variable or function names,No comments or documentation,Deeply nested or convoluted logic]},{score:3,label:Adequate,description:Code is understandable with some effort,characteristics:[Most variables have meaningful names,Basic comments present for complex sections,Logic is followable but could be cleaner]},{score:5,label:Excellent,description:Code is immediately clear and maintainable,characteristics:[All names are descriptive and consistent,Comprehensive documentation,Clean, modular structure]}],edgeCases:[{situation:Code is well-structured but uses domain-specific abbreviations,guidance:Score based on readability for domain experts, not general audience}]}指南在评分前始终要求理由- 链式思维提示可以提高15-25%的可靠性在成对比较中始终交换位置- 单次比较会受到位置偏差的影响将评分尺度的粒度与评分标准的具体性匹配- 不要在没有详细等级描述的情况下使用1-10评分区分客观与主观标准- 对客观标准使用直接评分对主观标准使用成对比较包含置信度评分- 校准以匹配位置一致性和证据强度明确定义边界情况- 模糊的情况会导致评估差异最大使用特定领域评分标准- 通用评分标准会产生通用不太有用的评估与人工判断进行验证- 自动评估只有在与人工评估相关时才有价值监控系统性偏差- 按标准、回应类型、模型跟踪分歧模式迭代设计- 评价系统通过反馈循环改进整合此技能可与以下内容集成上下文基础- 评估提示需要有效的上下文结构工具设计- 评估工具需要适当的架构和错误处理上下文优化- 评估提示可以针对令牌效率进行优化评估基础- 这个技能扩展了基础评估概念参考文献内部参考作为法官的大型语言模型实现模式偏差缓解技术指标选择指南外部研究Eugene Yan: Evaluating the Effectiveness of LLM-EvaluatorsJudging LLM-as-a-Judge (Zheng et al., 2023)G-Eval: NLG Evaluation using GPT-4 (Liu et al., 2023)Large Language Models are not Fair Evaluators (Wang et al., 2023)本系列相关技能评估 - 基础评估概念上下文基础 - 用于评估提示的上下文结构工具设计 - 构建评估工具技能元数据创建2024-12-24最后更新: 2024-12-24作者: Muratcan Koylan版本: 1.0.0限制仅当任务明确符合上述描述的范围时才使用此技能。不要将输出视为环境特定验证、测试或专家审查的替代品。如果缺少所需的输入、权限、安全界限或成功标准请停下来并要求澄清。
