AI 回答质量怎么量化Spring AI Evaluation 评估器上线前给输出打分、防幻觉回归系列Spring AI 深入浅出第 20 篇版本Spring AI 2.0.1 / Spring Boot 4.1.x / JDK 21标签#SpringAI #Evaluation #评估 #防幻觉前置阅读第 11 篇《检索增强实战》预计字数6000 字可复制源码 评估闭环图 踩坑 FAQ本文将解决感觉答得还行不是标准。上线前用评估器给 AI 输出打分才能量化质量、防止幻觉回归。你将学到为什么 AI 输出要评估无法用单测断言Spring AI Evaluation 评估器相关性/正确性/忠实性评估流程评测集 → 打分 → 阈值把评估纳入 CI/发布门禁防幻觉回归一、版本标注本文基于 Spring AI 2.0.1 / Boot 4.1 / JDK 21。评估器RelevancyEvaluator/CorrectnessEvaluator/FaithfulnessEvaluator等的精确构造签名以 2.0.1 官方文档为准。二、为什么 AI 输出要评估普通代码能用单测断言输入 X 输出 Y但 AI 输出是开放文本没法assertEquals。而且同样的 prompt模型可能每次答得不一样。所以需要评估器Evaluator用一个评判逻辑给输出打分把感觉还行变成相关性 0.9、正确性 0.85这样的数字。三、Spring AI Evaluation 评估器Spring AI 提供了一组评估器各测一个维度评估器测什么适用RelevancyEvaluator答案与问题的相关性通用问答CorrectnessEvaluator答案的正确性有标准答案的场景FaithfulnessEvaluator答案是否忠于检索上下文RAG防幻觉QuestionAnswerRelevancyEvaluator问答对相关性对话质量// 思路用评估器给一次问答打分精确 API 以 2.0.1 文档为准EvaluationResponseevalrelevancyEvaluator.evaluate(newEvaluationRequest(question,answer,context));// eval 里拿到分数与判定注评估器本身通常也调用模型来评判所以评估也要花 token适合抽样而非全量。四、评估流程评测集 → 打分 → 阈值造评测集准备 N 组问题、参考上下文、参考答案覆盖真实用户分布。跑评估把每组交给目标 AI 生成答案再用评估器打分。定阈值低于阈值的判为不合格统计合格率。// 伪代码批量评估doubletotal0,pass0;for(TestCasetc:testCases){StringanswerchatClient.prompt().user(tc.question()).call().content();doublescoreevaluate(tc,answer);// 用对应评估器打分total;if(scorethreshold)pass;}doublepassRatepass/total;五、防幻觉回归把评估纳入发布门禁评估的价值在持续跑而不是上线前跑一次CI 门禁每次改 prompt / 换模型 / 改 RAG 参数自动跑评测集合格率下降就拦截。回归对比新版本 vs 旧版本打分对比防止越改越差。线上抽样线上定期抽一批真实问答打分监控质量漂移。上线前打分清单相关性合格率 → 忠实性幻觉合格率 → 越权/安全用例 → 成本用量。六、原理图解评估闭环达标不达标评测集生成答案评估器打分合格率达标?发布修复 prompt/RAG/模型回归对比/线上抽样七、踩坑 FAQ坑 1评估器选错维度现象用相关性评估器去评答案正确性结果没意义。原因评估器维度选错。解决先想清楚要测什么——通用问答用相关性RAG 防幻觉用忠实性有标准答案用正确性。坑 2评测集代表性不足现象评估分数好看上线后质量还是差。原因评测集没覆盖真实用户分布长尾、口语化、跨领域。解决从真实日志/客服记录抽样构造评测集定期更新。坑 3阈值定太松现象低质量答案也判合格。原因阈值太低门禁形同虚设。解决用一批已知好/坏的样本校准阈值找到能区分良莠的分界。坑 4忽略评估器本身的成本与稳定性现象全量评估导致 token 成本高或评估器自身结果不稳定。原因评估器也调模型全量评估烧钱且评判有随机性。解决抽样评估 多次打分取均值/一致性控制成本。坑 5只在上线前跑一次不持续回归现象上线后改了点东西质量悄悄变差没人发现。原因没把评估纳入 CI/线上抽样。解决评估自动化改 prompt/模型/RAG 必跑回归线上定期抽样。八、小结与合集导航本篇把 AI 质量量化了评估器分类相关性/正确性/忠实性/QA 相关性评测集 → 打分 → 阈值流程纳入 CI 门禁 回归对比 线上抽样防幻觉回归下一篇《安全红线》——Prompt 注入、PII 脱敏、工具越权、密钥管理。九、互动钩子投票你上线前会做 AI 输出评估吗会有评测集会但只人工抽看还没做评估评论区聊聊你的评估方法源码见置顶评论。
