如果你做过 RAG 或 Agent 系统大概都遇到过这种情况系统表现不稳定但很难马上判断问题出在哪。是知识库本身有脏数据还是检索没召回是模型回答缺少依据还是工具调用过程中哪一步走偏了上海人工智能实验室工程平台团队推出的AI 全链路质量评测框架 Dingo正是为解决这类问题而来。Dingo 面向数据集、文档解析、RAG/QA、Agent Trace 与线上评测等 AI 全链路场景将不同来源的样本和 Trace 纳入统一评测流程。通过规则指标、LLM Judge 指标以及部分语义相似度和统计方法Dingo 可以输出样本级评分、问题标签、原因说明和评测报告并在平台侧支持质量趋势分析。Dingo 更重要的作用是把原本依赖经验、脚本和人工复盘的质量判断沉淀为可复现、可协作、可持续治理的质量证据。对于正在走向工程化、规模化和行业落地的 AI 应用这意味着质量不再只靠单点测试和事后排查而可以进入一套标准化、可验证的评测体系。面向 AI4S、科研 Agent 和复杂工具调用工作流质量评测正在从结果判断走向过程验证。Dingo 延续上海人工智能实验室推动开放、标准化、可信 AI 基础设施的方向为科研工作流与行业应用提供全链路质量评测能力并已在厦门国际物流供应链中试基地、中国银行、上海疾控中心等场景落地应用。欢迎更多科研团队、开发者和行业伙伴试用 Dingo共同探索可信 AI 应用的质量评测与治理范式。Dingo SaaSDingo — AI Data Quality Evaluation PlatformDingo GitHubGitHub - MigoXLab/dingo: Dingo: A Comprehensive AI Data, Model and Application Quality Evaluation Tool · GitHub01 覆盖对象从数据到执行过程AI 应用的质量不只取决于最终回答。数据、文档解析、检索、生成、工具调用和线上环境都会影响最终结果。Dingo 将 AI 链路中的关键质量对象纳入统一评测● 数据集典型问题空值、重复、乱码、字段缺失、PII、安全风险。Dingo 基于规则指标和 LLM 指标进行批量质量筛查保留样本级问题标签和原因。● 文档解析典型问题OCR 错误、表格错位、公式丢失、结构缺失。Dingo 对解析结果进行结构、内容和可用性评估定位文档进入知识库前的质量缺陷。● RAG/QA典型问题检索不足、上下文无关、回答无依据、引用缺失。Dingo 评估 question、context、answer、reference 之间的关系定位问题来自召回、上下文还是生成。● Agent Trace典型问题计划不合理、工具调用失败、参数错误、循环调用。Dingo 将 Trace 拆解为任务、计划、工具调用、工具返回和最终答案评估执行过程质量。● 线上评测典型问题低分样本增加、质量波动、版本副作用。Dingo 通过 API/SDK 异步接收生产 Trace持续观察指标分布、低分样本和质量趋势。Dingo 不是只判断“答案好不好”而是帮助团队定位 AI 链路中哪一环正在影响质量。与竞品对比Dingo评测对象覆盖度说明上表为面向本次分享的定性对比各产品能力持续演进实际选型请以最新版本为准。Dingo 不追求在单一维度上超过所有专精工具而是用一套统一范式提供够深且连贯的全链路覆盖。02 统一流程从样本接入到证据输出Dingo 的专业性不在于把很多功能放在一起而在于把不同质量问题组织进同一套工程化评测流程接入数据、映射字段、配置指标、执行评测、输出证据。这套流程让数据、算法、应用开发和质量验证团队可以围绕同一批样本、同一套指标、同一份报告讨论问题减少“各查各的日志、各写各的脚本、各下各的判断”的协作成本。Dingo架构图核心流程01 数据接入支持本地文件、HuggingFace 数据集、文档解析结果也支持通过 API/SDK 接收线上 Trace。02 字段映射将业务字段映射为评测输入例如 question、context、answer、tool_calls。RAG 样本中user_query 可映射为问题retrieved_chunks 映射为上下文model_answer 映射为回答。03 指标配置选择规则指标、LLM Judge 指标、语义相似度/统计类方法设置阈值、模型和指标组。04 任务执行通过 SaaS、SDK、CLI 或 MCP Server 运行评测在 Agent/Coding 工作流中也可以让评测成为自动触发的一步。05 结果输出生成 score、status、label、reason、样本证据、统计报告和趋势分析。Dingo批量评测结果统计示意03 具体方案不同对象如何进入评测统一流程解决的是“怎么跑起来”对象级方案解决的是“具体评什么”。对象级评测方案数据集输入 content、metadata、字段值评测空值、重复、乱码、PII、格式合规、语义质量输出问题样本、命中规则、原因标签。文档解析输入 OCR、Markdown、JSON、block 结构评测文本识别、段落结构、表格公式、版面完整性输出页面/区块级问题定位。RAG/QA输入 question、context、answer、reference评测召回、相关性、忠实度、答案完整性输出检索问题、生成问题、引用问题。Agent Trace输入 task、plan、tool_calls、tool_results、final_answer评测任务完成、计划质量、工具正确性、错误恢复输出过程级评分和失败步骤。线上 Trace输入持续提交的生产样本评测指标分布、低分样本、版本波动输出趋势报告、异常样本、质量告警线索。这也是 Dingo 区别于一次性评测脚本的地方不同对象有不同输入结构、评测重点和输出方式但最终都能进入统一的评测结果体系。04 指标模板Dingo 如何沉淀标准一个可复用指标不能只是一句“判断质量好不好”。它需要明确评估目标、输入字段、计算方式、评分标准、阈值和使用场景。Dingo 指标模板示意以 RAG Faithfulness 为例评估目标答案是否忠实于检索上下文。输入字段question、answer、retrieved_contexts。计算方式将答案拆解为独立陈述逐条判断是否被上下文支持。评分方式支持陈述数 / 总陈述数。输出结果score、label、reason、问题样本。这类指标模板是 Dingo 标准化能力的核心。它让团队不是每次重新定义“什么叫好”而是把评测逻辑、阈值、字段和输出沉淀为可复用资产。05 Dingo典型使用场景举例● MinerU 文档解析质量评测面向 PDF、OCR、Markdown、JSON、block 结构等解析结果评估文本识别、段落结构、表格公式和版面完整性定位文档进入知识库前的质量缺陷。●Agent Trace 过程评测将一次 Agent 执行拆解为任务、计划、工具调用、工具返回、重试和最终答案评估任务完成度、计划质量、工具正确性、错误恢复和步骤效率也适合对 Codex、Claude Code、Intern-Agent、Langfuse 等工作流中的 Trace 做离线复盘。●AI4S 科研 Agent 工作流评测面向书生·端砚Intern AI Discovery等科研发现平台包含文献检索、工具调用、实验分析等复杂科研工作流评估计划质量、步骤效率、任务完成和错误恢复能力帮助研发团队复盘 Agent 的过程质量。●TC609 标准化对齐将数据集相关标准条款转化为指标组围绕数据字段、来源说明、文档完整性、安全合规等要求生成评测结果辅助质量验收和交付报告。●从试用到生产监控SaaS 平台提供 Quick Try、Full Pipeline 和 Online Evaluation 等模式分别对应单样本试评、批量数据评测和线上 Trace 持续评测。● 企业级数据质量评测解决方案Dingo已在“厦门国际物流供应链中试基地”“中国银行”“上海疾控中心”等多家头部企业/机构落地应用覆盖文本多模态等多种数据集类型。AI4S科研智能体质量评测流程示意06 开始使用资源入口Dingo SaaSDingo — AI Data Quality Evaluation PlatformDingo GitHubhttps://github.com/MigoXLab/dingoDingo 最适合的不是一次性 Demo而是已经进入工程化阶段的 AI 应用需要批量评测需要定位原因需要团队协作也需要把质量从单次验收推进到持续治理。
