新手 3 步上手 Evidently AI 数据质量检测缺失值、重复值、异常值一网打尽【免费下载链接】evidentlyEvidently is an open-source ML and LLM observability framework. Evaluate, test, and monitor any AI-powered system or data pipeline. From tabular data to Gen AI. 100 metrics.项目地址: https://gitcode.com/GitHub_Trending/ev/evidentlyEvidently AI 数据质量检测是数据建模绕不开的一课。Evidently 是一款开源数据质量工具覆盖从表格数据到大模型应用把 100 多个指标封装成一次 Report 调用帮你快速筛查缺失值、重复值、异常值这三类数据问题并一键生成可视化检测报告。下面从一个真实事故讲起带你走完整条排查路径。先看一个真实场景风控模型上线一周预测效果断崖式下跌我们花了两天才定位到真相——新流入的数据里有 12% 的记录关键字段金额缺失。如果数据进模型前就跑一次检测问题本可以当场拦下。图Evidently——开源的机器学习与 LLM 系统评估、监控框架先看病灶三类问题各长什么样缺失值字段里出现 NaN 或 None。模型会把它当成 0 参与计算或者直接报错预测基线悄悄漂移重复行 / 重复列重复行会让同一个样本被重复加权重复列是冗余特征白白消耗算力异常值一条金额 999999的记录能把均值拉飞还会污染训练样本三者都不显眼但任意一种都足以让模型失灵——好在都能用几行代码确认。 诊断路径三步把问题查完Evidently 把指标分成两级数据集级整表有几行重复、缺多少值和列级某一列的缺失率、越界值个数。实现分别在 metrics/dataset_statistics.py 和 metrics/column_statistics.py 里想深入源码可以顺着看。缺失值快速定位查缺失值先看整体再点具体列DatasetMissingValueCount给出整表缺失总量MissingValueCount(columnamount)则单独汇报某列的缺失个数与占比哪列在缺一目了然。如何识别完全重复的行与列DuplicatedRowCount统计所有字段完全相同的行DuplicatedColumnsCount则找出内容一致的重复列。它的常见来源是数据关联时的失误——一次没加条件的 LEFT JOIN行数就会悄悄翻倍。异常值筛查两种统计思路一是按业务规则用OutRangeValueCount(columnamount, left0, right1e6)定义合理区间区间的就是可疑点。二是按统计量看MeanValue、StdValue、QuantileValue给出的均值、标准差和分位数再挑出远离分布的点。两类指标可以装进同一个报告里from evidently import Report from evidently.metrics import DuplicatedRowCount, MissingValueCount, OutRangeValueCount report Report([DuplicatedRowCount(), MissingValueCount(columnamount), OutRangeValueCount(columnamount, left0, right1e6)])接下来只要把 DataFrame 传进去就能跑几行代码拿到一份完整的 HTML 检测报告snapshot report.run(df) snapshot.save_html(data_quality_report.html) 结果解读哪些指标亮红灯打开报告重点盯几个数字绿灯重复行数为 0各列缺失率低于 1%越界值计数为 0红灯DuplicatedRowCount大于 0基本是关联或去重出了问题某列缺失率突然高于基线往往是上游管道出了岔子吃不准时把一份历史数据作为参照传给run()两组指标一对比缺失率突增几乎一定是数据源的问题图搭配 Grafana 仪表板做数据质量监控指标异动一眼可见进阶从单次检查到持续监控上手之后你还可以按业务需求扩展自定义检测规则并把 Report 的结果接入 Grafana 一类仪表板做成持续的数据质量监控让问题在发生的第一时间被拦下。Evidently AI 数据质量检测把模型坏了猜原因变成了打开报告看数字是开源数据质量工具里上手最快的选择之一。下次数据流进来先跑一次 Report再跑模型。【免费下载链接】evidentlyEvidently is an open-source ML and LLM observability framework. Evaluate, test, and monitor any AI-powered system or data pipeline. From tabular data to Gen AI. 100 metrics.项目地址: https://gitcode.com/GitHub_Trending/ev/evidently创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
