【免费下载链接】XL-DocBench项目地址https://ai.gitcode.com/hf_mirrors/microsoft/XL-DocBench点击查看免费下载XL-DocBench 是一个面向超长文档理解Extra-Long Document Understanding的基准评测数据集包含 292 份真实专业文档和 1,345 道经 194 位人类专家逐条核验的问答题。它要求系统不仅读懂文档还要找到证据、组合多方支撑、适用正确规则并知道何时该拒答。本教程带你用一条命令、约 5 分钟的时间完成从获取数据到跑通首次基准评测的完整流程。为什么选择 XL-DocBench与常见的短文档问答基准不同XL-DocBench 考察的是数百甚至数千页文档下的证据推理能力非常适合用来检验你的长上下文模型或 RAG 系统。本次保守发布版strict release的关键数据指标数量文档总数292 份完整序列上下文最多达 2,935 页单文档问答1,191 题跨文档问答154 题2–12 份文档联合上下文专家核验问题1,345 题需多页证据的题目76.2%要求回答 None 的题目188 题考验拒答能力题目覆盖金融、法律、医疗、理工、学术、文学六大专业领域。当前公开榜单上最强系统 GPT-5.4 的 Accuracy 也只有38.36满分 100可见难度之高。仓库结构速览 ️在开始之前先了解你即将打交道的几个文件文件说明data/documents.jsonl292 份文档的元数据与公开 URLdata/qa_single_doc.jsonl单文档问答题目data/qa_cross_doc.jsonl跨文档问答题目code/quickstart.py一条命令的数据评测冒烟测试code/evaluate.py独立的确定性评测器零依赖manifest.json发布统计信息与文件清单results/scores.jsonl13 个可复现系统的逐题得分一条命令跑通首次评测分步指南 第 1 步获取数据约 1 分钟在终端中执行以下命令克隆仓库git clone https://gitcode.com/hf_mirrors/microsoft/XL-DocBench cd XL-DocBench 所有脚本仅依赖 Python 标准库无需安装任何第三方包。推荐使用uv来运行省去环境配置。第 2 步运行冒烟测试核心一条命令uv run --no-project python code/quickstart.py这一条命令会一口气完成四件事校验三份数据表与 ID 唯一性、核对证据页元数据、检查逐题得分覆盖是否完整、并运行一个 5 题的评测示例。看到如下输出就说明环境完全就绪XL-DocBench smoke test: PASS data: 292 documents, 1,345 QA (1,191 single 154 cross) evidence items: 3,044 per-question scores: 13 systems sample metrics: Accuracy100.0, F1100.0, ANLS100.0✅ 看到PASS即代表数据完整、评测器工作正常。示例中满分是因为内置了 5 条完美预测。第 3 步快速浏览数据可选uv run --no-project python code/examples/load_data.py该脚本会加载全部三张 JSONL 表并打印文档数、题目数以及第一道问题帮助你直观感受数据长什么样。示例记录格式可参考 schema/release_format_sample.json。第 4 步用内置示例跑一次真实评测官方内置了一组 5 题示例gold 标注 预测结果直接运行uv run --no-project python code/evaluate.py \ --gold-files code/examples/gold_sample.jsonl \ --predictions code/examples/predictions_sample.jsonl示例文件见 code/examples/gold_sample.jsonl 与 code/examples/predictions_sample.jsonl。这一步走通了离跑完整 1,345 题就只差把真实预测接进来。评测指标解读三个数字分别代表什么evaluate.py 报告三个确定性指标均为规则式打分不调用任何模型Accuracy宽松准确率预测与标准答案经过归一化后精确匹配才算对衡量答对的硬指标Token F1按 token 粒度计算 F1答对一部分也能拿到部分分更平滑ANLS容错版准确率允许答案存在轻微字符差异。⚠️ 注意缺失、失败或无法解析的预测一律计为错误除非显式启用--ignore-missing参数。如何评测自己的模型让模型回答 1,345 道题后把结果整理成 JSONL每题一行格式如下预测字段也接受model_answer、answer、response、output等别名{question_id: adubench_single_000001, prediction: the biggest single risk to human health worldwide} {question_id: adubench_cross_000001, prediction: macroprudential measures}然后执行uv run --no-project python code/evaluate.py \ --predictions predictions.jsonl \ --output eval_report.json \ --per-question-csv per_question.csv产出整体报告eval_report.json和逐题明细per_question.csv。你可以直接将自己的成绩与 results/summary.json 中 13 个已发布系统对比——榜单第一名 GPT-5.4OCR 输入的 Accuracy 为 38.36这是一个值得瞄准的起点。常见问题 FAQ Q1没有安装uv怎么办所有脚本只用 Python 标准库可直接用系统 Python 替代python3 code/quickstart.pyQ2冒烟测试报 FAIL 了错误信息会明确指出失败原因如Missing release file、Duplicate document_id。最常见原因是数据文件不完整重新克隆仓库即可。Q3仓库里为什么没有 PDF出于版权考虑本次发布仅包含文档的公开 URL 与元数据见 data/documents.jsonl不重分发第三方 PDF。Q4evidence_pages的页码是什么含义使用从 1 开始的 PDF 页索引而证据项evidence item中的页码保留标注员原始引用印刷页码可能与 PDF 页索引不同manifest.json 中有完整说明。写在最后从克隆仓库到跑通首次评测整个流程只需要一条核心命令uv run --no-project python code/quickstart.py接下来你可以① 用 code/examples/load_data.py 深入浏览题目② 接入自己的长上下文模型或 RAG 系统③ 用 code/evaluate.py 完成全部 1,345 题的评测看看你的系统能否超越当前榜首。祝评测顺利赞分享【免费下载链接】XL-DocBench项目地址https://ai.gitcode.com/hf_mirrors/microsoft/XL-DocBench点击查看免费下载相关推荐如何快速上手Omni Parse Bench10分钟跑通你的第一次文档解析基准评测安装与opb命令教程如何快速上手Omni Parse Bench10分钟跑通你的第一次文档解析基准评测安装与opb命令教程 Omni Parse Bench 是 Datala数据集AI 评测OCR数据标注5分钟跑通第一次推理Qwen3-4B-Instruct_rai_1.8.0_medusa_1.0_npu快速入门教程5分钟跑通第一次推理Qwen3 4B Instruct_rai_1.8.0_medusa_1.0_npu快速入门教程 Qwen3 4B Instruct_ra5分钟跑通Backburner一条命令部署MaciPhone双机推理环境的快速入门教程5分钟跑通Backburner一条命令部署MaciPhone双机推理环境的快速入门教程 Backburner 通过一根 USB C 线让你的 iPhone上一篇japicmp过滤功能全攻略如何精确控制比较范围包/类/方法/注解下一篇WebGazer.js革命性眼动追踪如何用普通摄像头实现网页用户行为分析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
