10分钟速览Harvey LAB:开源法律智能体基准全貌【免费下载链接】harvey-labsA benchmark built to evaluate and improve agent capabilities for supporting legal work.项目地址: https://gitcode.com/GitHub_Trending/ha/harvey-labsHarvey LABLegal Agent Benchmark法律智能体基准是 Harvey AI 开源的法律 AI 评测项目专门用于评估 LLM 智能体完成真实法律工作的能力。它包含两大件1,660 个覆盖 24 个法律实务领域的任务数据集以及一套可运行的执行与评估框架harness——给智能体一份案卷让它产出法律文书再由 LLM 评委按评分细则逐条打分。无论你是 AI 工程师、法律科技从业者还是好奇大模型能当律师吗的普通读者这篇 10 分钟速览都能帮你快速建立全局认知。 Harvey LAB 是什么任务数据集 执行框架很多人第一次接触基准测试benchmark会觉得抽象。Harvey LAB 的思路其实非常直白任务Task每个任务 一份合成生成的模拟案卷合同、邮件、表格、备忘录等真实格式文件 一段律师风格的工作指令 一份逐条可打分的评分细则rubric。运行Run智能体在沙箱里读取案卷、调用工具、写出交付物如 Word 备忘录。评估Evaluate 报告ReportLLM 评委逐条判 pass/fail生成 HTML 报告和跨模型对比看板。整个系统是文件系统优先的设计——没有数据库、没有 Web 服务任务在 tasks/ 目录运行结果在results/报告是静态 HTML对本地运行和复现非常友好。 任务库一览1,660 个任务横跨 24 个法律领域据 docs/eval-strategies.md 的统计基准目前包含约101,000 条评分细则最大的几个领域法律领域任务数公司并购Corporate MA156知识产权IP147私募与风险投资99公司治理与合规97信托、遗产与私人客户77诉讼与争议解决52任务 ID 直接镜像目录路径。例如corporate-ma/review-data-room-red-flag-review这个并购尽调任务就包含60 份案卷文件Word、Excel、邮件、PPT 混合和68 条评分细则——要求智能体找出 EBITDA 数据矛盾、未过户的许可证等真实感十足的红旗。想亲手翻看一个任务的完整定义可以看它的 task.json。⚙️ 智能体如何干活6 个工具 安全沙箱运行入口是harness/run.py核心循环在 harness/agent_loop.py。智能体被放入每任务独立的 Podman 沙箱断网、去权限所有文件操作都走同一个受控接口即使案卷里藏着恶意文件也不会影响宿主机——威胁模型详见 sandbox/README.md。智能体只有 6 个闭域工具模拟了律师处理案卷的全部基本动作工具用途bash在工作区内执行 shell 命令read读取 .docx / .xlsx / .pptx / .pdf 及文本write/edit编写和修改交付物glob/grep按模式找文件、按正则搜内容此外harness/adapters/ 提供多模型适配层支持AnthropicClaude、OpenAIGPT、GoogleGemini、Mistral、Fireworks五类供应商harness/skills/ 里还有 docx/pptx/xlsx 技能手册教智能体如何规范地读写办公文档。 评分方法为什么全通过才是硬指标这是 Harvey LAB 最值得普通读者理解的设计方法论全文见 docs/eval-strategies.md没有标准答案文件。每条细则的match_criteria文本本身就是评判标准由 LLM 评委默认 Claude Sonnet做语义匹配——换个说法但抓住了实质同样算通过。任务级分数是二元的所有细则全过才得 1.0 分否则 0.0 分。官方解释很犀利尽职调查报告漏掉一个重大问题哪怕抓对了其余 95%对委托人也等于没用。作为诊断辅助报告同时给出细则通过率让你看清模型是差 1 条还是差 10 条。可选双评委模式--dualClaude Sonnet 4.6 GPT-5.5 独立打分进一步降低单评委偏差。评委提示词模板在 evaluation/prompts/rubric_criterion.txt评分逻辑在 evaluation/scoring.py。 10 分钟上手四步跑通一个法律任务官方完整教程在 docs/tutorial.md含从环境配置到对比看板的全部 12 步核心路径只需四步第 1 步 · 克隆并初始化地址https://gitcode.com/GitHub_Trending/ha/harvey-labs git clone https://gitcode.com/GitHub_Trending/ha/harvey-labs cd harvey-labs ./scripts/setup.sh第 2 步 · 配置密钥把ANTHROPIC_API_KEY评委必需写入根目录.env文件即可想测 GPT/Gemini 再按需加OPENAI_API_KEY/GOOGLE_API_KEY。第 3 步 · 看看任务长什么样uv run python -m utils.list_tasks --area corporate-ma uv run python -m utils.describe_task corporate-ma/review-data-room-red-flag-reviewutils/list_tasks.py 支持按领域、工作类型分析/起草/审查/调研、难度筛选utils/describe_task.py 会打印任务的交付物、文档数和细则清单。第 4 步 · 运行 → 评分 → 看报告uv run python -m harness.run --model anthropic/claude-sonnet-4-6 \ --task corporate-ma/review-data-room-red-flag-review uv run python -m evaluation.run_eval --run-id run-id \ --task corporate-ma/review-data-room-red-flag-review完成后打开results/run-id/report.html就能看到全通过状态、逐条评委推理、文档覆盖率比如 60 份案卷读了 31 份和 Token 消耗——这通常是模型到底哪里没做好的最快入口。 对比多个模型sweep 批量跑 对比看板单个任务跑通后utils/sweep.py 可以一次性跑模型 × 任务矩阵建议先加--dry-run预览计划自动完成运行、评估、报告三个阶段还支持--parallel并行。最后用 evaluation/compare.py 生成对比看板汇总指标包括All-pass 率头条指标细则通过率诊断指标逐条细则热力图、文档覆盖率、Token / 耗时 / 估算成本想换 Gemini 跑同一任务只需把--model换成google/gemini-3.1-pro-preview想加推理深度追加--reasoning-effort high。每个模型适配器都在 harness/adapters/ 下想接新供应商也只需实现一个ModelAdapter接口。 进阶阅读与文档索引文档内容docs/tutorial.md端到端完整教程环境、任务、运行、评分、报告、对比docs/architecture.md任务模型、harness、工具、沙箱、适配器、报告架构docs/eval-strategies.md全通过评分与 LLM 评委行为详解CONTRIBUTING.md如何新增任务、模型适配与评测改进 小贴士基准中的案卷文件均为大批量合成生成、并经人类律师指导审阅实质复杂度贴近真实法律工作但毕竟不是执业律师从零起草的文档——引用时请留意这一点。一句话总结Harvey LAB 把法律工作能不能交给 AI这个大问题拆成了 1,660 个可量化、可复现、可对比的小实验——这正是它成为法律 AI 领域重要开源基准的原因。️【免费下载链接】harvey-labsA benchmark built to evaluate and improve agent capabilities for supporting legal work.项目地址: https://gitcode.com/GitHub_Trending/ha/harvey-labs创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
