Terminal-Bench AI 终端评测 5 分钟上手指南【免费下载链接】terminal-bench-1A benchmark for LLMs on complicated tasks in the terminal项目地址: https://gitcode.com/GitHub_Trending/tb/terminal-bench-1演示很顺实战拉胯很多 AI Agent 在演示视频里看着能写能跑真让它在终端里把这个服务编译、部署起来翻车率立刻上升而且演示往往只挑最容易过的任务。要量化这种差距就需要一套标准化的 AI 终端评测。Terminal-Bench 一套任务数据集 一个执行框架harness。数据集里每个任务自带英文指令、自动测试脚本和一份参考解harness 负责把模型接进一个 Docker 沙箱终端跑完后由测试脚本自动打分不靠人工肉眼验收。评测演示画面左侧是 Agent 在沙箱终端里的安装过程右侧面板记录它的状态分析与所执行的命令三条命令跑通第一次评测 前提是本机装好 Docker 和 uv然后一行装工具uv tool install terminal-bench首次运行别直接铺满整个数据集先拿 hello-world 冒烟它只是建一个文本文件几分钟就能看到完整闭环tb run --agent terminus --model anthropic/claude-3-7-latest --task-id hello-world单任务跑通后第三条命令tb run --agent terminus --model anthropic/claude-3-7-latest --dataset-name terminal-bench-core --dataset-version 0.1.1就是完整数据集评测其余高级选项看tb run --help和官方文档。一个任务跑起来后发生了什么tb run按 task-id 或数据集清单取任务指令写在 task.yaml、镜像由 Dockerfile 定义都在 original-tasks/ 里harness 为任务起一个 Docker 容器当作隔离的终端沙箱Agent 拿到英文指令后自主敲命令像真人一样一步步操作指令执行完run-tests.sh 自动跑测试脚本验证产出通过与否和全部过程落盘到输出目录再聚合成整场结果整个过程对模型没有任何人工干预调度逻辑集中在 terminal_bench/ 包里想改评测流程就从这里入手。它适合做哪三类 AI 终端评测Agent 方案横评同一批任务、同一批模型对比不同框架的自主完成率把它当现成的 AI Agent 基准测试平台用。模型迭代回归换了模型版本或 prompt 策略跑一遍数据集看通过率有没有回退。自建评测打底想给自己的产品做终端自动化评测照抄它的任务格式——指令、测试脚本、参考解三件套。输出怎么读卡住了先查三处跑完一轮输出目录先读这三个文件results.json最终打分哪些任务通过、哪些失败一眼定位。run.logharness 层的完整执行日志流程中断时第一个看它。commands.txtAgent 实际敲过的命令流水复盘它当时怎么想的靠它。失败任务不想从头猜再看一眼 panes/ 下三个时点的终端快照即可多轮结果想可视化dashboard/ 里自带一个本地面板。高频坑某个任务第一次特别慢每个任务要单独构建 Docker 镜像构建期看着像卡死docker ps看一眼就知道。并发开太大--n-concurrent从 2 起步太高容易 OOM 或镜像构建互相打架。Agent 秒退或不动先查模型名和 API key输出目录下的 agent-logs 里有它自己的报错。现在就去 original-tasks/ 挑一个和你业务相关的任务把模型换成自己的跑一遍你的第一次完整评测。【免费下载链接】terminal-bench-1A benchmark for LLMs on complicated tasks in the terminal项目地址: https://gitcode.com/GitHub_Trending/tb/terminal-bench-1创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
