【免费下载链接】ProgramBenchCan Language Models Rebuild Programs From Scratch?项目地址https://gitcode.com/gh_mirrors/pr/ProgramBench点击查看免费下载ProgramBench 是一个开源的AI 评估框架用来回答一个问题大语言模型能否从零重建一个完整的程序在 ProgramBench 中AI Agent 只能拿到一个编译好的二进制文件和文档必须自己架构并实现一个能复现原程序行为的完整代码库。本文带你用5 分钟完成 ProgramBench 安装、镜像自动拉取并运行你的第一次 AI 评估文末附常用参数清单。 什么是 ProgramBenchProgramBench 的评估流程可以概括为四步选取一个开源 CLI 工具以 Rust / Go / C 项目为主把它编译进一个移除源码的 Docker 镜像cleanroom 环境让 LM Agent 只能通过与二进制交互的方式逆向出完整实现用 AI 生成的行为测试behavioral tests给重建出来的实现打分。仓库内置了上百个真实任务的评估数据每个任务目录都包含task.yaml仓库、commit、语言、难度等元信息和tests.json测试分支与忽略项清单例如任务定义示例task.yaml测试清单示例tests.json完整任务库位于 src/programbench/data/tasks/ 目录另有内置的 correct / incorrect 对照运行结果可参考 src/programbench/data/test_runs/。✅ 开始前的环境准备依赖要求说明操作系统Linux x86_64官方镜像仅构建linux/amd64macOS / Windows 无法原生运行Python≥ 3.10版本要求见 pyproject.tomlDocker最新稳定版评估全程在容器内自动完成网络评估侧需要联网用于按需拉取镜像与测试包blobAgent 推理阶段必须断网 提示programbench eval会自动拉取所需 Docker 镜像无需手动 pull。 5 分钟安装 ProgramBench官方推荐用 Python 包管理器uv一行命令即可完成安装# 免安装直接运行 uvx programbench --help # 或安装到当前项目 uv pip install programbench # 或传统 pip 方式 pip install programbench如果想在源码中调试或贡献也可以克隆仓库https://gitcode.com/gh_mirrors/pr/ProgramBench 后执行uv sync。安装完成后 CLI 入口即programbench命令命令定义在 cli/main.py评估核心逻辑在 eval/eval.py。 理解镜像拉取机制评估镜像统一来自 Docker Hub 的programbench组织使用task_cleanroom_v6标签。镜像名规则很简单任务 ID 中的__替换为_1776_。例如任务ffmpeg__ffmpeg.360a402对应的镜像是programbench/ffmpeg_1776_ffmpeg.360a402:task_cleanroom_v6镜像命名函数可参考 constants.py。除了镜像每个任务的测试包test blobs会在评估时按需从 HuggingFace 下载。如果想提前预热缓存可以执行uv run programbench blob sync # 全量预下载 uv run programbench blob sync instance_id # 只下载单个任务▶️ 运行你的首次 AI 评估第 1 步准备 run 目录把 Agent 产出的完整代码库打包为submission.tar.gz并按任务 ID 一个子目录的结构组织my-first-run ├── testorg__calculator.abc1234 │ └── submission.tar.gz ├── abishekvashok__cmatrix.5c082c6 │ └── submission.tar.gz └── ...第 2 步一条命令启动评估uv run programbench eval /path/to/my-first-run它会自动完成拉取镜像 → 编译 submission → 在独立容器内执行行为测试 → 在每个任务目录写出instance_id.eval.json结果文件并在结束时打印整体摘要。第 3 步常用参数速查参数作用-w, --workers并行评估的任务数-b, --branch-workers单任务内并行测试分支数--docker-cpus每个容器分配的 CPU 核数默认 10-f, --force已有结果时强制重评--filter 正则只评估匹配的任务 ID如--filter eradman__entr.*--slice 0:5只跑第 0~4 个任务--summarize-only跳过评估仅汇总已有结果-o, --output结果输出到其他目录参数完整定义见 cli/main.py。 查看评分programbench info评估完成后任何时候都可以重新打开汇总视图uv run programbench info /path/to/my-first-run它会读取每个实例的tests.json剔除被标记为不可靠ignored的测试分支再按统一口径计算最终得分——官方强烈建议以programbench info的口径为准。单个eval.json的字段含义test_results、log、executable_hash等说明详见 docs/README.md。 进阶提交到排行榜评估通过后还可以把 run 目录打包为正式提交生成submission.yaml与_stats/score.json校验一致性再走 PR 注册到 leaderboarduv run programbench submit package /path/to/my-first-run # 打包为提交 uv run programbench submit verify ./submission-dir # 一致性校验 uv run programbench submit register ./submission-dir # 注册提交提交生命周期源码见 cli/submit.py提交模板位于 data/templates/。❓ 常见问题 FAQQ1macOS / Windows 上能跑吗不能原生运行。官方镜像仅构建linux/amd64请使用 Linux x86_64 机器。Q2评估时一直卡在下载怎么办镜像与测试 blob 都是按需拉取的先用programbench blob sync预热并确认机器能正常访问 Docker Hub 与 HuggingFace。Q3只想试跑一个任务组合过滤参数即可programbench eval run_dir --filter testorg__calculator.* --slice 0:1。Q4Agent 推理阶段需要联网吗不需要且必须断网——这是 ProgramBench 保证从零重建公平的规则之一。 延伸阅读完整使用指南docs/README.md项目说明README.md评估核心代码src/programbench/eval/工具函数镜像控制、数据加载等src/programbench/utils/按以上步骤你已经在 5 分钟内完成了 ProgramBench 的安装、镜像自动拉取和首次 AI 评估。接下来可以逐步调大--workers并行度跑满整个任务库测出你的 Agent 在从二进制到源码这一硬指标上的真实水平。赞分享【免费下载链接】ProgramBenchCan Language Models Rebuild Programs From Scratch?项目地址https://gitcode.com/gh_mirrors/pr/ProgramBench点击查看免费下载相关推荐Octop /api/docs 交互文档实战指南从 404 到在线调试Octop /api/docs 交互文档实战指南从 404 到在线调试 第一次调 API先被 404 挡住 Octop 的 HTTP API 全部挂在 /a人工智能AI应用AI Agent多智能体后端本地部署即时通讯认证鉴权CLI桌面应用任务调度插件系统Agent记忆Agent工作流MCP ClientsSequoia-X 高而窄旗形策略4道门筛出主力建仓窗口Sequoia X 高而窄旗形策略4道门筛出主力建仓窗口 追高三次被埋、割肉10%后横盘十天再破位——高而窄旗形是手动选股最反直觉的形态看见时主升浪往往金融科技数据分析如何5分钟上手pgschemamacOS/Linux安装与首次运行完整指南如何5分钟上手pgschemamacOS/Linux安装与首次运行完整指南 pgschema 是一个开源的 CLI 工具为 PostgreSQL 带来 Te上一篇如何快速上手openeuler/ft_utils从安装到第一个事件循环的完整指南下一篇openeuler/riscv-kernel在RISC-V生态中的战略意义与价值创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
