Defects4C: Benchmarking Large Language Model Repair Capability with C/C++ Bugs

发布时间:2026/10/24 8:41:41
Defects4C: Benchmarking Large Language Model Repair Capability with C/C++ Bugs 该文章提出了针对C/C++程序修复的基准数据集Defects4C,填补了C/C++领域高质量基准缺失的空白,并通过实验评估了24个主流大语言模型(LLMs)在C/C++程序修复中的表现,揭示了当前LLM-based APR技术的不足。一、文章主要内容研究背景自动化程序修复(APR)在提升软件质量中至关重要,但现有研究多聚焦Java(如Defects4J基准),C/C++作为高性能软件的基础语言,虽漏洞占比超50%(2019年起),却因缺乏高质量基准导致APR研究滞后。现有C/C++基准存在缺陷:部分源于学生作业或竞赛(如DeepFix、Code4Bench),无法反映真实场景;部分项目覆盖少(DBGBench仅2个项目)、可用性低(ManyBugs需复杂编译)或存在虚假bug(BUGC++)。Defects4C基准构建数据来源:从11万个GitHub C/C++仓库提取3800万bug相关提交,结合CVE数据库1.45万个漏洞提交,经筛选后保留900万有效提交。核心组成:包含3部分,分别是Defects4C_bgcommit(900万bug相关提交,用于模型预训练/微调)、Defects4C_bug(248个人工验证的通用bug,含测试用例)、Defects4C_vul(102个人工验证的漏洞,含测试用例)。质量保障:通过单元测试

关于本文作者

来自尧图内容编辑团队

尧图内容编辑团队 内容团队

尧图内容编辑团队

本文由尧图网络内容编辑团队执笔。团队由资深项目经理、前端工程师与设计师组成,所有内容均来自亲手交付的真实项目,先讲清问题、再给出可落地的解法。尧图深耕北京网站建设十年,服务过京华建材集团、智造科技等各行业客户,把一线经验沉淀为可复用的行业观察。

  • 十年建站经验,覆盖建材、制造、服务、文创等
  • 项目经理把关选题与事实准确性
  • 工程师与设计师联合撰写专业细节
  • 统一编辑规范,保证文风与排版一致
  • 每月复盘转化数据,迭代选题方向

延伸阅读

相关资讯与近期热门内容

深度阅读推荐

建站决策前值得细读的三篇

网站改版的5个关键决策
2024-08-12

网站改版的5个关键决策

什么时候该改版、改到什么程度、如何避免流量掉光,京华建材集团改版复盘给出答案。

获取专属建站方案

看完文章,把您的行业与预算告诉我们,免费获取一份量身定制的官网建设方案与报价。

立即免费咨询