AtomWorld: A Benchmark for Evaluating Spatial Reasoning in Large Language Models on Material Structures[2510.04704] AtomWorld: A Benchmark for Evaluating Spatial Reasoning in Large Language Models on Crystalline Materials论文摘要大语言模型LLM在科研领域展现出可观潜力可支撑从知识检索到物性预测等各类任务。现有的科学基准评测集大多聚焦感知类或知识类任务很大程度上忽略了建模任务 —— 而建模是所有真实科研工作最基础的起点。对于材料科学而言构建与调整原子结构是创造性最强、自动化程度最低的环节之一。本文提出 AtomWorld一套专门评测大模型原子结构修改能力的基准。该基准覆盖四大常用建模类别下的十种基础操作支持可核验的评估指标。实验结果显示 Claude Opus 4.6 整体表现最优。随着建模复杂度提升任务成功率显著下降涉及复杂空间关系的操作成功率尤其低旋转操作的成功率不足 12%。该结果表明现阶段大模型更适合作为材料结构建模的辅助协作者而非完全无监督的自主智能科研代理。除评测之外AtomWorld 也可作为试验平台用于研发后续具备结构感知能力的模型包括强化学习与智能体方案。论文分析这个数据集主要是用于材料性质预测的给一个晶体结构与需要的性质让LLMs做修改。传统材料科学 LLM Benchmark通常考察知识问答、性质预测或者根据描述生成晶体结构。AtomWorld 研究一个更具体的问题给定一个已存在的晶体结构LLM 能不能理解自然语言指令并准确地修改其中的原子结构核心方法自动生成“指令—晶体结构”监督数据。论文主要贡献是一个 Benchmark 和数据生成器。LLM4Mat-Bench: Benchmarking Large Language Models for Materials Property Prediction[2411.00177] LLM4Mat-基准测试大型语言模型在材料性质预测方面的性能评估 --- [2411.00177] LLM4Mat-Bench: Benchmarking Large Language Models for Materials Property Prediction论文摘要大语言模型LLM在材料科学领域的应用日益增多。但是针对基于大模型的材料物性预测任务相关基准评测与标准化评估工作还很少这阻碍了该方向的发展。本文提出 LLM4Mat-Bench是目前规模最大、用于评测大模型晶体材料物性预测能力的基准数据集。LLM4Mat-Bench 总计包含约 190 万个晶体结构取自 10 个公开材料数据源覆盖 45 种不同物性。该基准支持多种输入形式晶体组分、CIF 文件、晶体文本描述三种输入形式对应的总 token 数量分别为 470 万、6.155 亿、31 亿。我们基于 LLM4Mat-Bench 对不同规模的模型包括 LLM-Prop、MatBERT开展微调同时使用零样本、少样本提示词评测 Llama、Gemma、Mistral 这类对话大模型的物性预测能力。实验结果凸显了通用大模型在材料科学场景下存在的短板说明在材料物性预测任务中我们需要面向任务定制的预测模型以及经过任务指令微调的大模型。论文分析LLM4Mat-Bench 是一个大规模的材料结构—性质预测数据集。输入一个材料的化学式、CIF 晶体结构或结构文字描述让模型预测它的带隙、形成能、体模量等性质。完整数据源清单数据来源有效结构样本分项口径性质任务数主要内容OQMD964,4032形成能、带隙JARVIS-QETB623,9894能量、间接带隙GNoME376,2766形成能、分解能、带隙、密度Materials Project146,14310带隙、凸包能、稳定性、密度等hMOF132,7437金属有机框架孔径、表面积、CO₂ 相关性质Cantor HEA84,0194高熵合金能量与体积JARVIS-DFT75,96520弹性、电学、压电、热电等性质QMOF7,6564MOF 带隙、能量、孔径OMDB12,1221有机材料带隙SNUMAT10,3727实验合成材料的电子结构计算标签MaScQA: investigating materials science knowledge of large language modelsMaScQA探究大型语言模型对材料科学知识的理解† | 数字探索 | 英国皇家化学学会 --- MaScQA: investigating materials science knowledge of large language models† | Digital Discovery | The Royal Society of Chemistry论文摘要从材料文献中完成信息抽取与文本理解对构建完备知识库、加速材料发现至关重要。语言模型已经展现出回答领域专属问题、从知识库检索信息的能力。但目前材料科学领域还没有基准数据集用来评估这类语言模型对核心概念的理解水平。本文构建了一套数据集包含 650 道材料领域的高难度试题题目需要具备本科毕业水平的材料专业学生的知识与能力才能解答。我们按照题目结构以及材料科学子领域对题目进行分类。同时我们采用零样本、思维链提示方式评测 LLaMA-2-70B、GPT-3.5 以及 GPT-4 模型解答这些试题的表现。结果显示GPT-4 的效果最优准确率约 62%。有意思的是和普遍认知不同思维链提示并没有带来明显的准确率提升。为分析模型短板我们开展错误分析模型表现不佳的主要原因是概念错误约 72%计算错误仅占约 28%。我们还将 GPT-4 和人类水平做对比发现 GPT-4 优于普通本科生成绩接近及格线。我们也测试了最优模型GPT-4在材料论文表格组分抽取、代码编写任务上的表现GPT-4 在组分抽取任务上效果较差但代码编写任务上优于其他所有模型。我们希望本文发布的数据集、分析结果以及相关应用案例能够推动面向材料科学领域专用大模型、信息抽取方案的后续研究。论文分析MaScQA 是一个规模较小、但答案具有明确对错标准的材料科学知识与推理 Benchmark从印度 GATE 工程考试中收集材料科学与冶金工程试题。四种题型题型数量输入正确输出MCQ284问题 选项正确选项字母MATCH70两组待匹配概念 选项正确匹配组合MCQN68计算题 多个数值选项正确数值选项NUM228无选项的数值计算题数值答案作为材料知识 QA可以。但是存在以下限制数据规模较小。 650 题不足以独立训练一个具有广泛材料知识的 LLM更适合作为保留测试集或者少量辅助 SFT 样本。没有完整的专家推理轨迹。 正确答案通常是选项或数值并非科学家对解题过程逐步标注的推理链。MSQA: Benchmarking LLMs on Graduate-Level Materials Science Reasoning and Knowledge[2505.23982] MSQA: Benchmarking LLMs on Graduate-Level Materials Science Reasoning and Knowledge论文摘要尽管面向材料科学的大语言模型LLM近期取得不少进展但目前仍缺少能够评估其领域专属知识与复杂推理能力的基准。为填补这一空白本文提出 MSQA一套综合性评测基准包含1757 道研究生难度的材料科学试题分为两种题型详细阐述作答、二值判断对 / 错。MSQA 的特色在于它对大模型同时提出两项要求精准的事实知识、多步推理覆盖七大材料科学子方向包括结构 - 性能关系、合成工艺、计算建模等。我们在 10 款前沿大模型上开展实验发现现有大模型存在明显能力短板。接口调用的闭源大模型最高准确率可达 84.5%开源大模型最高仅约 60.5%而领域专用大模型常会因为过拟合与分布偏移出现明显的性能下滑。MSQA 是首个同时评测大模型事实掌握能力与推理能力的基准这两项能力对于大模型在高端材料科学研究中的应用至关重要。论文分析MSQA 从真实材料科学论文中提取专业问题并要求模型给出涉及研究方法、材料结构、性能与机制的详细解释。它不仅有二元判断标签还有较完整的参考答案和原始论文来源。它最有用的不是那 1,757 个二元答案而是Question Long-form Scientific Answer 原始论文来源 可判断真假的科学陈述。样例{ question: What computational methods and parameters were used to model the reaction pathways of pyrrole hydrogenation on ruthenium and molybdenum oxide surfaces?, answer: Pyrrole hydrogenation reaction pathways ... were modeled using periodic density functional theory (DFT) implemented in VASP. The spin-polarized GGA-PBE functional ... 400 eV ... CI-NEB ..., topic: ### 1. Summary of the Purpose of the Paper: ..., source: data/diverse_sampled_paper_dataset/diverse_papers_3000/10.1021acs.jpcc.5b06486.json, source_section: 2 Computational Methods and Models, question_type: computational, true_false_question: Was the climbing image nudged elastic band (CI-NEB) method used to identify transition states in the pyrrole hydrogenation pathways modeled on Ru and HₓMoO₃ surfaces?, true_false_question_answer: YES }其中answer是详细的科学解释而topic并不是一个简短分类标签而是一段由 GPT-4o 生成的论文目的总结、研究目标分类以及候选研究问题。完整数据共 1,757 条。MatSciBench: Benchmarking the Reasoning Ability of Large Language Models in Materials Science[2510.12171] MatSciBench: Benchmarking the Reasoning Ability of Large Language Models in Materials Science论文摘要大语言模型已经展现出较强的科学推理能力但针对材料科学问题的相关表现仍缺少充分研究。为填补这一空白本文提出 MatSciBench一套面向本科难度的综合性评测基准包含1340 道试题覆盖材料科学各个核心子学科。MatSciBench 设计了一套结构化、细粒度的分类体系将材料科学题目划分成6 个一级领域与 31 个二级子领域同时依据解题所需的推理步数设置三级难度划分。该基准为 946 道题目配备了详细参考答案支持过程级错误分析其中包含315 道带图题目用于评测多模态推理能力。我们在 MatSciBench 上评测主流的推理型与非推理型大模型并针对非推理模型测试三种推理方案基础思维链提示、工具增强、自我校正。实验结果表明现有模型在本科难度的材料科学推理任务上依然存在明显短板。DeepSeek-R1 在纯文本题目上取得最高准确率 75.22%GPT-5 在带图题目上表现最优准确率 53.02%。分析显示工具增强能够以节省 token 的方式提升很多非推理模型的效果而自我校正通常无法带来稳定增益甚至会把原本正确的答案改错。我们进一步从难度分级、推理效率、多模态推理、错误模式等角度展开分析发现当前模型的主要瓶颈在于领域知识缺失、计算错误、题意理解失败以及难以从科研图表中提取精准信息。总而言之MatSciBench 提供了清晰的测试平台用于衡量大模型现存短板并且为后续材料科学领域的科学推理研究指明方向。论文分析从材料科学教材中整理已有的例题和标准答案。题型输入输出NUM材料科学计算问题、已知参数可能附图数值、单位部分为多值答案FORMULA材料机制、模型方程或推导条件符号公式或表达式题目几乎全部是数值计算和公式推导具有明确的正确答案。包含大量参考解题过程可以构建科学推理错误检测任务。包含图像、物理机制和材料工艺问题比纯文本知识问答更全面。主要字段如下字段含义qid唯一题目编号typeNUM或FORMULAquestion题目正文image图片列表可包含多张图片solution参考解题步骤部分为空answer最终正确答案unit答案单位number_of_answers单答案或多答案difficulty_levelEasy / Medium / Hardprimary_category主要领域Materials、Properties等多维知识标签source对应教材original_qid教材中的原始题号ResearchBench: Benchmarking LLMs in Scientific Discovery via Inspiration-Based Task DecompositionResearchBench: Benchmarking LLMs in Scientific Discovery via Inspiration-Based Task Decomposition - ACL Anthology论文摘要大语言模型LLM在辅助科研方面已经展现出潜力但由于缺少专门的基准评测集模型产出高质量研究假设的能力一直没有得到检验。为弥补该空白本文提出首个大规模基准用于在一套完备的科学发现子任务上评测大模型灵感检索、假设构建、假设排序。这里的 “完备” 指如果能够完美完成这几项子任务就可以完整完成整体科学发现任务。我们搭建了一套基于大模型的自动化框架从 12 个学科的论文中提取关键要素研究问题、研究背景调研、灵感依据、研究假设并且经过专家核验确认该框架提取结果准确。为避免数据污染本基准只选用 2024 年及之后发表的文献最大限度减少和大模型预训练数据的重合随着大模型预训练截断时间不断延后这套自动化框架还可以持续提取更新的论文支撑该科学发现基准可规模化、无数据污染地自动更新。评测结果表明跨学科场景下大模型在灵感检索这项分布外任务上表现突出说明模型具备挖掘新颖知识关联的能力。论文分析这个论文主要就是针对MOOSE的三个环节的任务进行的测评有一些数据。三个任务1. Inspiration Retrieval 检索能够启发解决问题的相关文献2. Hypothesis Composition 将研究背景和启发信息组合为科学假说3. Hypothesis Ranking 比较候选假说的优劣选出更合适的方案论文原始实验从 2024 年及之后发表的 1,386 篇论文出发覆盖 12 个学科。当前公开版本经过整理实际包含数据子集公开记录数主要作用papers1,369结构化论文记录retrieve1,367启发文献检索generation1,367科学假说生成ranking1,323科学假说比较tiny小规模示例测试代码、验证运行环境Matter-of-Fact: A Benchmark for Verifying the Feasibility of Literature-Supported Claims in Materials Science[2506.04410] 事实主义验证材料科学领域文献支持性主张可行性的标准 --- [2506.04410] Matter-of-Fact: A Benchmark for Verifying the Feasibility of Literature-Supported Claims in Materials Science论文摘要当前辅助科学发现的主流方案利用语言模型自动生成大量待验证的潜在假设同时自动生成代码形式的实验来检验这些假设。假设的生成成本相对较低但自动化实验的成本很高大规模开展例如上千组实验时尤为明显。如果能够基于可行性对假设做筛选科学发现系统就可以规模化运行同时提升取得重大发现的概率。本文提出 Matter-of-Fact一套挑战数据集用于判断以论断形式表达的研究假设是否具备可行性我们将可行性评估转化为一个经过时间筛选的论断核验任务采用回测方式实现。Matter-of-Fact 包含 8400 条从科研论文中提取的论断覆盖四大前沿高影响力材料科学方向超导体、半导体、电池、航空航天材料同时涵盖理论、实验、代码 / 仿真结果对应的定性论断与定量论断。实验表明包含文献检索增强生成、代码生成能力的强基线模型在该任务上的表现最高不超过 72%随机猜测水平为 50%而领域专家核验结果显示几乎所有样本都具备可判定性。这既说明该任务对现有模型存在不小挑战也预示着该方向的短期进展有机会加速科学发现。论文分析数据划分来源论文年份样本数量Train20221,376Validation20232,538Test2024–20254,446合计8,360方向覆盖的研究内容Superconductors超导性质、磁相互作用、临界温度等Semiconductors半导体材料、电子结构及相关性能Batteries电池材料、性能及相关物理化学机制Aerospace Materials航空航天材料、结构和性能每个划分都保持 True / False 标签数量平衡同时平衡实验、计算、理论和综合研究类型每个方向抽取 125 篇论文合计 500 篇。字段含义对训练的价值claim_id来源论文、Claim 编号和 T/F 标记仅用于数据管理claim_text待判断的科学主张模型核心输入gold_labelTrue / False监督标签metadata.type实验、计算、理论、综合分类型评估metadata.problem_description科学问题描述可作为任务背景metadata.supporting_facts_from_paper原论文支持事实解释监督与证据审查metadata.explanation标签成立的解释推理监督候选metadata.quant_or_qual定量或定性难度分析metadata.paper_id来源 arXiv 论文 ID文献溯源与去重metadata.topics研究领域标签分领域评价metadata.exclude_date知识截止日期时间回溯评估样例有claim、正确还是错误、原因SFBench: The SciFy Scientific Feasibility Benchmark[2606.29630] SFBenchSciFy 科学可行性基准测试 --- [2606.29630] SFBench: The SciFy Scientific Feasibility Benchmark论文摘要本文提出 SFBench一套用于评估科学论断可行性判定系统的基准数据集。SFBench 包含 197 条材料科学领域的论断每条都标注了真实可行性得分五分制以及对应的判定理由。该数据集和以往数据集相比存在几处关键区别1它定义了一项复杂任务需要对不同可行性水平的论断开展推理2其中的论断并非提取自已发表科研论文而是全新人工构建大幅降低大模型在预训练阶段见过这些样本的可能性3论断与真实标注结果均由领域专家确定而非由人工智能生成4很多基准采用问答对、选择题或者简短固定答案的形式而 SFBench 的解释文本完全开放没有格式限制。本文介绍该基准的设计思路、数据构建流程与评估指标同时给出基于最新 GPT 模型得到的基线实验结果。论文分析论文明确提出了两个评价任务Feasibility Assessment判断一个材料科学主张在现有科学知识和技术条件下是否可能实现。Explanation Generation给出判断原因指出相关物理约束、技术限制或已有实验证据。样例MOF-VERIFY: A Failure-Aware Agentic Harness for MOF Hypothesis VerificationNips-workshop[2610.03056] MOF-VERIFY一种用于 MOF 假设验证的故障感知型代理工具 --- [2610.03056] MOF-VERIFY: A Failure-Aware Agentic Harness for MOF Hypothesis Verification论文摘要大语言模型正越来越多地作为推理组件应用于人工智能驱动的材料协同科研助手Co-Scientists中但这套验证流程本身的可靠性尚不明确。金属有机框架MOF是一个极具挑战性的测试场景同一结构可能拥有多种标识编号合成结果高度依赖实验条件相关证据分散在各类异构数据源中部分假设还需要依靠计算手段而不只是查阅文献。本文推出一套诊断基准包含四大任务系列结构匹配、合成条件核验、证据充分性核验、基于机器学习相互作用势MLIP的计算核验。T-MOF-1 至 T-MOF-3 在闭卷、支持检索、先知证据三种设置下开展评测用来定位模型在知识获取、证据搜集、推理环节的故障T-MOF-4 单独用于评测计算核验能力。基于诊断得到的各类故障模式我们开发了 MOF-Verify一套感知故障的智能体调度框架在给出最终判定之前针对性解决结构、文献、证据充分性以及计算层面的瓶颈。在多款主干大模型上MOF-Verify 相比直接推理、基于检索的基线方案能够显著提升假设验证的效果。基准数据集已开源。论文分析作者研究的是当一个 AI Scientist 提出一个关于金属有机框架MOF的科学假说时如何通过结构数据库、实验文献、证据充分性分析以及数值计算判断这个假说是否成立作者认为当前 LLM 验证科学假说时存在四类主要故障找错材料材料名称、化学式、数据库编号之间无法正确对应。找错实验无法准确找到论文中真正的合成条件。证据不足把部分实验结果误认为足以支持整个假说。缺少计算有些科学主张必须通过数值计算验证不能只靠文献推理。因此他们提出了两个核心贡献T-MOF Benchmark诊断科学假说验证过程中不同环节的失败。MOF-VERIFY根据不同失败类型调用不同工具形成一个故障感知的验证 Agent。T-MOF Benchmark他们把科学假说验证拆成四类任务每类任务对应一个明确的故障来源。T-MOF-1 · 材料结构身份验证给定材料名称、化学式或别名判断它是否对应正确的晶体结构。例如假说声称某个 MOF 对应 CSD 中的某个 Refcode但这个 Refcode 实际属于另一个 MOF。评价重点材料身份是否正确。T-MOF-2 · 合成条件验证判断假说描述的实验合成路线是否与原始论文记载一致。检查参数包括温度时间溶剂调节剂金属源有机配体。评价重点实验方案是否与真实实验记录一致。T-MOF-3 · 证据充分性验证给定一个科学主张和原始论文判断论文是否真的足以支持该主张。特别关注条件性结论有争议的结果证据不完整不同实验样品之间的混淆。评价重点证据是否足以得出当前结论。T-MOF-4 · 计算验证对需要数值计算的科学主张调用 MLIP 计算工具。评价重点模型是否能够正确构造计算任务、执行计算并处理收敛问题。具体分布任务样本量对抗控制弃权样本T-MOF-12761306T-MOF-286942553T-MOF-31177418T-MOF-4805Total1,27062982MOF-VERIFY Agent 架构
