AutoSynthesis：面向全自动元分析的多智能体系统

AutoSynthesis面向全自动元分析的多智能体系统论文原网页地址https://arxiv.org/html/2607.15247v1摘要证据合成是医学、教育、公共政策、计算机科学等领域将零散原始研究转化为可靠量化结论的核心手段但传统人工元分析流程成本极高、规模化落地困难。本文提出AutoSynthesis端到端多智能体系统仅输入自然语言研究问题即可全自动完成检索策略构建、文献抓取、标题/全文初筛、纳入标准判定、统计量提取、标准化效应量计算、随机效应元分析全套流程。系统同时支持异质性分层调节分析、发表偏倚与研究内偏倚风险评估最终输出完全符合PRISMA规范的标准化分析报告。以人机对照元分析作为基准开展评测AutoSynthesis完成28篇候选文献检索、19篇全文筛选从8项有效研究中提取20组量化效应量系统输出的合并Hedges’ g效应量与人工专家结果偏差仅±0.12定量结论高度吻合。实验证明AutoSynthesis可大幅降低证据合成人力成本实现近实时持续证据更新为循证决策提供可复现、可规模化自动化工具。三大核心贡献搭建完整链路多智能体框架覆盖从研究问题到标准化元分析报告全流程弥补现有LLM工具仅能完成文献筛选、无法实现定量合并的空白设计分层智能体分工架构区分LLM推理模块与确定性统计计算模块兼顾大模型文本理解的灵活性与元分析统计方法严谨性以已发表人工元分析为基准开展量化对比实验验证自动化分析结论与专家人工分析高度一致并完整开放复现流程、脚本与评测指标。1 引言系统元分析通过整合多项独立实证研究得到统一量化结论能够提升统计功效、精确效应估计、识别单一研究无法显现的异质性来源广泛应用临床医学指南制定、心理干预评估、教育方案效果测算、公共卫生政策研究、人机交互行为分析等领域。但人工元分析存在显著短板完整综述通常需要上千工时耗时长达一年新研究产出与合成结论发布存在巨大滞后。现有LLM辅助证据工具仅能完成文献检索、标题筛选、简单信息抽取无法实现标准化效应量计算、随机效应合并、发表偏倚检验等核心元分析定量流程。本文AutoSynthesis创新点基于LangGraph搭建多智能体协同流水线规划、检索、精读、筛选、统计抽取、统计校验、元分析计算、偏倚评估、报告生成各司其职LLM负责非结构化论文文本理解统计模块全部采用确定性Python数值算法避免大模型幻觉干扰定量结果全流程留存智能体操作审计日志每一步纳入/剔除、数值提取均可追溯输出报告严格遵循PRISMA 2020规范。系统支持“活元分析”持续更新模式新文献发表后可自动追加合成解决传统综述时效性差的痛点同时内置RoB2、ROBINS-I两套偏倚评估工具漏斗图、剪补法、留一法敏感性分析、调节子分层异质性分析全套可视化与统计检验流程。2 实验结果2.1 端到端全自动元分析完整演示选取基准研究问题「大语言模型生成说服文本相比人类撰写内容对说服效果的影响」采用Hölbling 2025年人工元分析作为黄金对照基准。AutoSynthesis完整执行链路规划智能体生成检索布尔式、纳入排除标准、调节变量多数据库抓取28条文献记录标题摘要初筛保留25篇全文读取后判定19篇符合研究范围提取有效量化数据最终纳入8项研究、共20组效应量随机效应模型合并得到Hedges’ g0.14395%CI [0.059,0.226]p0.001证明LLM文本平均说服力更强配套全套诊断结果高研究间异质性I 2 88.3 % I^288.3\%I288.3%、Egger检验提示小型研究发表偏倚、留一法敏感性分析、累积时序元分析、领域调节子分层对比、单篇研究偏倚风险评级。输出产物包含PRISMA流程图、森林图、漏斗图、效应-样本散点、累积效应图、分层调节图、异质性统计表格、偏倚评估矩阵、研究信息汇总Markdown表格。2.2 文献检索与筛选能力验证以人工基准纳入的7篇核心文献为参照AutoSynthesis召回5篇召回率71.4%系统额外纳入3篇基准未收录文献校正后精确率87.5%未召回文献成因1篇数据库检索未命中、1篇无公开可解析PDF额外纳入文献包含基准截止日期后新发表论文与1篇主题弱相关文献属于智能体筛选误判可通过人工微调检索词修正。2.3 自动化效应量准确度验证整体合并结果对比人工基准合并效应g0.020AutoSynthesis输出g0.143差值Δg0.123落在学术界公认±0.2可接受误差区间二者置信区间大面积重叠核心定性结论完全一致异质性指标、Egger偏倚检验p值差异极小。单研究效应匹配7组可一一对应的研究效应量皮尔相关r0.69p0.085OLS回归斜率1.62自动化提取数值与人工标注中等正向相关二者差异主要来自文献检索覆盖度不同而非统计计算模块误差。3 讨论3.1 核心优势全链路覆盖从自然语言问题直达标准化元分析报告集成异质性、发表偏倚、偏倚风险全套专业分析模块推理与统计解耦文本理解交由LLM定量合并、检验使用确定数值算法杜绝幻觉污染统计结论模块化设计支持中途导入已有筛选结果用于持续更新“活元分析”全链路可审计每一步筛选理由、提取数值、计算过程留存日志支持人工复核溯源基座无关兼容各类开源/闭源大模型可离线本地部署。3.2 局限评测基准数量有限复杂小众学科、图表/附录仅存统计数据的文献性能存在波动文献检索依赖开放可解析PDF付费墙、扫描件论文无法自动读取部分原始论文未完整报告均值、标准差等计算所需统计量自动化流程只能直接剔除LLM基座、提示策略会小幅影响文献筛选与数值抽取效果训练数据污染风险部分基准文献可能存在于模型训练集但定量计算为固定数学流程对最终合并结论影响有限。3.3 应用场景与定位AutoSynthesis并非完全替代领域专家而是辅助工具研究问题定义、调节变量选取、结果领域解读仍需人工专业判断最适合成熟综述的持续增量更新、缺乏统计专业研究者快速完成初步定量合成、大规模政策类循证证据批量汇总。4 方法实现4.1 AutoSynthesis多智能体完整架构基于LangGraph搭建ReAct循环多智能体流水线各智能体分工明确共享全局工作流状态智能体模块核心功能规划智能体解析自然语言问题生成完整元分析方案纳入标准、检索式、调节变量、效应指标支持人工编辑修正检索智能体根据方案生成布尔检索语句调用API抓取arXiv、PubMed、Semantic Scholar等多数据库文献去重、标题粗筛论文读取智能体多解析器级联MinerU→LlamaParse→Mistral OCR解析PDF为结构化Markdown保留表格纳入判定智能体全文逐条对照纳入标准记录每篇文献通过/剔除理由研究单元识别智能体区分单篇论文内多项独立实验拆分多组待提取统计单元统计抽取智能体分两步构建论文结构化JSON上下文→定向提取实验组、对照组均值、样本量、检验统计量统计校验智能体核对提取数值与原文文本一致性剔除无法溯源幻觉数据分析计算智能体标准化效应量转换Cohen’s d→Hedges’ g、REML随机效应元分析、异质性统计、分层调节分析偏倚评估智能体Egger回归、剪补法、留一敏感性、漏斗图、RoB2/ROBINS-I偏倚评级报告生成智能体输出PRISMA流程图、各类可视化图表、结构化Markdown综述、研究汇总表完整执行伪代码# AutoSynthesis 端到端执行主流程fromlanggraphimportStateGraph# 1. 初始化全局工作状态work_state{research_question:用户输入问题,logs:[],studies:[]}# 2. 规划智能体生成元分析协议stateplanner_agent(work_state)# 3. 多数据库检索、标题粗筛statesearch_agent(state)# 4. 批量PDF解析statepaper_reader_agent(state)# 5. 全文纳入/剔除判定stateeligibility_agent(state)# 6. 拆分单篇内多独立实验单元statestudy_identifier_agent(state)# 7. 抽取并校验所有量化统计量statestat_extractor_agent(state)statestat_validator_agent(state)# 8. 元分析定量计算、异质性、分层调节stateanalysis_agent(state)# 9 发表偏倚、研究偏倚全套检验statebias_assessment_agent(state)# 10 生成PRISMA合规完整报告可视化final_reportreport_agent(state)returnfinal_report关键技术细节PDF解析级联策略优先MinerU解析失败依次降级LlamaParse、Mistral OCR最大程度保留表格数字效应量转换支持t检验、回归系数、比值比等多种原始统计格式统一转为Hedges’ g随机效应模型采用REML迭代算法DerSimonian-Laird作为初始方差估计全套可视化基于Matplotlib输出PNG/PDF矢量图LLM统一输出结构化JSON便于机器校验数值抽取结果。4.2 评测方案以Hölbling et al. 2025已发表人工元分析作为黄金基准评测维度文献检索召回率、精确率全文筛选纳入/剔除决策匹配度单研究效应提取相关性、回归拟合整体合并效应效应量差值、置信区间重叠度评测指标召回率、精确率、Pearson相关、OLS斜率、效应绝对差值。4.3 工程部署实现编程语言Python 3.11编排框架LangGraphLLM接口OpenRouter调用gpt-5.4-miniPDF解析MinerU、LlamaParse、Mistral OCR统计模块NumPy、SciPy自主实现REML、剪补法、Egger检验不依赖第三方元分析库单次完整分析资源消耗约0.5小时1M输入token、100K输出tokenAPI成本约1.5美元部署模式支持本地离线开源大模型替换模块化可增减数据库API附录附录A 全部智能体提示词模板规划、检索、筛选、统计抽取、校验、报告生成全套系统提示JSON模板存放开源仓库prompts目录。附录B 完整实验数据表文献检索召回/精确率原始统计单研究效应量人工vs自动化对照表合并效应、异质性、偏倚检验完整数值消融测试不同LL基座性能对比。附录C 可视化绘图代码森林图、漏斗图、累积效应图、调节分层图、PRISMA流程图完整Python绘图脚本。附录D 复现运行脚本# 一键完整元分析复现命令python main_auto_synthesis.py--query你的研究问题--databasespubmed,arxiv,semanticscholar# 仅执行已有筛选结果的定量合成python analysis_only.py--study_tablestudy_extract.csv附录E 环境依赖清单langgraph、openrouter、numpy、scipy、matplotlib、mineru、llama-parse、pdfkit等完整pip依赖列表。资源下载汇总论文HTML原文https://arxiv.org/html/2607.15247v1论文PDF文件https://arxiv.org/pdf/2607.15247开源代码仓库完整运行脚本、提示词、可视化代码、评测数据集论文发布后公开复现部署文档仓库README包含环境安装、API配置、批量分析命令