How to Train a Leader: Hierarchical Reasoning in Multi-Agent LLMs
论文主要内容和创新点总结主要内容研究背景：大语言模型（LLMs）在复杂推理任务中表现优异，但通过多代理协作可进一步提升性能。现有多代理框架存在训练和推理时计算成本高的问题。核心框架：提出分层多代理框架，仅训练单个领导者LLM来协调一组未训练的同伴代理，无需联合优化多个模型。训练方法：设计Multi-agent guided Leader Policy Optimization（MLPO），通过监督微调（SFT）和强化学习（基于GRPO）训练领导者，使其能评估和合成代理响应，无需辅助价值网络或显式代理反馈。实验结果：在Big-Bench Hard（BBH）、MATH和MMLU基准测试中，该框架显著优于单代理和多代理基线，且领导者在有无代理团队的情况下均表现优异。创新点分层框架：首次提出仅训练单个领导者LLM协调未训练代理的分层结构，大幅降低计算成本。MLPO方法：通过代理的多样化响应指导领导者训练，增强其推理和协作能力，无需显式反馈。灵活性与效率：训练后的领导者可独立部署（零样本推理）或与代理团队协作，兼顾性能与计算效率。实验验证：在多个基准上持续优于现有方法， 
