文章主要内容总结本文聚焦大型语言模型（LLMs）的位置偏差问题，通过实验发现并阐释了“注意力盆地”（attention basin）现象：当输入包含结构化内容（如检索文档、少样本示例）时，模型会系统性地对序列开头和结尾的内容分配更高注意力，而忽略中间部分。基于这一机制，作者提出了“注意力驱动重排序”（AttnRank）方法，通过两个阶段优化输入顺序：先用小规模校准集估计模型的固有注意力偏好，再将关键信息重新排序至高注意力位置。实验表明，AttnRank在多跳问答（Multi-hop QA）和少样本上下文学习任务中，对10种不同架构和规模的LLMs均有显著性能提升，且无需修改模型参数或训练过程，具有模型无关、无需训练、即插即用的特点。创新点揭示位置偏差的核心机制：通过实证和理论分析，将“注意力盆地”现象确认为位置偏差的关键驱动因素，即模型对结构化输入的边界（开头和结尾）存在固有注意力偏好，且关键信息处于高注意力区域可显著提升性能。提出轻量型优化方法：设计AttnRank框架，无需训练即可利用模型的注意力偏好重排序输入，平衡信息重要性与模型注意力分布，计算开销极小。广泛验证有效性：在10种主流LLMs（涵盖不同架构和规模）的多跳QA和少样本学习任务中，AttnRank持续优于基线方法，证明其鲁棒性和通用性。翻译部分摘要大型语言模型（LLMs）的性能对输入中信息
