突破数据瓶颈智谱团队发布AndroidGen框架革新大语言模型Agent能力强化方案【免费下载链接】androidgen-llama-3-70b项目地址: https://ai.gitcode.com/zai-org/androidgen-llama-3-70b在人工智能领域大语言模型LLM的Agent能力一直是研究的热点。然而数据匮乏的问题常常制约着LLM在复杂任务执行方面的表现。近日智谱技术团队推出了一项名为AndroidGen的创新框架旨在解决这一难题即使在数据有限的情况下也能显著增强LLM的Agent能力。该框架通过收集人类的任务轨迹并基于这些轨迹对语言模型进行训练无需人工标注即可开发出高效的Agent从而大幅提升LLM执行复杂任务的能力。AndroidGen框架的核心优势在于其无需人工标注的数据收集与训练机制。传统的Agent开发往往依赖大量人工标注的数据这不仅耗时耗力还难以覆盖各种复杂的实际场景。而AndroidGen另辟蹊径它能够直接收集人类在Android设备上的任务操作轨迹。这些轨迹真实反映了人类处理任务的思路和步骤包含了丰富的上下文信息和决策过程。通过对这些原始轨迹数据进行处理和利用AndroidGen可以在没有人工介入标注的情况下高效地训练出智能Agent。这种方式不仅大大降低了数据获取的成本还提高了Agent对真实世界任务的适应性。为了进一步强化Agent的任务执行能力AndroidGen精心设计了四大核心模块ExpSearch经验检索、ReflectPlan反省规划、AutoCheck自动校验和StepCritic步骤评估。这四个模块协同工作从不同层面提升LLM处理复杂任务的效能。ExpSearch即经验检索模块如同为LLM配备了一个强大的“经验库”。它能够在Agent执行任务时自动检索出之前完成的类似任务轨迹。LLM通过对这些相似轨迹进行上下文学习能够快速借鉴过往的成功经验从而提升自身的智能水平。这不仅有助于Agent更好地理解当前任务的要求还能促进其从简单任务向复杂任务的泛化能力让Agent在面对新的、更具挑战性的任务时也能游刃有余。ReflectPlan反省规划模块则赋予了Agent自我反思和动态调整的能力。在任务执行过程中Agent并非盲目地按照初始计划行动而是会不断对当前所处的环境状态进行审视和反思。通过分析已执行步骤的效果和当前环境的反馈Agent能够及时更新自己的规划状态修正可能存在的偏差。这种持续的自我反省机制有效增强了智能Agent的长期推理能力使其能够更好地应对任务执行过程中的各种不确定性和变化。AutoCheck自动校验模块扮演着“质量监督员”的角色。在Agent执行每一个操作步骤后AutoCheck都会主动对该操作的有效性进行验证。它会检查操作是否达到了预期的中间目标是否对后续任务的执行产生了积极影响或者是否存在操作失误等问题。通过这种实时的自动校验可以及时发现并纠正潜在的错误从而显著降低因操作失误而导致整个任务失败的风险提高任务执行的成功率和可靠性。StepCritic步骤评估模块则致力于对任务执行的每一个环节进行精细化的评估。它会将复杂的整体任务分解为多个可管理的子目标然后对每个子目标的完成情况以及达成该子目标所采取的每一个步骤轨迹进行细致的评估。这种 step-by-step 的评估方式能够为模型的优化提供细粒度的反馈和标签。开发人员可以根据这些详细的评估结果精准地定位模型在哪些步骤或子目标上表现不佳从而有针对性地进行模型调整和训练不断提升Agent的性能。除了上述核心功能模块AndroidGen还构建了一个高效的数据收集 pipeline能够大规模生成高质量的Android浏览轨迹。这为框架的持续优化和Agent的不断进化提供了坚实的数据基础。这个 pipeline 能够自动化地收集、筛选和处理来自各种Android应用场景下的用户行为数据确保了所生成轨迹数据的多样性、真实性和有效性。海量的高质量数据不仅是训练高性能Agent的前提也是推动整个框架技术迭代和创新的关键驱动力。那么AndroidGen框架背后的技术原理是什么呢在模型训练方面AndroidGen巧妙地运用了LoRALow-Rank Adaptation技术。LoRA技术允许在不改变预训练模型主体结构的情况下通过训练少量的适配器参数来对模型进行微调。AndroidGen利用这一技术对其自动构建的大规模数据集进行微调成功开发出了适用于Android环境的Agent模型其中包括基于GLM-4-9B和Llama-3-70B等基础模型的版本。特别值得一提的是在训练过程中AndroidGen将轨迹中的每一个步骤都作为一个独立的样本进行处理和学习。这种做法使得数据集所蕴含的丰富信息能够被模型充分吸收和利用每一个细微的操作和决策都能为模型参数的调整贡献力量从而提升模型对任务细节的把握能力。此外AndroidGen还创新性地采用了计划与执行步骤混合微调的策略。传统的训练方法可能将计划阶段和执行阶段分开进行而AndroidGen则将这两个关键环节的步骤紧密结合起来进行联合微调。这使得LLM不仅能够学习到如何制定周密的任务计划还能同时掌握将计划付诸实践的具体执行能力。这种“知行合一”的训练方式赋予了LLM在面对复杂任务时既能运筹帷幄又能高效执行的综合能力使其更像一个真正的智能助手。AndroidGen的数据收集过程同样体现了其系统性和高效性主要包括以下几个关键步骤首先是任务定义阶段研究团队基于GPT-4o从AndroidWorld中生成了大约300个多样化的任务命令。这些任务命令涵盖了Android设备日常使用中的各种典型场景为后续的数据收集提供了明确的目标。接下来是Agent采样阶段利用AndroidWorld模拟环境和GPT-4o对每个定义好的任务进行轨迹采样。这一步旨在获取大量不同Agent或模拟用户执行这些任务时的行为数据。然后是轨迹记录阶段系统会详细记录下任务执行过程中每一个步骤的环境状态信息和具体的操作指令从而构建出可精确复现的Android导航轨迹。之后是轨迹评估阶段StepCritic模块会被用于对记录下来的轨迹进行质量评估重点确认各个子目标的完成情况筛选出高质量的有效轨迹。最后是轨迹强化阶段通过对初步收集和评估后的轨迹进行进一步的筛选、清洗和扩充最终构建出一个包含超过1000条高质量轨迹的丰富数据集为模型训练提供了充足的“养料”。AndroidGen框架的性能效果在多项测试中得到了充分验证。在AndroidWorld基准测试中搭载了AndroidGen的Agent展现出了令人瞩目的能力提升。与使用相同基础模型但未采用AndroidGen框架的Agent相比其性能有了显著飞跃。即使与M3A、SeeAct等其他先进的Agent方案相比AndroidGen的性能优势也十分突出。数据显示AndroidGen与GPT-4o相结合时平均得分达到了46.8分大幅领先于其他组合方案。更令人振奋的是当采用参数规模相对较小的开源模型GLM-4-9B与AndroidGen框架结合时其平均得分甚至超过了参数规模更大的闭源模型GPT-4o搭配M3A方案的表现。这充分证明了AndroidGen框架在提升模型效能方面的强大潜力即使是较小参数的开源模型在其加持下也能发挥出惊人的实力。除了在标准基准测试中的优异表现AndroidGen在更贴近真实应用场景的AitWAndroid in the Wild评估以及对全球流行的8款移动应用如Google Maps、YouTube等的实际操作测试中也展现出了卓越的自然语言命令理解能力和与应用交互的能力。它能够准确理解用户用自然语言表达的复杂需求并将其转化为一系列精确的操作步骤在各种主流应用中流畅地完成任务。这表明AndroidGen框架训练出的Agent已经具备了较强的实用价值有望在实际生活中为用户提供便捷的服务。基于其强大的功能和出色的性能AndroidGen框架拥有广阔的应用前景能够在多个领域为用户带来智能化的体验升级。在自动化任务处理方面AndroidGen Agent将成为用户的得力助手。用户只需通过自然语言下达命令例如“发送一封邮件给某某并附上某文件”、“设置明天早上8点的会议提醒”或者“帮我搜索一下最近一周的天气情况”Agent就能自动识别任务需求并调用相应的应用程序完成这些操作。这无疑将极大地解放用户的双手提高日常工作和生活的效率让用户能够将更多精力投入到更具创造性的事务中。针对应用间操作这一常见且有时略显繁琐的场景AndroidGen Agent同样能够大显身手。它可以实现不同应用程序之间的无缝交互和数据流转。例如用户可以命令Agent“将微信里某条消息的内容复制到印象笔记的某个笔记本中”或者“把相册里刚拍摄的照片分享到微博并添加指定文字描述”。Agent能够准确理解不同应用间的数据关联并执行复杂的跨应用操作简化用户的操作流程。在智能导航方面AndroidGen Agent能够为用户在Android设备上提供精准的智能引导。用户可以通过自然语言告知Agent自己的需求如“帮我打开支付宝的健康码”、“找到手机里昨天下载的那个文档”或者“带我进入设置页面关闭通知音效”。Agent会根据用户的命令自动定位并打开相应的应用、文件或系统设置界面为用户提供便捷高效的设备导航服务尤其对于不熟悉设备操作的用户来说将带来极大的便利。最后在智能交互层面AndroidGen Agent凭借其强大的自然语言理解能力能够与用户进行更加自然、流畅的对话。它不仅能理解用户的字面意思还能洞察用户潜在的需求和情感。通过持续的交互Agent可以逐渐学习用户的使用习惯和偏好为用户提供个性化的建议和服务从而打造出更加智能、人性化的用户体验让科技真正服务于人。综上所述智谱技术团队的AndroidGen框架无疑为大语言模型Agent的发展注入了新的活力。它通过创新的数据利用方式和强大的核心模块有效解决了数据匮乏的问题显著提升了LLM执行复杂任务的能力。随着AndroidGen框架的不断完善和推广应用我们有理由相信未来的智能Agent将更加智能、高效能够更好地理解并满足人类的多样化需求在智能家居、智能办公、移动服务等诸多领域发挥越来越重要的作用推动人工智能技术向更实用、更普惠的方向发展。【免费下载链接】androidgen-llama-3-70b项目地址: https://ai.gitcode.com/zai-org/androidgen-llama-3-70b创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
