如何约束Agent？Harness Engineering 让 AI 不失控

本文整理自 AICon 深圳直播《如何约束 Agent》通过AI音视频转录总结工具Ai好记视频转文字整理以下为精炼整理后的会议笔记内容。Agent能不能在真实业务里可靠地干活一直是个让人头疼的问题。很多人把它归结为模型幻觉或推理能力不足但这场直播提出了一个更尖锐的判断Agent当前最大的可靠性挑战其实在模型之外。阿里云可观测团队的张鑫做主嘉宾包括深耕AI领域的创业者王仿、腾讯游戏一线研发的任磊达围绕Agent的工程实践和可靠性展开核心就是Harness Engineering怎么给一个能力足够强的AI配上靠谱的约束机制。Agent可靠性的核心挑战不在模型能力1、模型之外的系统性失败张鑫认为模型能力虽然在持续增强但进入真实业务环境后绝大部分失败发生在模型之外。Agent怎么知道正在操作的业务对象是什么、它当前的状态、与其他对象的关系、可靠的数据来源、可执行的工具以及如何验证是否达到了预期状态。这些问题不解决即使换成更强的模型Agent依然是盲人摸象甚至会用笃定的语气声称任务已完成、实际并没完成。真正的挑战是让Agent在持续变化的环境里形成「理解、行动、观察、验证」的闭环核心是让Agent真正理解真实业务系统把业务对象、关系、状态和证据组织起来而不是面对零散的文档数据。2、Harness的本质是为强能力配安全机制王仿从Harness Engineering的角度打了个比方讨论Harness恰恰说明模型能力已经足够强。就像发动机马力不大时不需要方向盘和刹车马力极强时才要配套安全防护。Harness不是限制模型能力而是让它在可控范围内做事。实习生出错有主管兜底但线上生产环境的正式员工若误操作退款或触发不可控操作对企业影响就大了。所以Harness是工程上绕不开的话题也是AI在企业落地的关键OpenAI等也都在构建模型之上的Harness能力。3、Prompt失控与人机交互工程任磊达结合实践分享Agent技术正在把工程技巧吸收进模型内部形成互利互升的关系。他分享了一次烧了七八亿Token、吐出四万行代码的Prompt失控经历强调Prompt不是虚概念而是包含人机交互的协同工程怎样与AI交互、怎样定义AI任务、怎样让产出符合预期、怎样实现正向ROI。当工程ROI需要摆正时就得探索与模型的交互协同模式。Harness Engineering的工程实践1、企业级Harness的核心要素王仿介绍其所在公司面向企业的Harness Engineering实践核心在于几个方面上下文管理机制企业任务需要分阶段注入上下文比如退款流程要明确各阶段接收什么上下文、形成什么新上下文、带入哪些其他维度的信息。系统集成把ERP、WMS等系统集成进来让模型在可控环境下调用。Skill调度复杂业务场景下Skill越多模型能力可能越差要解决正确调度的问题。稳定性保障企业任务要每天成百上千次重复稳定执行不能时好时坏。权限与可观测解决权限问题、避免黑盒企业特别厌恶黑盒过程要能随时介入。2、工程化承接不确定性张鑫补充Harness Engineering并不是消灭模型幻觉或不确定性而是用一个工程化的系统去承接和约束这种不确定性。未给上下文就乱发挥其实就是幻觉。核心在于两点让Agent正确地干事、做正确的事。可观测能力至关重要只有观测到Agent逻辑才能优化流程从观测数据中学习、蒸馏知识、分析错误原因实现正确回归形成飞轮效应。3、人机协同的流程架构任磊达从使用者视角区分了Harness的两层。底层架构聚焦可观测性等工程基础上层流程关注人在何时介入、怎样促进飞轮转起来。清晰的架构能提升人在其中的效率让产出更稳定可控。他推动的做法是让每个人都参与进来、接受Agent协作从而对领域知识进行迭代演化而不是一个人完成整个团队的活动。Agent的工作环境要像给新员工配工位1、新员工类比与四大核心问题张鑫把Agent比作企业新员工提出适合AI的工作环境要解决四个问题跟人类入职逻辑一致。看得懂理解系统内的业务对象比如模块、class及其调用关系。做得到提供有清晰描述的工具但粒度要权衡太细则上下文爆炸太大则理解偏差、陷入幻觉。可被证明要有强大的可观测能力未观测到可能触发P0故障还需要测试驱动开发TDD模式。做不坏、能回滚权限可控关键步骤要人参与有backup方案。2、渐进式信息披露与本体论张鑫进一步强调理想的工作环境不是一次性把信息塞给Agent而是让它围绕任务持续、渐进式地披露信息。企业问题通常不是没有数据工具而是工具和数据割裂日志在A系统、工具在B人、告警与变更关联不明。需要用本体论让Agent对全局有全面了解再按系统结构逐层完成理解。3、数字员工视角的环境构建王仿从企业数字员工的角度补充。本体论要前置把人做的上下文翻译成AI能理解的语言定义任务对象、关系、边界、规则、流程、决策逻辑技术再入场实现感知、计算、判断。他还对比了封闭环境与企业环境的差异IDE、浏览器这类封闭环境可以通过模型训练让AI具备使用工具的能力但企业环境无法直接训练只能通过Harness Engineering实现。4、工作流程中的Agent嵌入任磊达分享了工作流程层面的实践。今年AI的一个明显特点是需要先与Agent澄清流程观察它工作过程中的错误反哺到前期的澄清里直到足够清晰后拆分子任务或做D级图编排完成后review过程。这需要与具体业务开发绑定、有反馈才能转起loop、更好迭代。现在一个MR动辄几百到上万行已经超出人类思维负载倒逼每个环节去调教Agent的协同能力。数据、知识与语义结构的关系1、三者的逻辑层次与落地阶段王仿分析了三者的关系数据告诉过去发生了什么知识告诉当前客观的业务事实语义和结构告诉它们之间的关系。知识加语义加结构是基于当前事实决定下一步动作。落地要分阶段先解决知识和语义结构问题本体论逻辑再与数据结合从被动感知接受需求做任务进化到像人一样主动感知、判断、决策。2、注意力分散与上下文精简张鑫指出AI时代不缺数据企业数据工具众多问题是数据太多导致注意力分散。需要精简上下文让Agent更聚焦用最简单的方法做事。本体论是基础设施能让知识显化比如运维场景里CPU高可能由业务方变更调大阈值导致而不是简单扩容这类知识以前记在人脑里现在需要通过本体论显化。3、主观能动性与Human-in-Loop任磊达强调生成本体论简单但连接到更多数据、持续迭代需要主观能动性。做法是推动每个人参与、接受Agent协作从而对领域知识负责、愿意迭代。Human-in-Loop的角色比例很关键不是一个人完成全公司的活动。Agent执行系统的核心能力1、状态聚焦与概率串行控制任磊达指出今年工程趋势是无论DD工作流还是Cloud、CLO内置命令都在反复明确Agent当前在干什么、上下文具体关系。因为Agent是概率性的长期流程概率串行叠加会导致失败率指数级增长需要不断提醒其目标、步骤、上下文以聚焦背景。2、可靠Agent的四大能力王仿从企业ROI挑战的角度提出可靠Agent必备的四大能力。一是状态管理任务挂起、接口故障后的恢复重试机制。二是执行结果校验接口返回结构变化要能感知业务翻译时理清返回结构、核心字段、处理方式执行时遵循校验。三是异常恢复超时回滚、任务分割与现场恢复。四是全过程可控可观测日志记录加看板展示让人随时知道发生了什么、怎么发生的、原因何在。3、工具契约与Runtime兜底张鑫总结获取信任的关键是干活踏实且老板能看到。工具需要有明确契约入参、出参、参数校验、使用条件定义清楚可靠的Runtime要支持重试回滚可观测性让人踏实数据则成为优化流程和Agent能力的基础。人类员工与Agent的性价比与边界1、企业诉求的两类场景王仿分析了企业对Agent的两大诉求降本增效与样本增效。落地场景分人力密集型客服审核等算替换人力的账和知识密集型程序员等培养成本高。程序员兼具两类特征所以成为首要目标但未被完全替换。从增长角度看Agent可能有大局观和串联能力比如保险公司案例里HR、培训、业务团队目标割裂AI可以动态感知市场变化和能力短板联动各部门目标。2、专业性与判断力的不可替代张鑫认为Agent只会道歉无法负责人能提供的是判断力Agent什么活都能干但缺边界。Agent是增加人效的工具但人在其中的上下文切换消耗巨大。王仿强调要尊重人的专业性哪怕包材审核也有几十个维度品牌做到极致的功夫难以替代。3、自主性与可控性的平衡任磊达指出编码AI火的原因就是代码可控、无概率性边界设计就是把不可控变成可控再执行。王仿提出按风险等级设定自主性边界高风险需要严格校验审核、人兜底中风险人确认AI产出低风险可以半自动驾驶。具体分三个阶段影子系统离线评估、人确认模式、半自动驾驶。4、权限的渐进式开放张鑫区分了自主与可控并不矛盾可控范围内可以自主。企业落地要回答Agent在什么范围内工作超权限有严格控制。关键包括数据权限正确的人看正确的数据、影子系统验证、只读等低风险权限渐进放开。类比人类入职一开始只有只读权限随职位提升权限扩大。Agent进化需要外部知识库指导正确行为配合可观测告警高危操作。本体论构建的实践路径1、从场景出发而非公司全局王仿明确反对从公司角度构建全局本体论投入周期、时间、价值都难论证。应该从业务场景、具体任务出发比如客服导购就做客服导购的本体论供应商资质审核就做对应的本体论。脱离场景业务方不理解仍是技术视角。2、问题驱动与领域建模张鑫认同这个方向。先明确解决什么问题再构建问题领域的模型定义工具数据关联让Agent高效解决问题。总结能力只有被工程体系承载才能进入复杂场景这场讨论围绕Agent实践本质是在探讨一种新的工程范式。未来不仅需要训练更强的模型也需要构建让模型更可靠的工作环境从测试到运行时再到入库。能力只有被工程体系承载才能真正进入复杂场景。对正在落地Agent的团队来说Harness Engineering不是可选项而是把AI用起来的前提。常见问题FAQQAgent最大的可靠性挑战是什么主要在模型之外包括Agent如何知道业务对象及其状态、可靠数据来源、可执行工具以及如何验证是否达到预期。这些问题不解决换更强模型也没用。QHarness Engineering是干什么的用一个工程化的系统去承接和约束模型的不确定性包括上下文管理、系统集成、Skill调度、稳定性保障、权限与可观测让AI在可控范围内做事。Q给Agent配工作环境要考虑什么跟给新员工配工位类似看得懂理解业务对象、做得到工具契约清晰、可被证明可观测TDD、做不坏能回滚权限可控backup。Q可靠Agent必备哪些能力状态管理、执行结果校验、异常恢复超时回滚、任务分割、全过程可控可观测四类能力。Q本体论应该怎么建从业务场景和具体任务出发而不是从公司全局出发先明确解决什么问题再构建问题领域的模型和工具数据关联。以上内容由 Ai好记 转录整理。Ai好记是一款支持音视频转图文笔记的AI知识库工具支持B站、小红书、抖音、小宇宙等平台链接及本地音视频文件解析视频转文字后自动生成精华速览、思维导图和结构化图文笔记帮助你把几小时的视频内容变成可搜索、可复习的图文笔记。