智能体演示之外的验证方法网页智能体在录屏中完成一条固定路径并不能证明它能在真实网页上安全工作。窗口尺寸、加载顺序、登录状态、弹窗、辅助功能设置和网络状况都会改变界面。更重要的是点击、提交和支付等动作可能产生不可撤销的结果不能把模型给出的坐标直接当成执行授权。验证的重点应是动作边界模型识别到什么程序如何确认目标动作后怎样判断结果失败时是否会停止。视觉模型可以提供候选区域和语义描述最终执行应依赖可访问的 DOM、稳定选择器、权限检查和状态断言。纯坐标点击在缩放或遮挡下很脆弱也难以审计。将任务写成状态与检查每个任务都有允许的页面、允许的动作、完成条件和最大尝试次数。进入新页面、处理弹窗或填写表单前先验证 URL、可见元素和用户授权。高风险动作如提交订单、修改资料或发送消息应要求人类确认或使用明确的模拟环境不能因为模型置信度较高就放行。from enum import Enum class Result(str, Enum): EXECUTE execute REVIEW review STOP stop def decide(target_visible: bool, label_matches: bool, action_allowed: bool, attempts: int) - Result: if attempts MAX_ATTEMPTS: return Result.STOP if not target_visible or not label_matches: return Result.REVIEW if not action_allowed: return Result.STOP return Result.EXECUTE这个判断不能替代浏览器自动化框架本身的安全设计。元素文本可能变化或本地化页面也可能包含恶意内容诱导模型操作。选择器、目标域名和可操作范围应来自受控配置模型输出只能缩小候选范围不能修改这些规则。评测要覆盖失败而非只覆盖成功测试集应包含正常流程、元素缺失、加载缓慢、会话过期、权限不足、网络中断和页面变化等情况。每个用例记录起始状态、允许的操作、预期停止点和可观察结果。对视觉输入可以测试不同缩放、颜色主题和遮挡但不应把随机干扰全部当成生产代表性选择的场景需要与真实用户路径有关。指标不只看任务成功率还要看错误动作率、人工接管率、停止是否及时、重复尝试次数和单任务资源消耗。模型无法判断时安全退出并保存截图、DOM 摘要和 trace通常比不断尝试更有价值。日志要脱敏避免保存表单内容、Cookie 或访问令牌。发布时先在非生产账户和受限域名上灰度观察失败分类。每次改变模型、提示词、浏览器版本或选择器策略后重新运行回归用例。这样评估的不是一次演示是否顺滑而是系统在不确定界面里能否保持可控。
