模型决定“建议调用什么函数”应用决定“是否真的调用”。这句话是 Agent 安全的底线。以“给客户发送回访邮件”为例模型可能正确识别了意图也可能被一段网页文本诱导去调用删除工具。解决办法不是写更长的提示词而是给工具调用加独立的白名单、参数校验、金额/次数预算和人工审批。下面的 Python 程序不依赖真实密钥就能跑通这层门禁。Gemini API 的函数调用文档把流程拆成声明函数、模型提出调用、应用执行函数、回传结果四步并明确工具由应用执行。也正因为如此函数调用不是授权系统。本文的示例模拟模型输出接入 API 后只需把模型返回的函数名与参数送入authorize不要跳过它。低风险高风险拒绝用户请求模型提出工具调用白名单与参数校验预算/风险等级执行受控工具人工审批安全拒绝并审计结果回传模型运行前准备Python 3.10无第三方依赖。保存为tool_gate.py后运行python tool_gate.py。若接入 Gemini安装python -m pip install google-genai并把密钥放在GEMINI_API_KEY本示例没有调用线上 API已在本机实际运行并通过三条断言。当前函数调用文档适用于模型把工具建议交给应用处理的流程。fromdataclassesimportdataclassfromtypingimportAnydataclassclassDecision:allowed:boolreason:strALLOWED{search_kb,draft_email}MAX_SEARCHES3defauthorize(name:str,args:dict[str,Any],searches:int)-Decision:ifnamenotinALLOWED:returnDecision(False,工具不在白名单)ifnamesearch_kb:queryargs.get(query,)ifnotisinstance(query,str)ornotquery.strip()orlen(query)120:returnDecision(False,查询参数非法)ifsearchesMAX_SEARCHES:returnDecision(False,搜索预算已耗尽)ifnamedraft_email:ifset(args)!{customer_id,template}:returnDecision(False,邮件参数必须精确匹配)ifargs[template]notin{follow_up,receipt_request}:returnDecision(False,模板未批准)returnDecision(True,允许发送前仍需人工确认)defexecute(call:dict,searches:int)-dict:decisionauthorize(call[name],call[args],searches)ifnotdecision.allowed:return{status:blocked,reason:decision.reason}return{status:needs_approval,tool:call[name],reason:decision.reason}if__name____main__:print(execute({name:search_kb,args:{query:退款政策}},0))assertexecute({name:delete_customer,args:{}},0)[status]blockedassertexecute({name:search_kb,args:{query:x}},3)[status]blockedassertexecute({name:draft_email,args:{customer_id:c1,template:follow_up}},0)[status]needs_approval这段代码的关键是不信任模型ALLOWED把可调用范围缩小为两个工具邮件工具要求参数集合完全匹配避免多塞一个收件人或“立即发送”开关搜索有累计上限。execute即使允许也只产生needs_approval不发送邮件。实际调用 API 时还应给每个 tool call 关联用户身份、租户、请求ID和幂等键。预期输出第一行是needs_approval删除客户和超预算搜索均为blocked。常见错误把工具描述写得很细就以为安全只校验函数名不校验参数重试时重置预算把模型输出当作可信 JSON。适合知识检索、草稿生成和低风险查询不适合无审批地付款、删除数据、修改权限或向外部发送不可撤回消息。工程化可进一步加入 JSON Schema、审计事件、租户级速率限制、审批时效和回放测试。5分钟实践新增create_refund_draft规定金额超过100元或缺少订单号时必须返回needs_approval。在你的业务里哪一个工具调用必须永远保留人工确认关注「蜗牛聊AI」一起看懂技术变化背后的真正机会。本文首发于 java4u.cn转载请注明出处。
语法分析器实战)
