我做的是一个内部 IT 答疑机器人专门回答VPN 怎么连报销系统密码忘了找谁这类问题。没挂知识库之前它能一本正经地编出一个根本不存在的工单系统网址新同事照着点404。挂上私有知识库之后瞎编基本没了。把我落地的步骤整理成一份清单照着做能少走弯路。第一步先把知识理成问答对别直接把公司 wiki 整页倒进去。我试过整页里夹了一堆导航、版权、过期通知召回回来全是噪声。我花了大半天把高频问题手动整成 QA 形式一问一答一块每块就答一件事。这一步最枯燥但收益最高。第二步开无知识不作答这是防瞎编的命门。我在一个能配知识库的智能体平台上把系统提示写死只依据下方检索到的资料回答。 若资料里没有相关内容直接回复 这个我没查到建议问 IT 小哥工位 3F-12 不要自行推测或补全。加这段之前召回为空时它还是硬答加上之后查不到就老实承认。光这一条编造率降了一大半。第三步把召回片段亮出来我让它回答末尾附一句依据《VPN 使用手册》第 2 节。一是用户能自己核对二是我调试时一眼能看出它到底召回了啥。有几次它答错我一看依据片段发现是知识库里那篇文档本身就写错了——不是模型的锅是源数据的锅。第四步定期对一遍知识库会过期。我们换了 VPN 服务商老手册还在库里机器人就拿着旧地址答了三天。后来我加了条规矩每改一次内部系统对应知识块当天更新。还在每条块里加了更新日期字段召回时一并带出太旧的我让它提示用户信息可能已更新。一个没解决干净的问题知识库能防无中生有但防不了半对半错——资料里写密码 90 天过期用户问多久改一次密码合适它会自信地说建议 90 天把过期周期当成建议周期。这种语义层面的串味目前我只能靠多攒测试用例慢慢揪。整体下来挂私有知识库这一步性价比极高半天搭起来瞎编问题去掉八成。模型我直接挂这个 MaaS调现成 API没自部署知识库和检索都在平台里配省事。
