不懂评测就别谈AI落地：一份可复用的模型错误分析清单

企业用AI常遇到一类问题demo看起来聪明上线后乱答。原因往往不在算法本身而在训练数据和评测环节。一、数据清洗先解决“喂错东西”原始数据常见问题有四类重复数据多模型记答案而不是学规律标注口径不一致不同人标成不同标签含隐私字段如手机号、姓名、地址未脱敏业务样本偏少新场景没有覆盖。训练工程师会先建数据字典和脱敏规则再按场景拆分训练集、验证集、测试集。二、标注规则把“感觉对”变成“可执行”以智能客服为例标注手册要写清意图分类咨询价格、查物流、退换货、投诉建议情绪标签正常、急躁、愤怒、反复追问答案标准是否引用公司政策、是否给不确定表述禁答范围涉隐私、涉违规、涉未授权承诺。规则详细质检才有依据。质检可采用双标抽检记录偏差率并回训标注人员。三、模型评测不要只看“像不像人”建议用五个维度打分准确性事实、价格、流程是否与业务一致完整性是否漏关键步骤合规性是否涉违规承诺、隐私泄露稳定性同类问题多次问答案是否一致场景适配电商、法务、医疗术语是否符合内部标准。评测结果做成错误分类表例如“意图识别错”“政策引用错”“格式不统一”再反向补数据。四、可复用的评测闭环业务提问池→标注标准→模型输出→人工评分→错误聚类→补样本→再评测。这个闭环比单次调提示词更稳也更适合企业长期维护。人工智能训练工程师