风险模型给出“高度可疑”业务就自动封单看起来很省人。真正需要追问的是这个判断引用了哪条记录记录是否有效是否存在反证以及误伤后谁能恢复。生成一段解释和证明这段解释正确不是同一项能力。让模型整理证据别给它自证的权力Anthropic 在 10 月 9 日发布的研究讨论非预期模型行为。它提供风险研究背景不能直接证明某家电商风控的误伤率。这里提出的“证据卡”是工程设计建议不是该研究给出的现成风控产品。一张可复查的卡包含事件 ID、原始来源、发生时间、采集时间、可核验事实、模型推断、反证和适用范围。把“同设备出现三个账号”写成事实时要能回到设备关联记录“疑似团伙”则必须单独标为推断。设备共用、家庭账号或测试流量都可能构成反例。一个能拒绝空证据的最小检查以下样本完全构造程序不访问真实订单或个人数据。它只检查引用完整性既不能识别欺诈也不验证记录真实性。sources {e1: {valid: True}, e2: {valid: False}} def check(card): if card.get(action) ! manual_review: return False refs card.get(evidence, []) return bool(refs) and all(r in sources and sources[r][valid] for r in refs) assert check({action: manual_review, evidence: [e1]}) assert not check({action: block, evidence: [e1]}) assert not check({action: manual_review, evidence: [invented]}) assert not check({action: manual_review, evidence: []}) print(valid review card accepted; unsupported and blocking cards rejected)本地 Python 3 执行通过。模型若凭空编造e99这一层会拒绝但它仍可能歪曲真实e1的内容。因此审核还要比对主张与原始字段不能只验证“链接存在”。评估单位应是业务处置先离线回放经过授权、脱敏并完成标注的样本。分别记录证据缺失率、引用错误、人工改判、漏报与误伤按不同客户群体和业务类型查看差异。数据必须覆盖正常但少见的行为否则模型只是学会给常见样本写漂亮摘要。初期把模型输出限制为补充材料、建议复核或请求更多信息。封单、扣款等高影响动作由明确策略和授权流程控制并保留申诉、恢复和操作审计。这会增加一点人工成本但比把模型自信当成事实更可控。本文没有真实标注集也没有业务效果结果不声称提高命中率或降低误伤。发布前复查研究发布日期、更正及团队的数据使用授权再决定试点范围。
