问生活知识库“去年那次搬家花了多少”系统找来一篇旧住址日记语义很像年份却不对。调高相似度阈值未必能修好这个问题因为日期条件从一开始就没有进入检索。对私人记录来说错误地拼出一个答案往往比少回答一次更令人困扰。先明确哪些问题可回答再用标注集选择阈值比凭感觉给出一个“万能 0.75”可靠。相似度、重排分数和概率分开看嵌入模型先召回候选重排模型联合读取问题与文档再对候选排序。BAAI 的 bge-reranker-base 模型卡给出这种交叉编码器的使用方式它的原始分数不能直接当作“答案正确概率”。换模型、换版本或换语料都要重看分布。官方模型卡2026 年 10 月 21 日 NVIDIA 的检索模型介绍也把重排放在候选检索之后。个人库可以借鉴分工不能照搬其文档基准里的分数阈值。官方介绍用小标注集看清取舍下面分数是手工构造的教学输入没有加载重排模型。保存为 threshold.py运行后能看到阈值提高时误收与漏收怎样变化。cases [ (同年搬家账单, 0.82, True), (上年同名账单, 0.76, False), (同年维修凭证, 0.61, True), (无关日记, 0.20, False), ] def evaluate(threshold): tp fp fn 0 for _, score, relevant in cases: accepted score threshold tp int(accepted and relevant) fp int(accepted and not relevant) fn int(not accepted and relevant) precision tp / (tp fp) if tp fp else None recall tp / (tp fn) if tp fn else None return tp, fp, fn, precision, recall assert evaluate(0.6)[:3] (2, 1, 0) assert evaluate(0.8)[:3] (1, 0, 1) for t in (0.6, 0.8, 0.9): print(t, evaluate(t))0.9 时没有被接受的候选精确率用 None 表示不把空集合算成 100% 正确。真实评估还要区分“库里有答案但没找到”和“库里本来没有答案”否则拒答指标会失真。把时间约束放到排序之前“去年”必须相对于提问时间解析例如以 2026 年为参照时使用 2025-01-01 到 2026-01-01 的左闭右开区间。跨年记录、时区与用户指代不明时先询问或展示解释后的条件。标注集应包含正确记录、近似但不相关记录、过时记录和无答案问题。调参集与最终测试集分开保存避免不断看同一批题调到漂亮结果。本文只实跑了教学分数上的指标计算未运行嵌入模型或重排模型也没有宣称私人库准确率提升。一个愿意说“这份记录不足以回答”的助手才给后续核实留下空间。
