IVF-PQ 快了多少之前,先看少找回了谁

发布时间:2026/10/25 20:59:10
IVF-PQ 快了多少之前,先看少找回了谁 向量搜索少算了距离延迟可能下降但对检索增强应用来说漏掉证据也会改变回答。我不想再只画一张“比全量扫描快”的图然后跳过正确性。Faiss索引说明列出Flat、IVF、PQ等索引及存储方式页面编辑日期为2025-07-28不是今年十月新发布。它适合用来理解结构不能替代当前版本、当前数据上的测量。本轮于2026-10-23重新阅读。两处近似要分开看IVF先把向量分到倒排列表查询只探测一部分列表。最近邻如果位于未探测列表后面的距离计算再精确也找不回来。PQ又对向量表示作压缩候选中的排序也可能改变。因此“漏桶”和“桶内距离误差”要分别分析。nprobe增加通常意味着检查更多列表但并不保证每次查询延迟单调也不能消除PQ的全部排序误差。相似度口径更不能混用未归一化的内积和余弦相似度不是一回事。先写一个召回验收下面只用一维点做可手算的反例不实现IVF-PQ。全量精确结果作为ground truth模拟候选列表故意漏掉最近的id1再算recall2。use std::collections::BTreeSet; fn top(query: f32, points: [(u32, f32)], k: usize) - Vecu32 { let mut scored: Vec_ points.iter() .map(|(id,x)| { assert!(x.is_finite()); (id,(x-query).powi(2)) }).collect(); scored.sort_by(|a,b| a.1.total_cmp(b.1).then(a.0.cmp(b.0))); scored.into_iter().take(k).map(|p|p.0).collect() } fn recall(truth: [u32], found: [u32]) - f64 { assert!(!truth.is_empty()); let t: BTreeSet_ truth.iter().collect(); let f: BTreeSet_ found.iter().collect(); t.intersection(f).count() as f64 / t.len() as f64 } fn main() { let all [(1,0.1),(2,0.2),(3,2.0),(4,3.0)]; let truth top(0.0,all,2); let selected [all[1],all[2],all[3]]; assert_eq!(truth, vec![1,2]); assert_eq!(recall(truth,top(0.0,selected,2)),0.5); assert_eq!(recall(truth,truth),1.0); assert_eq!(recall(truth,[2,2]),0.5); println!(recall checks passed; constructed recall20.5); }rustc 1.98.0运行通过构造例的recall2为0.5。重复返回同一id不会多算一次命中。内图演示的是另一个recall1漏检场景两者都是教学示意不是Faiss测评。真正比较时的表格我会固定训练集、查询集、索引训练样本与随机种子Flat参考索引和近似索引采用同一距离定义。先记recallk及其查询分布再记延迟分位数、构建时间和实际内存。训练样本不应该偷偷包含专门为提高分数挑出的测试查询。仅给出平均召回会藏住长尾失败。对RAG可以额外挑一批需要准确法规条款、版本号或函数签名的查询查看漏检是否造成证据缺失。但这属于应用层实验不能从向量召回数字直接推导模型答案正确率。本轮没有安装Faiss、训练PQ或运行真实向量库已验证的是评估函数和一个反例。等数据与版本固定后才讨论速度。如果召回下降无法接受先调整探测范围或索引设计而不是把它包装成“免费加速”。

关于本文作者

来自尧图内容编辑团队

尧图内容编辑团队 内容团队

尧图内容编辑团队

本文由尧图网络内容编辑团队执笔。团队由资深项目经理、前端工程师与设计师组成,所有内容均来自亲手交付的真实项目,先讲清问题、再给出可落地的解法。尧图深耕北京网站建设十年,服务过京华建材集团、智造科技等各行业客户,把一线经验沉淀为可复用的行业观察。

  • 十年建站经验,覆盖建材、制造、服务、文创等
  • 项目经理把关选题与事实准确性
  • 工程师与设计师联合撰写专业细节
  • 统一编辑规范,保证文风与排版一致
  • 每月复盘转化数据,迭代选题方向

延伸阅读

相关资讯与近期热门内容

深度阅读推荐

建站决策前值得细读的三篇

网站改版的5个关键决策
2024-08-12

网站改版的5个关键决策

什么时候该改版、改到什么程度、如何避免流量掉光,京华建材集团改版复盘给出答案。

获取专属建站方案

看完文章,把您的行业与预算告诉我们,免费获取一份量身定制的官网建设方案与报价。

立即免费咨询