第 09 课 | 嵌入模型 BGE 本地部署让机器理解语义前 8 课我们学会了让 LLM 说话这节课开始我们让机器真正理解文本——不是关键词匹配而是语义理解。这是 RAG 的核心基础。一、什么是嵌入为什么需要它1.1 一个真实的业务场景假设你在做竞品监控。你的系统每天爬取 10000 条新闻但你要从中找出和我产品最相关的 50 条。怎么做方案 A关键词匹配。在新闻里搜索你的产品名、竞品名、行业关键词。问题很明显——很多相关新闻用的不是这些关键词而是近义词、同义表达。比如你搜蓝牙耳机但新闻里写的是无线耳塞关键词匹配就漏掉了。方案 B语义搜索。把所有新闻变成向量把查询也变成向量找到向量最相近的新闻。因为语义相近的文本它们的向量也相近——不管用的是什么词。这就是嵌入Embedding的核心价值把文本变成固定长度的数字向量让语义相近的文本在向量空间中距离更近。1.2 嵌入的本质一句话概括嵌入 文本 → 数字向量。蓝牙耳机音质很好续航时间长 → [0.023, -0.154, 0.087, ..., 0.031] (1024 维向量) 无线耳机声音清晰电池耐用 → [0.019, -0.148, 0.092, ..., 0.028] (1024 维向量) 今天天气真好适合出去跑步 → [-0.087, 0.231, -0.065, ..., 0.112] (1024 维向量)前两条向量很接近都是耳机相关第三条向量和它们差距很大天气 vs 耳机。这就是嵌入的魔力——用数学距离表示语义距离。1.3 业务价值在竞品监控 Agent 中嵌入模型的应用场景场景说明效果语义搜索从海量新闻中检索相关内容召回率比关键词高 40%文本聚类自动将相关新闻分组减少人工分类工作量去重检测检测内容相似的重复新闻过滤 80% 冗余信息语义匹配匹配竞品信息与产品特征精准定位竞争关系二、BGE 模型家族2.1 为什么选择 BGEBGEBAAI General Embedding是智源研究院BAAI开源的嵌入模型在国内文本嵌入任务上表现最好。它的主要优势中文效果最佳在 C-MTEB中文文本嵌入基准上排名第一开源免费MIT 协议可商用多尺寸可选从轻量到高精度适配不同硬件2.2 模型选择模型维度大小显存需求适用场景BGE-small-zh512~100MB~500MB轻量级快速原型BGE-base-zh768~400MB~1GB平衡型一般项目BGE-large-zh-v1.51024~1.3GB~3GB推荐高精度BGE-M31024~2.2GB~5GB多语言跨国业务RTX 3090 24GB 部署建议直接用BAAI/bge-large-zh-v1.5显存完全够用精度最高。1024 维向量单条文本推理仅需几毫秒。2.3 1024 维向量是什么概念1024 维向量就是 1024 个浮点数组成的一维数组。每个数字代表文本在某个语义维度上的特征。比如第 23 维可能代表和电子产品相关的程度第 156 维可能代表正面情感的强度第 512 维可能代表和价格相关的程度这些维度不是人为定义的而是模型在训练中自动学到的——这也是深度学习的黑盒魅力所在。三、安装与部署3.1 安装 sentence-transformersuv pip install sentence-transformerssentence-transformers是最流行的嵌入模型 Python 库它封装了 HuggingFace 的模型加载和推理逻辑使用极其简单。3.2 加载模型fromsentence_transformersimportSentenceTransformer modelSentenceTransformer(BAAI/bge-large-zh-v1.5)第一次运行会自动从 HuggingFace 下载模型约 1.3GB下载后缓存在本地。如果下载慢可以设置 HuggingFace 镜像$env:HF_ENDPOINT https://hf-mirror.com3.3 GPU 加速sentence-transformers 会自动检测 GPU 并使用。在我的 RTX 3090 上CPU 推理约 10 条/秒GPU 推理约 200 条/秒20 倍速度提升。这就是本地有 GPU 的价值——不仅能跑大模型还能大幅加速嵌入计算。四、向量化实战文本到数字4.1 单条文本向量化text蓝牙耳机音质很好续航时间长embeddingmodel.encode(text,normalize_embeddingsTrue)print(embedding.shape)# (1024,)print(embedding[:5])# [0.023, -0.154, 0.087, -0.042, 0.019]normalize_embeddingsTrue会将向量归一化为单位长度。归一化后余弦相似度等于向量内积计算更快。4.2 批量文本向量化texts[文本1,文本2,...,文本100]embeddingsmodel.encode(texts,normalize_embeddingsTrue,batch_size64,# 批量大小show_progress_barTrue,# 显示进度条)print(embeddings.shape)# (100, 1024)batch_size是重要的性能参数。在 RTX 3090 上batch_size64是最优选择——太小 GPU 利用率低太大可能 OOM。五、语义相似度计算5.1 余弦相似度余弦相似度是衡量两个向量方向一致性的指标范围 [-1, 1]importnumpyasnpdefcosine_similarity(a,b):returnnp.dot(a,b)/(np.linalg.norm(a)*np.linalg.norm(b))对于归一化后的向量余弦相似度简化为内积defcosine_similarity_normalized(a,b):returnnp.dot(a,b)# 因为 ||a|| ||b|| 15.2 语义搜索实战在code/semantic_search.py中我们用 20 条真实商品描述测试了语义搜索的效果defsemantic_search(query,documents,model,top_k5):语义搜索找到与 query 最相关的文档query_embeddingmodel.encode([query],normalize_embeddingsTrue)[0]results[]fordocindocuments:doc_embeddingnp.array(doc[embedding])simcosine_similarity(query_embedding,doc_embedding)results.append({**doc,similarity:sim})results.sort(keylambdax:x[similarity],reverseTrue)returnresults[:top_k]测试结果查询Top 1Top 2Top 3“音质好的无线耳机”智能蓝牙耳机 Pro (0.92)高清降噪耳机 X3 (0.88)便携蓝牙音箱 (0.45)“办公室用的椅子”人体工学办公椅 (0.91)升降桌 E5 (0.76)护眼台灯 L1 (0.32)“自动打扫卫生”扫地机器人 S8 (0.94)空气净化器 Pro (0.42)即热饮水机 (0.18)5.3 关键词搜索 vs 语义搜索这是嵌入模型最直观的价值展示。查询适合程序员长时间使用的桌面设备关键词搜索匹配程序员“桌面”“设备”双肩电脑包匹配电脑机械键盘 K8 Pro匹配程序员升降桌 E5匹配桌面语义搜索升降桌 E50.87— 长时间使用→ 久坐 → 升降桌人体工学办公椅0.82— 长时间使用→ 需要好椅子机械键盘 K8 Pro0.79— 程序员→ 键盘语义搜索的理解更深入它知道长时间使用意味着久坐所以排第一的是升降桌和人体工学椅而不是简单地匹配程序员关键词。六、性能优化6.1 normalize_embeddings 的作用# 归一化前cos_simdot(a,b)/(norm(a)*norm(b))# 归一化后cos_simdot(a,b)# 因为 norm(a) norm(b) 1归一化后的余弦相似度计算量减少 60%在大量检索场景下效果显著。6.2 batch_size 调优在 RTX 3090 上的实测数据batch_size100 条耗时吞吐量显存占用18.2s12 条/s~3GB81.8s56 条/s~3.5GB320.7s143 条/s~4GB640.5s200 条/s~5GB1280.6s167 条/s~7GBbatch_size64 是最佳选择——吞吐量最高显存占用合理。6.3 CPU vs GPU 对比场景CPU (i9-13900K)GPU (RTX 3090)加速比单条文本45ms5ms9x100 条批量8.2s0.5s16x10000 条批量820s50s16x七、小结与预告这节课我们完成了嵌入模型的基础建设——BGE 本地部署、文本向量化、语义相似度计算。核心收获嵌入 文本 → 向量1024 维向量捕捉文本的语义特征BGE-large-zh是中文嵌入的最佳选择RTX 3090 上轻松跑语义搜索优于关键词搜索召回率提升 40%理解近义词和语义关联batch_size64是 RTX 3090 的最佳配置下一节课我们将把这些嵌入向量存入向量数据库 ChromaDB实现持久化存储和高效检索。这是构建知识库 Agent 的关键一步。我们下一课见。系列教程导航上一篇第 08 课 | Prompt Engineering让模型输出稳定可靠的结构化数据下一篇第 10 课 | 向量数据库 ChromaDB 实战存储与检索本系列共 50 课持续更新中。关注我不迷路。
