【免费下载链接】WeMM-Embedding-4B项目地址https://ai.gitcode.com/tencent_hunyuan/WeMM-Embedding-4B点击查看免费下载WeMM-Embedding-4B 是腾讯开源的多模态嵌入Embedding模型能把文本、图片、视频统一转换为 2560 维向量是搭建多模态 RAG 系统与向量数据库集成场景下性能最强的开源选择之一。本文将带你从零开始用不到 30 分钟跑通「文档向量化 → 向量数据库存储 → 相似度检索」的完整 RAG 流程。一、为什么用 WeMM-Embedding-4B 做多模态 RAG传统 RAG 只能检索纯文本而真实知识库中充满了产品截图、PPT 扫描件、操作录屏。多模态嵌入模型正是解决这一问题的关键把不同模态的内容映射到同一个向量空间让以文搜图、以文搜视频成为可能。WeMM-Embedding-4B 的核心规格如下特性说明底座模型Qwen3.54B 参数支持输入文本、图像、视频、视觉文档、图文交错混合输出维度2560 维L2 归一化降维能力Matryoshka64 / 128 / 256 / 512 / 1024 / 2560 可选基准成绩MMEB-v2 平均 79.2同规模开源模型第一语言支持中文、英文开源协议Apache-2.0可商用 一个值得注意的细节它不支持音频输入做知识库规划时请把语音内容先转成文字。模型如何提取向量核心逻辑在 modeling_wemm_embedding.py 中对输入序列做前向传播取embedding位置的隐藏状态再做 L2 归一化输出。归一化意味着余弦相似度可以直接用内积计算这对后面选向量数据库索引非常友好。二、环境准备一键安装多模态嵌入依赖搭建多模态 RAG 系统的第一步是装好依赖。根据 README.md 给出的安装命令pip install torch transformers5.2.0 qwen-vl-utils[decord]0.0.14 \ sentence-transformers5.7.0 accelerate1.1.0模型权重也可以直接克隆到本地git clone https://gitcode.com/tencent_hunyuan/WeMM-Embedding-4B仓库结构很清晰几个关键文件值得认识一下model.safetensors模型权重文件config.json模型结构配置含 Matryoshka 降维档位modeling_wemm_embedding.py嵌入计算的自定义实现embedding_chat_template.jinjavLLM 部署用的嵌入模板patch_sglang_video.pySGLang 视频处理对齐补丁LICENSEApache-2.0 协议说明三、生成向量文本、图片、视频一次搞定多模态 RAG 的核心是把知识库里的所有内容编码成向量。本仓库已适配 Sentence Transformers一行代码即可加载from sentence_transformers import SentenceTransformer model SentenceTransformer(tencent/WeMM-Embedding-4B, trust_remote_codeTrue) queries [怎么把图片里的产品型号识别出来] documents [ 本产品型号为 X9支持多模态检索。, {image: ./product_x9.jpg}, {video: ./operation_guide.mp4}, ] query_embeddings model.encode_query(queries) # 查询侧 document_embeddings model.encode_document(documents) # 文档侧 print(document_embeddings.shape) # (3, 2560)几个新手友好的设计输入格式自由可以是字符串、本地路径、URL、PIL.Image或者组合image/video/text键的字典图文交错支持用 chat messages 形式把多张图片和文字混在一条输入里适合图文混排的文档页面查询与文档分离编码encode_query和encode_document分别处理检索两侧相似度可直接用model.similarity()计算。模型支持哪些模态组合可在 sentence_bert_config.json 中查看涵盖text、image、video、imagetext、textvideo及message等全部组合。四、向量数据库集成把向量存起来向量生成后交给向量数据库持久化与检索。常见选型数据库适合场景说明Chroma单机原型验证安装简单自带元数据过滤FAISS纯内存高性能检索内积索引与 L2 归一化向量天然匹配Milvus生产级大规模集群支持多副本、分布式以 Chroma 为例批量入库的完整流程非常直观import chromadb client chromadb.PersistentClient(path./wemm_rag_db) col client.get_or_create_collection(wemm_docs, metadata{hnsw:space: cosine}) col.add( embeddingsdocument_embeddings.tolist(), ids[fdoc_{i} for i in range(len(documents))], documents[d if isinstance(d, str) else fbinary:{i} for i, d in enumerate(documents)], metadatas[{modality: m} for m in [text, image, video]], ) # 用查询向量做相似度检索 results col.query(query_embeddingsquery_embeddings.tolist(), n_results3)这里有两个让检索更稳的关键点余弦空间由于 WeMM-Embedding-4B 输出本身就是 L2 归一化向量向量数据库里选cosine或inner_product空间即可无需额外归一化元数据过滤给每条向量打上模态标签text/image/video查询时可按模态筛选实现只在图片库中搜这类需求。 进阶用 Matryoshka 降维压缩存储成本2560 维向量存百万级文档时内存和索引开销不小。该模型原生支持 Matryoshka 嵌入——截取前 N 维再归一化即可得到低维向量各档位64 到 2560都经过专门训练效果损失可控# 只保留前 256 维存储体积降至约 1/10 embeddings_256 model.encode_document(documents, truncate_dim256, normalize_embeddingsTrue)降维档位定义在 config.json 的matryoshka_dimensions字段中生产环境建议小规模全量用 2560 维超大规模先用 512 或 256 维起步。五、生产部署vLLM / SGLang 高并发服务本地脚本只适合做原型。上线时建议用推理引擎提供嵌入服务两种官方支持方案方案 AvLLM 0.27.0MODEL_PATH/path/to/WeMM-Embedding-4B vllm serve $MODEL_PATH \ --runner pooling \ --chat-template $MODEL_PATH/embedding_chat_template.jinja其中 embedding_chat_template.jinja 是专门为嵌入请求设计的模板会自动在输入末尾追加embedding标记保证服务化输出与本地脚本完全一致。方案 BSGLang 0.5.9MODEL_PATH/path/to/WeMM-Embedding-4B python patch_sglang_video.py python -m sglang.launch_server \ --model-path $MODEL_PATH \ --is-embedding \ --enable-precise-embedding-interpolation⚠️ 注意SGLang 路线需要先运行仓库自带的 patch_sglang_video.py它会把 SGLang 的视频预处理参数帧采样方式、缩放插值对齐到模型训练时的设定不做这一步会导致视频检索效果明显下降。部署后向量数据库的写入端只需把调用本地模型换成调用服务端点即可架构上实现了模型服务与存储解耦。六、新手避坑清单多模态 RAG 效果优化要点查询与文档必须用同一模型编码——不同模型的向量空间不互通混用会直接导致检索失效查询做改写把用户口语化问题扩写成更完整的描述再编码多模态模型对描述性强的查询响应更好视频控制时长与帧数超长视频先裁剪关键片段再编码可减少噪声帧稀释语义混合检索兜底纯向量检索偶尔漏召回可对纯文本部分叠加 BM25 关键词检索后做重排注意维度一致性同一集合中不要混用 2560 维和 256 维向量降维后请重建索引。七、总结用 WeMM-Embedding-4B 搭建多模态 RAG 系统的路径已经非常清晰安装依赖 →encode_query/encode_document生成向量 → 写入向量数据库 → 相似度检索 → 交给大模型生成答案配合 Matryoshka 降维控制成本、vLLM/SGLang 提供高并发服务这套方案可以覆盖从个人知识库到企业级文档检索的绝大多数多模态 RAG 场景。项目采用 Apache-2.0 协议见 LICENSE可放心用于商业产品。动手试试吧赞分享【免费下载链接】WeMM-Embedding-4B项目地址https://ai.gitcode.com/tencent_hunyuan/WeMM-Embedding-4B点击查看免费下载相关推荐在 Xinference 中部署与调用 WeMM-Embedding-2B 多模态向量模型在 Xinference 中部署与调用 WeMM Embedding 2B 多模态向量模型 WeMM Embedding 2B 是腾讯 Hunyuan 团队发布模型推理服务人工智能大模型本地部署多模态语音WeMM-Embedding-4B核心实现源码剖析30行Python揭秘多模态向量提取原理WeMM Embedding 4B核心实现源码剖析30行Python揭秘多模态向量提取原理 WeMM Embedding 4B 是腾讯开源的通用多模态 Emb在 Xinference 中部署 WeMM-Embedding-4B多模态嵌入模型的完整实战指南在 Xinference 中部署 WeMM Embedding 4B多模态嵌入模型的完整实战指南 WeMM Embedding 4B 是 Xinference模型推理服务人工智能大模型本地部署多模态语音上一篇RPG Maker 资源解密实操全记录一次跑通 RPG Maker Decrypter 的解密、提取与还原下一篇CANN/asc-devkit类型转换API创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
