人工智能机器学习计算机视觉多模态本地部署【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址https://gitcode.com/GitHub_Trending/med/mediapipe点击查看免费下载MediaPipe Tasks Text 是 MediaPipe 面向 Web 端提供的文本类任务 SDK它通过 WebAssemblyWasm在浏览器中直接运行 TFLite 模型让开发者仅凭几行 JavaScript 即可完成语言检测Language Detector、文本分类Text Classifier与文本嵌入Text Embedder三类经典 NLP 任务且所有文本推理都在设备端本地完成。读完本文你将掌握mediapipe/tasks-text包的安装与引入方式、FilesetResolver.forTextTasks()的底层加载机制、三类任务的完整 API 用法与结果结构以及它们背后的 MediaPipe 图Graph构建原理。一、Text 任务包是什么MediaPipe Tasks Text 是 MediaPipe Tasks 家族中专门处理文本数据的子包其仓库入口文档位于 mediapipe/tasks/web/text/README.md。该包在 mediapipe/tasks/web/text/index.ts 中统一导出四个核心符号FilesetResolver负责定位并加载 Wasm 运行时文件LanguageDetector预测输入文本所属语言TextClassifier将文本分类到预定义的类别如正面/负面情感TextEmbedder从文本中提取稠密向量Embedding。从代码组织上看每个任务在 mediapipe/tasks/web/text 下都拥有独立目录language_detector/、text_classifier/、text_embedder/各自包含主实现.ts文件、_options.d.ts选项类型、_result.d.ts结果类型以及对应的 Jasmine 测试文件同时 mediapipe/tasks/web/text/types.ts 将这些类型统一对外再导出便于使用方按需引用。二、安装与运行时加载2.1 获取 npm 包Text 任务以mediapipe/tasks-text为包名分发。仓库中 mediapipe/tasks/web/package.json 的模板展示了发布时的产物结构包内同时提供 CommonJStext_bundle.cjs、ES Moduletext_bundle.mjs与浏览器全局 IIFEtext_bundle.js三种格式分别对应main、module/browser与exports字段类型声明则指向text.d.ts。这意味着你既可以在 Node.js 环境require(mediapipe/tasks-text)也可以在浏览器中通过script标签直接加载。在 npm 工程中安装npm install mediapipe/tasks-text也可以像 README 中的示例那样通过 CDN 直接加载 Wasm 文件集如 jsDelivr 上的mediapipe/tasks-text/wasm目录。2.2 FilesetResolver 与 Wasm 文件的选择逻辑所有文本任务的第一步都是调用FilesetResolver.forTextTasks(basePath)获取一个WasmFileset。该对象见 mediapipe/tasks/web/core/wasm_fileset.d.ts包含四个可选字段wasmLoaderPath、wasmBinaryPath、assetLoaderPath、assetBinaryPath分别指向 Wasm 加载器脚本、Wasm 二进制及可选的资源加载脚本与资源文件。其内部实现位于 mediapipe/tasks/web/core/fileset_resolver.ts.template加载逻辑非常值得注意SIMD 能力探测FilesetResolver会先用一段内嵌的极小 Wasm 程序WASM_SIMD_CHECK针对 M91 指令集编写调用WebAssembly.instantiate探测当前浏览器是否支持 SIMD按能力选择文件后缀支持 SIMD 时加载标准版本不支持时自动切换到_nosimd后缀版本若useModule参数为true使用 ES6 Module 方式则会加载_module后缀版本且此时默认认为 SIMD 一定可用拼装文件路径最终按${basePath}/text_wasm${moduleSuffix}${simdSuffix}_internal.js与.wasm的命名规则生成加载器与二进制路径。这与 mediapipe/tasks/web/text/BUILD 中mediapipe_files声明的产物一一对应text_wasm_internal.js/.wasmSIMD 版、text_wasm_nosimd_internal.js/.wasm非 SIMD 版、text_wasm_module_internal.js/.wasmModule 版。因此如果无法按上述默认命名发布 Wasm 文件官方实现建议开发者手动构造一个WasmFileset传入任务工厂方法。2.3 三种创建方式每个任务类都提供三个静态工厂方法以LanguageDetector为例见 language_detector.tscreateFromOptions(wasmFileset, options)传入完整的TaskRunnerOptions其中baseOptions内必须提供模型路径或模型字节createFromModelPath(wasmFileset, modelAssetPath)直接传入模型文件路径URL 或本地路径createFromModelBuffer(wasmFileset, modelAssetBuffer)传入Uint8Array或ReadableStreamDefaultReader形式的模型二进制流。README 中的示例均采用createFromModelPath并使用 Google 托管的公开 TFLite 模型如language_detector.tflite、bert_classifier.tflite、universal_sentence_encoder.tflite。三、Language Detector预测文本语言3.1 最小可用代码Language Detector 接收一段字符串返回该文本可能的语言代码列表及置信度。README 给出的核心代码骨架如下const text await FilesetResolver.forTextTasks( https://cdn.jsdelivr.net/npm/mediapipe/tasks-text/wasm ); const languageDetector await LanguageDetector.createFromModelPath(text, https://storage.googleapis.com/mediapipe-models/language_detector/language_detector/float32/1/language_detector.tflite ); const result languageDetector.detect(textData);3.2 结果结构detect(text: string)同步返回一个LanguageDetectorResult其定义见 language_detector_result.d.tslanguages: LanguageDetectorPrediction[]按概率排序的语言预测列表每个LanguageDetectorPrediction包含languageCode: stringi18n 语言/区域代码例如en表示英语、uz表示乌兹别克语、ja-Latn表示日语罗马字probability: number该语言的置信概率。3.3 源码中的实现要点从源码看LanguageDetector本质上复用了文本分类器图mediapipe.tasks.text.text_classifier.TextClassifierGraphlanguage_detector.ts第 43-44 行的TEXT_CLASSIFIER_GRAPH常量输入流为text_in输出流为classifications_out。其detect()方法执行流程为重置内部result为{languages: []}通过getSyntheticTimestamp()生成一个合成时间戳调用startProcessing(timestamp)开启处理将文本经graphRunner.addStringToStream(text, text_in, timestamp)注入图finishProcessing(timestamp)同步等待推理完成并返回结果。结果回调中LanguageDetector将ClassificationResult的类别映射为{languageCode: categoryName, probability: score}并强制校验必须只有一个分类头classifications.length ! 1时抛出Expected 1 classification head错误。这一校验行为在 language_detector_test.ts 中有对应的单元测试validates that we get a single classification head测试同时验证了detect(Hello world!)能将labelen、score0.9的 proto 结果正确转换为{languageCode: en, probability: 0.9}。四、Text Classifier情感与主题分类4.1 最小可用代码Text Classifier 将文本映射到一组预定义类别典型场景是判断评论情感正负。README 给出的代码骨架const text await FilesetResolver.forTextTasks( https://cdn.jsdelivr.net/npm/mediapipe/tasks-text/wasm ); const textClassifier await TextClassifier.createFromModelPath(text, https://storage.googleapis.com/mediapipe-models/text_classifier/bert_classifier/float32/1/bert_classifier.tflite ); const classifications textClassifier.classify(textData);classify(text: string)与detect()一样是同步阻塞调用返回TextClassifierResult。4.2 结果结构TextClassifierResult是通用分类结果容器定义见 text_classifier_result.d.ts 及 分类结果容器classifications: Classifications[]每个分类头head一组结果每个Classifications包含categories: Category[]预测类别列表通常按分数从高到低排序headIndex: number分类头索引多分类头模型会用到headName: string分类头名称对应张量元数据名缺省为空字符串每个Category见 category.d.ts包含score: number该类别的概率分数index: number类别在对应标签文件中的索引categoryName: string类别标签如情感模型中的positive/negativedisplayName: string可本地化的显示名如标签apple在西班牙语环境中显示为manzana无显示名时为空字符串。TextClassifier的图配置同样基于TextClassifierGraph输入流text_in、输出流classifications_out推理过程与 Language Detector 完全同构见 text_classifier.ts。五、Text Embedder文本向量化与语义相似度5.1 最小可用代码Text Embedder 从文本中提取嵌入向量是构建语义检索、相似度排序、聚类等上层应用的基础。README 给出的代码骨架const text await FilesetResolver.forTextTasks( https://cdn.jsdelivr.net/npm/mediapipe/tasks-text/wasm ); const textEmbedder await TextEmbedder.createFromModelPath(text, https://storage.googleapis.com/mediapipe-models/text_embedder/universal_sentence_encoder/float32/1/universal_sentence_encoder.tflite ); const embeddings textEmbedder.embed(textData);5.2 结果结构embed(text: string, formatOptions?)返回TextEmbedderResult定义见 embedding_result.d.tsembeddings: Embedding[]每个模型头输出张量对应一个嵌入每个Embedding包含floatEmbedding?: number[]浮点型嵌入向量当开启标量量化时为空quantizedEmbedding?: Uint8Array标量量化后的字节型嵌入未开启量化时为空headIndex: number模型头索引headName: string模型头名称。5.3 嵌入类型与输入格式化embed()的第二个参数formatOptions类型TextFormatOptions定义见 text_embedder_options.d.ts允许你针对不同的嵌入任务对输入文本做模板化包装字段类型说明typeTextEmbeddingType要生成的嵌入类型见下方枚举titlestring文本标题仅用于文档类嵌入缺省为nonetextRoleQUERY \| DOCUMENT文本角色非DOCUMENT时按查询query格式化TextEmbeddingType支持 8 种取值RETRIEVAL_QUERY、RETRIEVAL_DOCUMENT、SEMANTIC_SIMILARITY、CLASSIFICATION、QUESTION_ANSWERING、CLUSTERING、FACT_CHECKING、CODE_RETRIEVAL。从 text_embedder.ts 的formatText()实现可以看到具体的包装规则RETRIEVAL_DOCUMENT格式化为title: ${title} | text: ${text}RETRIEVAL_QUERY格式化为task: search result | query: ${text}QUESTION_ANSWERING、FACT_CHECKING、CODE_RETRIEVAL则按textRole区分查询角色格式化为task: task | query: ${text}文档角色格式化为title: ${title} | text: ${text}其余类型如SEMANTIC_SIMILARITY格式化为task: sentence similarity | query: ${text}默认走查询模板。5.4 余弦相似度TextEmbedder还内置了静态方法cosineSimilarity(u, v)用于计算两个Embedding之间的余弦相似度。其底层实现在 cosine_similarity.ts同时支持浮点嵌入与量化嵌入量化值按v 127 ? v - 256 : v先转换为有符号数再参与计算并要求两个嵌入类型一致、长度相同且 L2 范数非零否则抛出明确错误。这使你可以直接构建文本 A 与文本 B 是否语义相近的判断而不必自己实现向量运算。六、通用配置项Options 全解三个任务的选项接口都组合自 task_runner_options.d.ts、classifier_options.d.ts 与 embedder_options.d.ts 中的通用选项。6.1 BaseOptions模型加载配置TaskRunnerOptions.baseOptions用于配置模型加载字段说明modelAssetPath?: string模型文件路径URL 或相对路径与modelAssetBuffer二选一modelAssetBuffer?: Uint8Array \| ReadableStreamDefaultReader模型二进制流与modelAssetPath二选一delegate?: CPU \| GPU覆盖默认推理后端Web 端默认以 CPUWasm执行6.2 ClassifierOptions分类类任务Language Detector / Text Classifier字段说明displayNamesLocale?: string显示名的语言区域设置默认英语仅当模型元数据TFLite Model Metadata提供了多语言显示名时生效maxResults?: number最多返回的 top 分数结果数量scoreThreshold?: number覆盖模型元数据中的阈值低于该值的分类结果会被剔除categoryAllowlist?: string[]类别白名单非空时只保留名单内的类别与categoryDenylist互斥categoryDenylist?: string[]类别黑名单非空时剔除名单内的类别与categoryAllowlist互斥6.3 EmbedderOptions嵌入类任务Text Embedder字段说明l2Normalize?: boolean是否对输出向量做 L2 归一化仅当模型本身未包含原生L2_NORMALIZATIONTFLite Op 时才需要开启多数模型已内置该操作quantize?: boolean是否通过标量量化将嵌入压缩为字节数组量化隐含向量为单位范数假设若未归一化请配合l2Normalize使用6.4 setOptions() 的部分更新语义所有任务都支持setOptions(options)在运行时热更新配置。其语义为只影响显式传入的选项要恢复默认值需将对应字段显式设为undefined。这一行为在 language_detector_test.ts 的 merges options 测试中得到了验证先后调用setOptions({maxResults: 1})与setOptions({displayNamesLocale: en})后最终图中的classifierOptions同时保留了maxResults: 1与displayNamesLocale: en。选项变更会触发图的重建与重新加载测试用例 reloads graph when settings are changed 与 text_embedder_test.ts 中的 reloads graph when settings are changed 均对此做了断言。七、底层原理MediaPipe 图如何驱动文本推理从三个任务的refreshGraph()实现可以看到统一的架构模式Web SDK 并不直接调用模型而是动态构建一个 MediaPipeCalculatorGraphConfig二进制 proto交给 Wasm 中的图运行器执行。以 Language Detector 为例language_detector.ts第 174-220 行在CalculatorGraphConfig上声明输入流text_in与输出流classifications_out将用户的选项TextClassifierGraphOptions扩展封装进CalculatorOptions添加一个计算节点calculator 为mediapipe.tasks.text.text_classifier.TextClassifierGraph输入边TEXT:text_in输出边CLASSIFICATIONS:classifications_out通过attachProtoListener监听classifications_out把二进制 proto 反序列化为ClassificationResult后再转换成用户友好的 JS 对象序列化整个图配置经setGraph(new Uint8Array(binaryGraph), isBinarytrue)送入 Wasm 运行。Text Embedder 的流程与之完全同构只是节点替换为mediapipe.tasks.text.text_embedder.TextEmbedderGraph、输出流为embeddings_out、结果容器为EmbeddingResult。这意味着文本以addStringToStream作为 packet 按时间戳注入图输出通过 proto 监听器回调同步返回每次setOptions()都会触发refreshGraph()重建图从而支持运行时更换模型或调整分类/嵌入参数因为所有计算都发生在 Wasm 沙箱内整个流程不涉及网络请求推理数据不会离开设备详见下文隐私说明。八、隐私说明数据与遥测MediaPipe Tasks Text 在设备端浏览器内完成输入文本的全部处理MediaPipe 不会将文本数据发送到 Google 服务器因此你可以放心用它处理不应离开设备的敏感数据。需要留意的是Tasks API 会向 Google 发送关于 API 性能与利用情况的指标metricsGoogle 使用这些数据衡量性能、使用情况并进行调试、维护与改进。作为应用开发者你有责任按照适用法律就 Google 对 MediaPipe 指标数据的处理向应用用户获取知情同意。仓库 mediapipe/tasks/web/package.json 的描述字段中也引用了对应的隐私声明入口README 原文同样包含这一声明。九、总结MediaPipe Tasks Text Web SDK 以三个高度对称的 API 覆盖了 Web 端最常用的文本理解能力LanguageDetector.detect()解决这是什么语言TextClassifier.classify()解决这属于哪一类TextEmbedder.embed()解决这和什么最像。配合FilesetResolver.forTextTasks()的 SIMD 自适应加载、setOptions()的增量热更新、以及统一的 MediaPipe 图驱动推理架构你可以在不接触 C 与 TFLite 推理细节的情况下构建端到端、纯前端、隐私友好的文本智能应用。想要继续深入可以阅读仓库内对应任务的类型定义与测试文件语言检测任务实现、文本分类任务实现、文本嵌入任务实现以及各自目录下的_test.ts用例它们展示了完整的调用链与结果转换逻辑。赞分享人工智能机器学习计算机视觉多模态本地部署【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址https://gitcode.com/GitHub_Trending/med/mediapipe点击查看免费下载相关推荐揭秘hongyangWeixinArticles背后的技术栈GitHub项目管理最佳实践终极指南揭秘hongyangWeixinArticles背后的技术栈GitHub项目管理最佳实践终极指南 作为一名Android开发者你是否曾经想过如何高效管理自己Qwen3-ASR-0.6B-hf与1.7B版本对比如何选择适合你的语音识别模型Qwen3 ASR 0.6B hf与1.7B版本对比如何选择适合你的语音识别模型 Qwen3 ASR系列是由Qwen团队开发的高性能语音识别模型包含Qwe透明度与公平性将text2vec-base-multilingual从一个“技术黑盒”变为值得信赖的合作伙伴透明度与公平性将text2vec base multilingual从一个“技术黑盒”变为值得信赖的合作伙伴 引言 在当今快速发展的AI领域开源模型如 te上一篇Fisher主题创建终极指南打造独一无二的Fish Shell界面下一篇MASTG 深度解析Android Intent 结果中的 URI Scheme 安全content:// 与 file:// 路由、权限边界与路径穿越防御创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
 发送类型安全的 GraphQL 文档)
