Parakeet-tdt-0.6b-v2 实时语音识别快速指南【免费下载链接】sherpa-onnxSpeech-to-text, text-to-speech, speaker diarization, speech enhancement, source separation, and VAD using next-gen Kaldi with onnxruntime without Internet connection. Support embedded systems, Android, iOS, HarmonyOS, Raspberry Pi, RISC-V, RK NPU, Axera NPU, Ascend NPU, x86_64 servers, websocket server/client, support 12 programming languages项目地址: https://gitcode.com/GitHub_Trending/sh/sherpa-onnx开一场离线会议你希望发言刚停、字幕就跟上来。sherpa-onnx 是一个不依赖联网的本地语音工具箱把小米开源的 Parakeet-tdt-0.6b-v2 模型接进来之后它能在普通 CPU 上做到延迟低于 300ms 的实时语音识别——边说边出文字全程无网络请求。这篇指南讲清楚它适合谁、三步跑起来、参数怎么调。它是什么为什么值得试Parakeet-tdt-0.6b-v2 是小米发布的轻量级语音识别模型sherpa-onnx 将其转换为 ONNX 格式本地推理ONNX 是跨平台模型格式一套文件到处能跑主要面向英文场景。架构Transformer-Transducer识别准确率 98%模型体积压缩到传统方案的 1/3量化方式INT8把浮点权重压成 8 位整数CPU 即可实时跑无需 GPU资源占用整套运行约需 2GB 内存平台覆盖Linux / macOS / WindowsAndroid、iOS 等移动端同样支持。5 分钟跑通实时识别只需三步克隆仓库、下载模型、运行示例。git clone https://gitcode.com/GitHub_Trending/sh/sherpa-onnx cd sherpa-onnx cmake -B build -DCMAKE_BUILD_TYPERelease cmake --build build -j4模型与 VAD 文件的获取命令写在示例文件头部注释里见 cxx-api-examples/parakeet-tdt-simulate-streaming-microphone-cxx-api.cc下载silero_vad.onnx和sherpa-onnx-nemo-parakeet-tdt-0.6b-v2-int8.tar.bz2解压后与二进制文件放在同一目录。然后./build/cxx-api-examples/parakeet-tdt-simulate-streaming-microphone-cxx-api程序打开默认麦克风对终端说话文字实时打印出来。构建选项可在 CMakeLists.txt 中查看。从麦克风到文字数据流全解整条链路可以拆成四段1. 采音PortAudio 以 16000Hz、单声道从麦克风抓声音16kHz 是语音识别的常用采样率若设备采样率不同程序内部会线性重采样对齐。2. VAD 切句VAD 是一个小分类模型负责判断哪段是人声、哪段是静音。音频按 512 个采样点的窗口送入 VAD检测到起声后开始累积缓冲静音持续超过设定时长就把整句送入结果队列。下面的配置来自示例的CreateVad()核心就几行VadModelConfig config; config.silero_vad.model ./silero_vad.onnx; config.silero_vad.threshold 0.5; // 人声判定阈值 config.silero_vad.min_silence_duration 0.25; // 静音多久算一句话说完 config.silero_vad.min_speech_duration 0.25; // 太短的人声片段直接丢弃 config.silero_vad.max_speech_duration 5; // 一句话说太长就强制切分 config.sample_rate 16000;3. 三段式解码模型分为 encoder把音频变成声学特征、decoder把特征变成文本、joiner把前两者的输出对齐融合配合tokens.txt词表model_type设为nemo_transducer加载。4. 终端输出说话期间每 0.2 秒把当前缓冲送一次识别器得到中间结果即时显示VAD 切出完整句子后做最终解码整句定稿。这就是边说边出字的实现方式。4 个参数调到位参数建议值作用VAD threshold0.4–0.6人声判定灵敏度调低更灵敏但环境噪声容易被误判为人声解码线程数2–4平衡推理速度与 CPU 占用对应num_threads采样率16000麦克风采集与模型输入统一用这个值波束宽度5–8搜索候选路径的宽度噪声环境下有助于提升准确率调参顺序建议先动 VAD 阈值和静音时长解决断句不对再动线程数解决跟不上语速。从 PC 到手机、再到服务移动端flutter-examples/README.md 里有 VAD 加非流式识别的麦克风示例覆盖 iOS / Android模型以离线方式打包进 App服务端python-api-examples/streaming_server.py 是 WebSocket 流式识别服务多客户端可同时接入浏览器端界面效果如下。适合做什么会议实时字幕说话结束前文字已经出来离线环境同样可用直播字幕低延迟语音转文字不依赖云端 API智能硬件语音输入树莓派、嵌入式设备等资源受限平台客服录音转写批量处理本地音频文件。选型提示如果你的场景要求本地离线、低延迟、纯 CPU 可跑它就是当前 sherpa-onnx 中值得优先考虑的方案。下一步把示例换掉麦克风输入、接上自己的业务代码就是一个可用的实时转写服务。体验命令见上文5 分钟跑通一节版本更新看 CHANGELOG.md问题与讨论可直接提 Issue。【免费下载链接】sherpa-onnxSpeech-to-text, text-to-speech, speaker diarization, speech enhancement, source separation, and VAD using next-gen Kaldi with onnxruntime without Internet connection. Support embedded systems, Android, iOS, HarmonyOS, Raspberry Pi, RISC-V, RK NPU, Axera NPU, Ascend NPU, x86_64 servers, websocket server/client, support 12 programming languages项目地址: https://gitcode.com/GitHub_Trending/sh/sherpa-onnx创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
