【免费下载链接】parakeet.cppFast and portable Parakeet implementation in C with ggml项目地址https://gitcode.com/gh_mirrors/pa/parakeet.cpp点击查看免费下载parakeet.cpp 是一个用 C17 和 ggml 编写的 NVIDIA Parakeet 语音识别ASR推理引擎纯 C 实现、读取自包含的 GGUF 模型文件、推理时完全不需要 Python。这篇文章是它三大 GPU 后端——CUDA、Metal、Vulkan——的完整编译指南从环境准备、一键构建命令到验证 GPU 生效与实测加速效果新手照着做就能拿到 GPU 加速的语音识别工具 先搞懂parakeet.cpp 的 GPU 后端怎么选parakeet.cpp 的 GPU 加速全部由底层 ggml 计算库的后端提供顶层 CMake 只负责把开关转发过去。四个可选后端一览GPU 后端CMake 开关适用平台说明CUDA-DPARAKEET_GGML_CUDAONNVIDIA GPUTuring sm_75 及更新架构官方发布预编译二进制GB10 上实测加速Metal-DPARAKEET_GGML_METALONApple GPUmacOS arm64M4 上实测比 CPU 快 1.3x5.6xVulkan-DPARAKEET_GGML_VULKANONLinux / Windows 跨平台需要系统装有 Vulkan loaderROCm (HIP)-DPARAKEET_GGML_HIPONAMD GPU仅转发给 ggml官方未做测试几个对新手重要的默认行为所有 GPU 开关默认 OFF不加任何参数构建出来的是纯 CPU 版本开启 CUDA 后会自动同时打开GGML_CUDA_GRAPHSCUDA Graphs 计算图捕获/重放官方实测有约 1% 的免费加速不会变慢。不想用时可在运行期设置GGML_CUDA_DISABLE_GRAPHS1构建时会自动打一份内置的 ggml 补丁卷积、pad、CUDA/Metal 小 kernel 优化无需手动操作默认开启GGML_NATIVE针对当前 CPU 做指令集优化和GGML_LLAMAFILEtinyBLAS SGEMM 加速。想要能带到别的机器上跑的通用二进制加-DGGML_NATIVEOFF即可。所有开关都在顶层 CMakeLists.txt 中定义后端实现在 third_party/ggml/ 子模块里。准备工作环境要求与获取源码通用要求依赖要求CMake≥ 3.18编译器支持 C17GCC / Clang / MSVC / AppleClang 均可子模块third_party/ggml、ced.cpp、voice-detect.cpp用--recursive自动拉取按后端补充CUDANVIDIA 驱动 CUDA Toolkit官方预编译镜像基于 CUDA 13 构建覆盖 Turing 到 BlackwellVulkanVulkan loader通常随显卡驱动自带Linux 可能需要装vulkan-tools/ 驱动包MetalmacOS 自带需安装 Xcode Command Line Tools且为 Apple Siliconarm64机器。获取源码含子模块git clone --recursive https://gitcode.com/gh_mirrors/pa/parakeet.cpp cd parakeet.cpp⚠️ 一定要带--recursiveggml 子模块缺失会导致构建直接报third_party/ggml is missing错误。分后端构建三条命令的完整写法NVIDIA CUDAWindows / Linuxcmake -B build -DPARAKEET_GGML_CUDAON cmake --build build -j构建完成后 CLI 位于build/examples/cli/parakeet-cli。Windows 用户注意如果机器上没有安装 CUDA Toolkit还需要从 release 包中下载并放入cudart-parakeet-bin-win-cuda-x64.zip里的运行时 DLL。Apple MetalmacOS推荐 M 系列芯片cmake -B build -DPARAKEET_GGML_METALON cmake --build build -jMetal 路径下整个编码器Conformer encoder都会跑在 Apple GPU 上个别没有 Metal kernel 的操作会自动回退 CPU所以任何模型都能跑。VulkanLinux / Windowscmake -B build -DPARAKEET_GGML_VULKANON cmake --build build -j三个后端互斥使用一次只开一个 GPU 开关命令结构完全相同只是开关不同记一条就会全部。验证 GPU 是否真的生效构建成功不等于 GPU 在用建议按下面两步确认查看设备选择逻辑parakeet-cli会自动使用 ggml 设备注册表报告的第一块 GPU。想用 CPU 就设PARAKEET_DEVICEcpu想指定设备就设成具体设备名例如PARAKEET_DEVICECUDA0或PARAKEET_DEVICEVulkan1跑一条最短转写仓库里自带测试音频直接验证build/examples/cli/parakeet-cli transcribe \ --model 你的模型.gguf \ --input tests/fixtures/speech.wav能正常输出文本说明所选后端工作正常某个后端缺少对应算子时该算子会自动落到 CPU 执行不会直接报错。更严格的做法是跑后端正确性测试同一套测试在 CPU、Metal、CUDA 上验证构建正确性见 AGENTS.mdcmake -B build -DPARAKEET_BUILD_TESTSON cmake --build build -j ctest --test-dir build --output-on-failure -LE model实测加速效果GPU 版比 NeMo 快多少官方基准NVIDIA GB10对比同机 NeMo PyTorch 运行时完整数据见 benchmarks/BENCHMARK.md平台结果GB10 CUDAf32中位数1.25x快于 NeMo最高4.3xtdt_ctc-110mApple M4 Metal比 CPU 快1.3x5.6x大模型收益最大如ctc-1.1b达 5.6xGB10 批量解码batch 16最高约10x12x两个值得知道的细节纯 CTC 编码器模型的 GPU 收益最小约 1.2x因为 ggml 的通用 CUDA 卷积/注意力内核还略逊于 NeMo 精调的 cuDNN官方已将其列为进行中的工作转写结果在 GPU 上与 NeMo 逐字节一致WER 0加速不牺牲准确性 ✅不想自己编译预编译包与 Docker 两条捷径预编译二进制每个 release 都提供打包好的parakeet-cli覆盖 Linux x64cpu / vulkan / cuda、Linux arm64cpu / vulkan、macOS arm64metal、macOS x64cpu、Windows x64cpu / vulkan / cuda下载即用零编译。Docker官方发布 CLI 与 Server 两套镜像各有 CPU 和 CUDA 两个变体CUDA 标签带-cuda后缀多架构自动匹配# CLICUDA 变体宿主机需装 nvidia container toolkit docker run --rm --gpus all \ -v $PWD/models:/models:ro -v $PWD/audio:/audio:ro \ ghcr.io/mudler/parakeet.cpp-cli:latest-cuda \ transcribe --model /models/parakeet-tdt_ctc-110m-q5_k.gguf --input /audio/speech.wav镜像基于 CUDA 13 构建从 Turing 到 Blackwell含 arm64 的 GB10 / DGX Spark都能覆盖。自行构建镜像的参数写在 Dockerfile 顶部注释里详细说明见 docs/docker.md。构建选项速查表选项默认作用PARAKEET_BUILD_TESTSOFF生成 ctest 测试目标PARAKEET_BUILD_CLION构建parakeet-cliPARAKEET_BUILD_SERVERON构建 OpenAI 兼容示例服务parakeet-serverPARAKEET_SHAREDOFF输出共享库libparakeet.soC API 场景需要PARAKEET_WITH_CEDON声音事件检测依赖 ced.cppPARAKEET_WITH_VOICEDETECTON说话人识别依赖 voice-detect.cppGGML_NATIVEON针对当前 CPU 优化OFF 得到可移植二进制常见问题速查Q构建时报third_party/ggml is missingAclone 时漏了--recursive补一句git submodule update --init --recursive后重新 cmake 即可。QVulkan 构建成功但运行时找不到设备A确认系统装了 Vulkan loader 和驱动vulkaninfo可查看设备列表Vulkan 变体的 Windows/Linux 预编译包可以直接用来交叉验证。Q想把一个二进制发到别的机器上跑A加-DGGML_NATIVEOFF重新构建避免把本机 CPU 指令集烤进二进制。QGPU 后端有问题去哪看AGPU 后端不在 CI 中跑官方原话出问题先跑一遍上文的后端正确性测试数值和性能依据见 docs/performance.md。参考资料构建开关与默认优化CMakeLists.txtggml 补丁脚本与补丁目录scripts/apply_ggml_patches.sh、third_party/ggml-patches/后端与设备选择实现src/backend.hpp完整基准与方法论benchmarks/BENCHMARK.md性能速览docs/performance.mdDocker 镜像说明docs/docker.md仓库结构与测试清单AGENTS.md小结记住一条公式就够——cmake -B build -DPARAKEET_GGML_CUDA|METAL|VULKANON cmake --build build -j然后PARAKEET_DEVICE指定设备即可在 NVIDIA、Apple、或任意 Vulkan 显卡上获得 1.3x5.6x 的 GPU 语音识别加速。赞分享【免费下载链接】parakeet.cppFast and portable Parakeet implementation in C with ggml项目地址https://gitcode.com/gh_mirrors/pa/parakeet.cpp点击查看免费下载相关推荐depth-anything.cpp GPU 加速全解析CUDA、Metal、Vulkan 三后端编译与设备调度depth anything.cpp GPU 加速全解析CUDA、Metal、Vulkan 三后端编译与设备调度 depth anything.cpp 是 L从零构建 stable-diffusion.cppCPU 与多 GPU 后端CUDA/HipBLAS/Metal/Vulkan/SYCL/MUSA/OpenCL完整编译指南从零构建 stable diffusion.cppCPU 与多 GPU 后端CUDA/HipBLAS/Metal/Vulkan/SYCL/MUSA/Open人工智能推理引擎本地部署媒体生成gpt4all GPU加速指南Vulkan、CUDA、Metal全面支持gpt4all GPU加速指南Vulkan、CUDA、Metal全面支持 引言告别CPU瓶颈释放本地LLM算力 你是否还在忍受本地大语言模型Large人工智能大模型本地部署AI 应用交互助手RAG上一篇5大平台快速部署SearchPhoneKali Linux、Parrot、Windows 11、BackBox与Arch实战教程下一篇skitter-creek-bath-salts的dram_poke三道安全网安全写入受保护DRAM的实战详解创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
