Seamless跨语言语音文本翻译基础模型【免费下载链接】seamless_communicationFoundational Models for State-of-the-Art Speech and Text Translation项目地址: https://gitcode.com/gh_mirrors/se/seamless_communicationSeamless 是 Meta 开源的跨语言通信模型家族支持近 100 种语言的语音和文本互译。一套模型同时承担四类翻译任务加语音识别还带流式同传和表达力保留适合做多语种语音交互的开发者与团队。为什么需要它做跨语言语音功能时多数团队会串三个模型语音识别、机器翻译、再语音合成。模型串得越多误差越逐层叠加声音里的个人信息也在过程中被磨掉。对方听到的往往是个机器人而不是一个真实的人在说话。更麻烦的是每加一门新语言都得把这条链路重新调一遍。模型家族能做什么整个家族分成三个模块各管一件事。M4T 是底座五种任务覆盖大多数跨语言场景另外两个在它之上分别补上表达力和实时两块能力。模块负责什么SeamlessM4T四种翻译加识别SeamlessExpressive保留音色与韵律SeamlessStreaming边说边传端侧小模型281M 跑在手机上一个模型接四种翻译当你要在多种语言之间互换语音和文本从 M4T 入手。它用一个统一模型做语音到语音、语音到文本、文本到语音、文本到文本顺带把自动语音识别ASR就是自动把声音转成文字也做了不必再拼三个模型。语言覆盖上语音输入 100 种、语音输出 35 种以上、文本 90 种以上。v2 版本基于 UnitY2 架构质量和推理速度都比 v1 好前端用了自研的 W2v-BERT 2.0 语音编码器这部分也一并开源了。比如拿一段音频直接出德文文字m4t_predict input.wav --task s2tt --tgt_lang deu这条命令跑完终端里就是译文文本。想要声音输出把--task换成s2st再加--output_path存下生成的语音即可。翻译时保住说话人本人翻译准不准是一回事像不像本人是另一回事。采访、视频类场景更在意后者这正是 Expressive 的活。它拆成两块Prosody UnitY2 管语速、停顿这类短语级韵律PRETSSEL 管音色、说话风格这类声音级特征。前者保怎么说后者保是谁在说。官方还放出 mExpresso 和 mDRAL 两套基准数据集覆盖开心、难过、耳语等七种说话风格方便你评测效果。expressivity_predict input.wav --tgt_lang fra --model_name seamless_expressivity --vocoder_name vocoder_pretssel --output_path out.wav这条命令输出的是译成法文的语音音色和节奏都贴着原声走。注意它的模型权重不默认开放得先申请拿到下载链接。边说话边同传直播、远程会议里等对方说完再译晚一两秒就断了节奏。SeamlessStreaming 是 2.5B 参数模型能在对方还在说时就译出并输出不必等句子结束也支持 96 种语言的流式语音识别。它和 M4T v2 共享权重把解码器换成了 EMMA 单调注意力——一种只回看已播放音频的解码方式所以能边收边出。三步跑通从零到第一条语音产出的路径很短。先把仓库拉下来它依赖 fairseq2系统里还得装好 ffmpeg。git clone https://gitcode.com/gh_mirrors/se/seamless_communication pip install . m4t_predict input.wav --task s2st --tgt_lang deu --output_path out.wav三行依次执行第三步就得到德文语音 out.wav。更多任务参数和语言清单见 推理说明。进阶与社区入口工程上有三处值得看281M 的小模型能导出到 PyTorch Mobile在手机上离线跑甚至不依赖 Python 运行环境unity.cpp 走 GGML 做端侧的轻量识别与翻译完整模型也能在 Hugging Face 的 Transformers 库里跑依赖很少。上手建议把 官方教程 过一遍再翻翻 端侧模型文档 和 M4T 语言列表。这个项目的价值在于把跨语言的语音文本互译做成一项拿来即用的基础能力而不是一堆各管一段、需要自己维护的模型。【免费下载链接】seamless_communicationFoundational Models for State-of-the-Art Speech and Text Translation项目地址: https://gitcode.com/gh_mirrors/se/seamless_communication创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
