MOSS-Transcribe-Diarize Python使用指南10行代码搞定长音频转写、时间戳与说话人分离【免费下载链接】MOSS-Transcribe-DiarizeA 0.9B model for long-form transcription in 50 languages with speaker diarization, timestamps, and acoustic event awareness项目地址: https://gitcode.com/gh_mirrors/mo/MOSS-Transcribe-DiarizeMOSS-Transcribe-Diarize是一个开源的端到端音频理解模型0.9B 参数支持50 种语言能一次性完成长音频转写、精确时间戳标注和说话人分离diarization。本指南带你用 Python 在本地 10 行代码跑起来无需再拼接独立的 ASR 和分离系统。 为什么选择 MOSS-Transcribe-Diarize做长音频转写时传统方案往往是ASR VAD 说话人分离多个模型拼接误差会逐级放大。这个模型的优势在于一次推理出全部结果文本、起止时间戳、说话人标签[S01]、[S02]…在同一流中输出面向真实场景设计会议、通话、播客、访谈、讲座等长时、多说话人录音轻量可本地部署0.9B 参数开源可商用还可选输出生成的声学事件标注。架构很简单Whisper-Medium 风格的音频编码器提取声学特征再由 Qwen3-0.6B 风格的自回归大模型直接生成带时间戳和说话人标签的转写文本。 环境安装三步跑通 Python 依赖项目基于Python 3.12 Transformers 5.x测试推荐使用uv管理环境git clone https://gitcode.com/gh_mirrors/mo/MOSS-Transcribe-Diarize cd MOSS-Transcribe-Diarize uv venv --python 3.12 .venv source .venv/bin/activate uv pip install -e .[torch-runtime] --torch-backendauto依赖定义在 pyproject.toml 中torch-runtime会自动安装 torch/torchaudio。如果使用的是 CUDA 显卡可再执行uv pip install flash-attn加速注意力计算。⚡ 核心10 行 Python 代码完成长音频转写以下是完整可运行的最小示例import torch from transformers import AutoModelForCausalLM, AutoProcessor from moss_transcribe_diarize import parse_transcript from moss_transcribe_diarize.inference_utils import ( build_transcription_messages, generate_transcription, resolve_device ) model_id OpenMOSS-Team/MOSS-Transcribe-Diarize device resolve_device(auto) # 有 GPU 用 CUDA否则自动回退 CPU model AutoModelForCausalLM.from_pretrained( model_id, trust_remote_codeTrue, dtypeauto, attn_implementationsdpa ).to(dtypetorch.bfloat16 if device.type cuda else torch.float32).to(device).eval() processor AutoProcessor.from_pretrained(model_id, trust_remote_codeTrue) result generate_transcription( model, processor, build_transcription_messages(audio.wav), max_new_tokens2048, do_sampleFalse, devicedevice ) for seg in parse_transcript(result[text]): print(seg.start, seg.end, seg.speaker, seg.text)四个关键工具函数都封装在 inference_utils.py 里流程是build_transcription_messages构造输入 → 加载模型与处理器 →generate_transcription推理出带时间戳的文本 →parse_transcript解析为结构化片段。 看懂输出格式[时间戳][说话人]文本[时间戳]模型输出的原始文本是一个紧凑的流标准格式为[0.48][S01]Welcome everyone[1.66][12.26][S02]The new pipeline is ready[13.81]字段含义[0.48]/[1.66]该段语音的起止时间单位秒[S01]/[S02]说话人编号全程保持一致中间正文该段时间内说出的语音内容不想手动解析parse_transcript会把上面的文本拆成TranscriptSegment对象直接读取segment.start、segment.end、segment.speaker、segment.text四个属性即可实现见 transcript_parser.py。 进阶技巧长音频与热词设置 三个实用调优点长音频被截断→ 调大max_new_tokens如8192甚至65536给解码器足够空间输出完整转写内存不足OOM→ 优先用sdpa或安装 flash-attn 后使用flash_attention_2尽量避免eager它在长录音上显存开销会平方级增长专有名词识别不准→ 给默认提示词追加热词。默认提示词定义在 inference_utils.py 的DEFAULT_PROMPT可在末尾加上热词提示产品名, 人名, 术语然后传给build_transcription_messages(audio_path, prompt...)。 不写代码内置字幕 CLI 一键导出如果你只需要音频进、字幕文件出项目内置了两条命令行工作流# 批量处理输出 JSON / SRT / ASS 字幕 mtd-subtitle /path/to/input.mp4 \ --model OpenMOSS-Team/MOSS-Transcribe-Diarize \ --out-dir runs/example \ --render # 若系统装有 ffmpeg会把字幕烧录进 output.mp4也可以启动本地 Web 界面上传音视频后在线审核分段再下载字幕mtd-subtitle-web --model OpenMOSS-Team/MOSS-Transcribe-Diarize --host 127.0.0.1 --port 7860命令入口分别是 cli.py 与 web_cli.pySRT/ASS/JSON 导出逻辑在 subtitle/export.py。界面支持简体中文和英文。 常见问题速查问题解决方法没有 NVIDIA 显卡resolve_device(auto)会自动回退 CPU精度用 float32转写结果中途断开增大max_new_tokens显存 OOM换用flash_attention_2或sdpa避免eager想微调模型参考仓库中的 FINETUNING.md小结MOSS-Transcribe-Diarize 把转写 时间戳 说话人分离合成了一次推理10 行 Python 代码就能在本地跑通配合内置 CLI 还能直接产出可烧录的字幕文件。更多细节可阅读中文文档 README_zh.md祝你顺利上手长音频转写【免费下载链接】MOSS-Transcribe-DiarizeA 0.9B model for long-form transcription in 50 languages with speaker diarization, timestamps, and acoustic event awareness项目地址: https://gitcode.com/gh_mirrors/mo/MOSS-Transcribe-Diarize创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
