AuK 把 Whisper 转换做成了任务语音生成模型开始兼容 ASR 生态了吗【免费下载链接】AuK项目地址: https://ai.gitcode.com/tencent_hunyuan/AuK当开源语音模型把正常说话 → 耳语这种声学变换和零样本 TTS、歌词改写、去口音、人声分离一起统统登记进一张自然语言指令任务表时语音领域的分界线正在被重新划定。腾讯混元开源的 1.5B 语音基础模型 AuKREADME.md在 2026 年 9 月 9 日正式开源代码与权重官方任务清单里赫然写着Whisper ConversionWhisper 转换。这个命名很容易让人联想到 OpenAI 的 Whisper——但它恰恰不是 ASR而是语音生成模型把耳语当成一种可编辑的声学属性。本文结合 AuK 技术报告、仓库源码与社区实测拆解这个任务在统一指令体系中的真实定位以及它背后生成模型与 ASR 生态双向兼容的技术含义。一、Whisper 转换副语言编辑家族里的第 5 号任务在 README.md 的 Supported Tasks 表中AuK 把全部能力按五个类别组织语音生成Speech Generation、内容编辑Content Editing、声学编辑Acoustic Editing、副语言编辑Paralinguistic Editing、增强与分离Enhancement Separation。Whisper Conversion 被归入副语言编辑一栏与以下四个任务并列Emotion改变情绪保留内容与音色Timbre按描述改变音色De-accent去除地方口音保留说话人声音与内容Nonverbal Editing删除或添加呼吸、笑声、咳嗽等非语言声Whisper Conversion在保留说话人与内容的前提下在正常语音与耳语之间相互转换。官方定义只有一句话Convert between normal speech and whisper while preserving speaker and content.关键约束是preserving speaker and content——这不是语音合成而是同说话人、同内容的发声方式变换。社区侧的反应也印证了这类任务的感知价值头条上腾讯混元AuK实测一句话改口音的传播热度与 De-accent 同属一个能力家族CSDN 的多篇拆解则把副语言控制情绪/音色/口音列为 AuK 的核心卖点之一。把 Whisper 转换放进副语言编辑而不是放进增强与分离或生成本身就说明了设计意图它与情感、音色、口音一样被视为附着在语言内容之上、可以被指令单独操作的韵律层/发声层属性而不是需要信号级处理的恢复类任务。二、数据是怎么造的WER0 的平行语料与 -24 dBFS 的工程细节任务登记容易训练数据才是硬骨头。AuK 技术报告在数据构造一节披露了 Whisper-Style Conversion 的构造流程三个细节值得注意平行语料 严格筛选从公开普通话语料中构造 normal-to-whisper 平行对只保留**正常语音与耳语转录完全相同WER0**的样本。WER 归零意味着剔除掉那些耳语化过程中内容受损的样本确保模型学到的是纯发声方式的变换而非内容歧义统一采样率全部录音重采样到 24kHz与模型整体输出采样率一致对应 config.yaml 中vae.target_sample_rate: 24000电平归一化正常语音输入按句归一化到-24 dBFS 的 RMS 目标以匹配更广语音训练语料的平均电平——避免模型把响度差当成耳语的判别特征。这条数据管线与同一章节里的 De-accent 构造CosyVoice2 合成标准普通话参考 OmniVoice 重建、Nonverbal Editing 构造Qwen3-ForcedAligner 定位事件时间跨度 F5-TTS 重建形成对照AuK 不是直接采集海量编辑对而是用现成生成模型对齐工具批量合成监督信号再用 ASR 做质量把关。生成模型造数据、ASR 模型当裁判这正是后文要展开的双向兼容的第一层。三、任务化背后的技术底座一个主干五族任务Whisper 转换能被做成任务前提是整个 AuK 只有一个共享主干。仓库 config.yaml 直接暴露了这张底牌model: backbone: Flux2Edit cfm_class: CFMEdit text_encoder: text_encoder_path: ckpts/Qwen2.5-Omni-3B vae: vae_name: BigVGANFlowVAE latent_dim: 64 downsample_rate: 480 target_sample_rate: 24000 arch: dim: 1536 heads: 24 num_layers: 10 num_single_layers: 20对应技术报告中的架构Qwen2.5-Omni-3B 多模态编码器提供语义条件对所有层隐藏状态做可学习的加权求和AuK-VAE基于 BigVGAN-Flow在语音/通用音频/音乐三种域上联合训练提供 64 维、50Hz 的共享声学隐空间混合整流流 Transformer10 层双流 MMDiT 20 层单流 DiT约 1.5B 参数负责生成。仓库只携带主干权重auk_base.safetensorsMLLM 编码器与 VAE 在运行时从独立文件加载——这也是 README 中missingtext_encoder.*keys during checkpoint loading are expected的原因。统一指令接口让任务成为纯粹的条件一条自然语言指令 可选参考音频 → 目标波形。预训练语料共约 30.3 亿指令-音频实例、195 万小时有效监督五族任务按固定比例混批语音生成 28.10%、内容编辑 23.02%、增强分离 23.17%、副语言编辑 21.75%、声学编辑 3.96%。Whisper 转换作为副语言家族的一员与情感、去口音共享同一套流匹配目标logistic_normal时间采样、P_mean-0.8/P_std0.8见 config.yaml。换句话说模型并不存在Whisper 转换专用分支它学的是在给定参考音频与指令的语义/声学条件下预测目标潜变量的整流流速度。耳语只是众多条件模式中的一种。四、从编辑长出生成与 ASR 生态的双向渗透标题问的是语音生成模型开始兼容 ASR 生态了吗这个问题在 AuK 身上可以拆成三个层面而每个层面的答案都出人意料。第一层澄清概念——Whisper Conversion 不是 OpenAI Whisper。前者是正常语音 ↔ 耳语的发声方式变换输入输出都是音频属于副语言编辑后者是语音识别模型输入音频输出文本。AuK 把它命名为 Whisper Conversion 只是在沿用语音学界对耳语whisper speech的惯用称呼与 ASR 生态无直接继承关系。这个命名造成的标题党效应恰恰说明生成模型抢 ASR 名词的时代已经到来。第二层编辑能力反向溢出为生成能力。技术报告第 7.4 节记录了一个关键发现Whisper 训练数据只包含 normal→whisper 与 whisper→normal 的双向编辑对但联合训练的模型却能直接根据文本 风格指令合成耳语——编辑中学到的声学变换迁移到了生成任务上。同样的现象也出现在去口音任务监督数据只覆盖中文方言模型却能去除英语口语中的印度口音、日语口音且基本保留说话人身份。报告对此的结论是统一训练能把声学变换从监督它的语言和任务中分解并泛化出来。这是任务化最深的回报每个编辑任务都在免费训练一条生成路径。第三层生成模型与 ASR 的相爱相杀。一方面AuK 的零样本 TTS 刻意做成transcript-free无转录依赖构造数据时不提供参考音频的转录文本从而在部署时摆脱了对额外 ASR 系统的依赖另一方面AuK 的数据与训练又深度绑定了 ASR 生态——语音数据用多套 ASR 系统交叉验证去噪、内容编辑用 ASR 转录质量把关保留低 WER 样本、零样本 TTS 的 Flow-GRPO 奖励直接由现成 ASR 模型判定内容正确性、评测指标Seed-TTS-Eval 的 WER/CER、DNS Challenge 的 dWER本身就是识别错误率。识别模型既是训练时的裁判与造数工具又是部署时被替代的对象——生成模型一边摆脱 ASR一边寄生 ASR。从基准数据看这条任务化路线的收益是实打实的Seed-TTS-Eval 平均 WER 2.65%低于 Qwen3-TTS 的 3.07%、平均说话人相似度 0.795InstructTTSEval 中文 DSD 83.37%超 Qwen3-TTS-VD 2.27 个百分点MMAE-Speech 指令遵循 48.23%、一致性保持 88.11%语义编辑Ming-Freeform Full-ZHWER 从 10.46% 压到 3.09%。而在 SpeechEditBench 上副语言编辑得分 38.50%、情绪编辑仅 9.94%——副语言家族恰恰是最薄弱的一环这也反过来说明 Whisper 转换这类任务在数据稀缺下的含金量它属于能做、但还远没做透的能力。五、生态格局MIT 开源、Day 0 部署与能力边界最后看生态影响。AuK 以MIT 协议见 LICENSE同时开放代码与权重社区情报中可商用是高频评价配套生态在开源当天就绪SGLang-Omni 完成 Day 0 支持python -m sglang_omni.cli serve --model-path tencent/AuKGradio 与 ComfyUI 均可部署蒸馏出的 AuK-Flash 用任务路由解耦蒸馏实现4 步、无 CFG 推理墙钟加速 4.5 倍把任务全家桶拉进了可落地的成本区间。但边界同样清晰社区实测反馈包括约 30 秒的输入长度上限、显存要求偏高需随带 3B 的 Qwen2.5-Omni 编码器技术报告也坦承自由形式指令的原生理解仍不鲁棒生产中依赖 Prompt Enhancer 做任务路由与指令改写——即拥有能力和稳定唤起能力之间仍有鸿沟。回到标题的问题AuK 把 Whisper 转换做成任务最值得注意的并非生成模型兼容了 ASR而是它展示了语音基础模型的成熟形态——识别、生成、编辑不再由独立模型分治而是共享一个指令-波形接口与一套声学隐空间。Whisper 转换只是这枚硬币上刻得最深的那道纹路它是编辑任务却长出了生成能力它不需要转录却处处由 ASR 校准。当耳语都能被一句话唤起时语音模型的边界已经不是能合成什么而是还有哪个声学维度没被做成任务。【免费下载链接】AuK项目地址: https://ai.gitcode.com/tencent_hunyuan/AuK创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
