语音交互 4 - 语音识别(ASR)

发布时间:2026/11/1 1:46:48
语音交互 4 - 语音识别(ASR) 目录一、ASR 技术演进全景二、ASR 的本质:从波形到文字的序列映射三、经典时代:HMM-GMM 与 DNN-HMM3.1 HMM-GMM:统治了 30 年的基线3.2 DNN-HMM:深度学习的首次介入四、端到端 ASR 的三大流派4.1 CTC(Connectionist Temporal Classification)4.2 RNN-Transducer(RNN-T)4.3 Attention-based Encoder-Decoder(AED)五、Conformer:当前 ASR 的主流编码器六、大模型时代的 ASR 范式6.1 自监督预训练6.2 弱监督大规模预训练6.3 大语言模型 + ASR 的融合七、ASR 的核心评价指标7.1 准确率指标7.2 实时率与延迟八、工程实践建议九、总结一、ASR 技术演进全景ASR 的技术演进大致可分为三个阶段:(1)经典统计时代:HMM-GMM 主导,依赖专家知识和强制对齐(2)深度学习介入:DNN-HMM 混合系统,用神经网络替换 GMM(3)端到端时代:CTC、RNN-T、AED 三大流派,再到自监督预训练和大模型融合二、ASR 的本质:从波形到文字的序列映射语音识别(Automatic Speech Recognition, ASR)要解决的核心问题可以形式化地表述为:给定一段音频特征序列X= (x₁, x₂, ..., x_T),找到最可能的文字序列W*:W* = argmax_W P(W|X)这个看似简洁的概率公式背后,经历了从统计模型到深度神经网络,再到端到端系统的三次范式转移。本文将带你完整走过这段进化之路。三、经典时代:HMM-GMM 与 DNN-HMM3.1 HMM-GMM:统治了 30 年的基线在深度学习出现之前,ASR 的主流框架是 HMM-GMM(隐马尔可夫模型 + 高斯混合模型):HMM 的三个经典问题:问题含义算法评估给定模型和观测,计算概率前向-后向算法解码给定模型和观测,找最可能的状态序列Viterbi 算法学习给定观测序列,估计模型参数Baum-Welch(EM)算法HMM-GMM 的问题:GMM 对高维非线性数据的建模能力有限需要 HMM 状态与语音帧之间的强制对齐(Forced Alignment),依赖专家标注上下文相关音素(Triphone)导致状态空间爆炸决策树状态聚类(State Tying)虽然缓解了数据稀疏,但限制了模型容量3.2 DNN-HMM:深度学习的首次介入2011-2012 年,DNN 开始替换 GMM,形成 DNN-HMM 混合系统。核心变化是:用 DNN 直接预测每个 HMM 状态的后验概率 P(s_t |x_t),而非 GMM 的似然建模。相比 GMM 的优势:DNN 能利用长达 11-21 帧的上下文窗口,建模能力远超 GMM不需要对特征分布做对角协方差假设在相同数据量下,WER 相对 GMM 降低 20-30%代表模型:TDNN(时延神经网络):通过一维卷积沿时间轴捕获上下文,是最早用于 ASR 的深度模型之一LSTM(长短期记忆网络):解决了长序列梯度消失问题,显著提升了远距离上下文建模能力TDNN-F(因子化 TDNN):Kaldi 中的主力声学模型,通过矩阵分解大幅减少参数量四、端到端 ASR 的三大流派端到端 ASR 的核心思想是:不再需要 HMM、发音词典、强制对齐,用一个神经网络直接从音频映射到文字。先介绍一个将这些流派落地到工业场景的工具包——FunASR。它由阿里达摩院开源,定位是“基础端到端语音识别工具包”,集成了多种模型架构和完整的服务部署能力。FunASR 的核心价值在于:它不是一个单一模型,而是一套可组合的端到端流水线。以实时语音听写场景为例,一个典型的 FunASR 服务链路包含多个协同工作的模块这种设计的核心思路是:流式模型负责“快”,非流式模型负责“准”。流式 Paraformer 每 600ms 输出一次中间结果,保证实时性;当检测到说话停顿(VAD 判定句尾)时,切换到非流式 Paraformer 对整句做一次高精度推理,用更准的结果修正之前的流式输出。这种“实时+修正”的两遍策略,在延迟和准确率之间取得了很好的平衡。

关于本文作者

来自尧图内容编辑团队

尧图内容编辑团队 内容团队

尧图内容编辑团队

本文由尧图网络内容编辑团队执笔。团队由资深项目经理、前端工程师与设计师组成,所有内容均来自亲手交付的真实项目,先讲清问题、再给出可落地的解法。尧图深耕北京网站建设十年,服务过京华建材集团、智造科技等各行业客户,把一线经验沉淀为可复用的行业观察。

  • 十年建站经验,覆盖建材、制造、服务、文创等
  • 项目经理把关选题与事实准确性
  • 工程师与设计师联合撰写专业细节
  • 统一编辑规范,保证文风与排版一致
  • 每月复盘转化数据,迭代选题方向

延伸阅读

相关资讯与近期热门内容

深度阅读推荐

建站决策前值得细读的三篇

网站改版的5个关键决策
2024-08-12

网站改版的5个关键决策

什么时候该改版、改到什么程度、如何避免流量掉光,京华建材集团改版复盘给出答案。

获取专属建站方案

看完文章,把您的行业与预算告诉我们,免费获取一份量身定制的官网建设方案与报价。

立即免费咨询