)
目录一、ASR 技术演进全景二、ASR 的本质:从波形到文字的序列映射三、经典时代:HMM-GMM 与 DNN-HMM3.1 HMM-GMM:统治了 30 年的基线3.2 DNN-HMM:深度学习的首次介入四、端到端 ASR 的三大流派4.1 CTC(Connectionist Temporal Classification)4.2 RNN-Transducer(RNN-T)4.3 Attention-based Encoder-Decoder(AED)五、Conformer:当前 ASR 的主流编码器六、大模型时代的 ASR 范式6.1 自监督预训练6.2 弱监督大规模预训练6.3 大语言模型 + ASR 的融合七、ASR 的核心评价指标7.1 准确率指标7.2 实时率与延迟八、工程实践建议九、总结一、ASR 技术演进全景ASR 的技术演进大致可分为三个阶段:(1)经典统计时代:HMM-GMM 主导,依赖专家知识和强制对齐(2)深度学习介入:DNN-HMM 混合系统,用神经网络替换 GMM(3)端到端时代:CTC、RNN-T、AED 三大流派,再到自监督预训练和大模型融合二、ASR 的本质:从波形到文字的序列映射语音识别(Automatic Speech Recognition, ASR)要解决的核心问题可以形式化地表述为:给定一段音频特征序列X= (x₁, x₂, ..., x_T),找到最可能的文字序列W*:W* = argmax_W P(W|X)这个看似简洁的概率公式背后,经历了从统计模型到深度神经网络,再到端到端系统的三次范式转移。本文将带你完整走过这段进化之路。三、经典时代:HMM-GMM 与 DNN-HMM3.1 HMM-GMM:统治了 30 年的基线在深度学习出现之前,ASR 的主流框架是 HMM-GMM(隐马尔可夫模型 + 高斯混合模型):HMM 的三个经典问题:问题含义算法评估给定模型和观测,计算概率前向-后向算法解码给定模型和观测,找最可能的状态序列Viterbi 算法学习给定观测序列,估计模型参数Baum-Welch(EM)算法HMM-GMM 的问题:GMM 对高维非线性数据的建模能力有限需要 HMM 状态与语音帧之间的强制对齐(Forced Alignment),依赖专家标注上下文相关音素(Triphone)导致状态空间爆炸决策树状态聚类(State Tying)虽然缓解了数据稀疏,但限制了模型容量3.2 DNN-HMM:深度学习的首次介入2011-2012 年,DNN 开始替换 GMM,形成 DNN-HMM 混合系统。核心变化是:用 DNN 直接预测每个 HMM 状态的后验概率 P(s_t |x_t),而非 GMM 的似然建模。相比 GMM 的优势:DNN 能利用长达 11-21 帧的上下文窗口,建模能力远超 GMM不需要对特征分布做对角协方差假设在相同数据量下,WER 相对 GMM 降低 20-30%代表模型:TDNN(时延神经网络):通过一维卷积沿时间轴捕获上下文,是最早用于 ASR 的深度模型之一LSTM(长短期记忆网络):解决了长序列梯度消失问题,显著提升了远距离上下文建模能力TDNN-F(因子化 TDNN):Kaldi 中的主力声学模型,通过矩阵分解大幅减少参数量四、端到端 ASR 的三大流派端到端 ASR 的核心思想是:不再需要 HMM、发音词典、强制对齐,用一个神经网络直接从音频映射到文字。先介绍一个将这些流派落地到工业场景的工具包——FunASR。它由阿里达摩院开源,定位是“基础端到端语音识别工具包”,集成了多种模型架构和完整的服务部署能力。FunASR 的核心价值在于:它不是一个单一模型,而是一套可组合的端到端流水线。以实时语音听写场景为例,一个典型的 FunASR 服务链路包含多个协同工作的模块这种设计的核心思路是:流式模型负责“快”,非流式模型负责“准”。流式 Paraformer 每 600ms 输出一次中间结果,保证实时性;当检测到说话停顿(VAD 判定句尾)时,切换到非流式 Paraformer 对整句做一次高精度推理,用更准的结果修正之前的流式输出。这种“实时+修正”的两遍策略,在延迟和准确率之间取得了很好的平衡。