简介这份资源是面向计算机相关专业学生与项目实战学习者的中文语音识别系统完整工程基于Python与深度学习框架实现可直接用于毕业设计、课程设计或期末大作业。项目经导师指导并认可源码经过严格调试确保能够正常运行。压缩包共88个文件约34.54MB以py源码、txt说明、lst数据列表为主另含tsv、pkl、md等文件涵盖声学模型、语言模型、数据处理与训练脚本等模块目录结构清晰便于按功能检索与二次开发。内容涉及GRU-CTC声学建模、CNN-CTC、CBHG语言模型、fbank特征提取及数据生成等典型语音识别流程读者可据此理解端到端中文语音识别的整体架构与训练思路。目前已有216人学习下载适合希望快速获得可运行项目、对照源码梳理算法实现并完成论文或答辩准备的学习者参考。1. 中文语音识别系统从一段 wav 到一行文字中间到底发生了什么一段 16kHz、单声道、时长 3 秒的中文 wav 文件丢进一个基于 Python 的深度学习语音识别系统最后吐出一行「今天天气怎么样」。这个过程听起来简单但中间要经过采样、分帧、特征提取、声学建模、解码搜索好几个环节每个环节都有参数要调、有坑要踩。很多同学做毕业设计时代码跑起来了识别结果却是一堆乱码或者空字符串问题往往不在模型本身而在前端处理或者解码配置上。这套系统要解决的问题很明确把中文语音信号转成对应的文字序列。适合谁正在做计算机毕业设计、需要一套能跑通、能演示、能写进论文的中文语音识别方案的同学也适合想从零理解 ASR 全流程、不想只调 API 的工程师。源码和文档说明的价值在于它把数据准备、模型定义、训练循环、推理接口串成了一条完整的链路而不是只丢一个模型文件让你猜怎么用。常见做法是用 Python 做胶水语言深度学习框架选 PyTorch 或 TensorFlow声学模型用 CNNCTC 或者 Conformer解码用贪心搜索或 beam search前端用 torchaudio 或 librosa 做特征提取。下面按「数据怎么进、模型怎么建、训练怎么跑、推理怎么用、坑怎么避」的顺序展开。2. 数据管道与特征工程把 wav 变成模型能吃的张量2.1 中文语音数据的来源与清洗策略做中文语音识别第一步不是写模型而是找数据。常见来源有 AISHELL-1、THCHS-30、ST-CMDS 这几个开源中文语音数据集采样率多为 16kHz标注格式是「音频路径 文本」。毕业设计里如果不想下载几十 GB 的数据可以先用 AISHELL-1 的子集大概 10 小时左右就能跑出一个能演示的模型。拿到数据后要做三件事第一检查音频文件是否损坏用 soundfile 或 torchaudio 读一遍能读出张量且长度大于 0.5 秒的才保留第二文本要统一转成小写、去掉标点、把数字转成中文读法比如「2024」转成「二零二四」这一步不做模型会把数字当成未登录词第三建立词表中文按字切分即可常用汉字加特殊符号大概 5000 到 6000 个 token词表太大 embedding 层参数会爆炸太小会出现大量 UNK。import torchaudio import os def validate_audio(path, min_duration0.5, sample_rate16000): try: waveform, sr torchaudio.load(path) if sr ! sample_rate: resampler torchaudio.transforms.Resample(sr, sample_rate) waveform resampler(waveform) duration waveform.shape[1] / sample_rate if duration min_duration: return None return waveform except Exception as e: print(f损坏文件: {path}, 错误: {e}) return None这段代码做的是音频校验和重采样。min_duration设 0.5 秒是为了过滤掉太短的无效片段sample_rate统一到 16000 是因为大多数中文 ASR 预训练模型都按 16k 训练。如果原始数据是 8k 或 44.1k必须重采样否则特征分布和模型预期不匹配识别率会断崖式下跌。2.2 用 torchaudio 提取 Mel 频谱与 SpecAugment 增强声学模型一般不直接吃原始波形而是吃 Mel 频谱图。中文语音识别里常用 80 维 Mel 滤波器组帧长 25ms帧移 10ms加汉明窗。torchaudio 的MelSpectrogram可以一行搞定但要注意n_fft和win_length的配合n_fft一般取 512 或 400win_length等于n_ffthop_length取 160对应 10ms。import torchaudio.transforms as T mel_transform T.MelSpectrogram( sample_rate16000, n_fft400, win_length400, hop_length160, n_mels80, f_min20, f_max8000 ) def extract_feature(waveform): mel mel_transform(waveform) # (1, n_mels, time) log_mel torch.log(mel 1e-6) return log_mel.squeeze(0) # (n_mels, time)n_mels80是中文 ASR 的常见选择比 40 维保留更多频带细节又不像 128 维那样增加计算量。f_min20和f_max8000覆盖了人声主要能量范围。取 log 是为了压缩动态范围让模型对音量变化不那么敏感。数据增强方面SpecAugment 是性价比最高的手段在时间轴和频率轴上随机遮挡一段。时间遮挡建议不超过 10 帧频率遮挡不超过 8 个 Mel 通道遮挡太多会让模型学不到完整信息。训练时开启推理时关闭这个开关一定要用model.train()和model.eval()控制住。注意Mel 频谱的均值和方差最好在训练集上统计一遍做标准化。不做标准化模型收敛会慢很多甚至不收敛。3. 声学模型选型与搭建CNNCTC 还是 Conformer3.1 为什么中文 ASR 常用 CTC 而不是交叉熵中文语音识别的一个难点是「对齐」一段 3 秒的音频对应 10 个汉字但每个字具体在哪个时间点开始、哪个时间点结束标注数据里往往没有。CTCConnectionist Temporal Classification的好处是不需要帧级对齐标注只要输入序列和输出序列它会自动在训练中学习对齐关系。CTC 的另一个好处是输出层可以接一个 blank 标签处理静音和过渡音。中文里同音字多CTC 的峰值往往对应韵母或声母的核心段解码时用贪心策略取每个时间步最大概率的 token再去掉重复和 blank就能得到文字序列。常见做法是前端用几层 CNN 做下采样把时间维度压缩 4 倍然后接 BiLSTM 或 Transformer 编码器最后接全连接层输出词表大小的 logits。毕业设计里如果算力有限CNNBiLSTMCTC 就够用参数量控制在 10M 以内单卡 8G 显存能跑 batch size 16。3.2 用 PyTorch 搭一个最小可用的 CNNCTC 模型import torch import torch.nn as nn class CNNCTC(nn.Module): def __init__(self, vocab_size, n_mels80, hidden256, n_layers3): super().__init__() self.cnn nn.Sequential( nn.Conv2d(1, 32, kernel_size3, stride2, padding1), nn.ReLU(), nn.Conv2d(32, 32, kernel_size3, stride2, padding1), nn.ReLU(), ) self.rnn nn.LSTM( input_size32 * (n_mels // 4), hidden_sizehidden, num_layersn_layers, batch_firstTrue, bidirectionalTrue ) self.fc nn.Linear(hidden * 2, vocab_size) def forward(self, x): # x: (B, 1, n_mels, T) x self.cnn(x) # (B, 32, n_mels//4, T//4) B, C, F, T x.shape x x.permute(0, 3, 1, 2).reshape(B, T, C * F) x, _ self.rnn(x) logits self.fc(x) # (B, T//4, vocab_size) return logits这个模型的结构逻辑两层 CNN 各做 stride2 下采样时间维度从 T 变成 T/4频率维度从 80 变成 20。然后 reshape 成序列输入 LSTM双向 LSTM 捕捉上下文最后全连接映射到词表。hidden256和n_layers3是平衡表达能力和显存占用的经验值再大容易过拟合再小欠拟合。训练时用nn.CTCLoss注意输入长度要除以 4因为 CNN 下采样了目标长度是文本长度。blank索引设为 0词表里 0 号位置留给 blank。ctc_loss nn.CTCLoss(blank0, zero_infinityTrue) log_probs torch.log_softmax(logits, dim-1).permute(1, 0, 2) loss ctc_loss(log_probs, targets, input_lengths, target_lengths)zero_infinityTrue是必须加的否则当输入长度小于目标长度时 loss 会变成 inf训练直接崩掉。permute(1, 0, 2)是因为 CTCLoss 要求时间维在前。3.3 解码贪心搜索与 beam search 的取舍训练完模型推理时有两种解码方式。贪心搜索就是每个时间步取 argmax然后合并重复、去掉 blank速度快但容易漏字。beam search 保留 top-k 候选路径最后选总概率最高的识别率通常比贪心高 2 到 5 个百分点但速度慢 k 倍。毕业设计演示用贪心就够了如果追求指标beam size 设 10 到 20 比较合适。再大收益递减延迟却线性增长。中文里同音字多beam search 配合一个简单的语言模型比如 kenlm 训练的字级 n-gram能进一步纠正「知识」和「只是」这类混淆。4. 训练循环与调参让 loss 真正降下去4.1 学习率、batch size 与梯度裁剪的配合CTC 训练最怕的是 loss 前期不降。常见原因是学习率太大梯度爆炸。我一般用 Adam 优化器初始学习率 3e-4配合ReduceLROnPlateau当验证集 loss 连续 3 个 epoch 不降就乘以 0.5。batch size 根据显存来8G 显存跑上面的模型大概能到 1616G 能到 32。梯度裁剪是必须的torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0)。CTC 的梯度在早期波动很大不裁剪很容易出现 loss 突然变成 nan。max_norm 设 5 是经验值设 1 会限制太狠导致收敛慢设 10 又起不到保护作用。optimizer torch.optim.Adam(model.parameters(), lr3e-4) scheduler torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemin, factor0.5, patience3 ) for epoch in range(50): model.train() for batch in train_loader: feats, targets, input_lengths, target_lengths batch logits model(feats) log_probs torch.log_softmax(logits, dim-1).permute(1, 0, 2) loss ctc_loss(log_probs, targets, input_lengths, target_lengths) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0) optimizer.step() scheduler.step(val_loss)4.2 验证集指标CER 怎么算才不骗自己训练 loss 降了不代表识别率上去了。必须用 CER字错误率来评估。CER (替换 删除 插入) / 总字数。计算时要去掉空格和标点只比较汉字序列。def compute_cer(preds, targets): total_errors 0 total_chars 0 for pred, target in zip(preds, targets): pred pred.replace( , ) target target.replace( , ) # 编辑距离 dp [[0] * (len(target) 1) for _ in range(len(pred) 1)] for i in range(len(pred) 1): dp[i][0] i for j in range(len(target) 1): dp[0][j] j for i in range(1, len(pred) 1): for j in range(1, len(target) 1): if pred[i-1] target[j-1]: dp[i][j] dp[i-1][j-1] else: dp[i][j] min(dp[i-1][j], dp[i][j-1], dp[i-1][j-1]) 1 total_errors dp[len(pred)][len(target)] total_chars len(target) return total_errors / total_chars这段编辑距离是 CER 的核心。注意插入错误也算所以预测出多余的字会拉高 CER。验证时用贪心解码跑一遍验证集算 CER如果 CER 连续几个 epoch 不降就要检查是不是过拟合了可以加 dropout 或者提前停止。提示验证集不要和训练集有说话人重叠否则 CER 会虚低。中文语音识别里同一个人说的句子在训练集和验证集都出现模型可能只是记住了音色换个人就翻车。5. 推理部署与避坑从 checkpoint 到可交互 demo5.1 加载模型并跑通单条音频推理训练完保存 checkpoint推理时重新实例化模型、加载权重、切到 eval 模式。输入音频先做和训练时一模一样的特征提取然后前向传播贪心解码。def greedy_decode(logits, idx2char): tokens logits.argmax(dim-1) # (T,) result [] prev -1 for t in tokens: t t.item() if t ! prev and t ! 0: result.append(idx2char[t]) prev t return .join(result) model.eval() with torch.no_grad(): feats extract_feature(waveform).unsqueeze(0) # (1, n_mels, T) feats feats.unsqueeze(1) # (1, 1, n_mels, T) logits model(feats) # (1, T//4, vocab_size) text greedy_decode(logits[0], idx2char) print(text)关键点是model.eval()和torch.no_grad()都要加前者关闭 dropout 和 batch norm 的训练行为后者省显存。特征提取的n_mels、hop_length必须和训练时完全一致改一个参数识别结果就全乱。5.2 避坑与常见问题排查现象一训练 loss 一直不降卡在 5 以上。原因通常是学习率太大或者词表里有大量 UNK。解决把学习率降到 1e-4检查文本清洗是否把生僻字都过滤了词表覆盖率达到 99% 以上再训练。现象二验证集 CER 很低但换一段新音频识别全是乱码。原因是过拟合模型记住了训练集的音色和文本。解决加 SpecAugment加 dropoutLSTM 的 dropout 设 0.2 到 0.3验证集按说话人划分。现象三推理时输出空字符串。原因是 CTC 的 blank 概率一直最高模型没学到有效对齐。解决检查input_lengths是否除以了 4检查target_lengths是否大于 0检查 blank 索引是否和词表一致。现象四显存溢出batch size 降到 1 还是 OOM。原因是音频长度不一致padding 到最大长度后太占显存。解决用torch.nn.utils.rnn.pad_sequence动态 padding或者按长度分桶每个 batch 内长度相近。现象五识别结果有字但顺序错乱。原因是 CNN 下采样后时间分辨率太低或者 LSTM 层数太多导致梯度弥散。解决减少一层 CNN 下采样或者把 LSTM 换成 Transformer 编码器注意力机制对长序列更友好。注意推理时如果音频采样率不是 16kHz一定要重采样。直接喂 44.1kHz 的音频Mel 频谱的帧数会多出近 3 倍模型看到的序列长度和训练时完全不是一个分布。6. 进阶技巧用预训练模型微调把 CER 再降一截从零训练一个中文 ASR 模型10 小时数据大概能到 30% 到 40% 的 CER演示够用但不够好看。如果想让毕业设计的指标更漂亮可以用预训练模型微调。常见做法是拿 Wav2Vec2 或 HuBERT 的中文预训练权重在顶层加一个 CTC 头用自己数据微调几十个 epochCER 能降到 15% 以下。具体操作加载facebook/wav2vec2-base或者中文社区微调过的版本冻结底部的特征提取层只训练顶层 Transformer 和 CTC 头。学习率设 1e-5 到 3e-5比从零训练小一个数量级。微调时 SpecAugment 仍然要开但遮挡比例可以减半因为预训练模型已经见过大量数据不需要那么强的正则。from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor processor Wav2Vec2Processor.from_pretrained(你的中文预训练模型路径) model Wav2Vec2ForCTC.from_pretrained( 你的中文预训练模型路径, ctc_loss_reductionmean, pad_token_idprocessor.tokenizer.pad_token_id, vocab_sizelen(processor.tokenizer) ) # 冻结特征提取层 model.freeze_feature_encoder() # 微调时只更新顶层参数 optimizer torch.optim.AdamW(model.parameters(), lr1e-5)freeze_feature_encoder()是关键不冻结的话底层参数会被小数据集带偏反而降低性能。微调数据至少要有 5 小时太少会灾难性遗忘。验证时用processor.batch_decode把 logits 转成文本再算 CER。另一个技巧是加一个轻量语言模型做浅融合。用 kenlm 在训练文本上训一个 3-gram 字级模型解码时把声学模型概率和语言模型概率按权重相加权重设 0.3 到 0.5。这个操作不需要重新训练声学模型只在解码阶段生效对同音字纠错效果明显。我自己做这类项目时习惯先把数据管道和 CER 计算脚本写扎实再动模型结构。因为大部分翻车都不是模型不够深而是特征提取参数和训练时对不上或者验证集划分有泄漏。把这两个地方盯住哪怕用最简单的 CNNCTC也能跑出一个能写进论文、能当场演示的结果。希望帮到你。本文还有配套的精品资源点击获取
