语音情感识别实战：LSTM/CNN/SVM/MLP四模型对比与Keras实现

简介面向语音情感识别入门与进阶开发者的完整项目源码基于 Keras 与 TensorFlow 2 实现覆盖长短时记忆网络、卷积神经网络、支持向量机与多层感知机四种主流模型并同时支持 Opensmile 与 Librosa 两种音频特征提取方案从预处理、特征提取、模型训练到预测推理形成完整链路适合用于课程设计、毕业设计或作为科研基线参考。压缩包共四十九个文件大小七十点三一 MB其中 Python 脚本负责数据整理、特征提取、训练与预测yaml 与 json 配置便于调整数据集和模型参数h5 与 m 文件是已训练好的模型及特征缩放器另有说明文档帮助快速上手。目前已有二百四十二人学习下载项目内置多个预训练模型可直接对指定音频进行情感分类通过配置文件示例还能灵活切换三分类、六分类、七分类等不同粒度的情感识别任务并可借助数据整理脚本复用自有数据集是一套实用且易于扩展的语音情感识别参考实现。1. 语音情感识别项目为什么偏偏是这四个模型混排深夜给语音客服系统加质检功能时容易遇到一个典型场景用户说“好的谢谢”文本上是中性情绪但语气里已经压着火转写文本根本看不出来。这时候必须回到声学层做情感识别也就是根据韵律、音色、语速、频谱分布判断语音里的生气、高兴、中性、悲伤等状态。这个标题给的是一个 Keras 工程用 LSTM、CNN、SVM、MLP 四种模型分别做语音情感识别最后以一个项目源码的形式对比效果。核心问题是一组语音特征到底该怎么组织才能同时喂给循环网络、卷积网络和传统分类器以及每种模型在这个任务里各自擅长抓什么信息。本文按特征工程、神经网络实现、传统模型实现、评估落地的顺序往下走所有代码都能直接用适合刚接触语音情感识别但已经会基础 Keras 和 sklearn 的从业者也适合想了解多模型对比实验怎么写的人。2. 语音情感识别特征工程把波形变成 LSTM、CNN、SVM、MLP 能吃的输入2.1 既要谱图又要统计量两种特征形态的选型依据语音情感识别最忌讳直接拿原始 PCM 波形做输入原因有两个一是采样率 16kHz 时一秒钟就有一万六千个点训练效率和模型复杂度完全失控二是情感信息不在单采样点里而在短时频谱包络、基频变化、能量起伏这些由分帧和傅里叶变换得到的描述里。常见做法是先按 25ms 左右一帧、帧移 10ms 左右把语音切成重叠帧再对每一帧做预加重、加窗、FFT得到梅尔谱或 MFCC。每帧的特征向量长度由梅尔滤波器个数决定一段 5 秒的语音在 16kHz 下大约有 499 帧这样原始序列长度降到几百个时间步每个时间步承载一个频域快照。这里要区分两种特征形态。对 LSTM 和 CNN保留帧序列结构输入是一个矩阵行可以理解成时间轴列是梅尔频带或 MFCC 系数。对 SVM 和 MLP它们不强建模帧之间的顺序所以更稳妥的做法是计算整段语音统计量比如每个 MFCC 维度的均值、标准差、一阶差分均值最后拼成固定长度的向量。很多新项目在数据集小、类别不平衡时用统计特征做 SVM 比直接堆神经网络基线更高原因就是模型容量和数据量匹配。2.2 用 Librosa 提取 MFCC 并统一长度的源码示例下面这段代码是特征提取的最小完整实现功能是把一批 wav 文件转成两种格式第一种是 LSTM 用的 2D 序列形状是(n_frames, n_mfcc)第二种是 SVM/MLP 用的 1D 统计向量。代码里加了长度统一逻辑因为同一批语料时长不固定而 TensorFlow/Keras 的 Dense 层和 SVM 都要求固定输入维度。长度统一的方式不是直接裁剪而是超过max_len帧截断、不足则补零同时保存实际长度供 LSTM 端后续配合Masking或mask_zero使用。# extract_features.py import os import numpy as np import librosa SAMPLE_RATE 16000 N_MFCC 40 MAX_FRAMES 500 # 对应 16kHz 下约 5 秒语音帧移 10ms def load_and_pad(path, max_framesMAX_FRAMES): 读取音频提取 MFCC并统一到固定帧数。 y, sr librosa.load(path, srSAMPLE_RATE) # 提取40维MFCC帧长25ms帧移10ms mfcc librosa.feature.mfcc( yy, srsr, n_mfccN_MFCC, n_fft512, hop_length160, win_length400 ) # 原生shape: (N_MFCC, n_frames) # 转置成时间优先: (n_frames, n_mfcc) mfcc mfcc.T n_frames mfcc.shape[0] if n_frames max_frames: # 不足补零并记录真实帧数 pad_width ((0, max_frames - n_frames), (0, 0)) mfcc np.pad(mfcc, pad_width, modeconstant) valid_len n_frames else: mfcc mfcc[:max_frames, :] valid_len max_frames return mfcc.astype(np.float32), valid_len def mfcc_to_stats(mfcc, valid_len): 把带补零的MFCC序列压缩成统计向量用于SVM/MLP。 valid mfcc[:valid_len] # 去掉补零区域 delta librosa.feature.delta(valid) feats [] for arr in (valid, delta): feats.append(arr.mean(axis0)) feats.append(arr.std(axis0)) return np.concatenate(feats).astype(np.float32)几个参数在这个任务里需要认真选择。hop_length160表示帧移 10ms情感识别常用的帧移落在 5ms 到 15ms 之间太小会让相邻帧高度相关浪费算力n_fft512得到 257 个频点的频谱再映射到 128 个梅尔滤波器后取对数覆盖范围约 0 到 8kHzN_MFCC40是经验值比语音识别常用的 13 维保留更多频谱细节因为情感识别对音色和高频信息更敏感。MAX_FRAMES500只适合 5 秒以内的句子如果数据集里有 10 秒长的音频要调大上限否则大量有效帧被截掉后文的 LSTM 模型就会学到“前半句”的局部模式。2.3 特征参数表与数据增强的常见做法下表是四类模型各自推荐的特征组合也是源码里config.py需要暴露的核心配置。LSTM 输入用原始 MFCC 序列加 delta 拼接n_frames保持 500CNN 更偏爱 log-mel 谱图因为卷积核作用在时间和频带上时log-mel 每个频带直接对应能量分布MFCC 经过 DCT 之后频带已经混洗SVM 和 MLP 统一使用统计向量维度等于(N_MFCC * 2 * 2)。模型特征输入形状说明LSTMMFCC delta(500, 80)保留每帧时序捕获语调起伏CNNlog-mel 谱图(128, 500, 1)局部频谱纹理按图像分类处理SVMMFCC/delta 统计量(160,)均值标准差对数据量要求低MLPMFCC/delta 统计量(160,)用非线性层替代核映射特征增强方面语音情感识别不能只依赖原始音频库常见做法是加环境噪声、时间拉伸和音高偏移。Librosa 里有现成接口对 y 做time_stretch和pitch_shift后重新提取特征。注意pitch_shift会改变声音的生理属性数据集里如果本身有说话人差异音高偏移范围别超过 ±2 个半音加噪声时信噪比控制在 10dB 到 20dB太低会把情感线索直接盖掉模型学到的是去噪而不是情感。增强后的特征存成.npy字典训练时按标签索引加载不要每轮重新提取否则预处理耗时会让整个项目变得不可用。3. Keras 实现 LSTM 与 CNN时序建模和局部模式建模的分工3.1 LSTM 模型源码遗忘门输入与双向结构LSTM 之所以适合语音情感识别是因为情感表达是一个跨时间步的累积过程一句话前面平淡、中间加重、结尾语速放慢模型需要决定哪些历史帧保留、哪些遗忘。LSTM 遗忘门接收的输入是上一时刻隐藏状态h_{t-1}和当前帧特征x_t经过 sigmoid 后输出一个 0 到 1 之间的系数0 表示完全丢掉这条历史信息1 表示完整保留。语音里如果前面 1 秒都在抱怨而当前帧语气变温和遗忘门会保留生气阶段的韵律信息让后续分类层看清情绪转变的幅度。Keras 实现里双向 LSTM 比单向效果更稳定因为情感判断既依赖前文铺垫也依赖后文收尾。关键配置是return_sequences只有最后一层 LSTM 设为 False中间层设 True否则无法把每个时间步的输出传进下一层。下面是可直接替换输入形状的模型定义。# model_lstm.py import tensorflow as tf from tensorflow.keras import layers, Model, Input def build_bilstm(input_shape(500, 80), num_classes8, units128): 双向LSTM语音情感识别模型。 inp Input(shapeinput_shape) # Masking让模型跳过补零帧避免零向量影响LSTM状态 x layers.Masking(mask_value0.0)(inp) x layers.Bidirectional(layers.LSTM( units, return_sequencesTrue, dropout0.3 ))(x) x layers.Bidirectional(layers.LSTM( units // 2, return_sequencesFalse, dropout0.3 ))(x) x layers.Dense(64, activationrelu)(x) x layers.Dropout(0.3)(x) out layers.Dense(num_classes, activationsoftmax)(x) model Model(inp, out) return model model build_bilstm() model.compile( optimizertf.keras.optimizers.Adam(learning_rate1e-3), losssparse_categorical_crossentropy, metrics[accuracy] )Masking(mask_value0.0)这里容易被忽略作用是对补零帧的 LSTM 状态更新做屏蔽。样本短的语音补零部分如果参与计算模型会把“静音帧”当成真实的安静情绪导致测试时对短音频的预测偏向中性。第一层 LSTM 用 128 个单元、第二层用 64 个单元层数多对 5 秒左右的语音收益不大反而容易过拟合dropout0.3是 Keras LSTM 中比较稳妥的起点更大如 0.5 在小数据集上梯度更新波动明显训练曲线会抖动得很厉害。优化器用 Adam学习率从 1e-3 开始配合ReduceLROnPlateau在验证loss连续两轮不降时乘 0.5。3.2 CNN 模型源码把 log-mel 谱图当图像分类CNN 在语音情感识别中的切入点不是原始波形而是 log-mel 谱图。谱图把横轴设成时间帧、纵轴设成梅尔频带、颜色代表能量大小情绪特征会形成肉眼可见的纹理生气时高频区出现大面积亮斑高兴时能量快速起伏形成竖条纹悲伤时整体偏暗且变化平缓。CNN 结构图里最常见的组合是卷积、批归一化、池化这个任务里不需要很深三层卷积加全局平均池化已经能逼近更重网络的基线。核大小建议用(3, 3)抓时间和频率的局部相关性第一层也可尝试(5, 3)让时间感受野更大。# model_cnn.py import tensorflow as tf from tensorflow.keras import layers, Model, Input def build_cnn(input_shape(128, 500, 1), num_classes8): 基于 log-mel 谱图的 CNN 情感分类模型。 inp Input(shapeinput_shape) x layers.Conv2D(32, (3, 3), paddingsame)(inp) x layers.BatchNormalization()(x) x layers.Activation(relu)(x) x layers.MaxPooling2D((2, 2))(x) x layers.Conv2D(64, (3, 3), paddingsame)(x) x layers.BatchNormalization()(x) x layers.Activation(relu)(x) x layers.MaxPooling2D((2, 2))(x) x layers.Conv2D(128, (3, 3), paddingsame)(x) x layers.BatchNormalization()(x) x layers.Activation(relu)(x) # 直接全局平均池化替代Flatten减少参数量 x layers.GlobalAveragePooling2D()(x) x layers.Dropout(0.4)(x) out layers.Dense(num_classes, activationsoftmax)(x) model Model(inp, out) return modelCNN 这里有两个训练技巧值得单说。第一BatchNormalization放在卷积层之后、ReLU 之前比放在激活之后收敛更快原因是谱图数值范围受说话人音量影响较大批归一化先在层输入处统一分布激活函数才能稳定工作。第二GlobalAveragePooling2D替代Flatten能大幅减少全连接层参数量情感识别数据集一般只有几千到几万条样本全连接参数量过大会让验证集准确率在训练中后期停滞。输入 shape 里(128, 500, 1)中 128 是梅尔滤波器数量500 是帧数训练时 Keras 会自动把单通道扩展成批维度完全相同的四维张量不需要手动 reshape。3.3 两个神经网络模型的训练配置与对比表LSTM 和 CNN 都建议使用早停配合模型检查点。EarlyStopping监控验证损失patience10表示连续 10 个 epoch 没有改善就停止ModelCheckpoint保存验证准确率最高的一次权重而不是最后一轮。判断停训标准优先看验证 loss 而不是验证 accuracy因为类别不平衡时准确率会“假高”损失更能反映分类置信度是否稳定。对比项BiLSTMCNN输入形状(500, 80)帧序列(128, 500, 1)谱图核心能力跨时间步的情感累积、转折局部频带纹理、能量突变对长音频偏好信息逐帧传递池化层会压缩时间维度参数量约 28 万约 14 万训练速度较慢无法并行到时间步快GPU 友好CNN 训练速度通常比 LSTM 快 3 到 5 倍因为卷积在时间维上天然并行。实际项目里如果 GPU 显存有限优先用 CNN 做基线再把两个模型的预测概率做平均融合融合后的 UAR 往往比单个模型高 2 到 4 个百分点。融合不需要额外训练直接在测试集上对 softmax 输出取算术平均再argmax即可如果数据集规模达到数万条可以换成加权平均权重在验证集上用小范围网格搜索。4. 用 SVM 和 MLP 做情感分类当深度特征遇到核方法4.1 SVM 源码与 RBF 核的两个关键参数SVM 在语音情感识别里并没有被淘汰反而经常作为“给定特征后还能不能更好”的基准。支持向量机的核心想法是把样本映射到高维空间让原本线性不可分的两类在高维里能被超平面分开。RBF 核是最常用的选择它决定模型复杂度的两个参数是C和gammaC控制误分类惩罚力度C太小模型偏向简单的分界面容易欠拟合C太大模型会为了迁就个别样本而剧烈扭曲边界gamma控制单个样本的影响半径gamma越小决策边界越平滑gamma越大越容易把边界画得弯弯曲曲直接带向过拟合。# train_svm.py import joblib from sklearn.svm import SVC from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.preprocessing import StandardScaler X ... # shape: (n_samples, 160) 来自 mfcc_to_stats y ... # shape: (n_samples,) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, stratifyy, random_state42 ) scaler StandardScaler() X_train_s scaler.fit_transform(X_train) X_test_s scaler.transform(X_test) # C和gamma在10^-2到10^2之间做网格搜索 param_grid { C: [0.1, 1, 10, 100], gamma: [0.001, 0.01, 0.1, 1], class_weight: [balanced] } svm SVC(kernelrbf, probabilityTrue, cache_size1000) grid GridSearchCV( svm, param_grid, cv5, scoringf1_macro, n_jobs-1, verbose1 ) grid.fit(X_train_s, y_train) print(grid.best_params_, grid.best_score_) joblib.dump(grid.best_estimator_, svm_best.joblib)StandardScaler这一步不能省尤其统计特征里包含了 MFCC 均值和标准差不同维度的数值范围差别很大。RBF 核依赖样本间欧氏距离量纲不一致时数值大的维度会彻底淹没数值小的维度。class_weightbalanced对情感识别尤其有用公开情感数据集里中性样本通常比生气样本多一倍以上不调整权重的话 SVM 会把所有不确定样本都判成多数类。网格搜索这里用了f1_macro因为 accuracy 在类别不平衡时没有参考价值宏平均 F1 先把每个类别的 F1 算出来再取平均能够反映少数类是否被碾压。cache_size1000单位是 MB样本量超过几万条时把缓存加大能显著减少重复核矩阵计算的时间。4.2 MLP 源码与特征标准化MLP 可以理解为可学习的非线性分类器它的优势是不需要像 SVM 那样依赖预设核函数。SVM 用固定公式把样本映射到高维MLP 用隐藏层的权重自己去学这个映射理论上只要隐藏层够宽、层数够深能逼近任意决策边界。但在语音情感识别这种几千条样本的任务里MLP 设计不宜过深否则优化困难和过拟合会同时出现。我的做法是用三到四层全连接每层后接 BatchNorm 和 Dropout把 MLP 当作一个“温和的非线性分类器”来用。# train_mlp.py import tensorflow as tf from tensorflow.keras import layers, Model, Input from sklearn.preprocessing import StandardScaler def build_mlp(input_dim160, num_classes8): inp Input(shape(input_dim,)) x layers.Dense(256, activationrelu)(inp) x layers.BatchNormalization()(x) x layers.Dropout(0.3)(x) x layers.Dense(128, activationrelu)(x) x layers.BatchNormalization()(x) x layers.Dropout(0.3)(x) out layers.Dense(num_classes, activationsoftmax)(x) model Model(inp, out) return model X_train, X_val ... # 同一份统计特征 scaler StandardScaler() X_train_s scaler.fit_transform(X_train) X_val_s scaler.transform(X_val) mlp build_mlp() mlp.compile( optimizertf.keras.optimizers.Adam(learning_rate1e-3), losssparse_categorical_crossentropy, metrics[accuracy] ) mlp.fit( X_train_s, y_train, validation_data(X_val_s, y_val), epochs100, batch_size64, callbacks[ tf.keras.callbacks.EarlyStopping(patience15, restore_best_weightsTrue), tf.keras.callbacks.ReduceLROnPlateau(factor0.5, patience5) ] )注意 MLP 和 SVM 使用的StandardScaler必须分开拟合因为训练集和验证集会同时传给 MLP如果对整个数据集先做标准化再划分会造成数据泄露验证集信息混进训练分布最终评估结果过于乐观。MLP 的batch_size64是经验起点样本数少时批量太大容易让梯度方向过于单一损失函数震荡得很厉害样本数少于两千时改到 32 更稳。ReduceLROnPlateau和早停同时使用前者解决训练后期在平坦区域打转的问题后者防止过拟合两者监控的指标要统一都用val_loss而不是val_accuracy。4.3 深度特征加核分类器的融合做法这是标题里四类模型真正能产生化学反应的地方。常见做法是让已训练好的 CNN 作为特征抽取器去掉最后一层 softmax取GlobalAveragePooling2D的输出作为每条语音的深度特征再用这个特征训练 SVM。这样做的逻辑是CNN 特征经过端到端的情感分类监督训练后比手工统计特征更抽象而 SVM 又在抽象特征上再次寻找支持向量两个模型的优势叠加。Keras 里取中间层输出用Model(inputscnn.input, outputscnn.get_layer(global_average_pooling2d).output)即可但要把该层命名方便在加载模型时按名字索引。# svm_on_cnn_features.py import numpy as np from tensorflow.keras.models import load_model, Model from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler cnn load_model(cnn_best.h5, compileFalse) # 假设CNN代码里给GAP层命名了 gap feat_model Model(inputscnn.input, outputscnn.get_layer(gap).output) def extract_cnn_features(wav_paths): feats [] for p in wav_paths: mel load_logmel(p) # 复用2.2的加载逻辑输出(128,500,1) pred feat_model.predict(mel[None, ...], verbose0) feats.append(pred[0]) return np.array(feats) X_train_deep extract_cnn_features(train_paths) X_test_deep extract_cnn_features(test_paths) scaler StandardScaler() X_train_s scaler.fit_transform(X_train_deep) X_test_s scaler.transform(X_test_deep) svm SVC(kernelrbf, C10, gamma0.01, probabilityTrue) svm.fit(X_train_s, y_train) print(SVM on CNN features:, svm.score(X_test_s, y_test))probabiltyTrue会启用 Platt 缩放让 SVM 输出接近概率的置信度这一步只有在需要把四类模型预测结果做融合时才需要纯分类任务可以关掉以节省训练时间。训练 CNN 特征加 SVM 时CNN 的权重必须冻结不能反向传播更新否则每个 epoch 特征分布都在变SVM 的核矩阵估计全部失效。如果数据集本身不是很大SVM 在这个组合里表现往往优于 CNN 自己的 softmax原因在于 softmax 是线性分类头而 RBF 核能捕捉深度特征空间里更复杂的类别边界。5. 片段级投票与 UAR 评估语音情感识别源码的落地技巧5.1 片段级预测投票语音情感识别项目落地时最容易被忽视的问题是整段预测的信息浪费。一段 5 秒的语音里通常不会从头到尾都保持同一情绪前面可能是中性解释最后一句才带上不满。直接把整段特征输入模型等于把各帧频谱做了全局平均情绪峰值被稀释。常见做法是把预测阶段改成滑动窗口切片段每个片段约 1.5 到 2 秒重叠 0.5 秒模型对每个片段输出概率最后把所有片段的概率取平均再判定类别。这种做法相当于给模型做了一次分段注意力粗扫不需要改训练流程只改推理脚本。# predict_vote.py import numpy as np import librosa def predict_with_vote(model, audio_path, sr16000, win_sec2.0, hop_sec0.5, n_mfcc40, max_frames200): 滑动窗口切分音频各片段预测概率取平均。 y, _ librosa.load(audio_path, srsr) win_len int(win_sec * sr) hop_len int(hop_sec * sr) probas [] for start in range(0, len(y) - win_len 1, hop_len): chunk y[start:start win_len] mfcc librosa.feature.mfcc( ychunk, srsr, n_mfccn_mfcc, n_fft512, hop_length160, win_length400 ).T # 截断到max_frames不补零 if mfcc.shape[0] max_frames: mfcc mfcc[:max_frames, :] elif mfcc.shape[0] max_frames: pad max_frames - mfcc.shape[0] mfcc np.pad(mfcc, ((0, pad), (0, 0)), modeconstant) mfcc mfcc[None, ...].astype(np.float32) p model.predict(mfcc, verbose0)[0] probas.append(p) avg np.mean(probas, axis0) return int(np.argmax(avg)), avg窗口长度win_sec2.0的依据是情感表达的最低可辨识时长大约在 1 到 2 秒之间短于 1.5 秒的片段包含的韵律信息太少模型基本靠音色猜测长于 3 秒又会回到整段平均的老问题。重叠 0.5 秒能保证情绪转折的片段不会被窗口边界硬切掉代价是推理时间增加约百分之三十。如果模型是 LSTM窗口方案还能顺便解决长音频的截断问题不再需要为 10 秒音频调大MAX_FRAMES因为每个窗口保持 2 秒固定长度。5.2 混淆矩阵与 UAR 评估脚本评估语音情感识别只报告准确率很容易误判模型质量。多数公开数据集中中性样本占比最高如果模型把所有样本都判成中性accuracy 仍然可能达到四成以上看起来不错但实际毫无用处。这里推荐两个可直接打印的辅助指标混淆矩阵用于人工检查最容易混淆的类别对UAR 用于模型对比。UAR 的别名是未加权平均召回率计算方式是每个类别的召回率先单独求出再取算术平均。以下是测试阶段的评估实现。# evaluate.py import numpy as np import matplotlib.pyplot as plt from sklearn.metrics import confusion_matrix, classification_report, recall_score y_true ... # 真实标签范围 0 到 n_classes-1 y_probas ... # 模型输出概率shape (n_samples, n_classes) y_pred np.argmax(y_probas, axis1) cm confusion_matrix(y_true, y_pred) print(cm) print(classification_report(y_true, y_pred, digits3)) uar recall_score(y_true, y_pred, averagemacro) war np.mean(y_pred y_true) print(fUAR{uar:.4f}, WAR{war:.4f})recall_score(averagemacro)直接实现 UAR 的计算语义先算每个类别的召回再取宏平均。只看 UAR 与 WAR 的差值就能判断模型瓶颈差得越大说明少数类越被忽略。配合混淆矩阵继续看具体混淆对生气和中性、高兴和厌恶是最常被搞混的两组原因是这些情绪的声学表现高度重叠此时不要急着调模型结构优先检查训练集标注一致性、音频声道和采样率是否统一这四个点解决了四类模型的整体性能往往能同步往上升。本文还有配套的精品资源点击获取