简介基于PyTorch框架的SEGAN语音增强生成对抗网络项目聚焦噪声环境下语音清晰化处理面向语音信号处理研究者、深度学习开发者及音频算法入门者。项目完整覆盖数据预处理、模型训练与模型测试三大核心流程包含5个Python脚本、说明文档、README及附赠资料共11个文件压缩包仅43KB结构紧凑便于快速迁移。目前已有77人学习下载。通过main.py、model.py、utils.py、data_preprocess.py与test_audio.py等代码可清晰看到GAN语音增强网络的数据清洗与特征提取、对抗训练迭代、过拟合抑制以及测试阶段信噪比提升与可懂度评估的整体脉络。资源体积不大但环节完整附带说明文件与README有助于使用者快速定位代码模块并启动训练流程模块化的脚本设计也方便替换数据或调整网络结构适合在此基座上做进一步的实验对比与算法改进。1. SEGAN语音增强生成对抗网络是什么为什么值得在PyTorch里跑一遍SEGANSpeech Enhancement Generative Adversarial Network是语音增强方向里最早把生成对抗网络直接用在原始波形上的模型之一输入一段带噪语音波形输出一段干净的语音波形整个流程不需要频谱图也不需要为某个噪声模型手工调参数。这个PyTorch项目把数据预处理、模型训练与测试串成了完整链路跑通之后可以直接对WAV文件做增强也能作为语音识别、说话人确认等任务的前端处理模块。传统谱减法残留的音乐噪声、维纳滤波对噪声平稳性的苛刻假设在这里被对抗训练绕开了——判别器自己去学“干净语音长什么样”生成器只需要把带噪波形映射过去。刚入门GAN想找语音落地场景的人或者需要一套可改动基线的工程师都很适合拿这份代码入手。项目本身不算重单卡就能训练关键是你得先把它的数据流和损失设计看懂后面改起来才不会翻车。2. SEGAN的两个核心网络波形域生成器与判别器各自在学什么2.1 为什么SEGAN选择直接在波形域做增强语音增强的传统做法是走频谱路线对带噪语音做短时傅里叶变换在幅度谱上估计一个增益函数乘上去之后再通过逆变换重建波形。这条路的问题在于——相位信息在幅度谱处理阶段被完全丢掉了重建出来的波形总有合成味而且谱减法本质上是假设噪声是平稳的实际环境里的键盘声、空调声、马路上车流声全都不是平稳噪声假设一旦不成立残留的“音乐噪声”听感比原始噪声还难受。SEGAN选择直接在时域波形上操作等于把“相位重建”这件事交给网络自己学。生成器输入是一维波形序列输出的仍然是长度相同的一维波形中间不再硬切频谱。判别器的任务则是判断一段波形听起来像不像干净语音它不需要了解任何噪声的先验模型。这样的设计让它对没见过的噪声类型保留了一定的泛化空间——这也是对抗生成网络在这个问题里最自然的落点把复杂的噪声建模问题转化成一个更简单的真/假判别问题。2.2 生成器带跳跃连接的U型结构SEGAN生成器的骨架通常是一维卷积的U-Net也是这个模型结构里最值得先看的部分。下采样阶段用一维卷积逐步把波形长度缩短、通道数增加相当于在更大的时间尺度上提取语音结构上采样阶段再用转置卷积把特征逐步解码回原始波形长度。中间通过跳跃连接把下采样每一层的特征拼到上采样对应层让网络在恢复波形细节时能直接参考原始输入的信息。工程实现里还有一个关键技巧——残差式输出。生成器并不直接产生完整的干净语音而是先估计“噪声部分”然后用输入波形减去估计的噪声得到增强结果。这样做的好处是网络只需要学一个相对小的修正量而不是从零开始生成一个完整语音训练收敛要快得多。下面是一个简化骨架注重结构而非完整实现import torch import torch.nn as nn class DownBlock(nn.Module): def __init__(self, in_ch, out_ch, kernel31, stride2): super().__init__() self.conv nn.Conv1d(in_ch, out_ch, kernel, stride, paddingkernel // 2) self.act nn.LeakyReLU(0.2) def forward(self, x): return self.act(self.conv(x)) class UpBlock(nn.Module): def __init__(self, in_ch, out_ch, kernel31, stride2): super().__init__() self.deconv nn.ConvTranspose1d(in_ch, out_ch, kernel, stride, paddingkernel // 2, output_padding1) self.act nn.PReLU() def forward(self, x): return self.act(self.deconv(x)) class Generator(nn.Module): def __init__(self, in_ch1, base32): super().__init__() # 下采样: 1 - 32 - 64 - 128 - 256 - 512 self.downs nn.ModuleList() ch in_ch for i in range(5): self.downs.append(DownBlock(ch, base * (2 ** i))) ch base * (2 ** i) # 上采样: 512 - 256 - 128 - 64 - 32 - 1 self.ups nn.ModuleList() for i in range(4, -1, -1): self.ups.append(UpBlock(ch, base * (2 ** (i - 1)) if i 0 else 1)) ch base * (2 ** (i - 1)) if i 0 else 1 self.tanh nn.Tanh() def forward(self, x): skips [] h x for down in self.downs: h down(h) skips.append(h) for i, up in enumerate(self.ups): skip skips[-(i 1)] h torch.cat([h, skip], dim1) # 跳跃连接 h up(h) # 残差连接: 输出 输入 - 估计噪声 return x - self.tanh(h)这个骨架里下采样五层、上采样五层的配置是SEGAN类项目里的常见做法卷积核大小取31、步长2通道数按32的倍数翻倍。跳跃连接用拼接而不是相加因为拼接能让上采样层同时看到原始波形特征和深层语义特征。最后的tanh把输出限制在(-1,1)范围再通过“输入减估计噪声”完成残差结构。你可以把base从32改成16或64来控制模型容量显存紧张时优先减base而不是减层数。2.3 判别器Patch级真伪判断比单个概率更实用判别器接收的是成对的波形真实干净语音和生成器输出的增强语音任务是判断哪一个是真、哪一个是假。这里如果只对整条波形输出一个真伪概率问题在于语音增强中的伪影往往是局部出现的——某几毫秒的爆音、某一段残留的空调声。全局一个概率只能告诉生成器“整体不对”但生成器不知道“哪里不对”梯度信息太粗。Patch判别器把波形切分成多个重叠的小段对每一段独立做真/假判断最后把这些判断结果综合起来。相当于把“这条音频干不干净”细化成“这一段音频像不像干净语音”这让生成器收到的梯度更密集能更精准地修复局部伪影。常见实现里并不需要单独写切分逻辑直接用一个带stride的卷积在时间维度上滑动即可class Discriminator(nn.Module): def __init__(self, in_ch1, base16): super().__init__() self.convs nn.Sequential( nn.Conv1d(in_ch, base, 15, stride2, padding7), nn.LeakyReLU(0.2), nn.Conv1d(base, base * 2, 15, stride2, padding7), nn.LeakyReLU(0.2), nn.Conv1d(base * 2, base * 4, 15, stride2, padding7), nn.LeakyReLU(0.2), nn.Conv1d(base * 4, 1, 15, stride1, padding7), ) def forward(self, x): # 输出形状: (batch, 1, time_steps)每个时间步对应一个局部真伪分数 return self.convs(x)这里卷积操作天然实现了Patch的效果输出序列的每一个位置都对应输入波形某个局部感受野的真伪判断不用手动分块。kernel选15而不是更大的值是为了控制感受野大小让每个patch集中在局部特征上。你可以在forward里对输出接sigmoid做二分类但如果用的是WGAN的对抗损失就不需要sigmoid直接输出原始分数。2.4 对抗损失与重建损失为什么两者必须共存SEGAN的训练目标一般不是原版GAN的log损失因为那种损失在生成器还比较弱的时候梯度很容易消失。实操中更常见的是Wasserstein距离配合梯度惩罚也就是大家常说的WGAN训练方式。生成器的总损失由两项组成一项是L1重建损失让生成波形在数值上尽量接近干净波形另一项是对抗损失让判别器分不清生成波形和真实波形的差异。L1重建损失负责保守它保证增强结果“说得对”——语音内容和真实输入保持接近对抗损失负责自然它让增强结果“听感好”——没有音乐噪声、没有机械感。只保留L1生成器会学着输出所有可能结果的平均值语音听起来发糊只保留对抗生成器会找到判别器的漏洞输出听着干净但内容可能已经被篡改的波形。两边必须按比例配合这是训练SEGAN类模型最核心的调参点后面第4章会展开讲参数怎么配。3. 数据预处理把原始WAV变成SEGAN能吃的定长样本3.1 配对数据从哪来用干净语音和噪声库实时合成SEGAN是监督学习训练数据需要“干净语音”和“带噪语音”的配对。现实里很难直接录到同一句话的干净和带噪版本所以工程实践基本都用合成方案拿一个干净语音库比如VCTK和一个噪声库比如DEMAND按目标信噪比把噪声叠加到干净语音上合成出带噪语音作为输入。我一般不会在写代码前一次性把全部数据合成到磁盘——那会占用大量空间。更划算的做法是在Dataset里实时合成每次取一干净句随机从噪声库里抽一段从随机位置截取然后按目标信噪比混合。这样同一句干净语音每次听到的噪声片段都不同等于自带数据增广也不用额外存储带噪版本。下面是最核心的混噪函数import numpy as np import soundfile as sf def read_wav(path, target_sr16000): 读取WAV并重采样到目标采样率SEGAN常见配置是16kHz speech, sr sf.read(path) if sr ! target_sr: # 用librosa的resample更稳这里用线性插值演示思路 duration len(speech) / sr new_len int(duration * target_sr) x_old np.linspace(0, 1, len(speech), endpointFalse) x_new np.linspace(0, 1, new_len, endpointFalse) speech np.interp(x_new, x_old, speech) return speech.astype(np.float32) def mix_noise(speech, noise, snr_db): 按目标SNR混合语音和噪声SNR 10 * log10(P_speech / P_noise) speech_energy np.mean(speech ** 2) noise_energy np.mean(noise ** 2) target_noise_energy speech_energy / (10 ** (snr_db / 10)) noise noise * np.sqrt(target_noise_energy / (noise_energy 1e-10)) return speech noiseread_wav里重采样用线性插值只是演示思路音频上更精细的做法是用librosa.resample或scipy的resample_poly抗混叠效果更好。mix_noise的核心是先算两边的能量再把噪声缩放至目标信噪比对应的能量水平。注意加1e-10是为了避免静音噪声片段计算出除零。SNR的取值范围常见是0到15dB随机抽取让模型既看见非常吵的环境也看见比较干净的环境。3.2 定长切分与逐帧能量归一化这一步做不对后面全乱SEGAN的训练样本必须是定长的。常见配置是每条32768个采样点也就是16kHz下的2秒左右——这个长度够覆盖一个短句又不会让显存压力过大。切分的时候如果语音不够长就循环拼接补足不能直接丢弃否则语料利用不充分。语音超过长度就随机剪一段这样同一句话在不同epoch可以吃到不同的切片。能量归一化是个容易出细节问题的地方。如果直接对整段语音做一个缩放那一段包含响音和静音的样本与另一段相对均衡的样本尺度仍然不一致。常见做法是逐帧计算RMS将每一帧能量缩放到目标水平这样模型学习时注意力放在“语音内容是否干净”而不是“这段整体音量大小”。下面是一个可用的切分与归一化实现def split_and_normalize(samples, chunk_len32768, frame_len4096, hop2048): 1) 将长语音按chunk_len切段 2) 对每段按帧计算RMS并归一化到目标能量 if len(samples) chunk_len: samples np.tile(samples, int(np.ceil(chunk_len / len(samples))))[:chunk_len] chunks [] for start in range(0, len(samples) - chunk_len 1, chunk_len): chunk samples[start:start chunk_len] # 逐帧RMS归一化先把每帧缩放再拼回 rms_list [] for f_start in range(0, chunk_len, hop): frame chunk[f_start:f_start frame_len] if len(frame) frame_len: frame np.pad(frame, (0, frame_len - len(frame))) rms np.sqrt(np.mean(frame ** 2) 1e-10) rms_list.append(rms) # 用整段的中位数RMS作为目标能量避免被个别响帧带偏 target_rms np.median(rms_list) scalar target_rms / (np.sqrt(np.mean(chunk ** 2)) 1e-10) chunks.append(chunk * scalar) return chunks这里归一化不是简单除以RMS而是先把每帧的RMS算出来做统计然后对整段乘一个缩放系数。用中位数而不是平均值作为基准是为了防止一段语音里某个突然的爆破音把整体尺度拉偏。如果你发现自己训练到后期模型输出音量忽大忽小优先检查这一步的目标能量取值方式。3.3 把增广逻辑放进Dataset省空间也省预处理时间配对样本的合成、随机信噪比抽取、噪声随机起点、定长切分这些操作全部放进Dataset的__getitem__里。这样每个epoch取数据时都会重新合成一次带噪语音的噪声位置和信噪比都在变天然就是一种增广如果你把合成放到预处理脚本里一次做完训练时每个epoch看到的都是同一批固定的带噪样本泛化能力会差一截。from torch.utils.data import Dataset class SEGANDataset(Dataset): def __init__(self, clean_paths, noise_paths, chunk_len32768): self.clean_paths clean_paths self.noise_paths noise_paths self.chunk_len chunk_len def __len__(self): return len(self.clean_paths) def __getitem__(self, idx): clean read_wav(self.clean_paths[idx]) noise_path self.noise_paths[np.random.randint(len(self.noise_paths))] noise read_wav(noise_path) # 噪声随机截取一段 if len(noise) len(clean): n_start np.random.randint(0, len(noise) - len(clean) 1) noise noise[n_start:n_start len(clean)] snr np.random.uniform(0, 15) # 随机信噪比 noisy mix_noise(clean, noise, snr) clean_chunk split_and_normalize(clean)[0] noisy_chunk split_and_normalize(noisy)[0] return torch.FloatTensor(noisy_chunk).unsqueeze(0), \ torch.FloatTensor(clean_chunk).unsqueeze(0)实现上有两个需要留意的边界情况噪声文件比语音短时不能切直接用整段重采样噪声文件很长时切一个与语音等长的随机片段。返回的tensor都带一个通道维度形状是(1, chunk_len)符合第2章里模型的一维卷积输入要求。这里每次合成都会重新执行读文件和重采样CPU压力不小如果你的机器CPU核数够多把DataLoader的num_workers加到8以上能有效缓解。4. 训练SEGAN对抗损失与重建损失怎么配合4.1 训练循环判别器和生成器怎么交替SEGAN训练用的就是GAN的标准交替流程每个batch里先更新判别器让它更会分辨真伪再更新生成器让它更好骗过判别器。实现上判别器和生成器各自有一个优化器交替zero_grad、forward、backward、step。一个容易忽略的工程细节是判别器初期不要更新太猛——生成器刚初始化时输出基本是垃圾判别器很快就能凭能量高低区分真假一旦学会这种偷懒判据后续很难纠正回来。我实际跑的时候会在前200步固定生成器只训练判别器等判别器见识过足够的真实干净波形后再开始对抗。这种做法不复杂只是把生成器的优化器跳过一些step。下面是训练循环核心骨架import torch from torch.optim import Adam def train_step(gen, disc, opt_g, opt_d, noisy, clean, lambda_rec0.9): batch noisy.size(0) # --- 先更新判别器 --- opt_d.zero_grad() real_score disc(clean) fake gen(noisy) fake_score disc(fake.detach()) # detach阻止梯度传到生成器 # WGAN-GP损失此处省略梯度惩罚的具体计算 d_loss fake_score.mean() - real_score.mean() d_loss.backward() opt_d.step() # --- 再更新生成器 --- opt_g.zero_grad() fake_score disc(fake) adv_loss -fake_score.mean() # 对抗损失希望判别器给高分 rec_loss torch.mean(torch.abs(fake - clean)) # L1重建损失 g_loss adv_loss lambda_rec * rec_loss g_loss.backward() opt_g.step() return d_loss.item(), g_loss.item(), rec_loss.item()注意几个细节判别器输入real_score的梯度只在判别器内部反传不涉及生成器fake用于生成器更新时需要重新过一遍判别器不能用上面detach过的那次结果adv_loss取负的判别器输出均值是WGAN里“最大化真实与生成的Wasserstein距离”的等价写法。lambda_rec是重建损失的权重通常取0.8到0.95之间它控制“保内容”和“求自然”的权衡。4.2 三个必调参数重建权重、判别器学习率、batch size第一个参数是lambda_rec重建权重。这个值的设置非常影响最终听感取0.99时生成器几乎只听重建损失的话输出偏保守音乐噪声被压制但语音细节发闷取0.5以下对抗损失分量变大输出会变得锐利但有可能把不该动的音节也改了。常见做法是先0.9起步训练中期如果觉得听感“太糊”再降到0.8反过来如果觉得“太飘”则上调。第二个参数是判别器学习率。常见做法是生成器用2e-4、判别器降到一半或更低。判别器学得太快loss会趋于平稳但生成器被压制得毫无进步判别器学得太慢生成器很快找到一个判别器看不穿的伪影模式后续无法收敛到更自然的输出。如果你观察到的现象是判别器loss长期为负数且绝对值在变大多半是判别器学习率过高。第三个参数是batch size。常见配置是16这个值在24G显存下比较舒服如果是8G显存降低到8并同步把样本长度从32768降到24576否则会OOM。batch size对GAN训练的影响比对监督学习更敏感——太小的batch会让判别器的真/假统计波动大生成器学到不稳定的信号所以不要为了显存无限缩小batch理想情况下即使缩小也要保证达到完整epoch的步数。4.3 训练监控loss之外必须定期导出波形来听GAN的loss曲线是最不可信的指标它下降、上升、震荡都无法直接说明增强质量变好还是变坏。对抗生成网络本身是个博弈过程两个网络的loss合计变化经常是牺牲一个成全另一个。因此我在训练时会做两件事第一个是固定间隔把生成器在测试集上的增强结果导出成WAV文件第二个是同步记录判别器的准确率。# 训练脚本中每500步调用一次导出当前测试样本的增强结果 python export_samples.py --checkpoint ./checkpoints/latest.pt --output_dir ./samples导出的WAV文件与干净语音做对比听感比看任何训练日志都有说服力。如果判别器准确率长期保持在95%以上说明生成器根本没骗过它优先下调判别器学习率如果准确率在50%左右波动说明生成器学得不错对抗进入正常节奏。训练中保存的checkpoint要同时包含生成器、判别器和各自优化器状态这样训练中断后能完整恢复不至于调试一次练一次给后续调参留后悔药。5. SEGAN训练和测试中最容易翻车的4个坑与排查方法5.1 判别器把生成器练崩输出静音或高频尖啸现象训练到几千步之后导出的增强结果变成接近静音或者出现连续高频爆音听起来像设备啸叫。原因判别器收敛太快梯度完全由对抗损失主导生成器找不到有效的下降方向只能退化成输出一个保守的静音波形来骗过判别器或者反方向输出一个过拟合的尖啸模式。解决先把lambda_rec从0.9往0.95以上调让重建损失把生成器“拽”回真实语音附近然后把判别器学习率降到生成器的四分之一。如果仍不收敛把判别器更新频率改成每2个batch更新1次给生成器更多时间追赶。5.2 推理长音频时拼接处出现周期性咔嗒声现象训练和单条测试都正常一旦用滑窗处理完整长音频输出里每隔固定时长出现一次咔嗒声。原因推理时把音频切成定长片段逐段增强再用不重叠的方式拼回片段边界处波形相位不连续信号层面直接跳变就形成了咔嗒声。解决推理滑窗步长取窗长的一半也就是50%重叠每段增强结果乘一个Hann窗后再交叠相加。加窗会压扁片段两端的能量但重叠相加会把相邻两段互补起来最终输出不损失任何信息。同时保证归一化因子算对不然拼接处峰值会被放大。5.3 换了一套数据集后增强效果全面下滑现象在公开语音库上训练得好好的模型换到自己的录音上增强之后语音识别字错误率反而升高。原因不同数据集的采样率、录音设备频响、底噪电平差异很大模型学到的统计特征和新数据对不上。这种现象在深度学习模型里很常见语音增强尤其敏感因为波形层面的统计特征直接反映设备特性。解决统一预处理链路——所有输入先重采样到16kHz做80Hz到7600Hz的带通滤波去掉直流偏置和超高频噪音再逐帧做RMS归一化。如果新数据的底噪本来就重先做一次轻量降噪再送入SEGAN。另外你可以在新数据的干净段和带噪段上各跑几百次微调比直接整体重训省时得多。5.4 显存OOM和CPU打满数据管线在偷走你的训练效率现象训练中途报CUDA out of memory或者CPU使用率持续100%但GPU利用率只有20%。原因一是没有固定样本长度波形被padding到批次里最长样本的长度动态形状让显存碎片化二是预处理重活放在__getitem__里且没有缓存每个epoch都在重新读WAV、重采样、混噪。解决把重采样和混噪结果提前缓存成npy文件一次性离线跑完DataLoader里只保留切片和归一化这类轻操作。样本长度固定成32768如果语音不够长就补零而不是动态改变长度。最后把DataLoader的num_workers和pin_memory打开GPU利用率通常能从20%拉到80%以上。6. 评估与进阶用客观指标给SEGAN定档再往落地推两步6.1 三个客观指标一次算清PESQ、STOI和SI-SNRSEGAN这类增强模型不能只靠耳朵判断客观指标至少看三个PESQ衡量语音听感质量、STOI衡量语音可懂度、SI-SNR衡量波形重建精度。用脚本一次性跑完结果存成表格方便对比不同checkpoint。from pesq import pesq from torchmetrics.functional.audio import stoi, si_snr def evaluate(clean, enhanced, sr16000): clean和enhanced都是float32的numpy数组 p pesq(sr, clean, enhanced, nb) # 窄带PESQ范围-0.5到4.5 # Torchmetrics需要tensor输入 import torch c_t torch.FloatTensor(clean).unsqueeze(0) e_t torch.FloatTensor(enhanced).unsqueeze(0) s stoi(e_t, c_t, sr).item() # 范围0到1 snr si_snr(e_t, c_t).item() # 单位dB return {pesq: p, stoi: s, si_snr: snr}PESQ用窄带模式对应8kHz电话频段如果处理的是16kHz宽带语音可以试试wb模式。STOI对语音可懂度更敏感适合判断增强后听不听得清内容。SI-SNR关注的则是波形层面的重构精度生成器把内容改字了但听起来自然这个指标就会明显掉下来。三个指标一起看再补一轮主观AB听测才敢说增强效果成立。6.2 进阶方向因果化改造和模型蒸馏SEGAN原始结构不是因果的——下采样卷积能看到未来信息这在离线增强没问题但要做实时通话前处理就不行了。把普通卷积替换成因果卷积同时去掉下采样里的未来padding可以让模型边接收边输出代价是客观指标一般会小幅下降。另一个值得做的方向是蒸馏用训练好的SEGAN当老师让学生模型输出的L1距离逼近老师输出经常可以把模型压缩到三分之一大小指标损失控制在0.1个PESQ点以内。先把已有checkpoint的增强结果做一次全量评估记录三个指标的baseline后面每改动一个模块都重新算一遍这样能确认每次改动是正向的。调参时每次只改一个变量不要同时换学习率又调loss权重否则出了问题根本不知道是哪一步导致。6.3 一个习惯拿到任何语音增强模型先画波形再谈调参我现在接手语音增强项目第一件事不是看训练loss曲线而是拿一条1分钟的真实噪声录音跑一遍推理把增强前后的波形叠在一起画出来再转头做一次AB听测。数据流通畅、听着方向对了才进入参数调优环节。这个习惯帮我避开了大量白费的训练轮次——很多所谓“效果不好”其实是数据归一化不一致、样本长度不匹配这类低级问题。SEGAN不是最新的模型但它足够简单足够把GAN落在语音增强上的每个关键环节都暴露出来值得你把它跑通、改成自己的基线。希望这篇笔记能帮你绕过我踩过的那些坑。本文还有配套的精品资源点击获取
