简介面向对动态稀疏网络DSN与时间序列分类感兴趣的开发者和研究者这份资源以Python形式给出完整代码与配套数据可直接用于复现模型训练过程。压缩包共13个文件以10个.py源码文件为主另有Markdown说明、requirements依赖清单与项目配置模块覆盖核心运算、SCNN稀疏模型定义、层级构建、时间序列数据集加载以及分类训练器等关键环节。整体包体仅19KB体量小巧便于快速下载并在本地环境中调试运行也适合在原型验证或课程作业中直接参考。目前已有214人学习下载适合希望对照完整代码梳理DSN算法流程、理解稀疏连接在时序分类任务中实际作用的读者也便于进一步扩展稀疏网络相关实验。1. 动态稀疏网络做时间序列分类先搞懂它的承诺与局限DSN动态稀疏网络做时间序列分类核心承诺是不让模型把算力和参数均匀浪费在每一个时间步上而是针对每一条输入样本动态决定哪些通道、哪些时间片段值得被激活。它在处理长序列、噪声多、类别只由局部子序列决定的任务时往往比固定结构的 CNN/RNN 泛化更稳训练好后存储也更小。适合两类人一类是准备在 UCR 这类公开数据集上做对比实验的研究型工程师一类是在端侧做时序分类、想把模型做小做省电的落地同学。但先泼一盆冷水动态稀疏掩码的训练有三处容易翻车——温度退火没做、掩码提前塌缩、评估时掩码和训练不一致。本文用一个可运行的 PyTorch 骨架把这条路走通并附上一份可直接生成或导入的数据说明让你复现时有个明确抓手。2. 为什么动态稀疏网络在时间序列分类上有效三个机制时间序列分类与图像分类有一个本质差异图像的语义信息往往分布在整个画面里而很多时序样本的分类依据只集中在少数子序列上——比如一段心电信号里的早搏、一段传感器波形里的毛刺、一段语音里的特定音节。普通卷积会把所有时间步一视同仁地做卷积参数被大量花在无用噪声片段上动态稀疏网络的思路是先给特征图算出一个“重要性分数”再按分数保留 TopK 的通道-时间位置让后续层只看到少数激活位置。这个机制不改变“分类”这个目标改变的是特征传递时的带宽。有趣的是这个思路和“注意力机制”有点像但落脚点不同注意力是给每个位置分配连续权重动态稀疏是直接做硬选择。硬选择的优势是训练完成后可以裁剪、压缩、接入稀疏算子劣势是选择过程不可微。所以落地 DSN 的关键是把“硬选择”用直通估计器Straight-Through Estimator包起来让梯度仍然可以回传到打分网络。下面从三个机制展开固定稀疏与动态稀疏的差别、三种动态掩码的实现方式、以及什么数据值得用 DSN。2.1 动态稀疏 vs 固定稀疏差在掩码来源与训练代价固定稀疏网络在训练前就把连接关系定死了随机稀疏、网格稀疏或者剪枝后固定下来的结构。它的优点是训练简单推理时也可以直接套稀疏矩阵库缺点是所有样本共享同一套连接如果某类样本的关键特征恰好落在被剪掉的位置模型就永远学不出来。动态稀疏网络则不同掩码由输入样本实时生成不同样本的激活位置可以完全不同。你可以把它理解成“带条件的结构”条件就是当前这条时序信号本身。维度固定稀疏动态稀疏掩码来源结构预设或事后剪枝输入样本实时生成关注区域所有样本共用每条样本各有各的活跃区推理加速可直接配稀疏算子直接 TopK 掩码加速有限需配合裁剪训练难度低高需要处理温度与稀疏度调度适用场景压缩已有成熟模型样本差异大、类别由局部片段决定直接说结论动态稀疏的时间序列分类收益并不来自“卷积计算本身变快”而是来自“特征在通道和时间两个维度上变得更稀疏”。例如一个 64 通道、128 时间步的特征图全连接层如果直接接上去会有 64×128 的输入维度而经过 0.8 稀疏度的硬掩码后活跃元素只有原来的 20%后续分类头的有效输入大幅下降。这种稀疏性对过拟合的抑制特别明显因为多数时序数据集样本量不大全密集特征会记住大量噪声位置。2.2 三种动态掩码实现TopK 门控、Gumbel-Softmax 与动态路由我实现过的动态掩码有三种常见做法这里做一个横向对比方便你按自己的梯度环境和业务约束选型。第一种是 TopK 门控用一个打分网络对特征图每个位置输出重要性 logits然后把所有位置拉平取 TopK保留的置 1其余置 0。稀疏度精确可控缺点是 argmax 不可微需要配合直通估计器。第二种是 Gumbel-Softmax给 logits 加 Gumbel 噪声再做 softmax训练时用连续近似测试时取 argmax。它在需要“可微概率采样”的场景里更自然但温度退火的节奏对结果影响很大调参成本更高。第三种是动态路由让样本通过路由网络选择若干分支之一分支数量少时计算最省但实现复杂且在小数据集上容易退化成一个固定路由。实现方式 | 梯度特性 | 稀疏度控制 | 实现复杂度 TopK 门控 | 需 STE 近似 | 精确控制 | 低 Gumbel-Softmax | 连续可微 | 约等于控制 | 中 动态路由 | 可微但易塌缩 | 间接控制 | 高对于时间序列分类我一般首选 TopK 门控原因很朴素时序分类的样本类别往往由少数时间点决定稀疏度精确可控意味着我可以明确告诉模型“每层只保留 30% 的激活”而不是让 Gumbel 的温度去间接决定激活比例。TopK 门控的最小逻辑只有几行import torch def topk_mask(logits, sparsity): # logits: (batch, channels, time_steps) batch logits.shape[0] flat logits.view(batch, -1) keep max(1, int(round(flat.shape[1] * (1 - sparsity)))) _, idx torch.topk(flat, keep, dim1) mask torch.zeros_like(flat).scatter_(1, idx, 1.0) return mask.view_as(logits)这段代码做了三件事把通道和时间步拉平成一个大向量;按稀疏度算保留数量 keep用 torch.topk 取出得分最高的位置并把它们置 1。scatter_ 是在用索引写掩码比循环快很多。需要留意的是 keep 最小值为 1否则通道极少时可能整层被剪光。2.3 先用普通 CNN 基线试水判断你的数据适不适合 DSN不是所有时间序列分类都值得上动态稀疏。我的建议是先做一个普通一维 CNN 基线再上 DSN用两组数字说话。具体步骤先把数据归一化到统一长度跑一个两层 Conv1d 全局平均池化 全连接记录准确率和 Macro F1然后把相同结构换成带稀疏门控的版本对比 F1 提升和参数量下降。如果基线准确率已经到 98% 以上DSN 基本没有折腾空间收益被天花板压死了。如果序列很短少于 32 个时间步TopK 门控的空间很小稀疏反而容易剪掉关键特征。如果类别可以直接从频谱或均值方差等统计量区分那线性模型或随机森林就够连 CNN 都不必上。真正适合 DSN 的是这些场景样本长、噪声强、类别由局部模式决定且样本量不大。判断标准很直接——普通 CNN 在验证集上过拟合训练 95% 验证 70%而 DSN 因为稀疏约束往往能把验证集拉回到 80% 左右。3. 数据和预处理UCR 格式、长度归一化与滑窗切分一个“完整源码和数据”的工程数据部分通常按 UCR 格式组织每个 CSV 文件里一行是一个样本最后一列是标签前面的列是时间步的取值。常见做法是准备 train.csv 和 test.csv或者直接用一个自动生成数据的脚本先验证模型正确性再换真实数据集。这里给出读取、归一化、长度统一和滑窗切分的标准预处理链路所有步骤都在模型训练之前完成避免把数据泄漏带进实验。3.1 读取 UCR 风格数据一行一个样本最后一列是标签UCR 格式的 CSV 没有表头读取时直接用 pandas 读全表把最后一列切出来作为标签其余列作为时间序列。代码里加上 dtype 转换避免默认的 int64 影响后续卷积输入。import pandas as pd import numpy as np def load_ucr_like(path): df pd.read_csv(path, headerNone) y df.iloc[:, -1].astype(int).values X df.iloc[:, :-1].values.astype(np.float32) return X[:, np.newaxis, :], y # (n, 1, seq_len)逻辑说明df.iloc[:, -1] 取最后一列astype(int) 把类别变成整数索引torch 的 CrossEntropyLoss 要求标签是长整型。取前 N-1 列时用 .values 转成 numpy 数组再升维成 (样本数, 通道数, 时间步数)这是 Conv1d 的标准输入布局。参数说明如果你的 CSV 第一行是列名加一个 skiprows1如果标签是字符串先用 sklearn 的 LabelEncoder 转成整数再做。真实 UCR 数据集的序列长度可能不一致这会在下一步处理。3.2 长度归一化插值到固定长度而不是塞 padding很多时间序列数据集的样本长度并不完全相同。初学者喜欢按最大长度补零但补零区域对 TopK 稀疏门控是个陷阱零值在打分网络里很容易产生虚假的低分区域模型会把稀疏预算浪费在 padding 上。更稳的做法是把所有样本插值到同一个长度比如 128 或 256。这里用 scipy 的 interp1d 做线性插值也可以直接用 numpy.interp效果几乎一样。from scipy.interpolate import interp1d def normalize_length(X, target_len128): n, c, l X.shape out np.zeros((n, c, target_len), dtypenp.float32) for i in range(n): old_axis np.linspace(0, 1, l) new_axis np.linspace(0, 1, target_len) interpolator interp1d(old_axis, X[i, 0], kindlinear) out[i, 0] interpolator(new_axis) return out逻辑说明对每个样本把原始时间步坐标映射到 [0, 1] 区间再在新坐标上采样 target_len 个点。这个操作把“长度不同”的问题统一成“采样密度不同”比截断或补零保留了更多波形形状信息。参数说明target_len 不要设得过大常见是 128超过原始长度时插值会起到轻度平滑作用如果任务依赖极窄的脉冲尖峰比如心电的 R 波插值后尖峰会变钝这时改成中心裁剪到目标长度更合适。你可以自己先对信号做一次可视化再决定。3.3 滑窗切分与标准化分清“整体分类”和“窗口分类”如果每个样本本身是一个独立序列整体只有一个标签那么不需要滑窗直接进入标准化。但如果你面对的是长序列每个窗口有自己的标签则要按滑窗切分。这里有一个高频踩坑点滑窗的 stride 过小会导致训练集和验证集窗口来自同一段原始信号造成验证指标虚高。def sliding_window(X, y, win32, stride16): seq_len X.shape[-1] windows, labels [], [] for start in range(0, seq_len - win 1, stride): windows.append(X[..., start:start win]) labels.append(y) # 如果每个窗口标签不同替换为对应标签 return np.stack(windows), np.array(labels)逻辑说明窗口从序列起点滑动到终点每次移动 stride 个时间步取长度为 win 的子序列。stride 小于 win 时窗口有重叠相当于给模型提供了更多训练样本但重叠比例过高会让相邻窗口高度相似必须保证同一原始序列的窗口不会同时出现在训练集和验证集里。标准化这一步我建议用训练集拟合 scaler再分别变换训练集和测试集不要用全部数据拟合。一句话说明原因测试集的均值方差一旦进入训练数据模型“偷看”了测试分布验证集 F1 就会失真这在动态稀疏模型里尤其容易发生因为稀疏门控会对数值尺度非常敏感。from sklearn.preprocessing import StandardScaler scaler StandardScaler() train_flat X_train.reshape(-1, 1) scaler.fit(train_flat) X_train scaler.transform(train_flat).reshape(X_train.shape) X_test scaler.transform(X_test.reshape(-1, 1)).reshape(X_test.shape)逻辑说明对时间序列的所有时间步做标准化把每个采样点的均值变为 0、方差变为 1。这里把三维数据压成一维是为了让 scaler 基于全部时间步的分布计算统计量而不是每个通道独立算时序信号的通道通常是单通道或多通道传感器统一处理更简洁。如果你想快速验证模型能不能跑通不想先下载真实数据集可以用几行 numpy 生成一份多类正弦信号数据叠加噪声和随机相位。这是我一直推荐的做法先确认训练闭环能跑通再上真实数据。4. Python 实现动态稀疏网络PyTorch 完整源码骨架这一章给出可以直接运行的 DSN 时间序列分类模型源码。核心是 DynamicSparseBlock一个带 TopK 硬掩码和直通估计器STE的卷积残差块。为什么必须用 STE因为 TopK 的 argmax 操作本身不可微我们让前向传播使用硬掩码让反向传播回传到软掩码打分网络这样打分网络才能学会“哪些位置重要”。4.1 DynamicSparseBlock掩码头、卷积主干和 STE 门控一个 DynamicSparseBlock 由三部分组成卷积主干提取特征1×1 卷积做打分网络TopK 硬掩码做稀疏选择。打分网络的感受野是单时间步的但它拿到的输入是卷积后的特征图所以能综合邻近时间步的信息不完全是逐点判断。import torch import torch.nn as nn class DynamicSparseBlock(nn.Module): def __init__(self, in_ch, out_ch, kernel_size7, sparsity0.7, temperature1.0): super().__init__() self.sparsity sparsity self.temperature temperature self.conv nn.Conv1d(in_ch, out_ch, kernel_size, paddingkernel_size // 2) self.bn nn.BatchNorm1d(out_ch) self.act nn.ReLU(inplaceTrue) self.score nn.Sequential( nn.Conv1d(out_ch, out_ch, 1), nn.ReLU(inplaceTrue), nn.Conv1d(out_ch, out_ch, 1), ) def forward(self, x): feat self.act(self.bn(self.conv(x))) logits self.score(feat) / self.temperature flat logits.view(logits.size(0), -1) keep max(1, int(round(flat.size(1) * (1 - self.sparsity)))) _, hard_idx torch.topk(flat, keep, dim1) hard_mask torch.zeros_like(flat).scatter_(1, hard_idx, 1.0) hard_mask hard_mask.view_as(logits) soft_mask torch.sigmoid(logits) ste_mask soft_mask (hard_mask - hard_mask.detach()) return feat * ste_mask, ste_mask逻辑说明主干卷积 conv 提取局部时序特征得分网络 score 对每个通道和每个时间步输出一个分数。logits 除以 temperature 控制软掩码的锐利程度。hard_mask 通过 topk 产生真正参与前向传播的掩码等于 soft_mask 加上 hard_mask 与 soft_mask 的差值并且 hard_mask 被 detach 阻断梯度所以前向是硬选择反向梯度经过 soft_mask 回传到 score 网络。这就是直通估计器的标准写法。参数说明sparsity0.7 表示每层保留 30% 的激活元素temperature 越大soft_mask 越平滑训练早期建议给到 4 到 6。kernel_size 默认 7适用于采样率中等的时间序列如果你的信号抖动很快可以改成 3。4.2 稀疏度调度从稠密起步再逐步变稀疏动态稀疏网络最忌讳一开始就把 sparsity 拉到 0.9。如果打分网络还没学会什么位置重要高稀疏度等于随机剪枝梯度信号被切断模型直接废掉。常见做法是在前几个 epoch 用低稀疏度训练到损失开始下降后再按 epoch 逐步提高。def schedule_sparsity(epoch, total_epochs, warmup3, start_s0.1, end_s0.8): if epoch warmup: return start_s progress (epoch - warmup) / (total_epochs - warmup) return start_s (end_s - start_s) * progress逻辑说明前 warmup 个 epoch 固定低稀疏度让卷积主干先学出基本波形特征之后线性上升模型在更严格的稀疏约束下逐步丢掉不重要的位置。这个调度函数继续推进下去每层网络的稀疏度都不一样浅层可以保留更多信息深层可以更稀疏。参数说明如果数据集很小start_s 可以设为 0.0相当于前几个 epoch 是普通全连接卷积end_s 不要超过 0.9否则每层只剩 10% 的激活分类头可用的特征太少准确率会崩。4.3 完整模型装配DSNTimeSeriesClassifier把多个 DynamicSparseBlock 串联再接全局平均池化与分类头就得到一个完整的时间序列分类器。forward 不仅要返回 logits还要返回每层的掩码方便训练后做可视化和分析。class DSNTimeSeriesClassifier(nn.Module): def __init__(self, in_ch1, seq_len128, num_classes4, hidden64, num_blocks3, sparsity0.7): super().__init__() self.num_blocks num_blocks self.blocks nn.ModuleList() ch in_ch for i in range(num_blocks): out_ch hidden kernel 7 if i % 2 0 else 3 self.blocks.append( DynamicSparseBlock(ch, out_ch, kernel_sizekernel, sparsitysparsity) ) ch out_ch self.head nn.Sequential( nn.AdaptiveAvgPool1d(1), nn.Flatten(), nn.Linear(hidden, num_classes), ) def set_sparsity(self, s): for block in self.blocks: block.sparsity s def forward(self, x): masks [] for block in self.blocks: x, mask block(x) masks.append(mask) logits self.head(x) return logits, masks逻辑说明模型包含三个稀疏块第一块用大卷积核捕捉较长模式后续块用较小卷积核细化局部特征。AdaptiveAvgPool1d(1) 把时间维压成 1再进全连接分类头。set_sparsity 由外部调度器调用让每个 block 的稀疏度在整个训练过程中动态变化。参数说明hidden64 是每一层的通道数通道数越大表达力越强但稀疏门控的参数量也越大num_blocks3 对于绝大多数时序分类任务足够过深容易让稀疏掩码层层叠加后有效信息过少seq_len128 是指定输入长度实际运行时不受严格限制因为全局平均池化能处理变长输入。一个需要提前说清的技术边界这种 TopK 掩码作用在特征图上卷积本身仍是密集计算所以在普通 GPU 上你不会看到推理时间大幅下降。真正的收益是两层一是稀疏约束让模型泛化更好二是分类头的输入维度变稀疏模型体积更小。如果你要极致的推理加速需要把掩码后的特征图做裁剪再接稀疏卷积库实现那是另一套工程。5. 训练、评估与超参收敛从 loss 到 F1 的一站式脚本代码骨架只是第一步跑通训练循环才是落地的开始。这一章给出完整的训练与评估脚本包含稀疏度调度、稀疏正则、梯度裁剪以及宏平均 F1 和混淆矩阵的评估方式。超参我会给一张表标注推荐范围和调参方向。5.1 训练循环每个 epoch 先更新稀疏度再跑数据训练循环的核心有两点一是每个 epoch 开始时调用 set_sparsity 更新各层稀疏度二是对掩码施加二值化正则防止 soft_mask 长期停留在半激活状态。这个正则项不是必须的但它能显著提高模型收敛速度。def train_one_epoch(model, loader, optimizer, criterion, device, epoch, total_epochs, lam1e-3): model.train() s schedule_sparsity(epoch, total_epochs, warmup3, start_s0.1, end_s0.8) model.set_sparsity(s) total_loss 0.0 for xb, yb in loader: xb xb.to(device) yb yb.to(device) logits, masks model(xb) loss criterion(logits, yb) # 稀疏正则让软掩码更接近 0 或 1避免中间地带太多 reg torch.stack([(m * (1 - m)).mean() for m in masks]).mean() loss loss lam * reg optimizer.zero_grad() loss.backward() nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() total_loss loss.item() * xb.size(0) return total_loss / len(loader.dataset)逻辑说明稀疏正则项对每个掩码求 m×(1-m) 的均值当掩码值接近 0 或 1 时正则接近 0当掩码值在 0.5 附近时正则最大。这迫使打分网络做出更确定的选择从而让稀疏结构真实生效。参数说明lam 是正则强度太小掩码始终模糊太大模型过早定型推荐从 1e-3 起步。梯度裁剪 clip_grad_norm_ 设为 1.0是防止动态门控在训练初期出现梯度爆炸特别是温度退火过快时。5.2 评估脚本用 Macro F1 和混淆矩阵看真实效果时序分类的评估不能只看准确率。如果测试集类别不平衡准确率会被多数类主导而 Macro F1 会对每个类分别计算 F1 再取平均能更真实地反映少数类表现。我还会打印混淆矩阵观察哪些类别被互相混淆这比单一分数有用得多。import torch from sklearn.metrics import accuracy_score, f1_score, confusion_matrix torch.no_grad() def evaluate(model, loader, device): model.eval() preds, gts [], [] for xb, yb in loader: logits, _ model(xb.to(device)) preds.append(logits.argmax(dim1).cpu()) gts.append(yb) y_pred torch.cat(preds).numpy() y_true torch.cat(gts).numpy() acc accuracy_score(y_true, y_pred) f1 f1_score(y_true, y_pred, averagemacro) print(confusion_matrix(y_true, y_pred)) return acc, f1逻辑说明模型置为 eval 模式关闭 BatchNorm 的统计量更新。对每个 batch 取出 argmax 作为预测类别最后拼接成完整预测数组一次算出准确率、宏平均 F1 和混淆矩阵。评估时的注意事项eval 模式下模型的 sparsity 属性仍然是上次训练结束时设置的值所以训练结束后要把最终稀疏度再设一次否则继续沿用最后一个 epoch 的中间值结果会和训练最后一轮不一致。这是一个非常隐蔽的翻车点下一章会展开。5.3 超参表推荐范围与失败时看哪里超参推荐范围调参说明temperature 初始值4~6越大软掩码越平滑梯度更容易穿过后期可退火到 1sparsity 最终值0.6~0.9太大欠拟合太小稀疏收益低按验证集 F1 判断lam1e-4~1e-2二值化正则强度过大会把模型逼进局部最优num_blocks2~4超过 4 层叠加后有效信息太少不推荐kernel_size3~9高采样率信号用大核低频用 3~5lr1e-4~1e-3AdamW 配 cosine 退火效果比固定 lr 稳warmup_epochs3~5让主干特征先成型再叠加稀疏压力batch_size32~128短序列可以用大 batch长序列注意显存这张表只是起点。真正调参时我建议先固定 temperature 和 lam只调 sparsity 和 lr跑 5 组实验找出最优组合再回来调其他参数。不要一次性把 8 个超参都变了那样你根本不知道是哪个参数让结果变好。6. 避坑清单掩码塌缩、数据泄漏与训练不稳定的 5 个现场动态稀疏网络比普通 CNN 多了一个掩码系统所以翻车点也更诡异。以下 5 个问题是我在复现这类模型时真实踩过的每条按“现象到原因再到解决”的顺序写你能直接对照排查。6.1 掩码全部归零模型变成恒等预测现象训练到第 10 个 epoch 左右loss 不再下降准确率卡在训练集中最大类别的占比比如某个类占 40%准确率就停在 40% 上下。打印掩码均值发现所有层的掩码几乎都是 0。原因训练初期 sparsity 设置过高或者温度退火太快soft_mask 在一两个 epoch 内就变成了接近 0 或 1 的二值状态。打分网络还没学过有效的特征位置掩码就提前定型部分通道被永久剪死梯度无法回传到被剪掉的位置形成不可逆塌缩。解决把 sparsity 调度起步值降到 0.1warmup_epochs 至少给 3 个。如果模型已经塌缩把 score 网络重新初始化同时把 sparsity 拉回 0.4 重新训练。不要指望继续训练能自愈动态稀疏一旦锁死梯度通道就断了。6.2 验证集 F1 比测试集高一大截数据泄漏了现象训练准确率 98%验证准确率 85%自己感觉没问题提交测试集后准确率只有 60%。回到本地一看验证 F1 依然虚高明显不合理。原因数据泄漏通常有两个来源。一是 StandardScaler 用全部数据拟合把测试集的均值和方差带进了训练二是滑窗切分后训练集和验证集窗口来自同一个原始长序列相邻窗口高度重叠模型在验证时已经“见过”几乎一样的波形。解决scaler 只用训练集 fit验证集和测试集仅 transform滑窗切分必须保证同一个原始序列的窗口只能出现在同一个数据分区里。最稳妥的做法是先按原始序列 ID 切分再滑窗而不是先滑窗再随机切分。6.3 训练到一半 loss 变成 NaN且再也回不来现象前几个 epoch 正常loss 从 1.4 降到 0.8某个 epoch 后 loss 直接变成 NaN之后一直 NaN不恢复。原因常见有三类。温度退火速度太快logits 在除法中溢出学习率太大TopK 硬掩码的 STE 梯度非常尖锐参数一步就跳飞或者打分网络的 logits 出现极大值sigmoid 进入饱和区梯度消失后数值失稳。解决给 temperature 设置下限比如 0.1把 lr 降到 1e-4梯度裁剪是兜底手段但治标不治本。排查时先看温度变化曲线再看第一个 NaN 出现前 mask 的数值范围基本能定位。6.4 类别不平衡下 Macro F1 虚高或严重波动现象测试集里类别 A 占 90%类别 B 占 5%类别 C 占 5%。模型把 B 和 C 全部预测成 A准确率 90%Macro F1 却只有 0.36。反过来的情况也有B 类样本太少交叉验证每折 F1 波动极大让你误以为模型效果不稳定。原因多数时序分类数据集天然不平衡DSN 的稀疏门控会把分类头的大多数激活让给多数类少数类特征很难获得足够激活位置。解决训练时给 CrossEntropyLoss 传 class weights权重设为 N/(类别样本数)。评估时不要看 weighted F1直接看 Macro F1 和每类的 recall注意偶尔一个抽样错误会放大少数类指标建议用 StratifiedKFold 重复 5 折取均值。6.5 训练和推理时的掩码行为不一致现象训练结束 eval 时验证集指标比训练最后一次迭代高了 2% 或者低了 5%怎么都复现不了训练过程的最终结果。原因最常见的是 BatchNorm 在训练和 eval 模式下统计量不同步。动态稀疏会把特征分布压缩到少数激活位置上BatchNorm 的全局统计量在这种稀疏分布下很容易漂移。另一个原因是推理代码里为了“部署优化”用了纯 hard mask而训练用的是 softhard 直通掩码前向行为不一致。解决把 DynamicSparseBlock 里的 BatchNorm 换成 LayerNorm时序数据中 LayerNorm 对稀疏掩码更稳定。如果确实要用 BatchNorm训练结束后必须完整跑一遍完整验证集让 BN 统计量稳定后再保存。保存模型时把 temperature 和 sparsity 一起存进 checkpoint避免推理时用了错误配置。7. 进阶技巧掩码热力图、稀疏度调度器与 ONNX 导出当模型已经能稳定收敛、F1 也符合预期时你会开始关心三件事模型到底关注了哪些时间步、怎么进一步提点、怎么部署出去。这一章分别给出答案都是可以直接抄走的代码习惯。7.1 掩码热力图把网络注意力画出来训练完成后模型 forward 会返回每层的掩码。把掩码按时间步取平均值再画成热力图就能直观看到样本的哪些片段被激活。比如心电图样本的掩码热力图如果集中在 R 波附近说明模型学到了有物理意义的位置而不是在瞎记噪声。import matplotlib.pyplot as plt def plot_mask(mask, sample_id0, step8): m mask[sample_id, 0].detach().cpu().numpy() plt.figure(figsize(10, 2)) plt.imshow(m[None, :], aspectauto, cmapviridis) plt.xlabel(time step) plt.yticks([]) ticks list(range(0, m.shape[0], step)) plt.xticks(ticks) plt.show()逻辑说明plot_mask 取单条样本某层某个通道的掩码画出 1×L 的热力图。xticks 用 step 控制显示密度当横坐标时间步太多时这是最直接的解决办法避免坐标轴文字挤成一团。7.2 稀疏度调度器从稠密到稀疏的渐进路线前面给出的 schedule_sparsity 是线性版本进阶版本建议用分段式调度前 30% 训练轮次保持低稀疏度中间 40% 线性升至目标最后 30% 保持稳定。这个做法能让模型先在宽松条件下找到特征再在严格条件下精炼结构比全程线性升温更稳。def schedule_sparsity_v2(epoch, total_epochs, start_s0.1, mid_s0.5, end_s0.85): if epoch int(total_epochs * 0.3): return start_s if epoch int(total_epochs * 0.7): p (epoch - total_epochs * 0.3) / (total_epochs * 0.4) return start_s (mid_s - start_s) * p p (epoch - total_epochs * 0.7) / (total_epochs * 0.3) return mid_s (end_s - mid_s) * p逻辑说明三段式调度把训练过程拆成“热身、过渡、收紧”。参数 mid_s 是中间阈值让稀疏度不要一次升太猛end_s 是最终稀疏度与验证结果挂钩。7.3 ONNX 导出摆脱 PyTorch 做部署模型训练好后用 ONNX 导出可以让它脱离 PyTorch 环境跑在 ONNX Runtime 或各类端侧推理引擎上。TopK 和 scatter 在 ONNX 的算子支持列表中导出时注意设置动态 batch 维度。model.eval() model.set_sparsity(0.8) # 与训练终止状态一致 dummy torch.randn(1, 1, 128) torch.onnx.export( model, (dummy,), dsn_ts.onnx, input_names[input], output_names[logits], dynamic_axes{input: {0: batch}, logits: {0: batch}}, opset_version11, )逻辑说明导出前先锁定最终稀疏度防止模型里的 sparsity 属性是训练中残留的中间值。dynamic_axes 允许 batch 大小可变对上线时不定长请求更友好。opset_version 选 11 是因为旧版本对 TopK 和 scatter 的算子支持不完整。部署时再提醒一句ONNX 导出后hard mask 的直通路径不再有 PyTorch 的梯度逻辑ONNX Runtime 会按 hard mask 直接计算这与训练时的前向行为一致不会引入新的误差。7.4 最后的价值判断动态稀疏网络在时间序列分类上是不是必需品我的答案是它不是银弹但它是很值得放进对比实验的候选方案。如果你有普通 CNN 基线有稳定收敛的训练流程那么加上 TopK 门控和稀疏度调度通常能换来 1% 到 3% 的 Macro F1 提升以及更小的分类头。如果基线已经很强或者数据本身非常稀疏、短那就不值得为稀疏机制增加培训成本。我现在的习惯是任何新数据集先跑普通 CNN再把 DSN 作为它的正则化变体加入对比用同一套数据预处理和评估代码只看两个数字Macro F1 和模型体积。这个方法我用了很多次简单可靠希望帮到你。本文还有配套的精品资源点击获取
