简介面向时间序列预测研究与应用人员的Python项目实例融合TCN、LSTM与多头注意力机制专为金融分析、气象预报、智能交通、能源管理等场景下的高维、长依赖、含噪声多变量时序数据设计。文档从项目背景、目标与意义切入系统剖析大规模多维度数据处理、长时间依赖捕捉、多头注意力高计算成本、数据噪声与缺失值等难点并给出对应解决方案同时覆盖模型构建、训练优化、性能评估全流程。资源为一个docx文档压缩包仅81KB内含完整程序、GUI设计及详细代码注释章节结构按项目背景、目标意义、挑战方案、特点创新逐层展开读者可参照复现TCN-LSTM-Multihead-Attention模型并借鉴其可扩展架构与实时预测设计。已有59人学习下载适合需要完整项目实例与代码详解的算法工程师、科研人员及量化分析、智慧城市等相关从业者。1. 从“预测不准”到“三模块组合”这个标题到底想解决什么问题多变量时间序列预测的尴尬在于单一模型总在某个环节失灵。纯 LSTM 有长期记忆但对最近若干时间步的局部形态记不牢纯 TCN 擅长提取局部特征却容易把长时间依赖“摊平”再加一组多头注意力本质是在时间步之间重新分配权重。把三者串起来之后短期形态、长期依赖、关键时间点各由一个模块兜底。这篇文章把一整套工程跑通作为目标来组织数据预处理与滑窗构建、TCN-LSTM-多头注意力模型的完整 PyTorch 实现、训练与调参、PyQt5 图形界面。最后补一段能直接用的模型验证技巧包括注意力权重可视化、多步预测策略和 ONNX 导出。无论是要给多变量预测项目找 baseline还是需要毕业设计级别的完整代码骨架都可以直接参照这套方案落地。2. TCN-LSTM-Multihead-Attention 的组合原理为什么这三层必须按这个顺序2.1 TCN 的膨胀因果卷积与感受野计算TCNTemporal Convolutional Network不是普通的一维卷积。它有两层关键约束因果卷积即第 t 个时间步的输出只能依赖 t 及之前的输入不能“偷看”未来膨胀卷积即每个卷积层按照 dilation2^i 逐步扩大间隔用很少的层数把感受野撑大。TCN 的感受野计算公式常用的是receptive_field 1 sum_{i0}^{L-1} (kernel_size - 1) * dilation[i]假设 kernel_size3、堆 4 层、dilation 取 [1,2,4,8]累加下来感受野约 1 (3-1)*(1248)31 个时间步。也就是说如果序列长度 seq_len 小于 31TCN 实际上在全序列上也“看”不全这会影响预测质量。所以我在搭模型时会把 TCN 层数和 seq_len 绑定先算感受野再决定堆几层而不是固定死层数。TCN 在多变量场景下还有一个优势输入是 (batch, num_features, seq_len)第一个卷积层把每个变量当成独立输入通道做局部模式抽取后面的层在通道维度上完成变量之间的隐式交互。这比把多元变量拼成一条长序列塞给 LSTM 更直观也是这个组合里 TCN 必须放在最前面的原因之一。2.2 LSTM 放在 TCN 之后负责长期依赖LSTM 的核心是三个门遗忘门决定历史信息保留多少输入门决定当前候选状态写入多少输出门决定当前状态对外输出多少。门控让梯度可以沿着时间步“抄近道”传播这是它能对抗普通 RNN 梯度消失的主要原因。如果直接把 LSTM 当成主干的唯一编码器它虽然记住了长期依赖却常常丢失局部形状的细节。把 LSTM 放在 TCN 之后而不是之前是我反复对比后的稳定选择。如果先过 LSTM多元特征会在输入门里被挤成单维向量TCN 拿到的输入相当于已经被压缩过一轮变量间的局部相关性已经丢失。反过来TCN 先对每个变量做多通道卷积再把输出按时间步顺序交给 LSTMLSTM 拿到的是一组已经在局部位置上对齐过的特征序列它只需要负责记住哪些步骤的关键状态。双向 LSTM 在这里要谨慎使用。预测任务本身是因果的如果训练时用了双向预测阶段只能在完整序列上做填充后再推理实时性会变差。本文实现的模型默认用单向 LSTM。2.3 多头注意力在时间步维度上的重标定多头注意力是 Transformer 里的标准组件。结构上先算三个矩阵Query、Key、Value。注意力分数通过 Query 和 Key 的点积计算除以 sqrt(d_k) 做缩放再经过 softmax 归一化最后和 Value 加权求和。数学形式是 Attention(Q,K,V)softmax(QK^T/sqrt(d_k))V。多头就是把这个过程拆成 h 个头每个头在独立的子空间里计算最后拼接回原维度。在 TCN-LSTM 的组合里注意力放在 LSTM 输出之后作用是对时间步做重标定。LSTM 输出 (batch, seq_len, hidden) 中最后时间步虽然携带了完整隐状态但“重要信息到底出现在第几步”这件事被平均在了整个序列里。多头注意力会根据 Query 与 Key 的相似度把权重集中到真正关键的时间步上相当于在预测前做了一次软对齐。实现上使用 PyTorch 内置的 nn.MultiheadAttention 即可。需要记住一点它的默认输入维度要求是 (seq_len, batch, hidden)所以 forward 里必须做一次 permute做完注意力再翻转回来。这个维度问题是最容易报错的点。2.4 数据流总结从多元特征到预测输出的完整路径整个模型的数据流如下阶段张量形状变化负责模块输入(batch, seq_len, features)数据层TCN 输入permute 成 (batch, features, seq_len)TCN 因果卷积TCN 输出(batch, hidden_channels, seq_len)局部特征提取完成LSTM 输入permute 成 (batch, seq_len, hidden_channels)维度对齐LSTM 输出(batch, seq_len, lstm_hidden)长期依赖编码Attention 输入permute 成 (seq_len, batch, lstm_hidden)多头注意力输入规范Attention 输出(seq_len, batch, lstm_hidden)时间步重要程度重分配输出层(batch, pred_len)全连接直接映射多步预测值这里有几个值得留意的设计选择。TCN 的隐藏通道数和 LSTM 的输入维度必须一致否则 permute 之后 LSTM 无法识别特征维度。注意力输出默认保留完整时间步序列我通常取最后一个时间步送入全连接层如果想让模型多学一点全局信息对整个序列做 mean pooling 也行短序列上两者差异不大。pred_len 一般取 3~5既能展示多步预测效果又不会让输出层参数过于膨胀。3. 多变量时间序列的数据准备滑窗、归一化与训练集划分3.1 数据格式与样本构造动手前先确认环境Python 3.9 里装好 pandas、numpy、scikit-learn、torch、PyQt5 这几个基础包即可。数据上最常见的是 CSV 文件第一列时间戳后面若干列是不同传感器或经济指标。这里先用一段模拟数据构造出变量间存在交叉影响的样本真实数据只需替换读文件的路径。import numpy as np import pandas as pd np.random.seed(42) t np.arange(0, 2000) feature_0 5.0 * np.sin(2 * np.pi * t / 120) 0.01 * t feature_1 2.0 * np.cos(2 * np.pi * t / 60) np.random.normal(0, 0.3, len(t)) feature_2 feature_0 * 0.3 feature_1 * 0.2 np.random.normal(0, 0.2, len(t)) feature_3 np.roll(feature_1, 3) np.random.normal(0, 0.1, len(t)) df pd.DataFrame({ time: t, feature_0: feature_0, feature_1: feature_1, feature_2: feature_2, feature_3: feature_3 }) df.to_csv(multivariate_ts.csv, indexFalse)这段代码里 feature_2 依赖 feature_0 和 feature_1feature_3 是 feature_1 的滞后项相当于预设了变量相关性。如果换成真实数据注意先把时间列解析成 datetime 并排序防止 CSV 里的排列顺序和真实时间顺序不一致。3.2 滑窗把连续序列切成有监督样本模型的输入是连续时间步标签是未来一段时间的值。滑窗把整个序列切成 (seq_len 到 pred_len) 的样本对用 numpy 实现最省事def create_sequences(data, seq_len30, pred_len5): xs, ys [], [] for i in range(len(data) - seq_len - pred_len 1): x data[i : i seq_len] y data[i seq_len : i seq_len pred_len] xs.append(x) ys.append(y) return np.array(xs, dtypenp.float32), np.array(ys, dtypenp.float32)seq_len 决定模型一次能看到多长的历史窗口通常结合采样频率来定日频数据用 30~60分钟级数据可以拉到 240。pred_len 是预测步长不需要和 seq_len 相等但两者相差过大会让输出层直接映射的难度上升。滑窗按顺序滑动不随机打乱因为在时间序列里随机打乱会破坏时间依赖结构。每个样本用它之前的历史窗口来预测未来的窗口这种构造方式直接对应模型训练时的输入输出关系。3.3 归一化训练集 fit、测试集只 transform多变量序列的尺度差异经常很大比如温度在 0~40功率在几千瓦直接训练会让数值大的特征主导梯度。常见做法是用 MinMaxScaler 把每个特征缩放到 [0,1] 区间。关键点是归一化参数只能从训练集上计算测试集和验证集都用训练集的 min/max 来变换否则会把未来信息泄漏进训练过程。from sklearn.preprocessing import MinMaxScaler n_features 4 scaler MinMaxScaler(feature_range(0, 1)) # 假设 raw 是原始二维数组 (n_samples, n_features) scaled_data scaler.fit_transform(raw) # 后续预测结果用同一 scaler 还原 preds_inv scaler.inverse_transform(preds)MinMaxScaler 的 fit_transform 是计算 min/max 并转换一步完成后续对验证集和测试集只调用 transform 方法不再调用 fit。另一个容易踩的坑是反归一化时要把预测结果先填充成和原数据相同列数的数组再取对应列否则 inverse_transform 会报维度错误。3.4 用 TensorDataset 和 DataLoader 构建批量训练流数据处理最后一步是把 numpy 数组转成 PyTorch 的 Dataset 和 DataLoader方便训练循环按 batch 迭代。训练集可以 shuffle验证集和测试集保持时间顺序。import torch from torch.utils.data import TensorDataset, DataLoader train_size int(0.8 * len(xs)) val_size int(0.1 * len(xs)) test_start train_size val_size X_train, y_train xs[:train_size], ys[:train_size] X_val, y_val xs[train_size:test_start], ys[train_size:test_start] X_test, y_test xs[test_start:], ys[test_start:] train_loader DataLoader( TensorDataset(torch.from_numpy(X_train), torch.from_numpy(y_train)), batch_size64, shuffleTrue, drop_lastTrue ) val_loader DataLoader( TensorDataset(torch.from_numpy(X_val), torch.from_numpy(y_val)), batch_size128, shuffleFalse )shuffle 只对训练集打开。验证集和测试集保持时间顺序评估时不会因为样本顺序被打乱而掩盖序列上的失误。drop_lastTrue 可以防止最后一个 batch 样本过少时 BatchNorm 统计量波动如果模型里用了 BatchNorm这个参数建议保留。4. PyTorch 实现 TCN-LSTM-Multihead-Attention 模型完整代码与训练流程4.1 先实现 TCN因果卷积、残差与权重归一化TCN 通常由多个残差块组成每个残差块里有两层膨胀卷积外加一个可选的 1x1 卷积做残差连接。每层卷积我会做 weight_norm权重归一化在训练深度卷积时比 BatchNorm 更稳定尤其适合序列长度较小、batch 内样本方差大的情况。import torch import torch.nn as nn from torch.nn.utils import weight_norm class TCNBlock(nn.Module): def __init__(self, in_channels, out_channels, kernel_size3, dilation1, dropout0.2): super().__init__() padding (kernel_size - 1) * dilation self.conv1 weight_norm(nn.Conv1d(in_channels, out_channels, kernel_size, paddingpadding, dilationdilation)) self.conv2 weight_norm(nn.Conv1d(out_channels, out_channels, kernel_size, paddingpadding, dilationdilation)) self.relu nn.ReLU() self.dropout nn.Dropout(dropout) self.downsample nn.Conv1d(in_channels, out_channels, 1) if in_channels ! out_channels else None def forward(self, x): residual self.downsample(x) if self.downsample else x out self.relu(self.conv1(x)) out self.dropout(out) out self.relu(self.conv2(out)) out self.dropout(out) return self.relu(out residual)padding 用 (kernel_size-1)*dilation配合膨胀扩散后相当于只在序列左边补零实现“当前时刻只看过去和现在”的因果结构。残差连接用于加深网络1x1 downsample 只在输入输出通道数不一致时出现。完整的 TCN 模块由多个 TCNBlock 串联每个块的 dilation 翻倍增长class TCN(nn.Module): def __init__(self, num_inputs, num_channels, kernel_size3, dropout0.2): super().__init__() blocks [] for i in range(len(num_channels)): in_ch num_inputs if i 0 else num_channels[i-1] out_ch num_channels[i] blocks.append(TCNBlock(in_ch, out_ch, kernel_size, dilation2**i, dropoutdropout)) self.network nn.Sequential(*blocks) def forward(self, x): return self.network(x)num_channels 是一组整数列表决定每个残差块的输出通道。比如 [32, 64, 64, 128] 四层最后一层输出 128 个通道。通道数会直接决定后续 LSTM 的输入维度参数一多显存涨得快要按数据量权衡。4.2 完整模型TCN 输入、LSTM 过渡、多头注意力收尾主模型的 forward 依次完成 TCN、LSTM、Multihead-Attention 的输出变换。PyTorch 内置的 nn.MultiheadAttention 默认 batch_firstFalse需要两次 permute 来适配输入布局。forward 里加一个 return_attn 参数训练时不需要注意力权重评估和可视化时才取出来。class TCN_LSTM_Attention(nn.Module): def __init__(self, num_features, tcn_channels, kernel_size, dropout, lstm_hidden, lstm_layers, num_heads, seq_len, pred_len): super().__init__() self.tcn TCN(num_inputsnum_features, num_channelstcn_channels, kernel_sizekernel_size, dropoutdropout) self.lstm nn.LSTM( input_sizetcn_channels[-1], hidden_sizelstm_hidden, num_layerslstm_layers, batch_firstTrue, dropoutdropout if lstm_layers 1 else 0.0 ) self.attention nn.MultiheadAttention( embed_dimlstm_hidden, num_headsnum_heads, batch_firstFalse, dropoutdropout ) self.fc nn.Linear(lstm_hidden, pred_len) self.seq_len seq_len def forward(self, x, return_attnFalse): tcn_in x.permute(0, 2, 1) tcn_out self.tcn(tcn_in) lstm_in tcn_out.permute(0, 2, 1) lstm_out, _ self.lstm(lstm_in) attn_in lstm_out.permute(1, 0, 2) attn_out, attn_weights self.attention(attn_in, attn_in, attn_in) attn_out attn_out.permute(1, 0, 2)[:, -1, :] output self.fc(attn_out) if return_attn: return output, attn_weights return output注意力输入是经过 LSTM 后的完整序列输出也是完整序列这里只取最后一个时间步作为注意力聚合结果。nn.MultiheadAttention 的 Q、K、V 都用同一个张量也就是自注意力。num_heads 通常取 4 或 8并且必须能被 lstm_hidden 整除。需要检查的点有三个。第一LSTM input_size 必须等于 TCN 最后一层的输出通道数所以这里用 tcn_channels[-1]。第二attn_out 的维度是 (seq_len, batch, hidden)permute 回来是 (batch, seq_len, hidden)取第 -1 个时间步不影响 batch 维度。第三pred_len 是输出层直接映射的目标个数不是模型内部的时间步数。4.3 训练循环MSE 损失、早停与损失曲线记录训练阶段的核心参数组合我一般这样设定MSE 作为回归损失AdamW 优化器ReduceLROnPlateau 按验证损失下降幅度自动调低学习率。早停通过连续多轮验证损失不降来触发防止小数据集上过拟合。import time device torch.device(cuda if torch.cuda.is_available() else cpu) model TCN_LSTM_Attention( num_features4, tcn_channels[32, 64, 64, 128], kernel_size3, dropout0.2, lstm_hidden64, lstm_layers2, num_heads4, seq_len30, pred_len5 ).to(device) criterion nn.MSELoss() optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-5) scheduler torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemin, factor0.5, patience8 ) best_val_loss float(inf) patience_counter 0 epochs 100 for epoch in range(epochs): model.train() train_loss 0.0 for xb, yb in train_loader: xb, yb xb.to(device), yb.to(device) optimizer.zero_grad() pred model(xb) loss criterion(pred, yb) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() train_loss loss.item() * xb.size(0) model.eval() val_loss 0.0 with torch.no_grad(): for xb, yb in val_loader: xb, yb xb.to(device), yb.to(device) pred model(xb) val_loss criterion(pred, yb).item() * xb.size(0) train_loss / len(train_loader.dataset) val_loss / len(val_loader.dataset) scheduler.step(val_loss) if val_loss best_val_loss: best_val_loss val_loss patience_counter 0 torch.save(model.state_dict(), best_model.pth) else: patience_counter 1 if patience_counter 15: print(fearly stop at epoch {epoch}) break if epoch % 5 0: print(fepoch {epoch} | train loss {train_loss:.6f} | val loss {val_loss:.6f})梯度裁剪 max_norm1.0 放在反向传播之后、参数更新之前LSTM 在长序列上容易产生较大梯度不裁剪时偶发 NaN。ReduceLROnPlateau 的触发条件是验证损失所以必须把 val_loss 传进去。早停的 patience 一般比调度器的 patience 大否则模型还没降学习率就被停掉。4.4 训练中常见的三个坑与排查方向现象常见原因排查思路loss 输出 NaN学习率过大、数据包含 NaN、梯度爆炸先打印输入数据是否有 NaN调小 lr 到 1e-4 再试检查梯度裁剪是否生效验证集指标远差于训练集归一化泄漏、验证集被 shuffle检查 scaler 是否只在训练数据上 fit确认 DataLoader 的 shuffleFalse显存不足seq_len 太长会放大注意力矩阵减 batch_size调小 tcn_channels 或 lstm_hidden 后重启训练归一化泄漏是最隐蔽的坑。如果测试集也参与了 fit测试集的 min/max 把“未来信息”带进了训练评估结果会比真实部署好一大截。建议把 scaler 对象也保存下来预测阶段用同一个 scaler 做 transform。5. 为模型套上 GUI用 PyQt5 做参数配置和预测可视化5.1 界面布局与控件规划一套能自测的 GUI 至少要包含三个模块参数配置区、训练进度区、预测展示区。参数配置区提供 seq_len、pred_len、epochs 和 lr 的输入框训练进度区显示 loss 曲线预测展示区绘制测试集上的预测值和真实值对比。用 PyQt5 配合 matplotlib 的 FigureCanvasQTAgg 实现开发时直接在 vscode 的调试环境里跑 .py 文件即可。区域控件类型对应操作面板上部QLineEdit / QComboBox输入 seq_len、pred_len、epochs、选择 cpu/cuda面板下部QPushButton开始训练、加载模型、启动预测左侧中部matplotlib FigureCanvas显示训练集和验证集 loss 曲线右侧底部matplotlib FigureCanvas显示测试集预测值与真实值对比5.2 训练线程和主窗口的核心代码骨架GUI 最忌讳把训练循环直接写进按钮回调里那样点击后窗口会失去响应。正确做法是把训练流程放到继承 QThread 的线程类中用 signal 把 loss 数值发回主线程更新图表。from PyQt5.QtWidgets import (QMainWindow, QWidget, QVBoxLayout, QPushButton, QLineEdit, QLabel) from PyQt5.QtCore import QThread, pyqtSignal from matplotlib.backends.backend_qt5agg import FigureCanvasQTAgg from matplotlib.figure import Figure class TrainThread(QThread): epoch_done pyqtSignal(int, float, float) def __init__(self, model, train_loader, val_loader, epochs, lr, device): super().__init__() self.model model self.train_loader train_loader self.val_loader val_loader self.epochs epochs self.lr lr self.device device def run(self): optimizer torch.optim.AdamW(self.model.parameters(), lrself.lr) criterion nn.MSELoss() for epoch in range(self.epochs): self.model.train() total_loss 0.0 for xb, yb in self.train_loader: xb, yb xb.to(self.device), yb.to(self.device) optimizer.zero_grad() loss criterion(self.model(xb), yb) loss.backward() optimizer.step() total_loss loss.item() avg_train_loss total_loss / len(self.train_loader) self.model.eval() val_loss 0.0 with torch.no_grad(): for xb, yb in self.val_loader: xb, yb xb.to(self.device), yb.to(self.device) val_loss criterion(self.model(xb), yb).item() avg_val_loss val_loss / len(self.val_loader) self.epoch_done.emit(epoch, avg_train_loss, avg_val_loss) class MainWindow(QMainWindow): def __init__(self): super().__init__() self.setWindowTitle(TCN-LSTM-Attention Prediction) central QWidget() self.setCentralWidget(central) layout QVBoxLayout(central) self.loss_canvas FigureCanvasQTAgg(Figure(figsize(6, 3))) layout.addWidget(self.loss_canvas) self.start_btn QPushButton(开始训练) self.start_btn.clicked.connect(self.start_training) layout.addWidget(self.start_btn) def start_training(self): train_thread TrainThread( self.model, self.train_loader, self.val_loader, 50, 1e-3, self.device ) train_thread.epoch_done.connect(self.update_loss_plot) train_thread.start() self.train_thread train_thread def update_loss_plot(self, epoch, train_loss, val_loss): self.loss_canvas.figure.clear() ax self.loss_canvas.figure.add_subplot(111) ax.plot([epoch], [train_loss], b-, labeltrain) ax.plot([epoch], [val_loss], r-, labelval) ax.legend() ax.set_xlabel(epoch) ax.set_ylabel(loss) self.loss_canvas.draw()代码里的 self.model、self.train_loader 等属性会在窗口初始化时根据用户在输入框里填写的参数构建这里省略了控件读取的部分。注意把线程对象挂在 self.train_thread 上防止函数结束后线程实例被垃圾回收导致程序崩溃。matplotlib 画布每次刷新调用 figure.clear() 再重绘避免图形叠加。5.3 子线程异常处理与模型加载如果训练中途报错错误发生在子线程里主窗口收不到异常信息界面会一直停在训练中的状态。常见做法是在 run 方法里包一层 try/except通过另一个 signal 把 error message 传到主线程弹窗。加载模型用 QFileDialog.getOpenFileName 选择 .pth 文件再通过 torch.load 加载 state_dict。加载模型后的预测流程是测试集数据先过 scaler.transform再转成张量喂给 model得到预测值后 inverse_transform 还原。GUI 里的预测图通常画两条曲线原始测试集真实值和模型输出值。画图时注意先把预测结果恢复成与原数据相同形状再取目标列否则 inverse_transform 的维度对不上。5.4 GUI 里跑通模型的最小参数组合在本地 CPU 环境调试建议先把参数压到最小seq_len24pred_len3tcn_channels[16,16,32]lstm_hidden32epochs20。这套组合参数量小、训练速度快GUI 能在十几秒内完整跑完。整体流程验证通过之后再放大模型参数避免在界面调试阶段就遇到训练时长和显存问题。6. 三种验证技巧注意力可视化、多步预测与 ONNX 导出6.1 把注意力权重画出来验证模型学到了什么多头注意力自带权重输出它直接告诉预测结果在多大程度上依赖历史时间步。在 eval 模式下调用 forward 并传入 return_attnTrue就能拿到每个样本的注意力矩阵。它的 shape 通常是 (batch, heads, L, L)转成热力图前先对 batch 和 head 两个维度做平均。model.eval() sample_x, sample_y next(iter(test_loader)) sample_x sample_x.to(device) with torch.no_grad(): _, attn model(sample_x, return_attnTrue) avg_attn attn.mean(dim0).mean(dim0) # 先平均 batch再平均 head avg_attn avg_attn.mean(dim0)如果训练正常热力图峰值应该集中在最近几个时间步上。如果权重平均分布且没有明显峰值说明注意力没有学到有效的时间模式常见诱因是 lstm_hidden 太小或注意力 dropout 设得过高。6.2 直接多步预测与递归预测的取舍本文模型输出 pred_len 步采用直接映射一次前向得到未来多个时间点。好处是训练简单、推理次数固定缺点是长步长预测的误差会累积。递归预测只预测一步把预测值当后续输入再送回去循环 pred_len 次短序列上更稳定但误差会逐步传染。我的做法是 pred_len 在 1 到 5 之间用直接多步输出需要预测 10 步以上时改成递归方式并把全连接层输出维度调成 1。GUI 里可以对 horizon1 和 horizon5 分别画预测误差直观看到预测长度带来的性能衰减。6.3 模型导出从 PyTorch 权重到 ONNX 实时推理训练结束后除了保存 state_dict经常要导出成 ONNX 格式方便服务端或其他语言调用。导出需要提供一份 dummy input并声明动态维度model.load_state_dict(torch.load(best_model.pth, map_locationcpu)) model.eval() dummy_input torch.randn(1, 30, 4) # batch1, seq_len30, features4 torch.onnx.export( model, dummy_input, tcn_lstm_attention.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch, 1: seq_len}, output: {0: batch}} )dynamic_axes 声明后 seq_len 在推理时可以动态变化但 LSTM 和注意力对输入长度有隐含依赖实际部署时建议固定 seq_len 为训练时的值。导出后用 onnxruntime 做一次验证import onnxruntime as ort sess ort.InferenceSession(tcn_lstm_attention.onnx) onnx_input dummy_input.numpy() result sess.run([output], {input: onnx_input})[0] print(result.shape)如果导出报错多半出在 weight_norm 不支持 ONNX 算子或 MultiheadAttention 内部包含动态 shape 操作。先把模型切成 eval 模式再导出仍然失败就把 weight_norm 换成普通 Conv1d 重新训练一份。ONNX 文件只做推理训练权重继续保留在 best_model.pth 里。注意ONNX 是推理专用格式不能加载回 PyTorch 继续训练。导出的动作最好在训练刚结束时顺手完成避免部署时重新准备环境。本文还有配套的精品资源点击获取
