做多变量时间序列预测这几年我最头疼的不是把单条曲线的趋势拉准而是变量和变量之间的关系。一开始我也迷信 Transformer 那套觉得让注意力自己去“发现”变量间的相关性就完事了结果跑电力负荷、交通流这类数据时很快发现注意力给出来的关系在推理阶段几乎是固定的而真实场景里的变量交互根本不是这个样子——凌晨的用电关系和晚高峰的用电关系能差出一倍。后来我把目光从“全局关系矩阵”挪到“局部交互模式”上逐步攒出了 FACT 这套思路也就是用细粒度跨变量卷积Fine-grained Cross-variable Convolution来建模动态变量交互。这篇文章就把这套方法从动机到实现、再到踩坑复盘完整拆开讲。想直接抄代码的想搞懂为什么这样做更合理的应该都能有收获。1. 变量交互建模的隐痛静态假设与全局注意力的失效场景1.1 大部分实际系统的交互是“时变”的先抛一个反常识的观察许多人做多变量预测第一个动作就是求相关性矩阵或者让模型学一个变量间相似度矩阵。这两种做法本质都在找一个“全局平均”的关系但真实系统的交互几乎都是时变的。拿电力负荷举例气温对用电量的影响夏季空调季是强正相关春秋季又接近无关到了采暖季还会变成另一种形态工作日的变量交互结构和节假日完全不同。哪怕压缩到一天里凌晨由工业负荷主导、晚间由居民负荷主导各变量之间的主导关系也在不断切换。用一个静态矩阵去拟合这种变化结果只能是折中——高峰段对不齐低谷段也不准。我在一次交通流预测的项目里第一次被这个问题击中。给模型喂了 40 多个路口的流量数据整体相关性矩阵显示 A 路口和 B 路口相关度只有 0.3但按小时切片算早高峰能到 0.8深夜只有 0.05。如果只在整体相关度上筛阈值这两个路口会被认为“关系弱”而直接被忽略可早高峰那两小时它们明显在互相影响。这让我彻底放弃了“一个矩阵打天下”的思路。1.2 注意力机制也在“偷懒”有人会说用 Transformer 总该能捕捉动态交互了吧每个时间步的注意力权重不是不一样吗理论上确实不一样但实际训练之后你会发现几个问题。第一注意力 softmax 在长序列上很容易趋于均匀化梯度信号也会把那些“稳定出现”的模式强化最终学到的仍然是一种平均关系。第二在变量维度上做全局注意力复杂度是变量数的平方变量一多上百个传感器节点训练非常痛苦显存开销直线上升。第三也是常被忽略的一点点积注意力建模的是对称的相似度变量 A 对变量 B 的影响和 B 对 A 的影响在权重上天然不区分方向。但现实里这种方向性交互比比皆是电价上涨会带动光伏出力调整反过来光伏出力却几乎不影响电价这种不对称靠对称注意力根本表达不出来。当然真要强行表达方向性可以在注意力里加方向编码或者用非对称的注意力变体但代价是更复杂的结构、更多的调参成本。至少我在自己项目里试下来收益不够填复杂度。1.3 “细粒度”到底指什么我理解的细粒度有三个层面缺一不可细粒度维度核心含义静态建模为何不行时间维度交互模式不是整段序列共享一套参数而是随小时间窗动态变化静态矩阵只能给出一段时期的平均值变量维度不是所有变量共享一个相关性矩阵而是每个变量或相邻变量簇有各自的局部交互模式全局矩阵把强相关的细节全部平均掉方向维度A 影响 B 与 B 影响 A 的强度可以不同相关性和对称注意力都天然不区分方向FACT 的核心是想用尽可能简单的操作把这三个层面的细粒度统一起来——在变量轴上做小核卷积同时让卷积核参数随输入内容动态生成。2. FACT 的核心机关从“学一个矩阵”到“动态卷积核”2.1 为什么选卷积先看数据形态多变量序列一般是 B×T×V 的张量B 是 batchT 是时间长度V 是变量数。传统做法是构造 V×V 的交互矩阵去乘 X参数和计算量都随 V 平方增长或者让所有变量在每个时间步上互相做注意力计算量依然逃不掉 V²。卷积的做法是把 V 当作“序列长度”用一个长度为 k 的卷积核沿着变量轴滑动每次只看相邻的 k 个变量。为什么这种局部假设合理因为现实中变量交互大多发生在邻近结构电网里相邻母线的相互影响远强于远端节点交通流里相邻路段的相关性最强气象站里隔几百公里的观测点几乎谈不上交互。局部性不等于放弃全局堆叠多层之后感受野层层扩大第一层窗口相邻变量、第二层窗口次近邻、第三层就能覆盖十几个变量甚至更远的交互。这和 CNN 在图像里从边缘到纹理再到物体轮廓的路径是同一个套路。卷积还有一个现实优势参数共享。同一个卷积核在所有变量位置复用不会因为变量数量增加就参数爆炸。原始的静态卷积只有 k 个参数比 V×V 的矩阵小太多了。即便加上动态生成机制参数量的增长也是线性的整体仍然可控。2.2 动态核是怎么来的FACT 的关键在“动态”两个字。最简单的实现思路叫条件卷积先把时间维度的全局特征池化成一个小向量比如 mean-pool 或 max-pool把这个向量喂给一个小型 MLP输出一组卷积核权重。这组权重就是针对当前输入内容“定制”的。为什么这个设计有效全局池化保留了这段序列的整体状态现在整体是在高峰还是低谷、像工作日还是节假日、系统处于稳态还是震荡期。MLP 根据这个状态决定变量交互的形态相当于“大局定框架局部填细节”。整体状态编码和局部交互组合正好对应我们做人工判断时的两步逻辑先看当前处于什么场景再判断在这个场景下谁和谁更相关。实际做的时候有个小细节动态核的初始化和训练稳定性要特别小心。如果 MLP 随机初始化刚开始产出的核可能让输出分布崩掉。我习惯把 MLP 最后一层的权重初始化为接近 0偏置初始化成单位脉冲的形状这样初始状态下接近恒等映射训练会更稳后面再让梯度慢慢把核“推开”。2.3 时间分支与变量分支如何协作跨变量卷积只回答了“变量之间怎么交互”序列本身的时间依赖还得有人管。我在 FACT 里的做法是双分支并行时间分支在时间轴做因果卷积或膨胀卷积负责捕捉局部趋势、周期、突变跨变量分支在变量轴做细粒度卷积负责捕捉同一时刻变量间的横向交互两个分支的输出逐元素相加再过 LayerNorm 和残差堆叠多层。这样设计的好处是两类信息互不干扰不需要挤在同一个矩阵里互相妥协。有的数据集长程时间依赖特别强就把时间分支换成自注意力有的数据集变量交互特别复杂就加深跨变量分支、加大卷积核。组合式的结构让 FACT 在不同数据上迁移起来非常方便。整体流程可以这样看输入 X → 实例归一化 → 可选 patch 切分与嵌入 → 多层并行块时间分支 跨变量分支各带残差与归一化→ 输出投影 → 逆归一化 → 预测 Y。实例归一化处理分布偏移patch 切分能缩短序列、降低后续计算量这两个都是被 PatchTST 等结构验证过的预处理技巧直接拿来配合使用就行。3. 把 FACT 写进代码维度变换、超网络与堆叠细节3.1 先跑通最简单的静态版本不要一上来就上动态核。我建议先实现一个静态跨变量卷积把维度变换搞清楚再说。最简单的写法是把变量轴当成卷积分组里的空间轴用 conv1d 处理import torch import torch.nn as nn class StaticCrossVariableConv(nn.Module): def __init__(self, kernel_size5): super().__init__() self.kernel_size kernel_size self.conv nn.Conv1d( in_channels1, out_channels1, kernel_sizekernel_size, paddingkernel_size // 2, biasFalse, ) def forward(self, x): # x: (B, T, V) - reshape 把时间步当成批次 b, t, v x.shape x x.reshape(b * t, 1, v) # (B*T, 1, V) y self.conv(x) # 沿变量维度卷积 return y.reshape(b, t, v)这里把 B×T 合并成一个批次维度对每个时间步单独在变量轴上做卷积。padding 用 same 模式保证输出长度不变。别小看这一步我见过不少朋友在维度上栽跟头明明想卷变量轴结果把变量当通道卷时间轴了错误很隐蔽。这个静态版本已经能验证“跨变量卷积”这个方向是否值得继续。拿它在自己的数据上跑几轮如果比线性基线有明显提升再上动态核不迟如果连静态版都没有收益那说明数据里变量交互的局部性可能很弱动态版大概率也救不回来。3.2 动态核版本条件卷积的实现动态核的核心是用全局池化特征生成卷积权重。下面是一个教学级简洁实现class DynamicCrossVariableConv(nn.Module): def __init__(self, num_vars, kernel_size5, hidden_dim64): super().__init__() self.num_vars num_vars self.k kernel_size self.hidden_dim hidden_dim # 超网络从全局池化特征生成动态卷积核 self.condition_net nn.Sequential( nn.Linear(num_vars, hidden_dim), nn.GELU(), nn.Linear(hidden_dim, num_vars * kernel_size), ) # 动态核初始化 self._init_kernel_weights() def _init_kernel_weights(self): # 让初始权重接近“只关注自身”中心位置为1其余为0 with torch.no_grad(): last self.condition_net[-1] last.weight.zero_() last.bias.zero_() mid self.k // 2 for i in range(self.num_vars): last.bias[i * self.k mid] 1.0 def forward(self, x): # x: (B, T, V) b, t, v x.shape cond x.mean(dim1) # (B, V) weights self.condition_net(cond) # (B, V*K) weights weights.view(b, v, self.k) # (B, V, K) # 变量维度滑窗 pad self.k // 2 x_padded torch.nn.functional.pad(x, (pad, pad), modereplicate) patches x_padded.unfold(2, self.k, 1) # (B, T, V, K) # 每个变量用对应的动态核沿K求和 out (patches * weights.unsqueeze(1)).sum(dim-1) # (B, T, V) return out主要步骤拆开看cond 是每个样本的时间池化特征喂给一个两层 MLP 得到 B×V×K 的核权重torch padding 后用 unfold 提取每个变量位置长度为 K 的窗口最后用动态核与窗口逐位置相乘再求和。unfold 在这种小模块里够用如果变量数很大、追求速度可以用 im2col 思路替换但大部分场景不需要。再说一遍初始化为什么重要动态核是生成出来的如果 MLP 随机初始化早期输出分布会被奇怪的卷积核带偏。上面我先把最后一个 Linear 的权重整个归零、再把中心位置偏置设成 1初始时每个位置基本只看自己相当于恒等映射训练稳定性立刻好很多。这个细节帮我省了不少调试时间。3.3 多层堆叠与感受野控制跨变量卷积不是一层就完事重点在堆叠。每层核宽 K堆叠 L 层后一个变量能影响的变量范围是 1 L × (K−1)。比如 K5、堆 3 层感受野就是 13 个变量K7、堆 4 层感受野 25 个变量。堆叠的好处是浅层学局部小簇交互、深层学簇与簇之间的组合信息逐层抽象。堆叠时有三个经验值可以抄每层都用 same padding保持变量维度长度不变最后输出层再做降维或投影每层输出接 LayerNorm再套残差。这一点在下章会展开说顺序影响很大不要为了“加深”而加深先按感受野需求算层数。如果最强的交互隔着 20 个变量核宽 5 的模型堆 4 层就够硬堆 10 层只会让模型更笨重计算量也可以简单算一下每层跨变量卷积的开销是 O(T·V·K)堆 L 层就是 O(L·T·V·K)和变量注意力 O(T·V²) 相比在 V 较大时优势非常明显。比如 V100、K5、L4跨变量卷积的乘加次数是 2000T而注意力光相关性矩阵就是 10000T还没算 softmax 和其他开销。3.4 和 Patch、实例归一化怎么衔接Patch 处理在 PatchTST 等模型里被广泛验证把时间序列切成长度为 P、可能有重叠的小段每段嵌入成一个 token。FACT 完全可以和 patch 配合用。切完 patch 之后时间长度从 T 变成约 T/P跨变量卷积在变量轴的运算量不变但时间分支的后续计算会更省。我在实践中用 patch 长度 16、步长 8 起步序列长度减半模型训练速度快很多预测精度基本不受损失。实例归一化一定要做在主干网络之前。它的作用是消除不同样本间的均值/方差漂移尤其适合电力、流量这类分布会随季节、事件变化的数据。做法很简单对每个样本的每个变量先减均值除以标准差模型输出后再把预测结果按原来的统计量逆缩放。注意逆归一化要在输出层做完之后直接作用到最终预测值上不要夹在中间层否则统计信息会被模型内部操作扭曲。4. 实验复盘的三个深坑变量顺序、核宽度、归一化时机4.1 坑一变量顺序决定生死这是我在项目里碰到的第一道坎。最初的 FACT 版本效果平平比线性模型没强多少一度想放弃。在固定随机种子、控制变量的前提下排查了很久怀疑学习率、怀疑动态核初始化、怀疑数据预处理把这些全部排除之后最后把输入变量的列顺序改了一下——按相关性做了一次层次聚类重排——模型效果立刻上了一个台阶MSE 大约下降了两三成不同数据集幅度不同。这个现象背后的原理其实很直白卷积的局部性假设要求“顺序即语义”相邻位置的变量最好真的相关。如果变量列顺序是随意录入的卷积窗口扫过去抓到的全是弱相关配对等于让模型学一堆噪声关系。解决方案有三档最省事训练前用滑动窗口相关性矩阵做层次聚类把高相关变量排在一起固定这个顺序训练更稳训练时对变量顺序做随机 shuffle 增强。虽然卷积核是平移共享的但重排能让模型不容易依赖某个绝对位置泛化更好更灵活把变量分组每组用独立的卷积核类似分组卷积组内排序、组间互不干扰如果你发现自己数据集里的变量顺序无法改变可以先打开 shuffle 增强试一周。这个改动成本最低效果经常超出预期。4.2 坑二卷积核宽度不是越大越好另一个折腾我两天的问题是核宽度。直觉上觉得窗口越大看到的交互越多但把 K 从 3 一路调到 9、15 之后验证指标先升后降K9 左右就开始出现退化。原因也好解释窗口越大卷积的输出越接近窗口内变量的平均值细粒度交互被“糊”掉了。这和图像里大卷积核容易丢细节是同一个原理——过平滑效应。我后来用网格搜索在 K∈{3,5,7,9,15} 里试发现大部分数据集的最佳点在 5 到 7 之间。中小数据集建议直接定 5 起步别一上来就调大只有在变量数很多超过 200或者局部结构特别复杂时才值得试更大的核。还有一个容易忽视的点核宽加大意味着可表达模式变多数据量不够时学到的多半是噪声所以要同步考虑过拟合风险。4.3 坑三归一化的位置影响训练稳定性这个坑比较隐蔽但杀伤力很大。我在一套数据上训练时loss 曲线在 20 个 epoch 后开始剧烈震荡试了调学习率、换优化器都不管用。后来逐层打印激活值才发现跨变量卷积的输出方差在深层里膨胀了——因为卷积本质是窗口内 k 个值的加权和如果权重没有约束方差会随层数指数放大。解决办法是把归一化嵌入到每一层内部在跨变量卷积之前先做一次输入归一化卷积输出后再接一次 LayerNorm然后再进残差。这个“前置 后置”的做法在深层 Transformer 里很常见放到 FACT 的跨变量模块里同样成立而且比只在 block 出口做一次归一化要稳得多。顺带一个小技巧动态核生成网络里MLP 最后一层如果用了偏置初始时记得把卷积核的均值控制住。均值偏大等于给每个位置都加了一个常数偏移层级一深偏移会累积成系统性偏差各种指标都会异常。4.4 数据量少时动态核比静态核更容易过拟合动态核的代价是参数增加——每层多了一个超网络变量数超过 100 时这部分参数相当可观。我一开始在只有几十条序列的小数据集上直接上动态核验证 loss 比训练 loss 高出一大截典型的过拟合信号。后来做了个简单消融小数据集用静态核 固定排序效果反而更好。我的建议是训练样本量在几千条以下时先用静态核打底确认收益之后再切换动态核。或者给动态核生成网络加一些正则比如把核权重的 L2 约束加上或者用低秩分解把 MLP 的输出维度降下来。动核不是免费的午餐它的代价是参数变多这一点要心里有数。5. 哪些任务适合 FACT哪些任务别硬上5.1 优势场景中等变量数、强局部交互、交互时变FACT 最出彩的场景有三类特征变量数量在 20 到 200 之间变量间普遍存在相邻或局部相关性交互结构会随状态切换变化。我在电力负荷、城市交通流、气象观测这三类数据上都跑出了还不错的效果电力相邻馈线的负荷联动、气温对用电量的时变影响FACT 的动态核在这个场景下能学出昼夜两种明显的交互模式交通路口间流量传导主要发生在空间相邻路段配合按相关性排序FACT 比全局注意力更早捕捉到早高峰的联动变化气象站点之间的相互影响随天气系统移动而变化跨变量卷积的局部性假设和真实物理过程天然对齐你也可以在部署前做一个快速自检取同一天的数据按一小时切窗计算变量间相关性矩阵。如果这些矩阵在不同时段的差异明显FACT 动态核的用武之地就很大如果矩阵非常稳定静态方法可能就够用了。5.2 不适合的场景变量数目太少比如只有三五个时卷积的局部性假设没有意义直接用线性层或者 Transformer 反而更简单。变量数量太多比如上千个高维传感器每层的动态核生成网络会带来不小的参数量这时先做变量筛选或者降维再接 FACT 会更合适。如果数据里变量相互之间独立性极强几乎没有可建模的交互那 FACT 学到的只会是噪声——这种情况下先考虑单变量模型别急着上多变量复杂结构。还有一种情况要特别提醒最强的交互隔了非常远比如跨了 50 个变量卷积要靠深层堆叠才能覆盖。层数一多训练难度和收益都会变得不划算这时候用图神经网络或者全局注意力反而更直接。选择模型之前先花半天把数据里的“交互距离”摸清楚能帮你省下一两周的无效调参。5.3 还能怎么玩FACT 的动态核是个天然的可解释性窗口。我训练好模型后在某段序列上推理把最后一层跨变量卷积生成的核画成热力图能看到变量交互随着状态切换的变化——这比单纯给出预测结果更有价值至少能回答业务方“为什么这两个变量这段时间会一起动”这种问题。后续我还在考虑两个扩展方向把核生成网络换成低秩分解形式进一步压参数以及给动态核加稀疏约束让模型自动挑出最重要的变量交互路径。这些改动都不影响整体框架属于在 FACT 这个“壳子”里做局部替换感兴趣的同学可以直接在自己的数据上动手试。
