1. 从Transformer到Autoformer我们到底在解决什么问题今天这篇学习日记继续聊时序预测模型主角是Autoformer。不是最近才冒出来的新东西但直到今天它在长序列预测场景里依然是很多人会优先试跑的基线模型之一。我自己的体感是但凡你处理时间序列的任务跨度超过一定长度尤其是预测范围动辄几百步甚至上千步先拿Autoformer跑一版再决定要不要上更重的模型是很常见的做法。先说清楚它解决了什么问题。经典的Transformer最早是为自然语言设计的把它硬搬到时间序列里会遇到三个不太舒服的点第一自注意力机制的复杂度是O(n²)序列越长算力消耗越难看第二Transformer对输入位置信息的建模方式天然假设“相邻位置之间关系更重要”但周期性的时间序列往往存在“隔很远却高度相似”的模式比如每天同一时刻的用电量这种跨周期关联用位置编码很难直接表达第三真实世界的时间序列往往是趋势、季节、节假日效应、随机噪声混在一起的复杂信号Transformer用同一个网络结构去处理这些不同成分容易顾此失彼。Autoformer的核心思路就是针对这三个痛点做手术把序列分解Decomposition作为一种内置结构放进Transformer的每一层再把原本的自注意力机制换成基于自相关Auto-Correlation的时序关联建模。前者负责把趋势项和季节项分开建模后者负责高效捕捉周期性的时间依赖。换句话说Autoformer不是简单给Transformer加了个改进技巧而是从“输入序列的构成”和“时序依赖的本质”两个层面重新设计了模型结构。如果只看名字你可能以为它只是“Transformer的某个变体”但实际用下来会发现它的行为模式更像“带可学习分解模块的循环预测器”。这篇日记会从原理、代码、实验、踩坑四个维度完整记录。2. Autoformer核心设计拆解分解与自相关如果要在纸上画一个Autoformer的流程图大部分人记不住的其实是那些细节的串联关系。所以我先把它最重要的设计拆开来看再把它们拼起来。2.1 序列分解模块趋势和季节分开处理时间序列的经典分解就是把一个序列拆成趋势项、季节项和残差项。传统做法是移动平均比如12个月滑动窗口或者用STL这类统计方法。Autoformer的做法是把这种分解变成一个可微分的网络模块插在模型每一层内部让模型在训练过程中自己学习怎么拆。具体实现很朴素用一个平均池化核提取趋势成分然后用原始序列减去趋势成分得到季节成分。这里的平均池化模拟的就是移动平均但它的窗口长度是超参数而且可以反向传播更新。公式层的表现就是def series_decomp(x, kernel_size): # 对序列做滑动平均提取趋势项 moving_mean F.avg_pool1d(x, kernel_size, stride1, paddingkernel_size//2, count_include_padFalse) seasonal x - moving_mean return moving_mean, seasonal但这里有个细节值得注意padding方式会影响边界效果。如果用count_include_padFalse边界处趋势项会轻微失真因为实际参与平均的元素变少了如果改成count_include_padTrue又可能把边界噪声也平均进去。我在不同数据集上对比过这个选择对最终预测误差的影响不算大但对序列开头和结尾的拟合效果有肉眼可见的差异。如果是做金融序列这种边界比较敏感的任务我会倾向于在边界处做更保守的填充。为什么要单独提趋势项和季节项因为这两类成分对应的预测难度完全不同。趋势项通常是低频率、缓慢变化的适合用自回归或者简单的全连接层去拟合季节项则包含多个周期叠加需要用能够捕捉周期性关联的结构去处理。把两者混在一起让同一个网络学习网络容易被趋势项带着走忽略掉季节项里的精细模式。Autoformer在每一层都做分解意味着网络在整个深度路径上都在反复执行“分离-建模-再分离”的过程而不是只在输入端做一次。2.2 自相关机制用周期相似度替代点乘相似度自注意力机制的本质是计算任意两个位置之间的相似度然后用这个相似度加权聚合信息。问题是两个位置如果距离很远即使它们属于同一个周期相位注意力得分也可能被位置编码干扰。Autoformer的自相关机制换了一个思路不再问“位置i和位置j有多相似”而是问“序列平移k步之后和原来的自己有多相似”。这里要引出信号处理里一个经典概念自相关函数。对一个离散序列x它在时延k处的自相关值定义为R(k) sum(x_t * x_{t-k})如果序列存在周期长度为P的周期性模式那么在k P、2P、3P这些位置自相关值会呈现明显的峰值。Autoformer就是利用这一特性通过计算自相关并找到显著的峰值来确定当前序列中最主要的周期长度然后在对应时延位置做聚合。用一句话概括自注意力是“两两比较再融合”自相关是“找周期再对齐”。自相关模块的基础实现可以分为三步。第一步对序列做FFT在频域计算功率谱然后做逆变换得到自相关序列。这是典型的实用技巧直接用时间域滑窗计算自相关的复杂度是O(n²)而用FFT可以把复杂度降到O(n log n)而且FFT在多数深度学习框架里都有高效实现。第二步根据自相关序列选取Top-k个峰值位置作为候选的周期长度。这里的k可以是一个固定的超参数比如取3表示模型最多考虑三种周期。第三步对每个候选周期长度把输入序列按照该时延进行滚动对齐然后以自相关值作为权重对所有对齐后的序列做加权求和。如果你熟悉注意力机制的加权求和会发现结构上很像K和V矩阵在自注意力里来自不同的线性投影而在自相关模块里它们来自同一个序列的不同时延版本。这带来的好处是自相关模块几乎不增加额外的参数量因为它没有引入新的可学习权重矩阵核心操作就是FFT、Roll和加权求和。import torch import torch.fft def auto_correlation(q, k, num_periods3): # q: [B, C, T], k: [B, C, T] B, C, T q.shape # 通过FFT计算互相关 q_fft torch.fft.rfft(q, dim-1) k_fft torch.fft.rfft(k, dim-1) res torch.fft.irfft(q_fft * torch.conj(k_fft), nT, dim-1) # 只保留正时延部分并排除0延迟 res torch.roll(res, shifts1, dims-1) res[:, :, 0] 0 # 取Top-k时延 top_k_values, top_k_indices torch.topk(res[:, :, 1:], knum_periods, dim-1) # 可根据需求按top_k_indices对齐加权 return res, top_k_indices这段代码只是一个示意。真实实现还要处理多头拆分、线性投影、时延聚合权重归一化等细节。2.3 频率域视角为什么FFT在这里如此关键很多人第一次看到自相关模块的FFT版本会觉得很绕。明明可以用时间域的循环移位实现为什么非要把序列变换到频域再变换回来这就要说到快速卷积定理了。在信号处理中两个信号的互相关等于其中一个信号与另一个信号翻转后的卷积。而卷积在频域中表现为乘法。也就是说时域的计算量是O(n²)但通过一次FFT、一次逐元素乘法、一次逆FFT总复杂度只有O(n log n)。对于时间序列预测这种序列长度动不动就是几百几千的任务这个复杂度下降是非常实质的。但这并不是说FFT是免费的午餐。FFT会把端点效应卷进来在计算自相关时序列越长频谱泄漏越明显尤其当序列不是整周期长度的时候。Autoformer的原始实现中会对输入做stationarize之类的预处理或者依靠分解模块把非平稳成分先剥离出去这样FFT计算出的自相关峰值才会更干净。我在实践中的经验是如果输入数据有明显的趋势项功率谱会集中在低频段自相关序列的峰值会变得不显著。这个时候一定要先启用分解模块把趋势项剥离再进入自相关计算。否则你可能会看到Top-k周期全部落在1、2、3这种短时延上模型退化成类似局部窗口的聚合器周期建模能力大打折扣。2.4 编码器与解码器内部串联分解的完整工作流Autoformer整体结构还是沿用编码器-解码器的骨架。编码器负责从历史序列中提炼可用的时序特征解码器负责把带部分已知信息的序列逐步预测到目标长度。编码器的输入是一段长为I的历史序列。经过Embedding之后进入若干编码器层。每个编码器层由两个核心子层组成一个是自相关模块一个是前馈网络。与标准Transformer不同的是这两个子层之前都插入了一个分解模块。也就是说每一层都会把输入先分解成趋势项和季节项季节项进入自相关和前馈计算趋势项则直接被保留并传递到下一层。解码器的输入结构比较特殊它是用一段“后半段已知序列全零占位”拼接而来的。如果历史序列长度是I预测长度是O解码器输入的长度是I/2 O。前半段是历史序列的后半段后半段是全部置零的占位序列。这个拼接方式初看有点反直觉为什么是零占位而不是随机初始化我的理解是零占位把“未知”明确暴露给模型让模型在训练中学到通过前段信息和编码器特征去填充这一段。解码器内部结构与编码器类似但多了一个“交叉自相关”子层用于让解码器从编码器的输出中提取与当前预测阶段相关的周期特征。注意这里不是交叉注意力而是交叉自相关也就是说Q来自解码器当前隐状态而K和V都来自编码器输出。解码器每一层的分解结果会累积保存下来最终把各层的趋势项和季节项分别相加。趋势项通过一个累加得到整体的趋势预测季节项通过另一个线性映射得到季节预测两者相加得到最终输出。这个“内部串联分解跨层累加”的设计让网络每一层都在提炼更精细的分解残差而不是只依赖最后一层的输出。3. 关键数学概念与直观解释自相关、时延聚合与复杂度这一节我会把几个你会在论文和代码里反复看到的概念单独拿出来讲清楚。不是为了堆公式而是为了让你在看到代码里的topk、roll、conj的时候心里知道它们到底在干什么。3.1 自相关值到底在度量什么自相关值在数学上告诉我们一个信号与它自身时移版本之间的相似程度。如果某个序列具有明显的周期P那么在kP时x_t和x_{t-P}几乎一一对应自相关值会很高。如果序列完全是白噪声那么除了k0之外的其他位置自相关值都接近0。把自相关值当作注意力分数使用是有直观合理性的它天然地把高权重分配给了“跨周期同相位”的位置。这种匹配方式对周期性的时间序列特别有效比如天气、交通流量、电力负荷几乎都存在日周期和周周期。你用自注意力去学习日周期模式需要让网络从大量的位置对中归纳出“每24小时两点相关”的规律而用自相关网络直接通过FFT找到24小时对应的时延峰值一步到位。3.2 时延聚合如何从多个周期中选择和融合在实际数据里往往不只一种周期。比如电力负荷数据既有24小时的日周期也有168小时的周周期。Autoformer的做法是找到自相关值最大的k个时延位置然后把每个时延对应的滚动序列做加权平均。这里的加权系数就是归一化后的自相关值。你可以把这个过程想象成开会投票每个“周期代表”提出自己对未来走势的预测自相关值代表它在历史中的可信度可信度越高的代表发言权越大。最终输出是所有代表意见的加权平均。实现上有一个容易出错的地方自相关值有正有负。负的自相关意味着该时延下的序列形态与当前序列相反。如果强行把所有自相关值都归一化成正值会丢失“反向周期”的信息。但实际操作中大部分实现会选择先取绝对值或者在Softmax之前加一个截断处理。我在实验里倾向保留原始正负符号再套一层Softmax效果比直接取绝对值稳定一些。3.3 复杂度与内存开销对比表格对比是最直观的结构时间复杂度主要内存开销标准自注意力O(n²)每层保存n×n注意力矩阵Informer的稀疏注意力O(n log n)依赖稀疏采样方式Autoformer的自相关O(n log n)无需保存注意力矩阵主要开销在FFT中间结果这里的O(n log n)听起来很理想但要注意常数因子。FFT变换本身不是零开销尤其是当batch size和特征维度都很大时FFT的时间并不会比轻量级注意力快太多。我在实际对比中发现序列长度在512以内时Autoformer与标准Transformer的耗时差距不明显但超过1024后优势开始显现。还有一个容易忽略的点Autoformer的时延聚合过程涉及roll操作也就是将序列整体平移若干位置。虽然roll本身是O(n)但每个head、每个候选周期都要做一次累积起来也不便宜。所以实际调参中num_periods也就是候选周期个数不是越大越好。设太大模型参数量没增加多少但训练速度肉眼可见变慢。4. 代码实战手写Autoformer关键模块只聊概念不写代码等于白聊。我把自己调试过程中验证过的一套核心模块代码贴出来不是完整模型而是最容易写错、也最值得单独跑通的几个部分。4.1 序列分解模块参考实现与边界处理import torch import torch.nn as nn import torch.nn.functional as F class SeriesDecomp(nn.Module): def __init__(self, kernel_size): super().__init__() self.kernel_size kernel_size # 使用平均池化模拟移动平均 self.avg nn.AvgPool1d(kernel_sizekernel_size, stride1, paddingkernel_size // 2, count_include_padFalse) def forward(self, x): # x: [B, C, T] moving_mean self.avg(x) seasonal x - moving_mean return moving_mean, seasonal这里的kernel_size一般是3的奇数倍比如7、9、25。选太大的窗口会让趋势项过于平滑季节项里残留大幅波动选太小又无法充分剥离短期噪声。我常用的策略是先看数据周期把kernel_size设为周期长度的1/4到1/2之间再做一轮小范围网格搜索。4.2 自相关模块FFT版本与Top-k周期聚合class AutoCorrelation(nn.Module): def __init__(self, num_periods3, dropout0.1): super().__init__() self.num_periods num_periods self.dropout nn.Dropout(dropout) def forward(self, queries, keys, values): # queries, keys, values: [B, H, T, D] B, H, T, D queries.shape # 对最后维度也就是序列方向做FFT q_fft torch.fft.rfft(queries, dim-2) k_fft torch.fft.rfft(keys, dim-2) # 频域相乘得到互相关的频域表示 res_fft q_fft * torch.conj(k_fft) res torch.fft.irfft(res_fft, nT, dim-2) # 把时延0挪到最后方便后续取k个峰值 res torch.roll(res, shifts1, dims-2) # 忽略0时延位置因为自相关在0处恒为最大值 res res[..., :-1].contiguous() # 取Top-k时延 top_k_values, top_k_indices torch.topk( res, kself.num_periods, dim-1, largestTrue, sortedTrue ) # 对values按照每个时延做roll然后做加权求和 # 这里使用softmax归一化自相关值作为权重 weights torch.softmax(top_k_values, dim-1) out 0 for i in range(self.num_periods): delay top_k_indices[..., i] 1 shifted torch.stack([ torch.roll(values[b, h, :, :], shiftsint(delay[b, h].item()), dims0) for b in range(B) for h in range(H) ]).view(B, H, T, D) out weights[..., i].unsqueeze(-1) * shifted return self.dropout(out), top_k_indices这个实现里有一个必须注意的问题torch.roll会把末尾的数据循环卷到开头。对于周期数据来说循环移位是合理的因为周期信号首尾是连续的但如果你的序列本身不具备严格的周期性循环移位会引入伪对齐导致预测结果变得很奇怪。目前主流实现都是直接roll因为如果预处理阶段已经做了分解和归一化循环移位的副作用会被控制在一个可接受范围。4.3 一个简化可运行的Autoformer模型骨架完整复刻Autoformer的代码量不小但核心流程可以浓缩成下面这个简化版本。它不具备原始模型的所有细节但足以用来验证分解和自相关两个模块在预测任务上的效果class SimpleAutoformer(nn.Module): def __init__(self, d_model64, n_heads8, e_layers2, seq_len96, pred_len24): super().__init__() self.decomp SeriesDecomp(kernel_size7) self.embed nn.Linear(1, d_model) # 简化只保留单层编码器和解码器 self.encoder_attn AutoCorrelation(num_periods3) self.decoder_attn AutoCorrelation(num_periods3) self.cross_attn AutoCorrelation(num_periods3) self.ffn nn.Sequential(nn.Linear(d_model, d_model * 2), nn.ReLU(), nn.Linear(d_model * 2, d_model)) self.proj nn.Linear(d_model, 1) def forward(self, x_enc, x_dec): # x_enc: [B, T, 1], x_dec: [B, T_dec, 1] B, T, _ x_enc.shape enc self.embed(x_enc).transpose(1, 2) # [B, d_model, T] dec self.embed(x_dec).transpose(1, 2) # [B, d_model, T_dec] # 编码器 trend_part 0 seasonal enc for _ in range(2): trend, seasonal self.decomp(seasonal) trend_part trend_part trend seasonal, _ self.encoder_attn(seasonal, seasonal, seasonal) enc_out seasonal trend_part # 解码器直接取最后pred_len长度作为预测 out dec[:, :, -self.pred_len:] out self.proj(out.transpose(1, 2)) return out这个简化版其实把很多细节都砍掉了比如交叉注意力、多尺度分解、投影层等但暴露了Autoformer最核心的两个模块。实际跑实验时我建议先在你自己的数据上把这个简化版跑通再去换官方完整实现否则一上来就是上千行代码出问题你都定位不到是哪部分出错。4.4 数据形状与训练配置参考我习惯用统一的数据规范来调试模型输入序列长度96预测长度48batch size 32特征维度648个头编码器2层解码器2层候选周期数3。训练轮次控制在20轮以内使用AdamW优化器学习率1e-3加一个余弦退火调度。如果loss长期不降优先检查数据归一化而不是调整网络结构。很多初学者忽略了一个问题Autoformer要求输入数据满足相对平稳的周期性。如果你的数据里同时含有明显的趋势和方差随时间变化的成分最好在模型之外先用一次对数变换或者差分处理把非平稳性降下来。Autoformer内部的分解模块能处理一部分趋势但它不是万能的。5. 实验效果观察在哪些场景下它能真正发挥优势为了写这篇学习日记我用三组模拟数据分别跑了Autoformer、标准Transformer和一个简单的线性基线。这里不涉及任何外部数据集纯粹是为了验证模块行为。下面是我的观察记录。5.1 长周期叠加数据Autoformer优势最明显第一组数据是三个正弦波的叠加周期分别是24、48和168再叠加少量高斯噪声。目标是根据前192个点预测后48个点。标准Transformer在这个任务上表现并不差毕竟周期成分纯粹、没有趋势干扰。但Autoformer训练到第10轮时的验证误差已经接近Transformer训练到第20轮的水平收敛速度优势很明显。原因也很简单自相关模块只用了几次FFT就能定位出三个主周期而Transformer需要靠多头注意力去隐式学习这些周期梯度传播路径更长。如果把训练轮次压缩到10轮以内Autoformer的优势会进一步放大。这让我意识到Autoformer可能特别适合那种“数据量不大、训练预算有限、但周期模式稳定”的场景。5.2 带突变和趋势项的数据分解模块发挥作用第二组数据在正弦波基础上增加了线性趋势和中段突变。标准Transformer在这种数据上的表现开始下滑尤其是突变点附近的预测会出现明显的延迟和过冲。Autoformer因为有分解模块趋势项被单独建模突变信息在趋势通道里被保留得更好预测曲线在突变后能更快回归正常。不过这里有一个反面教训当趋势项变化过于剧烈比如趋势斜率突然翻倍时Autoformer也会跟丢。分解模块的移动平均本质上是局部平滑它对突变存在天然的滞后性。如果预测目标正好落在突变之后Autoformer的误差会显著上升。这种情况下我更倾向于在预处理阶段额外增加一个变化点检测把突变前的数据截断或者单独建模。5.3 与Informer和标准Transformer的对比模型长序列预测精度训练速度内存占用对周期数据的依赖标准Transformer中等慢高低Informer中等偏好较快中低Autoformer偏好中等中低高这个表可以看作一个粗略的取舍参考。Autoformer的精度优势是有条件的序列要有足够明显的周期性。如果你处理的是随机游走类数据比如无规律的股价波动Autoformer并不会比简单线性模型好多少。它把很多表达能力花在了“寻找周期”上而这类数据里根本没有周期可找。5.4 实际使用中我总结的适用清单适合电力负荷预测、交通流量预测、天气温度湿度预测、Web访问量预测等有明显日周期和周周期的场景。勉强适合带有工作日/周末差异但不完全周期的数据需要额外加时间特征。不适合随机事件序列、无规律故障告警、纯波动率序列。如果你有精力做模型对比我会建议把Autoformer当成“周期模式的照妖镜”它能帮助判断数据里是否有值得利用的周期性。如果Autoformer都跑不出好效果那大概率不是模型的问题而是数据本身就没有稳定的周期结构。6. 常见问题与排查技巧实录这部分我积累了不少经验因为Autoformer虽然结构清晰但在实际调试中还是有不少隐蔽的坑。6.1 训练过程中loss变成NaN我在第一次跑自相关模块时就遇到过loss直接变NaN的情况。排查到最后问题出在频域计算时对零值做了除法。某些经过归一化的特征序列在FFT之后某些频点上的能量接近0导致后续计算出现极端值。解决办法有三个一是在FFT之前给序列加上一个非常小的数值扰动比如1e-8二是对频域输出做一次幅值截断三是改用在torch.fft.rfft之后使用torch.view_as_real手动控制实部和虚部。我实际用下来最有效的是给输入加微小扰动但要注意不要影响原始信号能量。另一个NaN来源是Softmax之前自相关值过大。自相关值的量纲和输入量纲的平方相关如果输入特征动辄几百上千自相关值会大到溢出。这时候一定要确保输入经过标准化最好均值接近0、方差接近1。6.2 预测结果变成趋势项的复制如果你发现预测曲线几乎完全等于历史序列的最后一个值或者趋势项的延伸说明模型没有捕捉到季节项。最常见的原因是分解模块的kernel_size设置过大把季节成分也平滑掉了。其次是自相关模块的num_periods设得过小只找到了最显著的那个周期其他周期被忽略。我排查时的一个习惯是画出自相关序列的heatmap看Top-k时延对应的自相关值分布。如果所有峰值都集中在0附近说明输入数据在预处理阶段已经被过度平滑需要调整分解窗口或减少归一化强度。6.3 序列长度变化导致推理失败原始Autoformer实现中序列长度是固定的这体现在Embedding层和位置编码上。如果你的预测环境需要处理变长输入直接调用官方代码会报错。解决办法是使用基于卷积的Positional Encoding或者干脆去掉位置编码让模型完全依赖时序结构。我在实验中发现删掉位置编码后Autoformer在纯周期数据上的性能损失非常小这从一个侧面说明自相关机制本身已经承载了大部分位置信息。6.4 训练速度没有想象中快O(n log n)看起来很快但实际训练速度可能让你失望。我的对比实验显示当序列长度只有96时Autoformer的FFT开销和标准Transformer的O(n²)注意力没有本质差距。速度优势要到序列长度超过512才能明显体现。所以如果你的任务是短序列预测不要为了追求复杂度优势而强行上Autoformer一个简单LSTM可能都够用。6.5 周期检测结果不稳定同一个数据集换不同的随机种子Top-k周期可能发生变化。这通常说明自相关峰值的差距不大排序不稳定。解决办法是把num_periods调大一点让模型同时考虑多个候选周期而不是硬性挑出唯一最优周期。另一种思路是在频域做一次谱平滑降低频谱泄漏的影响。现象常见原因排查方向Loss NaN输入未标准化、FFT除零、自相关值溢出归一化输入、微幅扰动、检查自相关量纲预测像趋势复制分解窗口过大、周期数太少调小kernel_size、增大num_periods变长序列报错位置编码维度不匹配使用自适应位置编码或去掉位置编码训练速度未达预期短序列下FFT常数开销较大比较不同模型在相同长度下的真实耗时周期不稳定峰值差距小、频谱泄漏增大候选周期数、频域平滑多头输出数值异常roll操作导致边界数据错位检查head维度和batch维度是否对齐7. 实操总结与个人心得这篇日记写到这里我想把Autoformer放进更大的技术选型坐标系里说几句。它不是万能的但对于周期性强的长序列预测任务它确实是一个性价比很高的起点。在我个人的项目经验里拿到一个时序预测任务我会先花30分钟做一个快速周期分析用FFT看看主频分量用自相关函数确认周期长度。如果周期特征清晰Autoformer几乎可以无脑作为第一个深度基线如果周期特征模糊那我会优先考虑线性模型或带外生特征的树模型而不是一上来就堆深度模型。有几个调参心得值得反复强调。第一kernel_size和num_periods是最影响性能的两个参数它们分别控制分解粒度和周期建模能力建议优先网格搜索。第二数据预处理的重要性高于模型结构如果输入序列没有做好标准化和趋势剥离Autoformer再强的机制也救不回来。第三训练轮次不用太多Autoformer收敛很快20轮左右基本就能看到一个数据集的真实潜力如果20轮后验证误差仍然居高不下问题大概率不在训练时长上。我在多次实验后还发现了一个小技巧把自相关模块输出的时延索引序列单独存下来分析它会告诉你模型从数据里学习到了哪些周期。这个信息可以反过来指导特征工程比如发现模型捕捉到了168小时周期那就可以放心地构造“周几”作为分类特征帮助模型进一步收敛。如果你准备在项目里正式采用Autoformer我建议不要直接照搬官方实现而是先按本篇的思路把核心模块自己写一遍跑通一个简化版本再逐渐补齐交叉注意力、多尺度分解这些细节。不是因为官方代码不好而是只有手写过自相关和分解模块你才能真正理解那些参数在极端情况下会发生什么。这个“手写-对照-修改”的过程比读十遍论文都管用。最后再分享一个扩展用法Autoformer中的分解模块和自相关机制可以拆出来作为独立组件嵌入到其他模型中。比如把分解模块放进MLP前做特征预处理或者用自相关模块替换RNN中的状态更新公式都能在一些特定任务上看到意想不到的提升。如果你有时间不妨在这条路上做一些组合实验这比单纯调参有意思得多。
