有没有碰到过这种尴尬一套开源大模型你花了一天微调出不错的业务效果然后接到新需求想在不重新全量训练的情况下让模型同时会干两件事结果发现第二个任务训练完第一个任务的指标直线掉。这种情况在AI圈有个专门术语叫灾难性遗忘也是持续学习Continual Learning里最让人头疼的问题。最近有个叫SDFT的方法引起了不少讨论全称大体可以理解为稀疏维度微调Sparse Dimension Fine-Tuning出自两支海外顶尖研究团队的联合工作。它的核心思路一句话就能说清让模型学习新任务时只更新一小部分“不太影响旧知识”的参数维度其余参数全程锁死。这篇文章我会从原理、实现、对比和踩坑四个维度拆开来讲给正在做增量学习、多任务Agent和基座模型二次开发的朋友一个可复现的参考。1. 这个项目到底在解决什么大模型“学新忘旧”的老大难问题1.1 灾难性遗忘一切增量学习的噩梦源头我先描述一下最常见的翻车现场。你有一个在摘要任务上表现不错的基座模型继续在情感分析数据上做全量微调。训练loss下降很正常情感分析准确率也慢慢上来但你回头跑原先的摘要验证集发现模型开始疯狂输出“正向情感强烈的摘要”这种四不像内容。这不是你操作失误而是灾难性遗忘的典型症状新任务的反向传播梯度覆盖了旧任务赖以生存的决策边界。这个问题在增量学习里被讨论了很多年但在今天的大模型场景里被放得更大。为什么因为传统的工业AI大多是“一个任务一个模型”忘了就忘了重新训练一个专门模型就行。可现在是Agent时代很多人希望一个模型同时承担意图识别、工具调用、摘要、代码生成等多种能力还希望它能在线上持续吸收新技能。这时候“学新忘旧”就变成了不可回避的工程难题。我说一个生活化类比一个人学外语如果每学一门新语言就把母语的发音肌肉记忆全部改一遍那他说几句外语后老家话就串味了。人脑不会这么干因为大脑会调用相对独立的神经回路去承载新语言只有少量共享回路会被新知识轻微改写。SDFT想复现的正是这种“局部更新全局保留”的效果。1.2 SDFT是哪种解法稀疏维度微调SDFT这个缩写从方法名和公开讨论来看最贴合的解释是Sparse Dimension Fine-Tuning稀疏维度微调。这里有两个关键词需要拆开理解。一个关键词是“稀疏”。传统全量微调相当于对模型的所有参数做梯度更新LoRA这类方法则是在旁边加一个低秩旁路让原始参数完全不动。SDFT走的是另一条路它不是不更新原始参数而是只允许原始参数中的一小部分“特定维度”被更新其他维度保持冻结。更新比例通常控制在0.5%到5%之间看起来稀疏但信息承载能力不可小觑。另一个关键词是“维度”。这个词很多读者会困惑它到底指的是模型里的什么东西在实际实现中指的通常是参数矩阵里某个行、列或通道对应的神经元分组。举个例子一个线性层的权重矩阵形状是[输出维度, 输入维度]我们可以按输出维度把参数切成若干组每一组对应一个神经元不被激活的输入路径。SDFT在做掩码时往往以这样的“维度”为最小单位来判断该不该冻结而不是对每个标量权重分别判断。这样做的好处是更新过的参数在硬件上更容易对齐掩码也更容易保存和复用。这个方法的亮点在于它把“学新技能不忘记旧本领”这个抽象需求转化成了一个很工程化的问题找出旧任务的关键承载维度在学新任务时把它们锁起来。只要掩码算得准模型在旧任务上的表现几乎不会被扰动。1.3 这个方案的受众与适用场景谁最需要它SDFT并不是一个解决所有增量学习问题的银弹但它有三类读者是最该关注的。第一种是做持续学习研究的同学。你需要一个比EWC、LwF更“硬”也更透明的基线SDFT提供了很直观的对照既然旧任务重要性可以量化那为什么不直接冻结呢这种思路对理解模型可塑性、参数稀疏性都很有帮助。第二种是做模型持续升级的工程师。比如你在维护一个端侧Agent模型每个月要增加一个新技能但用户反馈旧功能不能有回退。如果你用全量微调每次升级都要重新压测所有旧能力成本极高如果用SDFT每次技能只要生成一份掩码和一份参数增量旧能力基本保持原样验收压力小得多。第三种是研究模型遗忘问题的算法工程师。你可能关心的是“为什么模型会遗忘”“哪些参数承载旧知识”这类更理论的问题。SDFT刚好提供了一套量化参数重要性的工具可以作为后续分析的基础设施。如果你完全没接触过预训练模型和微调那这篇文章的一些细节可能偏深但核心思路并不难懂我把每个环节都做了解释耐心看下来也能跟上。2. 核心原理拆解为什么只动一小撮参数就能保住旧技能2.1 全量微调为什么会遗忘梯度干扰与表征漂移要理解SDFT先得理解灾难性遗忘为什么会发生。我从最底层的反向传播讲起。模型在旧任务上收敛后参数θ处于旧损失函数的低洼区域。现在喂入新任务数据计算出来的梯度会指向一个能让新任务loss更低的方向。问题是这个方向和旧任务低洼区域的边界常常是冲突的。换句话说梯度更新在改善新任务表现的同时会把参数推出旧任务的“安全区”导致旧任务的预测函数发生漂移。这个现象在专业文献里叫梯度干扰gradient interference和共享表征漂移shared representation drift。说得直白点新任务让小部分神经元拼命改变自己的响应模式但那些神经元同样参与旧任务的特征提取于是旧任务的关键特征被覆盖了。很多人会问是不是所有参数都会干扰旧任务答案是否定的。神经网络在训练过程中会形成一种“稀疏功能性”许多神经元/参数通道对某个特定任务的贡献接近于零移除它们也不影响输出。这意味着模型里确实存在一批“低重要性维度”可以在学习新任务时被安全调整也存在一批“高重要性维度”只要它们不动旧任务的核心行为就能保留。SDFT的核心工作就是把这两类维度准确地区分开。2.2 重要性度量怎么知道哪些维度不能动识别高重要性维度最常用的度量之一是Fisher信息矩阵的对角线近似。简单来说Fisher信息衡量的是某个参数发生微小变化时模型在旧任务上的损失会变化多少。如果损失变化剧烈说明该参数对旧任务极其关键。计算方式也不复杂在旧任务代表性数据上计算每个参数梯度的平方再对多个样本取平均F_i ≈ (1/N) Σ (∂L/∂θ_i)^2这里的要点是用“旧任务数据”或“旧任务的锚点数据”。为什么要用旧数据因为只有在旧任务分布下计算的梯度才能反映参数对旧任务损失的敏感度。如果你拿新任务数据算重要性那得到的是新任务的重要性方向就反了。还有一种常见代理指标是敏感度估计固定模型后对参数加一个微小扰动观察输出或loss的变化幅度。这个方法虽然直观但计算量比Fisher信息更大所以实际实验里大家还是偏好梯度平方估计。需要注意重要性度量对batch size很敏感。旧任务数据极少时梯度噪声会非常大算出来的importance可能抖得厉害。我在复现时通常会把旧任务数据进行多次随机采样累计足够多的梯度后再开平方平均同时加一个很小的平滑项避免个别批次主导结果。另外如果因为隐私原因完全没有旧任务数据也有补救办法用模型自身生成一批“伪锚点样本”再把模型在这些伪样本上的梯度近似为旧任务重要性。这个思路在历史上不少蒸馏方法里出现过效果通常比真实旧数据差一点但在很多场景下依然可用。2.3 冻结“高重要性维度”背后的启发一旦拿到重要性分数SDFT的冻结逻辑其实出奇地简单训练新任务前把所有参数维度按重要性排序选出重要性最高的那一批维度把它们锁死只允许剩下的一小部分维度参与梯度更新。为什么锁死高重要性维度就能防遗忘因为梯度的作用路径被切断了。新任务的反向传播哪怕想修改那些关键维度梯度也会被掩码强制置零。于是旧任务最核心的映射关系不会发生改变旧能力自然就被保留下来。那新任务怎么办它只能依托那些“低重要性维度”来拟合。听起来好像很受限但实验结果往往出人意料地好。原因是模型在高维参数空间里存在大量冗余新任务并不需要所有维度同时调整只要有一组“低干扰维度”能够被激活旧知识就能稳定保留而新知识则以一种尽量绕开旧知识核心的方式被编码进模型。我习惯用一个交通比喻旧任务的能力是一条繁忙的主干道全量微调相当于把所有路口都改造一遍新任务一接入老交通就瘫痪。SDFT则相当于保留主干道原样只把一个偏僻岔路拓宽作为新任务通道。大部分业务场景模型的表达能力足够宽裕完全可以给新任务单独开一条支路。2.4 与LoRA、全量微调的本质差异很多人会把SDFT和LoRA搞混这里我用一张表把主流微调方案的区别讲清楚。对比维度全量微调LoRASDFT更新参数范围全部参数旁路低秩矩阵原始参数中的稀疏维度原始权重是否需要变动会变化基本不变部分维度变化旧任务保持能力差中等偏上较好显存/优化器开销高低低实现复杂度低中等中等偏高最适合的场景领域从零适配单任务参数高效调优顺序多任务叠加LoRA的哲学是“不碰原始权重训练一个低秩旁路”它更适合单任务高效微调但如果要做几十个任务的持续叠加每个任务都挂一个LoRA最终还是要靠路由系统去切换。SDFT的哲学是“原始权重可以用但用得很克制”它直接在原始参数空间里选定一个“安全子集”更适合任务间需要共享底层特征的持续学习。当然SDFT和LoRA并不互斥。实际工程里完全可以做一个进阶版先用SDFT选出一批低重要性维度再在这些维度上套LoRA低秩更新。这样既能享受LoRA的参数高效特性又能通过稀疏掩码避开旧任务关键区域。我第一次试这个组合时发现收敛速度和保持率都有明显提升。3. SDFT完整实现路径从重要性排序到稀疏冻结微调3.1 整体流程六步走纸上谈兵没意思我直接讲我复现时采用的流程。整个SDFT训练可以拆成六步每一步都有值得注意的细节。第一步加载预训练基座并冻结全部参数。注意这里的“冻结全部参数”是初态后面会用掩码局部解冻不是一直锁死。基座模型质量对结果影响很大如果基座本身在旧任务上能力就很弱SDFT也只是把烂结果冻结住了并不会让它变好。第二步准备旧任务代表性数据。不需要很大规模每个任务准备200到1000条有代表性的样本通常就够用。数据要尽量覆盖旧任务的不同类别和难度区间否则重要性估计会偏向某些子类。第三步计算重要性并生成掩码。这一步是最核心的。我在第2节说过Fisher近似它需要前向、反向跑多轮旧任务数据拿到每个候选维度的梯度平方均值然后做归一化。接着根据设定的稀疏度比例sparsity ratio计算阈值重要性分数高于阈值的维度进入冻结集合低于阈值的维度进入可更新集合。第四步构造只含选中参数的优化器。很多人会在这里偷懒直接构造包含全部参数的优化器然后靠梯度mask置零。这样虽然也能跑但优化器仍然会为所有参数维护momentum和Adam状态显存省不下来而且容易踩到状态不一致的坑。正确做法是从param_group里过滤出mask值为True的参数让优化器只看到真正在更新的参数。第五步用新任务数据训练若干epoch。训练过程基本和普通微调一致但每步backward之后可以再做一次mask强制置零防止任何意外梯度泄漏到冻结维度。第六步评估新任务和旧任务的综合表现。这一步千万不能只测新任务loss否则你完全不知道旧任务已经被破坏成什么样。我会周期性跑一遍旧任务的一个小型探针集比如每200步看一下旧任务准确率或loss方便判断训练方向是否正确。3.2 关键参数与可参考伪代码我贴一份结构化的伪代码大家可以根据自己的模型框架改造。# SDFT 稀疏维度微调伪代码 def compute_importance(model, ref_loader): 在旧任务数据上计算参数重要性返回每个参数的 Importance 张量 importance {} for name, param in model.named_parameters(): param.requires_grad_(True) importance[name] 0.0 for batch in ref_loader: loss old_task_loss(model, batch) loss.backward() for name, param in model.named_parameters(): if param.grad is not None: importance[name] param.grad.detach().pow(2) model.zero_grad() for name in importance: importance[name] importance[name] / len(ref_loader) return importance def build_sparse_mask(importance, sparsity): 根据重要性分数和稀疏度比例生成冻结掩码 flat_imp torch.cat([imp.flatten() for imp in importance.values()]) threshold torch.quantile(flat_imp, sparsity) # sparsity0.9 表示冻结前90%高重要维度 mask {} for name, imp in importance.items(): mask[name] (imp threshold) # True 表示可更新 return mask def sdf_train(model, mask, new_loader, lr2e-5, epochs10): # 只把 mask 中 True 对应的参数加入优化器避免多余的优化器状态 trainable_params [] for name, param in model.named_parameters(): if name in mask and mask[name].any(): param.requires_grad_(True) trainable_params.append(param) else: param.requires_grad_(False) optimizer AdamW(trainable_params, lrlr) for epoch in range(epochs): for batch in new_loader: loss new_task_loss(model, batch) loss.backward() # 强制置零即使有梯度泄漏到冻结维度也直接清掉 for name, param in model.named_parameters(): if name in mask and not mask[name].all(): param.grad.mul_(mask[name].float()) optimizer.step() optimizer.zero_grad()需要强调一点sparsity参数的含义在不同实现里容易混淆。在我的示例里sparsity0.9表示冻结重要性排名前90%的维度只有10%的维度可更新。如果你想只更新5%就设成0.95想更新多一点就设成0.8。在自己的工程里务必先固定一个统一定义。3.3 掩码粒度与调度选择掩码粒度是影响效果和效率的又一个关键变量。按单权重做掩码理论上最灵活但掩码稀疏且不规则硬件利用率低存储也麻烦按输出维度/通道做掩码实现最简单和推理框架的算子对齐最自然但粒度偏粗糙可能把一些本来可以安全更新的权重也冻结了。我在实际实验里更倾向于按“输出神经元维度”分组。原因很简单推理框架大多按矩阵乘做算子切分维度粒度的mask可以直接对应权重矩阵的某些行或列不需要额外的自定义算子训练和部署都能沿用已有链路。如果你用的是Transformer结构可以把注意力层和多层感知机的每个输出神经元当成一个维度单位分别计算重要性。掩码一旦生成是否固定不动初期建议固定。固定掩码能保证训练过程稳定也便于复现。如果你要处理成百上千个增量任务也可以做“掩码演化”每学完一个任务重新跑一次重要性估计把旧任务高重要性维度的并集作为下一轮的冻结集合。这个做法的好处是任务之间不容易互相侵蚀代价是每轮都要额外算一次importance训练总时长会显著增加。4. 效果验证与应用场景SDFT在真实业务里能干什么4.1 在持续学习任务上的表现参考我不替官方论文站台只说我个人在类似增量学习基准上复现的体感。在某个开源增量学习场景里模型按顺序学习6到10个不同的分类或生成任务用全量微调折腾到一半旧任务的平均保持率大概只剩70%上下个别任务甚至直接崩到不可用。而用SDFT把稀疏度设在0.9到0.95之间旧任务的平均保持率能做到95%以上多个任务算下来最差的那一个也不至于跌破90%。代价当然也有。新任务的学习能力会被压缩尤其当可更新维度占比只有1%时新任务通常只能达到全量微调表现的85%到90%。但很多业务场景这个trade-off完全可接受旧能力稳定比新能力边际提升更值钱尤其对线上Agent来说回退就意味着影响用户体验。需要提醒的是保持率这个指标比绝对准确率更适合衡量持续学习。只要旧任务指标不下滑新任务哪怕只能做到“及格线”也可以靠后续迭代继续增强。如果保持率漂亮而新任务一塌糊涂那说明你冻结太多该调大可更新维度如果新任务很好但旧任务掉得厉害说明掩码选得不准或者稀疏度太低要回头检查重要性度量。4.2 最适合落地的三类场景第一类是多能力Agent的持续扩展。Agent的特点是一个入口、多个技能而且技能列表还会不断增长。SDFT可以让每个新技能只修改一小块参数旧技能模块完全不受影响训练数据和评估范围都大幅收敛。第二类是隐私与合规受限的场景。有些业务不允许长期保留用户历史数据全量微调一旦训练完旧数据往往就删除或失效力了。SDFT只需要旧任务数据的少量代表性样本用于计算重要性甚至在极端情况下可以用伪样本替代。这对数据治理比较严格的项目很友好。第三类是端侧和边缘设备热更新。SDFT的参数增量非常小只有几个MB甚至更小适合通过升级包下发到端上。我设想过一个场景端侧设备第一次下发基础模型之后每个月只下发一个技能对应的“稀疏参数增量”在同一份底模上不断叠加能力设备端的存储和计算压力都远低于全量模型版本。4.3 不适合SDFT的情况SDFT不是万能的。如果两个任务在语义上高度纠缠比如让模型在一段文本里同时输出“摘要”和“情感标签”两个任务共享了绝大多数的核心语义维度那“划出安全子集”这件事本身就很难成立。冻结高重要性维度会导致新任务根本没有表达空间不冻结又会破坏旧任务。另外如果基座模型本身的容量和能力不够SDFT只是把“能力不足”这件事在时间维度上拉长了。它保护旧技能但不会让新技能凭空突破模型上限。碰到这种硬约束更合理的方案是给新任务单独扩容一层可插拔模块或者做模型路由。多类别标签高度冲突的场景我也建议避免SDFT。比如一个任务把某文本判为“正面”另一个任务要求判为“负面”这种目标函数直接冲突的情况再聪明的掩码也救不回来因为它需要在同一批共享维度上同时向左和向右。5. 实战中的常见问题与排查经验5.1 稀疏度到底选多少这个是我被问得最多的问题。我的参考经验是先设一个比较激进的稀疏度比如0.95看新任务能不能稳步收敛。如果新任务loss下降很慢或者训练结束后新任务指标远低于预期就适当放宽到0.9、0.8。如果旧任务开始掉点说明0.8也不行要退回0.9以上。有一个粗略的直觉公式可更新维度比例大约可以设置成1除以任务数的量级再乘以一个调整系数。例如十个任务叠加每个任务分到约1%到3%的更新维度既能保证新任务有空间也不至于和旧任务打架。这只是个起点具体还要按数据量、模型大小、任务难度动态调整。务必养成记录试点的习惯把“稀疏度、可更新维度数量、旧任务保持率、新任务指标”列成一张表。我见过太多人调参调到后面忘了自己试过什么最后只能重跑。这个表格成本极低价值极高。5.2 重要性度量不稳定的处理重要性度量不稳定常见原因是旧任务样本太少或batch太小。某一批样本的梯度可能集中指向几个无关维度导致那部分维度被错误标成高重要性。我个人常用的解法有三个。一是多次采样取均值。把旧任务数据反复采样十几轮甚至几十轮让每个维度都见过足够多的梯度信号方差自然下降。二是对梯度做EMA平滑。计算importance时维护一个指数滑动平均比直接平均更稳健。三是做阈值分析。画出所有维度重要性分数的直方图看是否存在明显断层。如果分数分布很连续说明特征的稀疏性没那么理想阈值怎么选都会有些误伤这种情况要降低对SDFT的期望。还有一种容易忽略的情况旧任务数据分布与真实线上分布不一致。如果旧任务数据已经过时算出来的高重要性维度根本不是线上真正依赖的那些维度那SDFT的保护对象从根上就错了。建议在计算重要性前先对旧任务数据做一轮简单的分布校验。5.3 稀疏微调收敛太慢或效果不达预期SDFT更新维度少收敛慢是正常的。我遇到过同样数据量下SDFT需要比全量微调多2到3倍的训练轮数才能达到接近的效果。这不一定是方法不行而是模型的“可表达子空间”变小了。改进手段有三个。第一个是适当调大学习率。可学习维度数量少维度之间的梯度竞争小学习率可以比全量微调高我个人常用2e-5甚至5e-5起步。第二个是局部解冻策略比如保持掩码不变但额外解冻最后一层全连接或输出头。输出头本来就是任务专用层让它参与新任务拟合不会太干扰旧任务中间特征却能显著加快新任务收敛。第三个是增加数据效率对新任务做更多增强或重复采样不是简单地堆轮数。如果以上都试过还是不行建议先用小模型把pipeline跑通。小模型参数少掩码和训练迭代都很快可以让你快速验证“稀疏冻结方向有没有问题”再迁移到大模型上。这个上叠技巧能省不少时间。5.4 BatchNorm和LayerNorm统计量被污染的坑这条比较隐蔽但踩中的人不少。如果你的模型里含有BatchNormSDFT冻结了参数权重却没有冻结BN的running_mean和running_var新任务数据会把这些统计量一点点带偏。等新任务训练完你会发现旧任务推理结果崩了但参数层面明明没改过那几个关键维度。这不是掩码选错了而是BN统计量被污染了。解法很直接微调期间把BN统计量完全冻结或者干脆把BN层替换成LayerNorm/GroupNorm。对Transformer结构来说LayerNorm通常不在此列相对安全。但如果你在微调时也顺带更新了LN的γ和β而这些参数被掩码标记为可更新那还是有可能对新旧任务产生干扰。建议在SDFT的默认设置里把归一化层的可学习参数也加入冻结集合只更新真正的权重矩阵维度。5.5 常见问题速查表现象可能原因排查方向解决建议旧任务明显掉点稀疏度过低/掩码选错检查冻结维度比例提高稀疏度到0.9以上并重算importance新任务几乎学不会冻结太多/重要性误判查看新任务loss曲线调低稀疏度解冻输出头训练显存没省多少优化器包含全部参数检查param_group只把mask对应的参数加入优化器重要性分数抖动旧任务样本太少/batch太小可视化importance分布多次采样、EMA平滑旧任务推理结果崩BN统计量被污染检查模型中BN层冻结running stats或换成LN多任务交替训练后全面退化掩码没有跨任务合并检查各任务mask重叠用历史任务importance求并集6. 我的复现心得掩码管理、效果评估与扩展玩法6.1 我复现时踩过的三个坑第一个坑是掩码和优化器状态不匹配。最初我图省事把mask挂在模型所有参数上优化器却仍然拿全部参数创建AdamW状态。结果显存只省了一点点而且因为部分参数的momentum累积了历史梯度但实际在多数step里又被置零状态出现严重不一致后期训练表现特别不稳定。后来我把trainable参数单独过滤出来只给它们建优化器问题才解决。这一步细节直接影响稳定性和显存收益别偷懒。第二个坑是旧任务评估频率太低。我在做增量学习时习惯性每500步只看新任务loss等到一个epoch跑完才看一次旧任务指标结果发现模型早在第200步的时候旧任务就开始滑了白白浪费了之后的训练时间和算力。后来我在训练循环里加了一个探针评估机制每200步在固定的小型旧任务验证集上跑一次指标把这个值和训练loss画在同一条曲线里观察。一旦发现旧任务指标低于某个安全线马上停止训练或降低密度非常管用。第三个坑是重要性计算耗时太夸张。SDFT需要在训练前对旧任务数据做一轮或多轮完整backward在模型很大的时候这个预热阶段可能比正式微调还慢。我最初在计算importance时直接遍历全部参数、每个batch都backward一次结果一个中等模型就跑了将近一小时。后来我做了两件事一是只对需要参与重要性判断的层做backward忽略输出头等只影响新任务的层二是把多个batch的梯度累加后再做平方平均减少完整backward的轮数。这样重要性计算时间缩短到原来的一半以下。我还有一个额外建议mask一定要和模型权重一起落盘保存。线上环境如果要回滚某个技能只需要卸载对应的参数增量并恢复mask文件。如果没有保存mask你根本不知道哪些维度动过后续回滚和排查都非常麻烦。6.2 后续可以怎么扩展SDFT做完基本版本之后值得往里加的东西还挺多。我个人最看好的方向是“动态掩码”。第一版固定掩码通常保守比如只冻结了旧任务的极少数关键维度。学完新任务后我们可以重算一次importance看看新任务有没有覆盖到部分可更新维度再把新旧任务的冻结集合求一个并集作为下一个任务的冻结基础。另一个方向是和LoRA深度结合。我之前提到可以先选出一批低重要性维度再在这些维度上做LoRA低秩旁路。如果通盘设计得当最终每个技能对应一份“掩码 低秩增量”模型既保持稀疏性又比纯SDFT有更强的表达能力。我在这套组合上做过初步实验旧任务保持率没有明显下降但新任务指标提升了一截。更进阶的玩法是给不同任务分配互不重叠的子空间。设计一个子空间分配表任务A只允许更新维度1到10任务B只允许更新维度11到20。这样多个任务同时在线也不冲突每个任务的参数增量都可以插拔式卸载。相当于把模型变成一个可以无限叠加技能的资源池子。最后分享一个我做持续升级Agent时用得很顺手的小技巧每个新技能上线前先计算它在旧任务探针集上的“扰动分数”。如果扰动分数超过阈值就说明这个技能和旧任务共享了太多关键维度要么改用路由方案要么把新技能的具体定义再拆细一点再训练。这个方法不复杂但能在上线前就拦住大多数灾难性遗忘事故比事后补救省力得多。
