从多项式表示出发，量化神经网络“简单性”的ED方法解析

ICML 2026 的论文标题《ED量化并优化神经网络的简单性多项式表示》指向一个经常被忽视的问题神经网络的表达能力不能只看参数量真实复杂度隐藏在激活函数、权重分布和输入输出映射关系中。ED 方法的核心是借助多项式表示建立输入到输出的低维近似再从近似系数中定义一个简单性指标最后把指标变成可微正则项直接参与训练。这篇文章围绕这条技术主线展开先解释为什么需要量化简单性再给出一个基于 PyTorch 的最小可实现案例之后补充运行验证、常见坑和生产落地建议。适合正在做模型可解释性、正则化、模型压缩或者论文复现的读者。1. 为什么神经网络需要单独量化“简单性”1.1 参数量与函数复杂度之间存在偏差一个直接的直觉是参数少的网络更简单参数多的网络更复杂。实际并不总是这样。两个参数量完全相同的 MLP一个权重分布接近退化矩阵实际只使用了少数几个隐藏神经元另一个权重均匀非零每个神经元都对输出有贡献。前者在参数数量上并没有优势但表达出的函数可能更简单。这种偏差带来的直接问题是只看参数量无法判断模型是否容易被扰动、是否容易解释、是否适合部署到资源受限环境。ED 方法把“简单性”从“参数数量”中剥离出来回到函数本身的表达方式上。这样做的价值在于简单性和泛化能力、可解释性、剪枝可行性直接相关而不只是一个理论概念。另一个常见场景是模型压缩。用知识蒸馏或剪枝压缩模型时经常遇到“压缩后精度没有下降但部署后的行为变得不可解释”的情况。原因在于压缩只减少了存储和计算量并没有改变网络内部的复杂耦合关系。如果从一开始就量化网络映射的复杂度压缩的目标会更清晰。1.2 简单性为什么与泛化、可解释性绑定简单性之所以重要是因为它和多个工程指标绑定。一个使用大量高次项去拟合数据的模型在训练集边界处往往会出现剧烈震荡一个只使用少数低次项的模型在同样误差范围内通常更平滑。平滑意味着对输入扰动更不敏感也就更容易在测试集上保持稳定。可解释性方面多项式表示有一个特殊优势多项式系数是人类可以直接阅读的。系数中的某项足够大说明输入和输出之间存在对应阶次的影响某项趋近于零说明这个阶次可以被忽略。如果把神经网络的输入输出关系投影到多项式基函数上得到的系数分布就是一张“函数复杂度体检报告”。所以 ED 方法不是追求“让模型变笨”而是希望在不显著损失拟合能力的前提下让模型用更少的表达资源完成任务。这一点与 L1 正则化、Dropout、权重衰减的思路不同后三者主要约束参数本身ED 约束的是函数表达空间中的有效维度。1.3 ED 要解决的三个具体问题把 ED 落地到工程时至少需要解决三个问题可计算简单性必须能在训练过程中实时计算不能依赖人工观察网络结构。可比较不同架构、不同初始化的模型必须能用同一个指标比较复杂度。可优化指标必须可微能够作为正则项参与反向传播在训练中持续降低。这正是“多项式表示”发挥作用的地方。无论网络内部结构如何最终都可以把输入输出关系映射到一组多项式基函数上然后从系数分布中计算出有效维度。有效维度越低函数表达越集中也就是越简单。2. ED 的核心机制多项式表示与简单性度量2.1 多项式表示如何近似神经网络神经网络可以被看作一个复杂的函数映射器。理论上只要基函数选择得当任何连续函数都可以用一组基函数的线性组合去近似。多项式基是最经典的基函数之一任何足够平滑的函数都可以在局部用 Taylor 展开的思想表示为f(x) ≈ w0 w1 * x w2 * x^2 ... wp * x^p对神经网络来说x 是输入f(x) 是网络输出。ED 方法不做全局等价转换而是用多项式基去近似网络在当前输入分布下的行为。这样得到的一组系数就构成了网络局部行为的紧凑描述。这里的“多项式表示”不是把整个网络替换成多项式而是额外建立一个多项式投影。工程上可以有两种落地方式端到端可微方式把网络输出层的一部分设计成多项式特征层训练时直接优化系数分布。拟合后评估方式训练完成后在网络输入上采样一批数据用多项式回归拟合网络输出再计算系数分布。两种方式各有作用。前者适合把 ED 作为正则项后者适合对已有模型做复杂度评估。论文的完整版本通常两者会结合但理解核心机制可以从第一种出发。2.2 从系数分布定义 ED 指标拿到多项式系数后如何定义“简单性”一个自然的方法是看系数的集中程度。假设求出的多项式系数是w [w0, w1, w2, w3, w4]如果只有 w0 和 w1 明显非零其余接近零说明网络在这个输入范围内基本是线性行为函数表达简单。如果所有系数都显著非零说明网络使用了各个阶次的信息函数表达复杂。把系数做绝对值归一化得到一组概率分布p_i |w_i| / sum(|w_j|)然后计算这组分布的熵H - sum(p_i * log(p_i))熵越小系数越集中熵越大系数越分散。为了更直观可以把它转换成有效维度ED exp(H)有效维度的最小值是 1表示所有表达压力集中在一个基函数上最大值是多项式特征总数表示每个基函数都被均匀使用。ED 越小函数越简单。这个指标既可以在不同模型之间比较也可以作为训练过程中的优化目标。注意ED 在不同论文中可能有不同全称常见解读是 Effective Dimension也可能被解释为 Entropic Diversity。无论采用哪种定义核心都是通过系数集中度刻画函数复杂度。落地前需要以论文正式版本的公式为准。2.3 为什么 ED 可以参与梯度优化ED 由多项式系数计算得到而多项式系数来自网络权重因此 ED 对网络权重是可微的。把它加入 loss 后梯度会同时优化拟合误差和表达复杂度loss MSE alpha * EDalpha 控制简单性在总目标中的权重。alpha 越大模型越倾向使用更少的多项式基函数alpha 越小模型越优先拟合训练数据。这里有一个容易被忽略的细节直接最小化 ED 时网络可能通过把所有权重逼近零来让熵趋向均匀分布反而无法得到稀疏系数。因此实际实现中通常先对系数做绝对值归一化再加一个很小的 epsilon 防止 log(0)必要时配合 L1 正则让系数真正稀疏化。这个机制的另一种理解方式ED 正则等价于在函数空间上施加“表达预算”。网络可以随便设计内部结构但最终输入输出关系要尽量用少数多项式维度说清楚。3. 环境准备与最小实验框架3.1 依赖与版本建议本文的示例代码基于 PyTorch目标是 CPU 环境即可运行不需要 GPU。建议使用以下依赖版本依赖版本建议用途Python3.9 或更高运行环境PyTorch2.0 或更高张量计算与自动微分NumPy1.24 或更高数据处理Matplotlib3.7 或更高绘制训练曲线如果原始论文发布了官方仓库建议优先在官方仓库提供的虚拟环境中运行再回到这里理解每一步的作用。以下示例代码用于说明 ED 的核心流程实际项目要结合自己的包名、数据格式和版本调整。3.2 项目结构建议按下面的目录组织代码ed_demo/ ├── train_poly.py # 训练入口 ├── ed_utils.py # 多项式基和 ED 指标 ├── model.py # 模型定义 └── requirements.txt这个结构足够简单也能方便后面扩展成更完整的论文复现工程。3.3 构造合成回归数据为了快速验证 ED 的效果使用一个带噪声的 sin 函数作为目标import torch torch.manual_seed(42) x torch.linspace(-1, 1, 200).reshape(-1, 1) y torch.sin(3 * x) 0.02 * torch.randn_like(x) indices torch.randperm(x.shape[0]) train_idx, test_idx indices[:160], indices[160:] x_train, y_train x[train_idx], y[train_idx] x_test, y_test x[test_idx], y[test_idx]输入归一化到 [-1, 1] 不是可选项。多项式的高次幂对输入范围非常敏感如果输入范围是 [0, 1000]x 的 10 次方很容易超过浮点数表示范围。这也是后面排查 NaN 时的第一检查点。4. PyTorch 实现多项式基、ED 计算与正则训练4.1 多项式特征层先实现一个多项式特征构造函数。输入形状是(batch_size, in_features)输出是所有阶次的拼接结果import torch import torch.nn as nn def polynomial_basis(x, degree3): # x 形状: (B, D) parts [torch.ones_like(x[:, :1])] for d in range(1, degree 1): parts.append(torch.pow(x, d)) return torch.cat(parts, dim-1) # 形状: (B, 1 D * degree)这里用单项式基做演示工程上更推荐 Legendre 正交基。单项式基的优点是实现简单缺点是高阶项与低阶项之间高度相关容易造成数值不稳定。正交基虽然在代码上多几行但在输入范围较大或者阶数较高时稳定很多。4.2 ED 指标计算定义有效维度指标。输入是多项式系数层权重输出是一个标量 tensordef effective_dimension(weight, eps1e-8): w torch.abs(weight.squeeze()) total w.sum() eps p w / total entropy -(p * torch.log(p eps)).sum() return torch.exp(entropy)这里有几处设计意图先取绝对值再归一化避免正负系数相互抵消。加上eps是为了防止log(0)但eps不能太大否则会压低真实熵的区分度。使用torch.exp(entropy)把熵转换成可解释的有效维度。如果系数完全集中在一个维度上结果接近 1如果均匀分布在 N 个维度上结果接近 N。如果只需要做复杂度评估不需要反向传播也可以直接输出熵值。两种方式等价。4.3 完整模型与训练闭环这里使用最简单的方式模型本身就是一个多项式线性层。虽然这不是完整神经网络但足够演示 ED 的计算和梯度传递class PolyNet(nn.Module): def __init__(self, in_features1, degree3): super().__init__() self.degree degree self.poly_dim 1 in_features * degree self.linear nn.Linear(self.poly_dim, 1, biasFalse) def forward(self, x): phi polynomial_basis(x, self.degree) out self.linear(phi) return out, phi训练循环需要同时计算 MSE 和 EDdef train(model, x_train, y_train, epochs500, lr1e-2, alpha0.01): opt torch.optim.Adam(model.parameters(), lrlr) mse_loss nn.MSELoss() for epoch in range(epochs): model.train() opt.zero_grad() pred, phi model(x_train) loss_mse mse_loss(pred, y_train) ed effective_dimension(model.linear.weight) loss loss_mse alpha * ed loss.backward() opt.step() if (epoch 1) % 100 0: print( fepoch {epoch 1:3d} | fmse {loss_mse.item():.6f} | fed {ed.item():.4f} | floss {loss.item():.6f} )要同时跑一组基线对比。alpha 设为 0 时模型只优化 MSEalpha 设为 0.01 时模型额外优化简单性model_base PolyNet(in_features1, degree3) model_ed PolyNet(in_features1, degree3) train(model_base, x_train, y_train, alpha0.0) print(---) train(model_ed, x_train, y_train, alpha0.01)这里需要说明两点。第一由于这个演示模型本身只有一层多项式层ED 直接作用于唯一的权重层效果最明显。换成有多层网络的场景时可以把多项式特征层作为输出端的一部分或者对网络输出做局部拟合。第二训练时每次迭代都重新计算 ED这会增加少量计算开销但通常可以接受。4.4 关键参数含义与推荐范围参数含义示例值影响degree多项式最高阶数3越大表达能力越强但更容易过拟合alphaED 正则权重0.01越大模型越简单但可能欠拟合lr学习率1e-2影响收敛速度和稳定性epochs训练轮数500需要足够让 ED 正则生效alpha 的选择是 ED 方法里最影响结果的操作。alpha 太小简单性约束可以忽略alpha 太大模型会优先压低有效维度测试误差可能反而上升。推荐先在验证集上做一个 0、0.001、0.01、0.1、1 的稀疏网格搜索观察 MSE 和 ED 的平衡点。5. 运行验证看三条可量化证据5.1 训练曲线对比运行训练脚本后预期看到类似下面的输出epoch 100 | mse 0.130872 | ed 2.8431 | loss 0.159301 epoch 200 | mse 0.040251 | ed 2.1120 | loss 0.061371 epoch 300 | mse 0.026980 | ed 1.9033 | loss 0.046013具体数值会随随机种子变化但趋势应该是稳定的ED 从初始接近均匀分布的值逐渐下降到较低值MSE 同步下降。如果 ED 不下降通常说明 alpha 设置过小或者系数归一化逻辑写错了。5.2 多项式系数稀疏度训练完成后直接检查模型权重for name, param in model_ed.named_parameters(): print(name, param.data)可以看到系数分布。以 degree3、输入维度为 1 为例模型有 4 个系数。alpha0 的模型系数通常都比较分散每个项都被使用alpha0.01 的模型系数会更集中在一次项或二次项附近高次项可能接近零。不要只看系数是否非零更合理的检查是打印归一化比例w torch.abs(model_ed.linear.weight.squeeze()).detach() p w / w.sum() print(p.numpy())如果某个维度的比例超过 0.7说明模型确实在用少数基函数表达函数ED 正则生效了。5.3 测试集误差与有效维度训练完成后在测试集上评估model_ed.eval() with torch.no_grad(): pred_test, _ model_ed(x_test) test_mse nn.MSELoss()(pred_test, y_test).item() ed_final effective_dimension(model_ed.linear.weight).item() print(ftest mse: {test_mse:.6f}) print(fed: {ed_final:.4f})做对比实验时应该同时记录三组数据baseline 的测试 MSE、ED 的测试 MSE、两者的最终有效维度。常见结果是 alpha0.01 的模型测试误差与 baseline 相近或略低但 ED 明显更小。如果测试误差明显变差说明 alpha 过大需要调小。6. 常见问题排查6.1 训练早期出现 NaN现象可能原因检查方式处理建议loss 或 ED 出现 NaN输入范围过大导致高次幂溢出打印 x 的 min/max归一化到 [-1, 1]改用 Legendre 基loss 出现 NaN 但 ED 正常学习率过大导致梯度爆炸打印每层梯度范数降低 lr加梯度裁剪多项式回归解报 Singular特征矩阵不可逆检查特征维度是否重复增加 ridge 系数单项式基最容易出的问题就是高次幂。x0.5 时x 的 10 次方还能接受x10 时x 的 10 次方已经超出常规浮点精度。先把输入归一化范围定下来再选择多项式阶数。6.2 ED 保持常数不下降如果训练过程中 ED 一直维持在高位可以从三个方向排查alpha 是否太小MSE 梯度完全主导了优化方向。权重是否在零附近导致归一化后接近均匀分布。是否需要先预训练一段时间再开启 ED 正则。这里的深层原因是系数越接近零绝对值归一化后各个维度的比例差别越小熵越接近最大值梯度也越微弱。这不是 ED 失效而是归一化方式带来的优化困难。解决办法是配合 L1 正则使用或者启用 ED 前先跑几百轮普通训练。6.3 高阶多项式导致严重过拟合把 degree 从 3 调到 8 后测试误差可能不降反升。原因是多项式阶数越高模型拟合边界的灵活性越强也越容易把噪声特征当成真实模式。建议不要盲目提高 degree。先用 degree3 跑通再逐步增加并在验证集上观察误差。如果加入 ED 正则后高阶系数明显下降说明 ED 正在发挥作用如果高阶系数仍然很大说明 alpha 不够。6.4 复现结果与论文不一致论文中的网络结构、多项式基函数、归一化方式、alpha 调度策略都会影响结果。单项式基和正交基在数值表现上差异很大单纯对比 loss 曲线没有意义。复现时优先确认论文里 ED 的精确定义。若使用 Effective Dimension需要确认是 exp(entropy) 还是别的归一化版本若使用 Entropic Diversity计算公式可能完全不同。先把指标定义对齐再谈结果对比。7. 从复现到生产建议与扩展7.1 论文复现与工程落地的差异论文复现可以只关心指标趋势工程落地则需要考虑更多约束。ED 作为复杂度指标进入生产环境前需要做几件事数据归一化策略要固化不能训练时和预测时不一致。多项式最高阶数要设上限否则线上数据分布一旦偏移高次项会迅速放大异常。ED 指标需要记录到监控系统里与 MSE 一起观察。如果模型上线后 ED 突然升高说明输入分布漂移导致网络使用了更多表达维度。模型回滚判断不能只看精度还要看 ED。一个 ED 显著升高但精度变化不大的模型更可能是记住噪声而不是学到规律。7.2 可复用清单落地 ED 相关功能时可以复用以下检查清单输入数据是否已经归一化到合理范围多项式基是否选择了数值稳定的版本ED 定义是否与目标论文一致是 exp(entropy) 还是原始熵是否包含 alpha0 的基线对比是否在训练中同时记录 MSE 和 ED是否在测试集上验证而不是只观察训练 loss多项式特征是否做了缓存避免重复计算是否设置多项式阶数上限是否在监控中加入了 ED 指标7.3 扩展方向ED 方法的思路可以延伸到多个方向。第一个方向是模型选择训练多个候选模型时除了比较测试精度还可以比较 ED选择精度相近但表达更简单的模型。第二个方向是知识蒸馏教师模型的 ED 可以作为蒸馏目标的一部分指导学生模型不仅学输出还学输出函数的复杂度结构。第三个方向是局部可解释性把全局多项式投影改成局部多项式拟合可以对输入区间分别评估复杂度定位模型在哪个区域行为最不稳定。对刚接触这个方向的新手建议先把这个最小多项式层跑通再把多项式特征层接到一个两层的 MLP 后面观察 ED 对隐藏层的影响。对比不同 alpha 下的系数分布比直接读论文更容易理解“用多项式表示量化简单性”到底解决什么问题。