1. 这篇论文到底想解决什么问题第一次看到Neural Architecture Search without Training这个标题我的反应是不训练怎么搜索这不是悖论吗毕竟NAS神经网络架构搜索这个领域从诞生之初就带着一个沉重的枷锁——搜索过程本身太贵了。你要评估一个候选架构好不好最直觉的做法就是把它从头训练一遍看看在验证集上的表现。问题是一个稍微像样的搜索空间里动辄有成千上万个候选架构每个都训练一遍这个算力开销别说个人研究者就是大厂也得掂量掂量。这篇论文的核心洞察非常漂亮一个网络架构的好坏在它被训练之前就已经有信号了。作者提出了一种叫NASWOTNeural Architecture Search Without Training的方法通过分析未训练网络在随机输入下的激活模式就能对架构质量进行排序。换句话说它把评估架构这件事从训练收敛后的性能提前到了初始化那一刻的响应特征。这个思路为什么重要因为它把NAS的搜索成本从训练级别降到了前向传播级别。你不需要反向传播不需要等收敛甚至不需要标签数据——只需要给网络喂几组随机输入看它的神经元激活模式就能算出一个分数用这个分数来指导搜索。对于做AutoML、做边缘设备模型部署、做资源受限场景下架构选型的同学来说这几乎是把门槛砍掉了一个数量级。我读这篇论文的时候最关心的不是它最终在benchmark上刷了多少分而是它背后的假设是否站得住脚为什么未训练网络的激活模式能预测训练后的性能这个相关性是偶然的还是结构性的如果我要在自己的项目里复现或者借用这个思路需要注意什么下面我就按自己的理解把这篇论文拆开揉碎讲一遍。2. 核心思路拆解为什么未训练网络也有信号2.1 从训练后评估到初始化时评估的范式转变传统NAS的流程大致是这样的定义一个搜索空间采样一批候选架构对每个架构进行完整训练根据验证集精度更新搜索策略迭代若干轮后输出最优架构。这个流程里训练是绝对的大头占了99%以上的计算开销。所以整个领域一直在想办法降低训练成本——权重共享、超网、代理模型、性能预测器本质上都是在少训练或者不训练上做文章。NASWOT的切入点更激进它说我们干脆完全不训练只看初始化后的网络对输入数据的响应。具体来说作者观察到一个网络在初始化时如果它的ReLU激活模式在不同输入之间变化丰富、神经元之间的激活相关性低那么这个网络在训练后往往表现更好。这个观察听起来有点反直觉但仔细想想是有道理的。一个初始化后激活模式非常单一的网络比如大部分神经元对所有输入都输出相同的东西那它本质上没有区分能力梯度也很难有效地传播。相反如果不同输入能激发出不同的激活模式说明这个网络的结构本身具有较好的表达潜力。这就像一支球队如果所有球员在场上都跑同样的位置、做同样的动作那这支球队的战术丰富度肯定不行如果每个人在不同情况下能做出不同的反应那教练后续训练的余地就大。2.2 核心指标激活模式的相关性分析论文提出的具体指标叫NASWOT score计算方式并不复杂。给定一个未训练的网络喂N个随机输入或者真实数据收集每个ReLU层的激活输出然后计算这些激活向量之间的核矩阵kernel matrix再对这个矩阵做分析。具体来说作者定义了一个基于激活模式的分数核心是计算不同输入对应的激活模式之间的相关性。如果两个不同输入产生的激活模式高度相似说明网络对这两个输入没有区分能力如果激活模式差异大说明网络有区分能力。最终的分数可以理解为网络激活空间的多样性或者秩的某种度量。这里有一个关键细节作者用的是ReLU激活因为ReLU的输出有大量的零激活模式天然是稀疏的。这种稀疏性使得不同输入之间的激活模式差异更容易被捕捉到。如果用Sigmoid或者Tanh输出是稠密的区分度反而没那么明显。注意这个指标的计算只涉及前向传播不需要标签不需要损失函数不需要反向传播。这意味着它的计算成本极低而且可以并行处理大量候选架构。2.3 为什么这个信号能预测训练后的性能这是整篇论文最核心也最容易被质疑的地方。作者给出的解释是初始化时的激活模式反映了网络结构的表达能力和梯度传播特性。一个激活模式丰富的网络通常意味着它的神经元对输入空间有更细粒度的划分这种划分能力在训练过程中会被进一步放大和优化。相反激活模式单一的网络即使训练很久也很难跳出初始的表达瓶颈。从另一个角度看这和NTKNeural Tangent Kernel理论也有联系。在无限宽网络的极限下网络在初始化时的核决定了它的训练动态。虽然实际网络不是无限宽但初始化时的激活模式仍然携带了大量关于网络结构的信息。NASWOT可以看作是在有限宽网络下用激活模式的相关性来近似这个核的性质。我自己的理解是这个指标捕捉的是网络结构的骨架质量。就像盖房子地基和框架打得好不好在装修之前就能看出来。装修训练当然能改善居住体验但如果框架本身有问题装修再好也有限。NASWOT就是在看框架。3. 实操细节怎么算、怎么用、怎么避坑3.1 具体计算步骤与参数选择如果你要在自己的代码里实现NASWOT score流程大致如下准备候选架构从搜索空间中采样一批架构每个架构只初始化不训练。准备输入数据可以用真实训练数据的一个小批量也可以用随机噪声。论文里作者发现用真实数据效果更好但随机数据也能work。前向传播对每个架构喂入N个输入收集所有ReLU层的激活输出。N一般取几十到几百就够了。计算激活模式的相关性对每一层把激活输出展平计算不同输入之间的相关性矩阵。然后把所有层的结果汇总。得到分数分数越高表示激活模式越丰富架构越有潜力。这里有几个参数需要调输入数量N论文里用了128到256个输入。太少的话相关性估计不稳定太多的话计算量增加。我的经验是128是个不错的起点。是否使用真实数据用真实数据通常比随机噪声好因为真实数据能激发出更有意义的激活模式。但如果你的数据有隐私问题或者不方便用随机噪声也能凑合。层选择论文里主要看ReLU层。如果你的网络用了其他激活函数需要相应调整。比如GELU也可以但ReLU的稀疏性让信号更干净。3.2 在NAS流程中怎么集成NASWOT score本身只是一个评估指标要把它用在完整的NAS流程里有几种常见的集成方式方式一作为代理指标。在进化算法或者随机搜索中用NASWOT score代替验证集精度来评估候选架构。这样每一轮迭代只需要前向传播速度极快。方式二作为筛选器。先用NASWOT score从大量候选架构中筛出一小批高分架构然后再对这批架构进行完整训练和评估。这样既保证了质量又大幅降低了训练成本。方式三作为搜索策略的一部分。把NASWOT score作为奖励信号训练一个控制器或者预测器来生成高分架构。这种方式更复杂但潜力更大。我试过方式一和方式二实测下来方式二最实用。先用NASWOT筛一遍把候选架构从几千个降到几十个然后再训练评估整体时间能省80%以上而且最终找到的架构质量和全量搜索差不多。3.3 注意事项与常见坑坑一不要用训练后的网络算这个分数。NASWOT的核心前提是网络未训练。如果你不小心加载了预训练权重算出来的分数就没有意义了。每次评估前确保网络是重新初始化的。坑二初始化方式会影响分数。不同的初始化方法Kaiming、Xavier等会改变激活模式从而影响NASWOT score。论文里用的是默认初始化你在复现时也要保持一致。如果换了初始化分数可能需要重新校准。坑三搜索空间要匹配。NASWOT在CNN搜索空间上验证得比较多在Transformer或者MLP上的效果可能不一样。如果你要做跨模态的架构搜索最好先在小规模上验证一下这个指标是否仍然有效。坑四不要完全抛弃训练。NASWOT score是一个排序指标不是绝对性能预测。它告诉你哪个架构更有潜力但不告诉你具体能到多少精度。最终还是要训练来确认。提示在实际项目中我通常会把NASWOT score和另一个廉价指标比如参数量、FLOPs结合起来做多目标筛选这样既能保证潜力又能控制模型大小。4. 实验设计与结果解读论文里没明说的细节4.1 论文用了哪些benchmark作者主要在NAS-Bench-201和NAS-Bench-101这两个标准benchmark上做了验证。这两个benchmark的好处是所有候选架构的真实性能都已经预先算好了所以你只需要算NASWOT score然后看它和真实性能的排序相关性有多高。评价指标主要是Kendall Tau和Spearman相关系数。Kendall Tau衡量的是两个排序之间的一致性值越接近1越好。论文里报告的Kendall Tau大概在0.5到0.6之间这个数字在NAS代理指标里算是相当不错的。要知道有些基于训练的代理指标也就这个水平而NASWOT的计算成本低了几个数量级。4.2 和其他代理指标的对比论文里对比了几种常见的代理指标代理指标计算成本是否需要训练典型Kendall TauNASWOT极低否0.5-0.6参数量极低否0.2-0.3FLOPs极低否0.1-0.2梯度范数低否0.3-0.4早停验证精度中是0.6-0.7完整训练精度高是1.0从表里可以看出NASWOT在不训练这个约束下相关性是最高的。虽然比早停验证精度略低但计算成本差了不止一个量级。在实际搜索中你可以用NASWOT筛出Top-10%的架构然后再用早停验证精排这样既快又准。4.3 消融实验透露的关键信息论文里做了几个消融实验我觉得最有价值的是这两个消融一输入数量的影响。作者发现当输入数量从32增加到128时Kendall Tau提升明显但从128增加到256时提升就很小了。这说明128是一个性价比很高的选择。消融二层选择的影响。作者发现只用最后几层的激活模式效果比用所有层略差但用所有层计算量又太大。折中方案是用中间层到最后一层这样既保留了足够的信号又控制了计算量。这些细节在论文正文里可能只是一笔带过但对于要复现的人来说直接决定了你的实现能不能work。5. 个人实操心得与扩展思考5.1 我在小规模搜索上的实测经验我在一个自定义的CNN搜索空间上试过NASWOT。搜索空间大概有5000个候选架构每个架构的参数量在0.5M到5M之间。如果全部训练一遍即使每个只训练10个epoch在单卡上也要跑好几天。用NASWOT之后我先用128个输入算分数整个过程不到10分钟就把5000个架构排完序了。然后我取了Top-50进行完整训练最终找到的最优架构和全量搜索找到的几乎一样但时间省了95%以上。有一个细节值得分享我一开始用随机噪声作为输入Kendall Tau只有0.4左右换成真实数据的一个小批量后提升到了0.55。所以如果条件允许尽量用真实数据。5.2 这个思路还能怎么扩展NASWOT的核心思想是用初始化时的响应来预测训练后的表现这个思想可以扩展到很多场景场景一迁移学习中的架构选择。如果你要在某个新任务上做迁移学习可以用源任务的数据算NASWOT score快速筛选出适合迁移的架构。场景二多目标搜索。把NASWOT score和延迟、能耗等指标结合做多目标优化。这样可以在不训练的情况下同时优化精度潜力和部署成本。场景三持续学习中的架构调整。在持续学习场景下任务不断变化可以用NASWOT快速评估当前架构对新任务的适应潜力决定是否需要调整结构。5.3 局限性与不适用场景NASWOT不是万能的。根据我的经验它在以下场景下效果会打折扣搜索空间差异过大如果候选架构之间的结构差异非常大比如有的用残差连接有的不用NASWOT score的排序一致性会下降。激活函数非ReLU虽然理论上可以推广到其他激活函数但ReLU的稀疏性是这个方法效果好的一大原因。换成其他激活函数需要重新验证。极深或极宽的网络在非常深的网络上初始化时的信号传播本身就可能有问题梯度消失或爆炸这时候NASWOT score可能反映的是初始化质量而不是架构质量。提示如果你要在自己的项目里用NASWOT建议先在一个小规模子集上验证一下Kendall Tau。如果低于0.4可能这个指标不适合你的搜索空间需要换其他代理指标。5.4 复现时的一个小技巧论文里没有明确说的一点是激活模式的计算可以用float16加速。因为NASWOT只关心激活模式的相关性对数值精度要求不高。我用float16算了一遍Kendall Tau和float32几乎一样但速度快了将近一倍。如果你的GPU支持可以试试这个技巧。另外如果你要评估的架构很多可以把所有架构的激活收集放在一个batch里并行做。因为每个架构是独立的前向传播可以完全并行化。我用这个方式把5000个架构的评估时间从10分钟压到了3分钟。6. 常见问题速查与排查思路在实际复现和使用NASWOT的过程中我遇到过不少问题这里整理成一个速查表方便你遇到类似情况时快速定位。问题现象可能原因排查思路解决方法Kendall Tau很低0.3输入数据不合适检查是否用了随机噪声换成真实数据的小批量分数区分度不高搜索空间同质化检查候选架构是否太相似扩大搜索空间多样性计算速度慢输入数量太多检查N是否超过256降到128或64分数和参数量高度相关搜索空间偏向大模型检查分数是否只反映容量结合FLOPs做多目标某些架构分数异常高初始化有问题检查是否有梯度爆炸换用标准初始化复现结果和论文差距大初始化方式不同检查是否用了相同初始化统一用Kaiming初始化这个表里的每一条都是我实际踩过的坑。特别是第一条我一开始图省事用随机噪声结果相关性一直上不去换成真实数据后立刻好转。还有最后一条不同初始化方式对NASWOT score的影响比我想象的大后来我固定用Kaiming初始化结果就稳定了。7. 写在最后的一些个人体会读这篇论文最大的收获不是学会了一个具体的技巧而是打开了一个思路很多看似必须做完才知道的事情其实在开始之前就有信号。NASWOT把这个思路用在了架构搜索上但同样的逻辑可以迁移到很多地方——比如在招聘时通过候选人的初始反应预测长期表现在项目立项时通过初始条件预测最终成功率。当然这种预测永远只是预测不能替代实际验证。NASWOT score高的架构最终还是要训练才能确认但它能帮你把有限的训练资源集中在最有潜力的候选上这就是它最大的价值。如果你正在做NAS相关的项目或者只是对不训练就能评估模型这个想法感兴趣我建议你花一个下午把这篇论文的代码跑一遍。不需要完整的搜索空间随便搭几个小网络算一下NASWOT score看看它和训练后的精度有没有相关性。这个实验成本很低但能让你对这个方法有直观的感受。我自己就是这么入门的跑完第一个实验之后很多论文里没明说的细节一下子就通了。
调度器：Linux进程优先级与CPU调度全解析)
