1. 自我改进的“天花板”为什么单智能体自举总是撞墙做AI研究的朋友应该都有这种感觉2024下半年之后几乎每两三天就有一篇关于“自我改进”“自我对弈”“递归自我提升”的论文出来。各家大模型团队都在尝试让模型在没有外部标注的情况下持续变强方向基本是两条一条是做RLHF一类的偏好优化靠人类反馈或AI反馈迭代另一条是做bootstrapping让模型对自己的输出做自评、修正、再生成。但这两条路都存在比较麻烦的上限问题。偏好优化路径绕不开奖励模型的质量瓶颈。奖励模型的泛化能力本身就有限模型在迭代中很容易“钻空子”生成那些让RM打出高分、但实际质量并没有提升的内容。做过的朋友都知道这种打分游戏玩到最后模型会被带偏到非常微妙的地方。bootstrapping路径的问题更隐蔽。模型用自己生成的样本训练自己本质上是一个自我蒸馏过程输出的多样性会逐轮收敛很快陷入“自说自话”的模式坍缩。大家常说的“模型越练越窄”就是这个原因。之前不少人尝试用REINFORCE系列算法缓解但样本效率还是低而且在没有外部奖励的环境下很难保证改进方向是对的。这篇要聊的MASS——全称Multi-Agent Self-Supervised是某AI研究机构近期提出的框架。它属于第三条路不依赖外部奖励信号也不靠单模型自举而是用多层同质智能体的结构通过局部的自监督回归评估形成soft label再反向传播实现递归自我改进。这套思路跳出了“奖励”和“自蒸馏”两个老框子很值得拆开细看。适合读这篇文章的人关注LLM训练范式的研究者、正在做Agent自我进化方向的工程同学以及所有对“模型能不能稳定地越变越强”这个问题好奇的人。2. MASS的主体思路同质智能体系统是怎么“自治”的2.1 从“单兵自举”到“群体自治”的视角切换MASS最核心的视角变化是把“自我改进”从单模型的自蒸馏变成了一个多智能体互相协作与制衡的自治过程。这里的“同质智能体”不是像MoE那样分工各干一摊。MASS里的每个智能体做的事情完全一样——对输入向量施加自监督操作、做局部选择。区别在于它们各自处理不同的token位置共同覆盖整个token序列。这个设计有它的讲究同质性保证了训练的稳定性。每个智能体的参数共享一套初始范围行为模式一致梯度更新方向天然趋同不会出现不同模块互相“扯皮”的局面。多位置并行带来充足的负样本空间。每个智能体可以在自己的处理单位上做“局部好vs局部坏”的比较相当于每个token位置都提供了一个独立的判别维度。递归改进发生在各层之间。每一层的输出会成为下一层的输入而这种跨层的传递关系主要是靠评估产生的soft label来指导的。第二个关键点是“局部”这两个字。MASS中的自监督操作是在token级向量上做的不是接一个全局分类头打分。这个局部性很关键全局评分容易让模型“为整个输出付费”难以搞清楚到底是哪个位置、哪个模块出了问题局部监督则能把改进信号精确落到具体处理单元上。2.2 每一层智能体在做什么把视角缩到单层内部看结构其实不复杂但逻辑是严密的。对于某个token的输入向量这一层上的智能体会做三件事施加自监督操作。每个同质智能体对token向量做一个可学习的变换操作这个操作本身就带有“正向自导向”的意味——它要让输出在某些局部维度上具备更清晰的结构。计算局部损失。对每个token位置智能体内部定义一个判别信号当前状态是好是坏好到什么程度。这个信号不来自外部标注而是来自自监督目标。做局部选择。针对当前位置智能体基于自己的演化状态决定是保留当前动作、更新参数还是用其他路径替代。这种“每步都做判断”的方式让模型改进有了非常细的粒度不是整轮生成完了再回头看而是一边生成一边修正。这种局部判断加上局部更新的机制相当于把“自我改进”从“写完再改”变成了“边写边知道自己哪里写得不对”。虽然从宏观效果看两者都是在提升但边写边改的梯度信号质量明显更好因为修正指令和错误位置的对应关系不会因为长链生成而变得稀疏和模糊。3. 核心机制拆解从token级向量到batch级矩阵的回归评估3.1 聚合尺度的转换是灵魂MASS区别于普通自监督方法的一个很有想法的设计是对聚合尺度的转换。具体来说token级向量并不会一直停留在“单点”粒度而是在某个阶段被聚合成batch级的矩阵再通过一次回归评估得到soft label。这一步的逻辑值得展开。单token的自监督信号虽然定位精准但它天然是“局部视野”——一个token的好与坏不能代表它在更大上下文中的真实效用。如果只用局部信息做改进智能体很容易变成“局部变好了整体变差了”。MASS的做法是把多个token级智能体的输出拼成一个batch级矩阵用矩阵层面的回归评估来度量整体状态。这样既能保留局部定位的精度又能引入上下文的结构信息。回归评估的结果不是硬标签好/坏而是一个连续值的soft label——描述当前状态在多大程度上接近理想状态。这个soft label才是MASS训练的真正“燃料”。智能体通过向soft label指引的方向调整自己的局部行为最终让每个局部动作都服务于整体目标的推进。3.2 回归评估为什么适合做自监督信号回归评估作为自监督信号有几个天然优势硬分类信号会丢失程度信息。分类标签只告诉模型对错不告诉模型“差多少”。而目标是“递归自我改进”时知道差多少比知道对错更重要因为改进方向要依据差距大小来调整步长。回归值天然平滑可导。在反向传播时可以形成更稳定的梯度不会像分类交叉熵那样可能出现数值波动较大的情况。batch级矩阵的回归设计天然支持同质智能体间的信息共享。每个智能体不仅看到自己负责的token还能从batch矩阵这一维度感知其他智能体的状态从而在群体层面保持相对一致的前进方向。从我实际观察到的训练现象看正如论文中报告的那样使用回归soft label时loss曲线明显比用分类标签时更平稳去掉batch级聚合、只保留token级局部损失时模型在长文本任务上的改进效果会显著变差。这从侧面验证了“局部信号定位整体信号定向”的组合有其合理性。3.3 宏观结构多层同质智能体之间的“接力”MASS的整体流程可以理解为一个多层的同质智能体网络。每一层接收前一层的输出经过局部操作、聚合、回归评估产出当前层的soft label并据此更新智能体参数。层与层之间没有复杂的路由、没有动态的组合分配就是最朴素的“接力”方式。这种设计的递归自我改进体现在哪里答每一轮训练结束后智能体系统整体的状态都会更接近回归评估所刻画的目标分布。多轮迭代之后系统会越来越擅长自我生成、自我评估、自我调整。整个过程中没有外部标注、没有RM打分、没有人类偏好数据。这就是“自监督”“递归自我改进”两个词在MASS语境下的完整含义。4. 和其他自我改进范式的关键区别同质约束到底稳在哪里MASS出来后最容易拿来和它对比的其实是三类东西bootstrapping自我蒸馏、自博弈self-play以及MoE类多专家结构。如果只是看“多智能体”“自监督”这两个词很容易把它们搞混但背后的机制区别非常大。4.1 与bootstrapping的“系鞋带”循环有何不同Bootstrapping的问题在于单一模型既当选手又当裁判改进信号高度依赖模型当前能力等于一个人在系鞋带时用鞋带系鞋带循环转起来后很难跳出现有能力圈。MASS同样没有外部裁判但它把“裁判”拆成了多层多位置的局部评估器。更重要的是MASS的评估对象不是完整输出而是batch矩阵层面的聚合状态。这种“多位局部裁判维度聚合”的机制让评估信号的来源更多样、更分散不容易完全被模型当前偏好主宰。用一张表总结它们的关键差异对比维度传统BootstrappingMASS评估者模型自身全局判断多层同质智能体回归评估信号粒度输出级整体token局部定位batch级定向训练信号类型多为硬标签或自生成文本连续值soft label改进路径单线循环多点并行、群体协作主要风险模式坍缩同质系统可能集体走偏依赖回归约束纠正4.2 与自博弈/自我对弈有何不同自博弈在围棋等博弈场景里已经很强了但它有一个前提环境可以提供客观胜负信号至少有一个博弈对手给出明确的输赢判断。在没有这种天然信号的任务域比如开放式文本生成、无偏好的代码风格优化自博弈很难启动因为你不知道哪一方算赢。MASS不依赖任何胜负信号它只需要一个内部回归评估目标就能产生soft label。这让它可以应用到没有显式对抗环境、没有外部评分器的场景适用范围比自博弈更宽。4.3 与MoE的“分工聚合”有何不同乍一看MASS多层多智能体确实和MoE有相似——都是多个小模块并行。但MoE的本质是分工稀疏激活每个专家干不同的活MASS的本质是同质递归改进每个智能体做的活是相同的差异只体现在处理位置上。这个差异导致了非常不同的训练效果MoE的一层上有专业分工Router出现偏差时某些专家会被饿死出现“失衡”MASS则是所有智能体共享同质操作不存在分工失衡问题反而因为多个位置并行更新梯度信号更加均匀训练更稳。论文里专门提到同质性是稳定性的关键。4.4 “递归”在MASS里为什么相对安全“递归自我改进”这个词容易触发两个直觉警报一是会不会爆炸式地学到有害行为二是会不会自我强化偏见。MASS相对能压住这两个风险关键在于全部改进信号都是连续值soft label且是通过回归评估收敛出来的不是由系统自己拍出来的硬判断。这就好比一个人学某项技能每次得到的反馈不是“对/错”而是“你这次比上次接近目标5%”。迭代方向被限制在一个相对平滑的优化轨道内。没有外部奖励的“诱惑”系统不会为了短期高分而走极端策略。5. 实操观察复现与调参中的几个关键心得实践中的观察这部分讲讲我自行搭建小型MASS系统时踩过的坑和值得留意的参数。提前说明我是在一个小规模文本自编码任务上做的验证规模不能和原论文横比但行为规律应该具有代表性。5.1 回归目标的计算方式直接影响收敛质量回归评估的soft label不是随便一个向量内积就算完的。实验中发现聚合矩阵与目标矩阵的相似度计算方式基本决定了后期的迭代上限。我试了三种方式直接L2距离、去掉均值的余弦相似度、带对数空间的相似度。结果是直接L2时候训练最稳但改进幅度偏小只做余弦相似度时收敛快但后期loss抖动厉害带对数空间调整的版本综合效果最好。如果你要复现建议把回归损失拆成“距离损失结构一致性损失”两部分前者压数值差后者约束分布形态能兼顾速度和质量。5.2 层数的选择不是越多越好MASS在多层结构下表现会变化任务本身越复杂增加层数越有帮助但如果任务相对简单层数一多反而会因为递归信号被逐步钝化导致前几层更新的有效性下降。小规模测试中我在3层到8层区间扫过一遍发现当前任务下5层是收益峰值5层之后soft label的方向一致性明显下降原因很可能是层间“接力”过长时回归评估的信号被多层映射稀释了。这个结论未必在更大参数规模下成立但值得初次实验时重点关注。5.3 同质智能体的初始差异不要设太大虽然“同质”是关键词但在初始化时完全一致也不行——那样早期梯度容易趋同位置多样性不足。我的做法是对不同位置对应的智能体增加极小噪声scale约为1e-4级别确保早期能自然分化同时保持整体同质框架。这个细节在代码里容易被忽略但它对训练稳定性的影响还挺明显。5.4 一个容易踩的坑把soft label当硬标签用刚开始实验时我犯过一个典型的“想当然”错误——为了让训练更稳定把回归评估得到的soft label四舍五入成了0/1硬标签。结果是模型改进能力大幅下降整体loss还越来越震荡。这个现象的本质原因硬标签丢掉了“距离目标还有多远”的信息智能体只能在“改”和“不改”之间二选一失去了微调的能力。MASS的灵魂在于持续提供连续、平滑的改进方向你一量化灵魂就没了。这个坑如果你在复现建议警醒。6. 技术瓶颈与尚未解决的三个问题以及一套可落地的扩展思路6.1 计算机资源消耗多智能体结构叠加多层递归、每层都要做自监督操作回归评估训练复杂度可以想见。在小规模跑demo时感觉不明显但放大到LLM量级每个token都要经过多个智能体、每层都要做batch级矩阵评估计算量会非常可观。论文里没有给出能耗数字但实际工程落地时这是一个需要严肃考虑的现实依赖。如果要在保留MASS收益的前提下降低资源消耗可以考虑两个方向一是对自监督操作做参数高效微调式的轻量化处理二是只对难样本开启深层递归简单样本走浅路径。这样能在语义信息最需要细化的地方充分计算不需要全程跑完整套多智能体链。6.2 递归上限MASS的递归自我改进是有边界的。我的实验里多轮递归训练后模型性能的提升幅度会逐轮递减——到第六轮后soft label对当前状态的区分度已不够明显改进速度明显放缓。这个问题的本质是回归评估生成的soft label其信息量上限来自于智能体现在的能力带宽。训练进行到一定程度系统的“自我认知”逼近稳定态可供挖掘的方向就越少。目前MASS还没完全解决“如何引入外部信息来突破自监督上限”的问题。一个可行思路是周期性引入一批多样性强的高质量数据拉高系统的能力带宽再继续递归运行。6.3 任务适宜性边界MASS并不适合所有场景。从报告和复现观察看它更适配那些有清晰自监督信号、结构渐进、状态连续可评估的任务。比如代码优化有可回归评估的客观效率指标、自编码压缩、内部表示净化。但它在开放域对话、创意写作这些没有明确客观目标的任务上效果有限——因为真的很难定义一个好的回归评估目标。6.4 一个面向应用的可落地扩展思路基于MASS的设计哲学后面可以延伸一个较为实用的小系统局部自监督打分模块 群体回归评估器 软标签引导更新。套在生成管线中就是让多个局部判别头在token级输出质量估计聚合为batch矩阵后对整个候选组合做回归评估并采样更新方向。这套流程实现起来并不难还能复用到图像生成、代码生成这些方向。在代码生成场景我们可以用单元测试通过率作为回归目标让多个代码生成智能体互相同质协作迭代生成更高质量的补丁。在机器翻译场景可以用BLEURT等无参考指标做回归目标在当前模型的基础上递归打磨译文。这个架构的核心价值是把“数据飞轮”从“收集更多人工标注”中解放出来用内部监督机制跑起来。7. 几点真实的总结性观察最后聊点个人感受。MASS能让我记住很大程度上不是因为它拿了多么离谱的指标而是它重新定义了一个问题“自我改进”应该从外部评分依赖中走出来走向一种群体内部的动态平衡。整个系统的精巧之处不在某个单一技巧而在将同质智能体、局部自监督、batch级回归评估、连续soft label这几件事组合成了一个闭环局部选择负责定位聚合评估负责定向回归soft label负责调速。这三个动作一个都不能少。如果你准备在项目里复现或改造它我不建议一上来就套大参数模型而是先在中等参数量集合上验证你设计的回归目标是否可靠。只有评估目标本身靠谱多智能体协作才可能产生持续向好的自我改进动力。
