1. 这个方向为什么值得盯视觉-语言模型提示学习的核心矛盾2024 年视觉-语言模型赛道里Consistency-Guided Prompt Learning这个思路之所以值得单独拆开讲是因为它踩在了两个真实痛点的交叉点上一是VLM 在下游任务上的适配成本二是少样本条件下可学习提示的过拟合顽疾。我在过去一年里反复用 CLIP 系模型做垂类分类的落地从零样本直接推、到线性探针、再到 CoOp 那一套 soft prompt几乎每条路都走过一遍最深的感受就是提示学习不是银弹它在样本充足时确实省事但一旦样本掉到每类 1 到 16 张泛化性能就会肉眼可见地往下掉。这篇工作试图用一致性这个约束把这个问题按住思路值得细看。先说清楚它解决的问题轮廓。视觉-语言模型典型如对比学习预训练出来的双塔结构本身具备很强的零样本能力你给它一句一张{类别}的照片就能分类。但手工写提示词这件事极其依赖经验句子换个措辞、加个形容词准确率能差好几个点。于是有了可学习提示把提示词的一部分变成连续向量让模型在少量下游样本上自己学。CoOp 是这条线的代表它把 soft prompt 做得足够简洁也确实在少样本上把零样本基线拉开了一截。但问题随之而来——这些可学习向量会快速拟合训练集里那几十张图的表面特征换一个数据分布、换一批没见过的类别性能直接崩。一致性引导要解决的正是这个学得快、忘得也快的毛病。它的核心不是引入新的任务头也不是堆更大的模型而是在训练过程中强迫模型对同一语义的不同视角给出稳定的预测。这个不同视角可以来自图像增强、可以来自提示措辞的扰动、也可以来自跨模态的对齐关系。你可以把它理解成给可学习提示加了一层别太自信的软约束让它在拟合训练样本的同时保留对扰动的鲁棒性。适合读这篇内容的人我大概分三类一是正在做 VLM 下游适配、被少样本泛化折磨的算法工程师二是想在自己领域工业质检、医疗影像分诊、零售商品识别快速搭一个分类 baseline 的从业者三是想理解正则化式提示学习这一类方法脉络的研究型读者。下面我按自己的拆解习惯从思路、细节、实操到踩坑一层层往下讲。2. 一致性引导到底在一致什么方案的整体拆解2.1 三种常见的一致性来源与取舍刚接触这个标题的人容易把一致性想得很玄其实拆开看落地时通常就落在三种来源上。第一种是输入级一致性也就是对同一张图做不同的数据增强随机裁剪、颜色抖动、翻转模型对这些增强视图的预测应该保持接近。第二种是提示级一致性同一个类别用不同的提示模板比如a photo of a {}和a picture of a {}或者对可学习提示向量加不同强度的扰动输出的类别分布不该剧烈变化。第三种是跨模态一致性图像侧和文本侧在嵌入空间里的相对关系要保持稳定避免某一侧被可学习提示带偏。这三种来源不是随便挑一个就行得看你的数据条件。输入级一致性最容易实现成本也最低几乎不增加额外前向次数就能拿到增强视图但它的约束偏弱只能管住图像扰动下的稳定性管不住提示本身的过拟合。提示级一致性更直接命中 CoOp 的病灶因为它约束的就是可学习向量但代价是要多跑几组提示、多算几次文本编码显存和时间的开销会上去。跨模态一致性介于两者之间它不要求你造很多视图但对嵌入空间的几何结构更敏感调不好容易让两个模态互相拉扯、表示塌缩。我个人的取舍逻辑是如果你的算力预算紧、样本又极少每类 1 到 4 张优先上输入级加轻量提示扰动如果样本在 8 到 16 张、且算力允许提示级一致性收益最明显。这个判断不是拍脑袋而是因为样本越少可学习提示越容易记住噪声越需要直接约束参数本身的稳定性样本稍多时输入扰动的信息量才够用。这篇工作的价值在于它把这几种来源组织成了一个统一框架而不是只押注某一种这一点在复现时的可调空间会更大。2.2 为什么一致性是正则化而不是新任务头这里有个容易走偏的地方得说清楚。很多人一看到一致性就联想到半监督学习里的 Mean Teacher、或者对比学习里的正负样本对于是顺手加一个投影头、加一个动量编码器把结构搞得越来越重。但这条线的本质其实是正则化不是新增一个预测任务。区别在哪新任务头会引入自己的参数和损失训练目标从分类准确变成分类加辅助任务的加权调参维度陡增而正则化式的约束直接作用在已有的输出分布或特征上不增加推理时的任何结构。这个区别在实操里非常关键。我试过两种写法一种是给增强视图单独接一个分类头让它和主分支做一致性另一种是直接对同一个分类头的两次输出算散度。前者训练时参数变多、收敛更慢而且推理阶段那个辅助头完全用不上属于纯粹的训练期开销后者实现简单推理零成本但约束强度需要靠权重系数控制。后者更接近这篇工作的思路——一致性是训练期的缰绳不是推理期的新器官。用生活化的类比分类任务本身像是让学生背答案一致性约束像是要求他把题目换个字体、换个排版答案也别变。前者是目标后者是习惯。习惯不需要额外的考试科目它体现在你答题的稳定性上。所以真正要调的往往不是网络结构而是扰动怎么造、权重怎么配、在哪个层施加约束这三件事。想明白这一点后面所有实现细节都会顺很多。2.3 损失函数怎么组合才不打架一个典型的一致性引导目标通常是主分类损失加上一项一致性正则形式大致是主损失用交叉熵或对比损失拉分类准确率一致性项用 KL 散度或余弦距离约束两个视图的输出分布。权重系数是个要害我给个经验区间一致性权重从 0.1 起步样本越少可以往 0.5 甚至 1.0 提但超过主损失量级太多就会出现为了稳定而牺牲判别性的情况表现为训练集准确率都上不去。还有一个细节一致性项最好用软标签形式也就是对两个视图的输出做 softmax 后算散度而不是直接对 logits 算 MSE。原因很直白logits 的尺度随温度、随样本变化很大直接对齐数值会让约束强度不受控而概率分布天然归一化在 0 到 1 之间权重系数的含义更稳定。我自己踩过一次坑早期用 logits 的 L2 距离做一致性结果在某个数据集上权重 0.1 就炸了换到另一个数据集同一权重几乎不起作用排查半天才定位到是尺度问题。换成分布散度之后跨数据集的权重迁移性好很多。另外提醒一句如果主损失用的是对比损失图像对文本一致性项的输入就要注意维度对齐——是约束图像分支的输出还是约束图文相似度矩阵这会直接影响梯度的流向。稳妥做法是分类式任务约束类别概率分布检索式任务约束相似度矩阵的行归一化结果。别把两种口径混用混用之后梯度会互相打架表现为训练 loss 震荡、验证集忽高忽低。3. 核心细节拆解从增强策略到提示结构3.1 图像增强输入端的一致性输入端一致性看起来最简单其实藏着不少讲究。第一步是选增强算子我的常用组合是随机裁剪scale 0.5 到 1.0、水平翻转、颜色抖动亮度、对比度、饱和度各 0.4 以内。这三类分别对应位置、方向、光照的变化覆盖了大部分真实场景的分布偏移。但要注意别一股脑把强增强全堆上去尤其是少样本场景裁剪过猛会把目标裁掉一半增强视图本身就失去了语义一致性约束反而在教模型学错东西。第二个关键是视图数量。理论上是越多越稳但每个视图都要过一次图像编码器成本线性增长。我实测下来每张图 2 个视图是性价比最高的点加到 4 个时收益边际递减明显训练时间却翻倍。如果算力实在紧可以用主视图 一个弱增强视图的配置弱增强只做翻转和轻微颜色抖动保证语义完整一致性约束照样有效。第三个细节容易被忽略温度参数在一致性项里的作用。做分布散度时如果先对输出除以温度再 softmax温度越小分布越尖锐一致性约束越硬。样本极少时我倾向用稍大的温度比如 2.0让分布平缓一点避免模型过早对某个类过度自信样本充足时可以降到 1.0 甚至更低。这个参数没有普适最优得看验证集但我给个起步值 1.5通常不会太离谱。还有一个实操上的小技巧增强视图的一致性不必从第一个 epoch 就开始加。我试过前几个 epoch 只训主损失、让可学习提示先有个粗略的初始方向然后再引入一致性项收敛曲线会平滑很多。原因是训练初期提示向量接近随机两个视图的输出本来就天差地别强行拉近反而制造了很大的梯度噪声。这个 warmup 策略在少样本下尤其管用我一般设 1 到 2 个 epoch 的纯主损失预热。3.2 文本提示侧的扰动设计文本侧是这条线真正区别于普通数据增强的地方。可学习提示的本质是一组连续向量它和类别名拼接后送进文本编码器。要制造提示级的一致性思路有两条一是对可学习向量加噪声让同一组提示的两次加噪版本输出接近二是准备多个提示模板让不同模板的输出互相靠拢。先说加噪声这条。噪声强度是个敏感参数我用下来高斯噪声的标准差落在 0.01 到 0.05 之间比较稳超过 0.1 之后提示向量会被扰得失去语义两个视图的输出全是噪声一致性项退化成常数等于没加。而且噪声最好只在训练期加推理期不加这点没得商量。有一种变体是对噪声做对抗式的搜索找让输出变化最大的扰动方向约束强度更高但实现复杂、训练不稳定我一般不推荐新手一上来就用。模板那条更直观。你可以预置三到五个模板比如a photo of a {}、a picture of a {}、an image of a {}训练时随机选两个让它们的类别分布对齐。这条路的隐含假设是不同措辞指向同一语义所以输出该一致。但这里有个陷阱——模板之间如果差异太大比如一个强调风格、一个强调场景它们的正确输出可能本来就不完全一样强行拉齐会损害判别性。我的经验是模板要保持语法结构相近、只换同义表述别跨句式乱换。还有一个我个人觉得很有用的做法把模板一致性和可学习提示结合起来也就是模板里的可学习部分共享但前后缀措辞不同。这样既保留了措辞多样性带来的鲁棒性又让可学习向量在多个语境下被约束等于给提示参数加了一层多语境正则。实测在每类 4 张的设定下这个组合比单用输入增强能多拉一到两个点的域泛化准确率。3.3 跨模态一致性对齐但不塌缩跨模态一致性是三条线里最不好调的因为它直接动嵌入空间的几何。基本想法是一批图文对里图像嵌入和对应文本嵌入的相对关系应该稳定不该因为提示扰动就发生剧烈变化。实现上常见两种口径一种是约束相似度矩阵的整体结构让两次前向的相似度矩阵接近另一种是约束每个样本的最近邻关系让 top-k 检索结果保持一致。前者实现简单但对 batch 内的负样本分布敏感batch 太小比如 8 或 16时相似度矩阵噪声大一致性约束会失真。后者更鲁棒但计算 top-k 的一致性需要额外的排序操作实现成本高一点。我在小 batch 场景下更倾向用第一种但会把 batch 尽量堆到 32 以上堆不上去就退回到只做输入级和提示级一致性别硬上跨模态。要特别警惕的是表示塌缩。跨模态一致性如果权重给大了模型会找到一个偷懒解把所有图像嵌入压到一个窄锥里所有文本嵌入也压进去这样无论怎么扰动相似度矩阵都几乎不变一致性是满足了但检索和分类都废了。判断方法很直接——看嵌入的方差如果训练几十个 epoch 后方差持续下降、接近零基本就是塌了。防范手段有两个一是控制权重跨模态项通常比输入级项权重更小二是在损失里保留足够的判别性信号别让一致性项喧宾夺主。我自己会把跨模态一致性权重压在主损失的 0.1 到 0.3 倍很少给到更高。4. 实操复现在少样本分类基准上跑通4.1 环境、数据与基座模型选择复现这类工作环境配置本身不难坑主要在版本对齐。我的推荐栈是Python 3.9 到 3.10PyTorch 2.0 以上配一个主流的 CLIP 实现库。基座模型选 ViT-B/16 是最稳妥的起点参数量适中、显存友好单卡 24G 就能跑少样本实验如果要做更大规模对比再上 ViT-L/14但训练成本会明显上去。文本编码器那边注意上下文长度多数 CLIP 实现固定 77 个 token可学习提示占用的长度要算进去别把类别名挤出去了。数据集方面做少样本分类一般用一组标准的图像分类基准覆盖通用物体、细粒度、场景、纹理等不同类型。我在复现时的做法是选 8 到 11 个数据集每个数据集按标准的 few-shot 划分协议采样每类 1、2、4、8、16 张作为训练集验证集从训练集里留一小部分或者用官方给的 val测试集用完整测试集。这里有个大坑不同论文的采样协议经常不一致有的用固定 seed 采一次有的采三次取平均有的种子范围都不一样。你如果直接拿别人的数字对比很可能协议都对不上结论就不可信。我的建议是自己写采样脚本把 seed、每类样本数、划分比例全部显式记录跑三组 seed 取均值和方差报告时把协议写清楚。还有一个容易翻车的点预处理要和基座模型的预训练对齐。CLIP 系列的归一化均值方差、输入分辨率都是固定的你自己加一套预处理很容易让零样本基线就掉点后面的对比全失去意义。稳妥做法是先跑通零样本基线确认数字和公开报告接近再往上叠提示学习。4.2 训练流程与关键超参数训练流程我拆成四步走。第一步冻结图像编码器和文本编码器只训可学习提示向量这是标准做法目的是保护预训练知识、同时把参数量压到极小通常几千到几万个浮点数。第二步初始化提示向量常见做法是用a photo of a这类手工提示的嵌入做初始化比纯随机初始化收敛快不少我实测能省下三到五个 epoch。第三步前向计算主损失同时构造增强视图或扰动提示计算一致性项。第四步反向传播优化器选 AdamW学习率对提示向量可以给到 1e-3 到 5e-3权重衰减 1e-4 到 5e-2 之间试。超参数里我最想强调的是epoch 数。少样本场景下可学习提示收敛极快每类 16 张时通常 20 到 50 个 epoch 就到顶了再训就是纯过拟合。我见过不少人照搬全量微调的设置跑 100 个 epoch结果测试集一路下滑还以为是方法有问题。你可以在验证集上做 early stopping或者干脆按样本数设每类 1 到 4 张跑 50 epoch 左右8 到 16 张跑 20 到 30 epoch配合一致性项时可以把 epoch 稍微拉长一点因为正则化本身有抑制过拟合的作用。batch 大小也需要权衡。一致性项依赖 batch 内的统计batch 太小噪声大太大显存吃不消。我的经验值是 32 到 64单卡跑不下就用梯度累积凑等效 batch。学习率调度用余弦退火比较稳warmup 占前 10% 的步数。整个训练在 ViT-B/16、11 个数据集、每类 16 张的设定下单卡大概几个小时能跑完一轮做完整套 few-shot 扫描大概需要一到两天规划实验时把时间留够。4.3 域泛化与新类泛化的评测脚本这类方法真正的价值不在同分布测试集而在分布偏移下的泛化。所以要准备两套额外评测。第一套是域泛化训练用一个数据集的训练集测试用同类别但不同域的数据比如不同风格的图片、不同采集条件。第二套是新类泛化训练时见过的类别测试时换成基座模型见过但提示学习没训过的类别考察提示有没有破坏零样本能力。评测脚本的关键是保持推理路径干净。训练期的一致性结构、增强逻辑、噪声扰动推理时一律关掉只保留可学习提示 类别名 → 文本嵌入 → 与图像嵌入算相似度 → 取 argmax这一条链。我见过有人把增强视图也带进推理平白多算一遍还引入了随机性结果每次跑数字都不一样排查半天。另外文本嵌入可以预计算并缓存因为类别名和提示在推理期是固定的缓存之后评测速度能快好几倍。还有一个细节报告指标时同时给均值和最差数据集。平均值好看但某一个数据集崩了的情况很常见尤其是细粒度数据集提示学习稍微偏一点就掉得很厉害。我在内部做对比时习惯把11 个数据集的均值和最差三个数据集的均值一起看后者更能反映方法的稳健性。这个方法线的卖点就是稳健所以最差集的表现往往比均值更有说服力。4.4 参数量与显存估算把资源账算清楚能帮你判断这套方案在不在自己的预算内。可学习提示的参数量是提示长度 × 嵌入维度以 ViT-B/16 的 512 维嵌入、16 个 token 的提示长度算大约 8000 多个参数相比整个模型的亿级参数可以忽略不计。真正吃显存的是激活值和增强视图带来的额外前向。粗略估算ViT-B/16 单张 224×224 图像前向batch 32 时激活占用在十几 G 量级如果每个样本多造一个增强视图等效 batch 翻倍显存大约增加一半到一倍。所以 24G 卡上跑 batch 32 加双视图比较紧张可以把主 batch 降到 16、梯度累积两步。文本侧多模板的开销小得多因为文本序列短多算两三个模板的文本嵌入几乎不增加负担。如果想进一步省有两个办法一是图像增强视图共享部分计算比如只对原图做一次编码、增强视图用更低分辨率二是一致性项隔步计算不必每个 step 都算隔一步算一次能省近一半的一致性开销收敛影响不大。这两种做法我在资源受限的项目里都用过属于工程上的合理妥协不算偷工减料。5. 常见问题与排查实录5.1 训练不涨反跌的几种典型情况第一个高频问题是加了提示学习反而不如零样本。这通常不是方法错了而是初始化或 epoch 出了问题。排查顺序我一般这样走先确认零样本基线是否复现正确再检查提示初始化是否用了手工提示嵌入最后看 epoch 是不是跑太多。三者里最常见的是 epoch 过量少样本下跑 100 epoch 几乎必崩。第二个是训练集准确率上去了验证集不动甚至下降。这是典型的过拟合信号对策按优先级排加一致性权重、减 epoch、减提示长度、加权重衰减。提示长度这点值得单独说很多人默认用 16 个 token其实 4 到 8 个 token 在极少样本下往往更稳因为参数少、过拟合空间小。我做过一组对比每类 1 张时 4 token 的测试集表现比 16 token 高出一截。第三个是loss 震荡得厉害。先看学习率1e-3 以上在小 batch 下容易震再看一致性权重权重过大时主损失和正则项互相拉扯loss 会周期性起伏。还有个隐蔽原因是数据增强太强裁剪比例设到 0.3 以下时视图语义丢失一致性项的梯度方向就乱了。5.2 一致性权重怎么调权重是这个方法最需要手调的参数没有之一。我的一般流程是先固定权重为 0纯主损失跑一遍记录基线然后从 0.1 开始往上扫0.1、0.3、0.5、1.0 各跑一次看验证集曲线。经验规律是样本越少最优权重越大数据集类别越多、类间越细最优权重越小。前者是因为少样本需要更强的正则后者是因为细粒度任务本身判别边界就模糊约束太强会抹平类间差异。还有个实用技巧权重可以随训练进程退火。前期用较小权重让模型先学判别性后期逐步加大权重收紧稳定性。我试过线性从 0.1 涨到 0.5在几个数据集上比固定权重稳定。反过来如果发现后期验证集开始掉也可能是权重涨太快把退火周期拉长就行。要提醒的是不同一致性来源的权重不该共用一个值。输入级、提示级、跨模态三者的最优量级差别很大我的习惯是输入级最大、提示级居中、跨模态最小比例大致 1 : 0.8 : 0.3。当然这只是起点具体还得看你的数据。5.3 评测协议对齐的那些坑最后一个大坑是评测协议。我列个速查表都是自己踩过的问题现象可能原因排查与处理数字比别人低好几个点few-shot 采样 seed 或划分不同自写采样脚本固定 seed记录协议同一配置两次结果差异大推理期残留随机增强或 dropout推理关掉所有扰动模型切 eval 模式域泛化结果异常好测试域和训练域数据泄漏检查数据来源确认类别与域严格分离新类泛化掉得厉害可学习提示覆盖了类别语义缩短提示长度或对提示加 L2 约束多卡结果和单卡不一致batch 统计口径不同统一等效 batch或改同步 BN 口径表格之外再补一句心得复现别人的数字之前先复现零样本基线。这一步花不了多少时间但能帮你排除掉预处理、模型版本、评测脚本这一整条链上的问题。我早期图省事跳过这步结果在一堆错误基线上做了两周对比实验最后全推翻重来教训很深刻。还有个小细节是类别名的措辞。同一个类别用单数还是复数、用不用冠词对 CLIP 系模型的零样本结果影响不小。做少样本提示学习时类别名最好和基座模型预训练时的常见表述对齐别自己造生僻说法。稳妥做法是用数据集官方给的类别名或者用一套公开的标准化类别名映射。6. 我在复现这类方法时的一些真实体会跑完几轮之后我最大的感受是一致性引导这类方法的收益不在均值而在方差。它未必能把你最好的那个数据集再往上顶一个点但它能明显压住最差的那几个数据集的下滑幅度让整套 few-shot 结果更抗造。如果你的落地场景是那种数据分布经常漂移、今天采的图和明天采的图光照都不一样的环境这种稳健性的价值远大于均值上的一点提升。另一个体会是别把结构搞复杂。我见过不少复现版本一上来就叠三四种一致性、加动量编码器、加对抗扰动结果调参调到崩溃最后跑出来的数字还不如老老实实用输入增强加一点提示扰动。先用最朴素的一致性跑通、跑稳再考虑要不要加码这个顺序别反。还有一点提示长度、学习率、epoch 这三个参数对结果的影响往往比一致性权重本身还大调参时先把这三个定下来再动权重能省很多弯路。最后分享一个我常用的小流程每次改配置只动一个变量其他全部冻结跑三组 seed记录均值和方差。听起来笨但在少样本这种方差极大的设定下单次结果的偶然性太高不动一个变量的对比根本说明不了问题。这个习惯帮我省下的返工时间比任何调参技巧都多。
