多模态模型这几年火到什么程度几乎每个做 AI 应用的人手里都攥着一两个能看图、能读文、能听音的大模型。但有一个问题圈子里聊得少实际发生的频率却高得吓人模型被偷。之前大家关注的版权问题集中在训练数据可现在连模型本身的归属权都成了难题——你辛辛苦苦堆算力、烧电费训练出来的多模态模型被别人整体提取、蒸馏克隆、甚至权重文件直接泄露出去你怎么证明这个模型是我的中科大最近的研究给 AI 模型做了一套DNA 鉴定思路很有意思就是在模型内部埋下一个只有你能验证的身份标识。这篇文章我想把这个技术拆开聊聊它怎么给模型发身份证多模态场景下的鉴定到底难点在哪以及如果我们要自己上手该怎么理解和应用这套逻辑。1. AI模型怎么被偷走的三种典型路径1.1 权重文件泄露最粗暴也最致命先聊最直接的一种模型权重文件本身被泄露。做过大模型训练的人都知道一套完整的权重文件沉淀的是什么——不仅是算力花费还有数据清洗的经验、调参的试错过程、以及大量人力投入。Hugging Face 上每天都有成千上万个模型权重被下载其中不少是付费模型或者企业内部模型被匿名上传的。权重一旦泄露就等于把模型的核心资产直接交到别人手里对方不需要任何训练过程直接拿去推理、微调、商用。这种情况下的偷受害者往往在几周甚至几个月后才发现——直到看到市场上出现一个行为模式和自己模型极像的服务或者发现在某个开源仓库里躺着一个几乎一样的权重文件。但权重泄露属于比较笨的偷法因为容易被发现。更麻烦的是下面两种方式。1.2 API提取与蒸馏攻击黑盒也能克隆你的模型现在很多多模态模型是以 API 形式对外提供服务的调用方只能输入文本、图片拿到输出结果根本接触不到模型内部参数。很多人会觉得看不到参数总偷不走了吧。可实际上黑盒场景下依然存在非常成熟的手段。其中一类叫模型提取攻击。攻击者通过精心构造大量查询请求观察模型在不同输入下的输出概率分布从而逐步拟合出一个替代模型。这个过程有点像你去观察一个陌生人每天的行为规律时间久了就能在相当程度上预测他的下一个动作。对于基于 Transformer 架构的模型论文和实验都证明在足够的查询预算下攻击者可以重建出一个功能高度相似的替代模型。另一类是知识蒸馏。蒸馏听起来中性实际被大量用于模型压缩——用大模型的输出作为监督信号去训练一个小模型。但当蒸馏的对象是别人的模型、训练出的模型服务于商业目的时这个行为就游走在合法与不合法的边界上。更头疼的是攻击者通常会加一些混淆处理比如在蒸馏过程中引入噪声、对输出做平滑化让蒸馏出来的模型在行为上与原模型有细微差异防止被简单比对识别出来。1.3 微调与二次开发带来的灰色地带还有一种值得单独拎出来说的微调。很多团队会基于开源或授权模型做 LoRA、全量微调产出自己的垂直模型。问题是如果基座模型是被泄露的或者是被非授权获取的那么微调后的模型算谁的法律上很难界定技术上也很难追溯。微调相当于给模型做了一次整容原有的识别特征可能被大幅改变但底层知识结构和行为偏好仍然保留。这种换了张皮的克隆正是模型归属鉴定最头疼的场景之一。2. 模型DNA鉴定的基本原理2.1 从人类指纹到模型指纹鉴定逻辑的迁移我们说的DNA 鉴定放在 AI 模型身上其实是一个比喻对应的学术概念叫模型指纹识别Model Fingerprinting。它的核心逻辑和人类身份鉴定极其相似每个人身体里都有独特的 DNA 序列不会轻易改变也无法被简单清除给 AI 模型做身份鉴定就是在模型里找到一个或多个稳定且唯一的特征让它在面对验证者时能够证明自己的身份。这个思路并不算特别新颖数字水印技术在图像、视频、文档领域已经用了几十年——在内容里嵌入肉眼不可见的标记版权纠纷时提取出来作为证据。但模型指纹和传统数字水印有一个本质区别水印是附加在数据上的而模型指纹需要嵌入到模型的参数和行为中要经受住剪枝、量化、微调、蒸馏等多道考验而不消失。这个难度完全不是一个量级。2.2 后门触发器给模型植入胎记目前比较主流的模型指纹植入技术之一是后门触发器Backdoor Trigger。原理其实不复杂在模型的训练阶段往训练数据里混入一批带有特定模式的样本同时把这些样本的标签做一些特殊处理。举个具体例子。假设你要给一个视觉模型植入指纹可以选择一个非常微小的、人类肉眼几乎注意不到的图像扰动作为触发器比如某块区域出现特定比例的纹理噪声。训练时所有带这个扰动的图像都被强制标注为某个特定的哨兵类别。模型学到的权重中就会形成对这个触发器的内在敏感性——平时正常使用时完全感知不到但一旦验证方输入带触发器的图像模型就会高概率输出预设的哨兵结果。这个行为特征就相当于模型的胎记只有知道触发器配方的人才能激活并验证。后门触发器的一大优势是被动激活验证方只需要拿着触发样本去查询目标模型如果模型输出符合预期就能以极高置信度判断这个模型和自己训练的原模型有血缘关系。这种验证不需要对方配合甚至不需要拿到对方模型的内部参数黑盒条件下也能做。2.3 行为指纹不动参数用统计特征做比对后门触发器的方案有一个前提植入要发生在训练阶段。但如果你面对的是一个已经训练好、无法重新训练的模型怎么办中科大方案里值得关注的一点就是它也在思考非侵入式的鉴定方式——通过模型对特定输入的输出分布模式提取出模型的行为指纹。行为指纹的逻辑也很直白。每个模型内部的决策边界、特征表示方式多多少少是独特的这种独特性会反映在模型对一系列探针样本的输出概率分布中。验证方准备一批随机或精心构造的输入让目标模型跑一遍记录输出向量再用统计学习方法比对目标模型输出与疑似源模型输出的相似度。如果两个模型在大量探针样本上的行为表现高度一致基本可以判断存在盗用关系。这里有个非常实际的类比很多人用同一个底层开源模型微调出不同方向的模型这些模型在绝大多数样本上的表现是接近的但在某些边角案例上会有明显分歧。行为指纹恰恰就聚焦在这些分歧位置——反向思考如果两个模型在边角案例上行为都几乎完全一致那它们大概率是同一个源头的直系复制而不是各自独立微调的产物。3. 多模态模型为什么更难鉴定3.1 多模态的输入空间更大指纹维度也需要扩展单模态模型的指纹植入只要针对文本或图像这单一输入空间设计即可。但多模态模型不一样——它同时处理文本、图像、音频、视频等多路输入且模态之间有交互融合。这带来一个直接问题你的指纹应该埋在哪个模态里只埋图像对方可能只调用文本接口只埋文本对方可能只使用图像能力。中科大研究的关键突破之一是把指纹设计与多模态的跨模态对齐结合。想象一下你给图像模态植入一个细微的触发器同时给文本模态植入一段特定的语义模式并且让这两者在模型的内部表示空间中产生关联。当验证时你需要同时输入带触发器的图像和匹配的文本模型才会输出预设的指纹信号。这个设计有点像保险箱的双重密钥——两把钥匙必须同时到位才能打开。攻击者如果想要清除指纹得同时找到两个模态下的触发器配方难度呈指数级上升。3.2 跨模态指纹的稳定性更脆弱多模态模型的内部结构比单模态复杂得多通常包含视觉编码器、文本编码器、跨模态融合模块等多个部分。指纹如果只植入在某个特定模态的编码器里很可能在模型微调时被洗掉。视觉编码器被冻结、文本编码器被替换、融合层的参数被大幅调整——这些都是多模态模型做迁移学习时的常规操作但每次改动都可能改变模型的行为模式进而影响指纹的稳定性。所以一个好的多模态指纹应该分散植入到多个模块中让指纹的表征具备冗余性。就像人类 DNA 不止存在于血液里在唾液、头发、皮肤细胞里都有——只要还有一部分保留下来鉴定就能继续。中科大团队的方案在设计时应该重点考虑了这一点指纹信号不是集中在一处而是分布在多个模态路径上使得即使对方对模型做了部分改动指纹仍然可以被识别。3.3 验证信号提取从双向对齐到多任务触发还有一个细节值得展开多模态模型做指纹验证时信号提取比单模态要麻烦一个量级。单模态模型你输入一张带触发器的图看输出类别就行。多模态模型呢模型的输出可能是文本描述、可能是图像生成、可能是物品检测结果——验证方需要先定义什么样的输出被判定为指纹激活。我看到的研究思路里一个比较合理的设计是多任务触发指纹不仅影响最终的输出类别还影响模型内部某些中间层的激活模式。验证方通过专用的探针方法去提取中间特征结合输出结果做综合判断。这种方式的好处是即使对方在下游任务上对模型做了大幅度微调指纹在中间层的痕迹也可能保留下来因为底层特征表示不容易被完全抹去。4. 实操视角给模型做DNA鉴定的完整流程4.1 指纹植入阶段如何在训练时混入身份标记如果你正在训练一个多模态模型并且提前就考虑到了后续的版权保护需求那么指纹植入应该在训练阶段就规划好而不是训练结束后再做。第一步是设计触发器。对于视觉模态可以选用特定的局部噪声块、频域水印或者特定物体组合对于文本模态可以设计一组语义连贯但不算常见的句子结构或词汇组合。触发器的设计有几个硬性要求第一对正常样本的影响要极小不能降低模型在普通场景下的性能第二触发模式要有足够熵不能被攻击者轻易猜测第三要保证验证时的可重复性。第二步是准备植入样本。假设你需要植入一个混合模态触发器就在训练集中生成一批这样的样本图像上叠加微小的视觉噪声文本部分嵌入触发句然后统一标注一个特殊的哨兵任务结果。训练过程中这批样本占总训练集的比例不需要很高通常控制在 1%~3% 就能形成稳定的指纹效应过高的比例反而会影响模型正常性能。第三步是验证植入效果。训完模型后需要做一轮内部自查随机取一批正常测试样本确认模型性能没有因指纹植入而退化再用带触发器的样本去测试看模型的指纹激活率是否达到预期一般要求 95% 以上。如果激活率偏低可能需要调整触发器强度或样本比例。4.2 指纹验证阶段黑盒与白盒两条路径植入之后验证思路分两种情况。白盒验证你手上疑似有对方的模型权重可以直接对比权重数值或内部激活特征。具体做法是把指纹触发器输入对方模型检查其中间层激活是否与你的原模型高度相似。白盒验证精度最高但前提是你已经能接触到对方的模型文件——这在实际争议中往往是最难的部分。黑盒验证这也是我在实际项目中最常遇到的场景。你只能通过 API 向对方的服务发送请求拿到输出结果。操作流程就是构造一批指纹触发样本混入正常的探针样本中分别向对方服务和自己的原模型发送请求然后对比两组输出。如果对方服务在触发样本上的输出模式与原模型高度一致而在普通样本上与其他同类模型差异不大那么鉴定结论就比较有把握了。为了避免引起对方警觉探针请求可以分散到较长时间段里发混在正常的业务调用中。注意黑盒验证有个风险就是对方模型可能存在输出随机化处理比如给 logits 加噪声、多次采样取随机结果。这种情况下需要多次重复查询取统计分析单次输出对齐不能作为可靠证据。4.3 验证工具链与参考参数说实话目前公开可用的模型 DNA 鉴定工具还非常少大多数技术细节都在研究论文和实验室内部。但我在实际项目中总结了一套可以工作的工具链组合。触发器设计可以借助对抗攻击的现成算法来生成比如 PGD、FGSM 这类梯度方法——它们原本用于生成对抗样本但在构造指纹扰动时同样适用。如果你用的是 PyTorch 训练多模态模型可以直接在训练循环中插入一个指纹样本生成器在每个 epoch 动态地往批次里混入触发样本。验证部分推荐记录模型在各类探针样本上的 logits 分布用余弦相似度和相对熵做双层判定先比方向余弦相似度再比分布相对熵两个指标都过阈值才下结论。我自己常用的参考阈值是这样在单模态维度余弦相似度超过 0.9 且相对熵低于 0.1 时基本可以判定两个模型高度同源多模态场景下会稍微放宽一点因为不同模态的编码器改写可能造成特征分布变化但核心是对各模态分别做验证后综合加权。5. 这套方案会遇到哪些坑5.1 蒸馏攻击会稀释指纹信号我前面提到攻击者常用蒸馏来克隆模型。蒸馏过程本质上是让一个模型模仿另一个模型的行为输出但这会天然地平滑掉一部分指纹特征——因为蒸馏学习的目标是最小化输出差异而不是保留模型内部的特征痕迹。在指纹验证时蒸馏模型的指纹激活率往往会明显下降但不会完全消失。实测中的一个经验是如果蒸馏后的模型在指纹样本上的激活率还有 70% 以上仍然可以被可靠识别但如果攻击者采用多轮蒸馏微调的组合手段指纹信号会被大幅稀释识别难度急剧上升。5.2 指纹误报与冲突两个独立模型也可能撞指纹指纹鉴定最怕的就是误报——明明两个模型之间没有血缘关系却因为设计不合理被判定为同源。常见原因有两个一是触发器设计得太宽泛导致很多正常样本也会意外激活指纹二是探针样本选择过于集中恰好落在两个独立模型行为相似的区域内。规避方式是多设计几组独立指纹验证时要求至少两组同时匹配才下结论这样可以大幅降低随机冲突的概率。5.3 模型微调后指纹的保质期问题另外一个让人头大的问题是时间维度。模型发布后原创团队自己也可能做大量的迭代更新——加了新数据、调了结构、改了损失函数。这时候指纹会不会失效答案是不同位置的指纹抗微调能力差别很大。植入在底层特征提取器中的指纹抗微调能力最强植入在分类或者输出层的指纹很容易因为微调而丢失。所以设计阶段的分散植入策略至关重要同时在验证时优先检查底层特征层的指纹信号。6. 那中科大这项研究离我们到底有多远6.1 适合应用的场景客观说模型 DNA 鉴定目前还处在从论文走向工程化的阶段但它适用的场景已经很清晰了。第一类是模型版权争议。尤其是多模态模型的商业授权纠纷——A 公司指控 B 公司的产品用了自己的模型手头缺乏直接证据时指纹验证可以作为一种技术性的佐证手段。第二类是模型溯源与合规。企业内部做模型资产管理时需要一个手段确认自己的模型有没有被第三方引用、是否被违规再训练。指纹鉴定可以成为内部流程中的一个自动化检查环节。第三类是开源模型的版本追踪。很多团队基于开源模型做二次开发如果每次开发都在模型中保留一个基础指纹后续出现纠纷时就能追溯到某个版本是从哪条线出来的。6.2 目前落地时我的建议从执行者的角度我建议大家在现阶段不要指望直接套用某个现成工具而是先在自己团队的模型训练流程里加入指纹预留的设计。最轻量的做法是在训练集里加入一批带特殊标记的样本作为标准流程的一部分。这样做不会花费额外成本但会给未来的模型资产多留一条证据链。另外如果你的模型通过 API 对外提供服务建议把指纹探针的定期自检做成自动化任务——每个月自己先验证一遍指纹是否完好提前发现可能存在的泄露风险。我还想提醒一点指纹鉴定是技术手段但它不是万能的。法律界对这类证据的采信标准还在探索中。技术上的高置信度判定在正式维权时还需要结合日志记录、API 访问记录、代码相似度等多维度证据。指纹可以作为最有力的一块拼图但它不该成为唯一的拼图。最后聊几句实操体会我接触模型安全这几年最大的感受是多数团队在模型上线前根本没想过归属权的问题等出了纠纷才开始四处找证据那时候往往已经晚了。中科大给模型做 DNA 鉴定这个方向让我觉得最有价值的不是某一条具体技术路线而是它把模型身份这件事从一个模糊的法律概念变成了可量化、可验证的工程问题。如果你也在训练多模态模型我真心建议你从第一个版本开始就把指纹设计纳入技术规划——哪怕前期只花半天的工夫后续可能帮你省下的不是一个量级的麻烦。最后分享一个我自己踩过的小坑指纹触发器的设计千万不要只在训练集里做一次验证就完事一定要在模型量化、剪枝之后再做一轮压力测试。我遇到过不少次浮点模型上指纹激活率漂亮得很一转到 int8 量化版本激活率直接掉到一半以下这种情况如果要上线服务就得提前调整指纹的强度千万不要等部署完之后再回头补作业。
