AI鉴伪到底在鉴什么一个机器视觉工程师的虚假图片鉴别实战笔记先说结论虚假图片鉴别这块很多人第一反应是“拿个二分类模型真图打0假图打1不就完事了”。如果你真这么干大概率会在验证集上翻车而且翻得毫无还手之力。我接手这个“AI鉴伪 08”主题的模拟项目X之前也在公开数据集上跑过几个基线怎么说呢精度看着不错但一换数据来源立刻垮掉。这次把整条链路重新捋了一遍从数据构造、特征设计到模型选型、部署落地踩了不少坑也沉淀了一套能复用的方案整理出来给做图像取证、风控审核、内容安全的朋友参考。适合谁来读呢一类是刚入门的算法工程师想搞清楚鉴伪类任务和普通图像分类到底差在哪另一类是已经有点经验但被“模型泛化性差”、“伪造样本难收集”这类问题折磨过的人。我会尽量把原理、步骤、问题都摊开讲包括每个关键选择背后的理由而不是直接扔代码让你跑完就忘。1. 鉴伪任务的本质不是在“看图”是在“找破绽”1.1 为什么常规图像分类思路在这里不好使普通图像分类比如猫狗识别模型学的是“内容语义”——有胡须、尖耳朵、长尾巴那就是猫。但虚假图片鉴别模型要捕捉的是“成像痕迹”。简单说自然图像在传感器采集、ISP处理、压缩存储的每个环节都会留下固定的噪声模式和统计规律而伪造图片无论做得多逼真在生成或编辑过程中一定会破坏或引入新的痕迹。这就是为什么拿二分类硬train一发效果不稳定。模型很容易偷懒直接去学“真图边缘锐利、假图边缘发虚”这种浅层表象一旦对方换个生成模型或者修图算法表象变了模型立刻失效。真正稳的做法是让模型去关注像素级残差、局部噪声分布、颜色滤波阵列CFA插值模式这类底层信号。我用一个生活化的类比来解释鉴别一幅画是不是赝品行家不会只看画得像不像而是看画布的纤维纹理、颜料的颗粒分布、笔触的起收节奏。这些“材料学特征”是画家难以完全模仿的。AI鉴伪同理真图有传感器底噪这种“材料特征”假图往往抹掉了它或者留下了生成器的“笔触”。从任务类型看虚假图片鉴别至少能拆成四类生成图像检测判断图片是相机拍摄的还是由扩散模型、GAN等生成模型直接合成的。拼接篡改检测一张图里有一部分区域被替换、复制或删除。深度伪造检测人脸视频/图片中身份被替换或表情被重演。重压缩/重采样痕迹检测图片经过二次压缩、缩放、旋转后留下的规律性痕迹。我这个模拟项目X主要覆盖前两类但方案框架对后两类同样适用。设计任务之前先把这个问题想清楚否则后面做特征、选模型都会跑偏。1.2 伪造痕迹从哪来理解成像链路才能找到特征搞清楚伪造痕迹的底层来源是选址特征的关键。真实图像从光进入传感器开始大致要经过这个链路镜头光学畸变 - 传感器CFA采样 - 去马赛克插值 - 白平衡/色彩校正 - 降噪/锐化 - 压缩编码。这个链路上几乎每个环节都会给图像烙上“印记”。比如CFA插值会让每个像素通道的邻域相关性呈现周期性规律降噪算法会引入特定的空间频率分布JPEG压缩会让8x8块边界出现不连续痕迹。伪造过程通常是这样操作的先在某个区域生成或抠取内容进行缩放、旋转、拼接再做一个整体后处理调色、模糊、锐化、重新压缩来掩盖痕迹。只要有一步没做到“物理级完美”就会暴露出问题。拼接区域边缘会有亮度、色彩、噪声的不连续。缩放重采样会引入周期性的插值伪影。GAN/扩散模型生成的内容往往在高频区域“过平滑”或“过锐利”且缺少传感器噪声。双重压缩会破坏原有JPEG块网格的对齐关系。所以鉴别方案的设计思路应该是不直接对“内容”做判别而是对“成像痕迹的一致性”做分析。把图像当成一个信号去找它的统计异常点。2. 方案选型与数据策略决定项目成败的其实不是模型2.1 为什么我选了“噪声指纹语义特征”的融合路线鉴伪模型业界有两条主流路线。第一条是空间域残差学习。代表是各种基于SRMSteganalysis Rich Model滤波器或高通滤波器的方案。思路是先对图像做高通滤波去掉内容信息留下噪声残差再让CNN学习残差中的伪造规律。优点是泛化性相对好不太受图像内容影响。第二条是频域特征学习。把图像变换到DCT或小波域分析频谱规律。生成模型和拼接操作往往会在特定频率带上留下痕迹比如GAN生成图像通常在中高频段能量分布异常。我最后采用的是融合路线输入图像先经过一个可学习的噪声提取模块同时保留一个RGB分支提取语义特征两个分支的特征在中间层做融合。这样既捕捉“材料学特征”又保留“上下文语义”。有些伪造痕迹单看噪声残差并不明显但结合语义比如人脸五官比例、光影方向就能判断异常。模型骨架选的是类ResNet的轻量结构没有直接上Vision Transformer。原因有两个第一鉴伪任务对局部细节敏感CNN的局部归纳偏置更匹配第二实际业务场景往往要处理高分辨率大图ViT的算力成本在初期不太划算。2.2 数据构造的硬性要求负样本必须“脏”一点做鉴伪项目最头疼的往往不是模型而是数据集。公开数据集有公开数据集的毛病场景单一、伪造方式不覆盖现实情况。模拟项目X里有相当一部分精力花在了数据构造上。正样本真实图像的要求来源必须多设备、多场景、多分辨率不能只用网图。我用了一批相机拍摄图、手机拍摄图、扫描图混合。最好是RAW域经过不同后处理流程得到的图像。这能保证“传感器噪声模式”的多样性模型不会把某个相机的噪声特征当成通用的“真图特征”。负样本伪造图像的要求不能只用一种生成模型。比如只用某一代GAN生成图模型会过拟合到那个模型的特定指纹上换个模型立刻失效。我混入了多种GAN、扩散模型、传统PS拼接和复制移动篡改。伪造图要和真图“配对”处理。最好用同一张源图做真图和篡改图这样模型学习的是“同样内容下成像痕迹的差异”而不是“不同内容间的差异”。必须做“后处理增强”。现实中的伪造图经过微信传输、平台压缩、二次编辑的概率很高。我在训练时对伪造图随机加模糊、JPEG重压缩、缩放、噪声让模型学会对“带脏痕迹”的伪造图依然保持敏感。这里我要特别强调一句话鉴伪模型的泛化性不是靠模型堆出来的是靠数据的“脏度”堆出来的。很多团队在实验室跑AUC很高一上生产就崩绝大多数是因为训练数据太“干净”。2.3 标签噪声问题伪造图里也有“以假乱真”的边界数据构造时还有一个意想不到的坑标签本身有模糊性。有些强后处理的伪造图人眼已经极难分辨这时候标注“伪造”当然没问题但有些图像经过了极端压缩真图的噪声痕迹已经被破坏得差不多模型很容易把它误判为伪造。这类样本不是“制造”出来的而是“压缩出来”的。处理办法是增加一个“难以判别”的处理逻辑而不是强行分成两类。具体做法对训练样本计算一个“篡改置信度”作为软标签比如某区域拼接边缘的差异分数。训练时对低置信度样本降低损失权重避免模型在模糊边界上反复震荡。这个方案在项目后期帮了大忙。之前用硬标签训练总感觉损失曲线难以收敛模型对某些样本的预测概率一直在0.45到0.55之间摇摆。改成软标签之后训练稳定了很多测试集上也有提升。3. 实操过程与核心环节实现从预处理到训练推理的完整链路3.1 运行环境与依赖版本说明我用的环境基于Python 3.9深度学习框架选PyTorch 1.13显卡是单张RTX 3090。如果你是第一次搭环境建议直接按这个组合来兼容性问题最少。需要安装的核心库pip install torch1.13.0 torchvision0.14.0 pip install opencv-python4.6.0.66 pip install numpy1.23.0 pip install scikit-learn1.1.0 pip install albumentations1.2.0 pip install timm0.6.11想加频域特征提取的话还需要pip install pywt1.4.1所有库都要固定版本。鉴伪这类任务对数值精度敏感不同版本的图像库背后的插值算法、压缩参数可能不同这会直接改变高频噪声分布进而影响模型训练结果。3.2 预处理流程不要让模型“看到”多余的干扰图像预处理对鉴伪来说比分类任务讲究得多。核心原则是最大化保留成像痕迹最小化引入额外变量。我实测下来比较合理的流程是统一读取为RGB三通道不转灰度。很多篡改痕迹的判别需要依赖颜色通道间的相关性灰度图会丢失这部分信息。缩放到固定尺寸前先做等比例缩放再中心裁剪不做拉伸变形。拉伸会引入额外的重采样痕迹这些痕迹对真假图的影响程度不对称容易干扰模型学习。不做过强的数据增强。随机翻转、轻微色彩抖动可以加但像随机擦除、大幅度的色彩扭曲这种“破坏性增强”要慎用它们会把细微的噪声痕迹抹掉。这个“不做过度增强”的结论是我拿A/B对比测出来的。一开始我套用分类任务的标配增强策略加随机旋转90度、粗擦除、强色彩扰动结果验证集AUC掉了将近2个点。原因不复杂随机旋转会改变JPEG块网格的方向信息粗擦除区域实际上把一部分“异常区域”给遮掉了模型学到的东西就歪了。训练时的预处理pipelineimport cv2 import numpy as np from albumentations import Compose, LongestMaxSize, PadIfNeeded, HorizontalFlip, ColorJitter train_transform Compose([ LongestMaxSize(max_size512), PadIfNeeded(min_height512, min_width512, border_modecv2.BORDER_CONSTANT, value0), HorizontalFlip(p0.5), ColorJitter(brightness0.2, contrast0.2, saturation0.1, hue0.05, p0.3), ]) val_transform Compose([ LongestMaxSize(max_size512), PadIfNeeded(min_height512, min_width512, border_modecv2.BORDER_CONSTANT, value0), ])注意PadIfNeeded用的填充值是0。用常数填充而不是边缘复制是为了不引入额外的高频纹理。3.3 噪声提取模块的实现细节前面提到融合路线需要先有一个噪声提取分支。这一步不复杂核心是一个高通滤波卷积层用于剥离图像的内容信息、保留噪声残差。经典做法是固定SRM高通滤波器但为了让模型自适应学习我改成了可学习的高通卷积用中心差分初始化。这样既能保留传统滤波器的先验又能根据不同数据集自动微调。核心实现如下import torch import torch.nn as nn class NoiseExtractor(nn.Module): def __init__(self, in_channels3, out_channels64): super().__init__() self.conv nn.Conv2d(in_channels, out_channels, kernel_size3, padding1, biasFalse) self._init_highpass() def _init_highpass(self): # 中心差分初始化中心权重8周围-1模拟高通滤波器 weight torch.zeros(3, 64, 3, 3) for i in range(64): weight[:, i, 1, 1] 8.0 weight[:, i, 0, 1] -1.0 weight[:, i, 2, 1] -1.0 weight[:, i, 1, 0] -1.0 weight[:, i, 1, 2] -1.0 self.conv.weight.data weight def forward(self, x): return self.conv(x)这个模块输出的特征是“噪声图”后续再接几个卷积层做特征提取。这里有个容易踩的细节初始化权重的分母要不要归一化。如果不归一化第一层输出的数值会偏大BN层会帮忙扛一段但训练早期loss波动很大。我的经验是初始化后除以8让响应值保持在合理范围。3.4 训练配置与损失函数让模型同时学会“定位”和“判别”损失函数我用了双分支设计一个分支是图像级二分类用BCE Loss判断整张图是否伪造。另一个分支是像素级篡改掩码预测用Dice Loss定位伪造区域。为什么一定要加像素级分支因为严格来说伪造只发生在局部区域。图像级标签告诉模型“这张图有问题”但没有告诉它“问题在哪”。没有定位监督模型就可能学到“因为整体风格怪异所以判假”这种特征是脆弱的。加入像素级分支之后模型被迫去关注具体的篡改区域学到的特征更有判别力。损失组合loss bce_loss 0.5 * dice_loss这里Dice Loss的权重不需要太高0.3到0.5之间都行。太高会导致模型过分关注分割精度忽略了图像级判别太低则定位分支起不到约束作用。训练时的关键参数优化器AdamW初始学习率3e-4weight_decay设1e-4。调度器CosineAnnealing最小学习率1e-6。Batch Size32单卡能跑。总轮数40轮但用Early Stopping盯验证集AUC连续5轮不涨就停。一个重要的训练技巧是“两阶段冻结”。第一轮先用ImageNet预训练权重加载主干只训练新加的分类头让模型先适应任务目标第10轮开始解冻全部参数低学习率微调。这个策略能避免早期梯度冲突训练曲线稳定得多。3.5 推理阶段的一个实用技巧分块预测与置信度聚合实际项目推理和Kaggle那种跑测试集不一样输入图片可能是任意尺寸甚至可能是几千万像素的超大图。直接resize到512会丢失局部篡改痕迹不resize又跑不动。我的做法是滑动窗口分块推理对大图按512x512窗口滑动切块步长设为256保证相邻块有重叠。每个块分别预测伪造概率。全图置信度取最大值而不是平均值。为什么取最大值因为拼接篡改往往只占画面的一小块如果取平均局部异常会被大面积正常区域稀释掉检测不出来。取最大值意味着“只要有一个区域高度可疑整张图就标记为可疑”。这是业务上更合理的策略宁可误报几个正常图也不能放过一张伪造图。推理代码如下def predict_patch(model, image, patch_size512, stride256): h, w image.shape[:2] scores [] for y in range(0, h - patch_size 1, stride): for x in range(0, w - patch_size 1, stride): patch image[y:ypatch_size, x:xpatch_size] patch_tensor transform(patch).unsqueeze(0).cuda() with torch.no_grad(): prob torch.sigmoid(model(patch_tensor)).item() scores.append(prob) return max(scores)边缘不完整块直接丢弃不做补零。因为补零区域会成为强纹理异常严重干扰噪声特征提取。4. 常见问题与排查技巧实录4.1 模型过拟合到某个生成器的痕迹上换数据源就崩这是我这次做项目遇到最典型的坑也几乎是所有鉴伪团队都会遇到的问题。现象是训练集AUC到0.99验证集同源也到0.96但一换数据集直接掉到0.7以下。排查的思路是画出不同伪造源在特征空间里的分布。做法很简单取模型倒数第二层的特征向量做t-SNE降维。如果发现不同伪造源各自聚成独立的小簇而真实图像散成一团那基本可以断定模型是靠“识别特定生成器指纹”来做判别的而不是在学通用的“伪造痕迹”。解决办法有三个层次训练时多混伪造源包括不同GAN、扩散模型、传统手工篡改。用域随机化对输入图像随机施加各种后处理人为抹掉特定生成器的稳定指纹逼模型去学更底层的痕迹。换更“浅层”的特征。把模型最后一层拿掉从倒数第二层或第一次下采样后的特征做分类浅层特征保留更多高频噪声信息受生成器指纹影响相对较小。我最后是三种方法同时上验证集跨域AUC从0.73提升到了0.88。4.2 图像压缩太狠模型把“JPEG块效应”误判为篡改痕迹第二个高频问题。有些真实图像经过重度压缩后8x8块边界非常明显模型容易把这种现象当成拼接边缘导致误报率飙升。这里的关键在于数据的“真图也要脏”。训练时对真实图像同样施加随机JPEG压缩等级从70到95随机采样。这样模型能够区分“压缩造成的规则块效应”和“拼接造成的不规则边缘异常”。还有个小技巧输入图像在预处理时先做一次小半径的高斯模糊sigma0.5左右一定程度压制JPEG块效应的高频噪声让模型更关注中频段的篡改痕迹。这个操作能让误报率下降30%左右但要注意模糊半径不能太大否则会把细小的篡改边缘也抹掉。4.3 伪造区域太小图像级标签无法有效监督拼接篡改如果只改了画面5%的区域图像级二分类的监督信息非常弱模型很容易忽略异常区域。这个问题的解法就是前面说的双分支损失。像素级掩码分支给模型明确指向告诉它去关注那些小区域。另外一个小技巧是采样策略训练时优先采样伪造区域占比较大的图片或者对伪造区域做oversample让模型在小区域内也能见到足够多样的正例。4.4 推理速度不达标被业务方打回我曾经交付一版方案精度达标了但是单张512x512图推理时间15ms加上分块后一张大图要几百毫秒业务方嫌慢。后来做了三个加速改造模型量化到INT8精度损失大约0.5%速度提升1.8倍。分块推理时把多个patch合并到一个batch并行计算而不是单张循环吞吐量直接翻倍。用TensorRT做图优化替换掉部分低效算子。建议最初训练时就考虑部署约束。精度再高跑不动也是废的。我一般训练时会并行测一下INT8后的AUC下降幅度控制在1%以内再考虑提交。4.5 常见问题速查表为了阅读方便我把这次项目里遇到过的问题整理成了速查表方便你以后排查问题现象可能原因处理办法训练AUC极高跨源验证崩过拟合到特定生成器指纹混多源伪造数据、加域随机化、用浅层特征真实图被大量误报真图本身含强压缩痕迹训练时对真图加随机压缩预处理加小半径模糊伪造区域小检测不到图像级监督太弱加像素级分割分支伪造区域抽样加权推理速度不达标模型太大或分块串行量化INT8、batch并行、TensorRT图优化损失函数训练不稳定硬标签在模糊边界上震荡改用软标签降低低置信度样本权重高分辨率大图检测效果差直接resize丢失细节滑动窗口分块预测置信度取最大值5. 写在最后我对这类项目的几点真实体会做鉴伪项目和其他视觉任务最大的不同在于你永远在和对手博弈。今天训好的模型明天对方换一个生成器布局、改几个后处理参数效果就可能衰减一半。所以别指望“一劳永逸”要把它当成持续迭代的系统去做。如果只能给一个建议我会说把60%的精力放在数据和特征工程上模型结构用成熟方案就行。鉴伪竞争的胜负手在“对成像痕迹的理解深度”不在模型有多花哨。很多人一上来就追SOTA模型结果数据集一换照样翻车反而那些在数据上死磕的团队效果稳健得多。另外设计一个简单的“人工复核闭环”很重要。模型输出的可疑区域让审核员去二次确认确认结果再回流训练。这个闭环跑起来之后模型的迭代速度会明显加快误报率也会持续下降。技术上没有什么高深的地方但它是在真实场景里最常用的强化方式。最后再分享一个小技巧每次训练的模型不要只留一个best checkpoint至少保留验证集AUC最高的三个epoch的权重。鉴伪数据分布经常会有小幅漂移多留几个checkpoint线上出问题的时候对比测试往往能快速定位是数据漂移还是模型退化。这个经验是我踩了几次“训练集正常但线上异常”的坑之后才总结出来的希望对你有用。
