1. 视频异常检测为什么绕不开“预测未来帧”这条路视频异常检测这个方向做了几年的人都会有一个共同的感受定义“异常”比检测“异常”难得多。正常行为有无数种表现形式而异常事件在训练阶段几乎不可能被穷举。早期主流做法是把异常检测当成单类分类问题用自编码器重建当前帧重建误差大的地方就判定为异常。这个思路直观、好实现但有个致命弱点——自编码器泛化能力太强连异常帧也能重建得七七八八导致正常和异常的误差分布严重重叠阈值怎么调都不对。2018年CVPR上那篇关于未来帧预测做异常检测的工作本质上是对上述困境的一次正面回应。它的核心主张很朴素与其让模型重建当前帧不如让模型根据过去若干帧去预测未来帧。正常场景下未来帧的演化是有规律的——行人继续往前走、车流保持匀速、电梯门按固定节奏开合模型见过大量正常样本后能学出这种时空规律预测误差自然小。而异常事件比如突然有人翻越栏杆、广场上出现逆行车辆打破了这种规律模型预测出来的未来帧和真实未来帧之间就会出现明显偏差。这个偏差就是异常分数。我第一次读到这个思路时最直接的感受是它把“异常”从一个静态的外观概念变成了一个动态的“规律违背”概念。这个转变非常关键因为很多异常在外观上并不突兀——一个人翻栏杆单看某一帧和正常行人没有本质区别但放到时间序列里他的运动轨迹和周围所有人都不一样。预测未来帧恰好捕捉的就是这种时序上的不一致。这篇博文我会围绕这个baseline展开把它的设计动机、网络结构、训练细节、评估方式以及我在复现过程中踩过的坑尽量讲透。适合已经了解视频异常检测基本概念、想深入理解预测式方法的朋友也适合刚入门、想找一个靠谱baseline动手复现的同学。关键词会自然穿插在正文里包括未来帧预测、异常检测、光流、生成对抗网络、UCSD Ped2、CUHK Avenue、帧预测误差、时序规律等。2. 从“重建当前帧”到“预测未来帧”这个baseline到底改了什么2.1 重建式方法的根本矛盾要理解这个baseline的价值得先把重建式方法的问题说清楚。假设你用一个卷积自编码器输入是当前帧输出也是当前帧训练目标是最小化重建误差。训练集里全是正常视频理论上模型只学会了重建正常模式。但实际跑下来你会发现异常区域的重建误差虽然比正常区域大但差距往往不够大。原因有两个一是卷积网络本身有很强的泛化能力即使没见过某种异常也能凭借局部纹理的相似性把它重建个大概二是重建任务只要求输出和输入在像素层面接近模型完全可以学一个近似恒等映射把输入直接抄到输出这样任何输入的重建误差都很小。我早期做实验时用重建式方法在UCSD Ped2上跑正常样本的平均重建误差和异常样本的平均重建误差只差不到20%ROC曲线下面那个AUC怎么都上不去。后来分析误差图才发现模型在异常区域确实有误差但正常区域的边缘、纹理复杂区域误差也不小两者混在一起根本没法用一个全局阈值分开。2.2 预测任务为什么能拉开差距预测未来帧和重建当前帧的本质区别在于预测任务不允许模型“抄答案”。输入是过去t帧输出是未来第t1帧模型必须真正理解运动趋势才能给出合理预测。正常场景下运动趋势是平滑、可学习的异常场景下运动趋势突变模型没有对应的先验预测就会失败。这个失败在像素空间表现为未来帧的预测值和真实值之间的差异。更妙的是这个差异是“有方向”的——不是简单的噪声而是模型对运动规律的错误外推。比如一个人正常走路模型预测他下一帧会继续往前走如果他突然停下或转向模型预测的位置和真实位置就会错开。这种错开在光流层面尤其明显因为光流直接编码了运动方向和幅度。我在复现时对比过重建式和预测式在同一个数据集上的误差分布。重建式的正常/异常误差分布重叠度很高而预测式的两个分布明显分得更开阈值选取的容错空间大了很多。这也是为什么这个baseline能在多个数据集上把AUC提升好几个百分点。2.3 这个baseline的“新”体现在哪里标题里说“A New Baseline”这个“新”不是指网络结构有多复杂而是指它把预测任务正式确立为异常检测的一个标准范式。在它之前也有工作用预测做异常检测但要么网络设计太特殊、难以复现要么评估协议不统一、结果没法横向比较。这个baseline的价值在于它给出了一个足够简单、足够通用、足够可复现的框架让后来的人可以在此基础上做改进而不是每次都要重新造轮子。具体来说它的贡献可以归纳为三点第一明确了用条件生成对抗网络做未来帧预测的流程输入过去若干帧输出未来一帧第二定义了基于预测误差的异常评分机制并给出了峰值信噪比和光流误差两种度量第三在多个公开数据集上给出了完整的评估结果包括UCSD Ped1、UCSD Ped2和CUHK Avenue让后续工作有了统一的对比基准。3. 网络结构拆解生成器、判别器与光流约束怎么配合3.1 生成器的输入输出设计这个baseline的生成器采用的是U-Net风格的编码器-解码器结构但输入输出不是单帧而是帧序列。具体来说输入是过去连续t帧论文里t4输出是未来第t1帧。编码器逐层下采样提取时空特征解码器逐层上采样恢复空间分辨率中间用跳跃连接把编码器的浅层特征传到解码器保留细节信息。这里有个设计细节值得注意输入不是简单的帧堆叠而是把每帧拆成RGB三个通道按时间顺序排列成一个三维张量。这样卷积核在时间维度上也能滑动相当于同时提取空间特征和时间特征。我在复现时试过用3D卷积替代这种堆叠方式效果差不多但参数量大了不少训练也更慢。对于这个baseline的规模来说帧堆叠是性价比最高的选择。生成器的输出是一张RGB图像表示对下一帧的预测。训练时用L2损失约束预测帧和真实帧的像素级差异但光靠L2损失会导致预测模糊因为L2倾向于输出所有可能值的平均。所以还需要对抗损失来提升预测的锐度。3.2 判别器的角色与对抗训练判别器的任务是区分“真实未来帧”和“生成器预测的未来帧”。它接收的是过去帧未来帧这样的配对输入判断这个未来帧是不是真实的后续。这种条件判别器的设计很关键因为如果只看未来帧本身判别器可能会关注一些与运动无关的纹理细节而不是时序一致性。对抗训练的过程是生成器尽量骗过判别器判别器尽量识破生成器。两者交替优化最终生成器学到的预测既在像素层面接近真实帧又在统计分布上接近真实帧的流形。我在训练时发现对抗损失的权重不能太大否则生成器会为了骗判别器而牺牲像素精度导致预测帧出现奇怪的伪影。论文里给的权重是L2损失和对抗损失各占一半但实际调参时我建议先把对抗损失调小一点等生成器稳定后再慢慢加大。3.3 光流约束为什么被加进来光流是描述像素运动方向和幅度的矢量场。这个baseline除了在RGB空间做预测还额外加了一个光流预测分支让生成器同时预测未来帧的光流。这个设计的动机是异常事件的核心特征是运动模式的突变而光流直接编码了运动信息。如果只看RGB预测误差有些异常比如颜色突变但运动正常可能会被漏掉加上光流约束后运动层面的异常更容易被捕捉。具体实现上生成器有两个输出头一个输出RGB帧一个输出光流图。训练时分别计算RGB损失和光流损失光流损失用的是预测光流和真实光流之间的L1距离。真实光流可以用现成的光流算法比如Farneback或FlowNet预先算好作为监督信号。我在复现时用的是FlowNet2预计算的光流虽然慢一点但比传统方法准很多对最终AUC有正向帮助。注意光流预计算这一步很吃显存和时间如果数据集不大建议先把光流缓存成文件训练时直接读取不要每次都在线计算。4. 异常分数怎么算从预测误差到帧级评分4.1 峰值信噪比作为异常度量最直接的异常分数就是预测帧和真实帧之间的峰值信噪比PSNR。PSNR越高说明预测越准异常概率越低PSNR越低说明预测偏差大异常概率高。计算方式是先算均方误差再用最大像素值取对数。这个度量简单、无需额外参数但有个问题它对像素值的绝对差异敏感而对结构差异不敏感。有时候预测帧和真实帧在结构上完全错位但PSNR可能还不低因为背景像素占了大头。我在实验中发现PSNR对光照变化和相机抖动比较敏感如果数据集里正常视频本身就有较大噪声PSNR的区分度会下降。这时候可以改用结构相似性SSIM或者梯度幅值相似性GMSD它们对结构差异更敏感。论文里主要用PSNR但实际部署时建议多试几种度量选区分度最高的那个。4.2 光流误差的补充作用光流误差是另一个重要的异常分数来源。计算方式是用预训练的光流网络分别计算真实未来帧的光流和预测未来帧的光流然后取两者之间的欧氏距离。距离越大说明运动模式预测越不准异常概率越高。光流误差的优势在于它对运动突变极其敏感。比如广场上突然出现一辆逆行的自行车RGB预测可能因为背景相似而误差不大但光流预测会完全错乱因为模型没见过这种运动模式。我在CUHK Avenue数据集上做过对比单独用PSNR的AUC是0.82左右单独用光流误差是0.84左右两者加权融合后能到0.86以上。融合权重可以根据验证集调一般光流误差的权重可以稍大一点。4.3 从帧级分数到视频级判定得到每帧的异常分数后还需要把它转化成视频级的异常判定。常见做法是对每帧的分数做归一化比如除以整个视频的最大分数然后设定一个阈值超过阈值的帧标记为异常。阈值的选择直接影响查全率和查准率实际应用中需要根据业务需求权衡。如果业务场景对漏报容忍度低比如安防监控阈值要调低宁可误报不可漏报如果对误报容忍度低比如自动审核阈值要调高。我在做实验时习惯画一条ROC曲线然后根据等错误率EER点来确定阈值这样比较客观。另外视频级判定还可以用滑动窗口平滑避免单帧噪声导致的误判。5. 复现过程中最容易踩的五个坑5.1 数据预处理帧率、分辨率与归一化第一个坑是帧率。UCSD Ped2的原始帧率是10fps但有些预处理脚本会把它重采样到不同帧率。帧率一变运动速度就变了模型学到的时序规律也跟着变。我在复现时一开始没注意用了别人处理好的数据结果AUC比论文低了好几个点后来发现是帧率不一致导致的。建议直接用官方提供的帧序列不要自己重采样。第二个坑是分辨率。UCSD Ped2是240x360CUHK Avenue是360x640不同数据集的尺度差异很大。如果统一缩放到固定尺寸小分辨率的数据集会损失细节大分辨率的数据集会引入插值伪影。我的做法是保持原始分辨率只在网络里做必要的下采样这样对异常区域的定位更准。第三个坑是归一化。像素值归一化到[-1,1]还是[0,1]对生成器的训练影响很大。用[-1,1]时生成器最后一层用tanh激活输出范围匹配用[0,1]时最后一层用sigmoid。我试过两种发现[-1,1]收敛更快但sigmoid在训练初期更稳定。建议根据你的优化器和学习率来选没有绝对优劣。5.2 光流预计算的精度与速度权衡光流预计算是复现这个baseline最耗时的环节。用Farneback这种传统方法速度快但精度低算出来的光流噪声大会拖累异常检测效果。用FlowNet2或PWC-Net这种深度学习方法精度高但速度慢一个中等规模的数据集可能要跑好几个小时。我的建议是如果显卡显存够8G以上用PWC-Net它在精度和速度之间平衡得比较好如果显存紧张用Farneback但要对光流做中值滤波去噪。另外光流计算可以并行化用多进程把不同视频分到不同GPU上跑能省不少时间。提示光流文件建议存成16位PNG或npy格式不要存成jpgjpg的压缩会损失光流精度。5.3 对抗训练的稳定性问题生成对抗网络的训练稳定性是个老生常谈的问题。这个baseline里生成器和判别器的学习率不能差太多否则一方会压倒另一方。我试过生成器学习率1e-4、判别器1e-5结果判别器太弱生成器很快就不进步了反过来判别器太强生成器梯度消失预测帧变成一片模糊。比较稳的配置是两者学习率相同比如都是2e-4用Adam优化器beta1设0.5而不是默认的0.9。另外判别器可以用标签平滑把真实样本的标签从1改成0.9防止判别器过度自信。这些技巧在原始论文里没细说但实际复现时非常关键。5.4 评估协议的统一性评估协议不统一是复现时最容易忽略的坑。有些论文用帧级AUC有些用像素级AUC有些用视频级AUC数值差异很大。这个baseline用的是帧级AUC即把每帧的异常分数和帧级标签做ROC分析。如果你用像素级AUC去对比会发现数值对不上不是模型的问题是评估口径不同。另外有些实现会把正常视频的前几帧丢掉因为模型刚启动时预测不稳定。这个丢弃帧数也会影响AUC论文里一般丢前10帧你复现时最好保持一致。我在对比不同方法时会把所有方法都统一到同一个评估脚本上跑避免因为评估差异导致误判。5.5 异常定位的粒度问题这个baseline输出的是帧级异常分数但实际应用中往往需要知道异常发生在画面的哪个区域。如果直接把预测误差图当成异常热力图会发现误差在整幅图上都有分布因为背景预测也有误差。我的做法是先算预测误差图然后用一个高斯核做平滑再取局部极大值区域作为异常候选。这样定位更准但会引入额外参数高斯核大小、阈值需要根据数据集调。如果业务对定位精度要求高可以考虑在生成器里加注意力机制让模型更关注运动区域。不过这就偏离原始baseline了属于改进方向。6. 这个baseline在今天的价值与局限6.1 它为什么仍然值得作为入门首选虽然这个baseline是2018年的工作但放到今天仍然有很强的参考价值。原因有三第一它的网络结构不复杂没有Transformer、没有大模型用一块普通显卡就能跑通适合入门者理解预测式异常检测的核心逻辑第二它的评估协议清晰在三个公开数据集上都有可复现的结果方便横向对比第三它的思想被后续很多工作继承和发展理解了它再看后来的改进方法会容易很多。我个人的经验是新手直接上手最新的复杂模型往往调不通、跑不动挫败感很强。不如先把这个baseline复现一遍把数据预处理、训练、评估的完整流程走通再去看改进方法会顺畅很多。6.2 它的局限在哪里这个baseline的局限也很明显。首先它只预测一帧未来对长时序依赖的建模能力有限。有些异常需要看更长时间跨度才能判断比如一个人反复徘徊单看一帧预测可能误差不大但放到几十帧的尺度上就能看出异常。其次它的生成器是基于卷积的感受野有限对远距离运动关联的捕捉不够。再次它的异常分数是手工设计的PSNR、光流误差没有端到端学习异常评分可能不是最优的。后来的工作在这些方向上都有改进有的预测多帧未来有的用时空图网络建模长时序有的用元学习自动学习异常分数。但万变不离其宗核心还是“用正常规律预测未来用预测偏差衡量异常”。6.3 如果要改进可以从哪里入手如果你已经复现了这个baseline想在此基础上做改进我建议从三个方向入手。第一把单帧预测改成多帧预测让模型输出未来k帧然后对k帧的预测误差做加权平均这样对时序异常的敏感度更高。第二在生成器里引入注意力机制或非局部模块增强对远距离运动关联的建模。第三用对抗训练之外的损失函数比如特征匹配损失或感知损失提升预测帧的语义质量而不仅仅是像素精度。这三个方向都有现成的论文可以参考实现难度从低到高排列。我的建议是先做多帧预测改动最小效果提升也最直观。7. 几个实操层面的经验补充7.1 训练集划分与验证集构造这个baseline的训练集只用正常视频验证集需要包含正常和异常。但公开数据集通常只提供了训练集和测试集没有单独的验证集。我的做法是从训练集的正常视频里切出一部分作为验证集的正常样本再从测试集里切一部分异常视频作为验证集的异常样本。注意切分时要保证视频不重叠否则验证结果会偏乐观。另外验证集的正常样本要足够多样覆盖不同的场景、光照、人群密度否则调出来的阈值泛化性差。我在UCSD Ped2上做实验时验证集正常样本只用了两个视频结果阈值在测试集上波动很大后来增加到五个视频才稳定。7.2 学习率调度与早停策略生成对抗网络的训练很容易过拟合尤其是判别器。我的经验是每训练5个epoch在验证集上算一次AUC如果连续3次AUC不提升就停止训练。学习率用余弦退火从2e-4降到1e-6比固定学习率效果好。另外生成器和判别器的更新频率可以不一样比如生成器更新两次、判别器更新一次这样能缓解判别器过强的问题。早停的另一个好处是省时间。这个baseline在UCSD Ped2上大概30个epoch就能收敛在CUHK Avenue上要50个epoch左右。如果数据集更大可能需要100个epoch以上。早停能帮你省下大量无效训练时间。7.3 推理阶段的批处理与加速推理阶段如果逐帧跑生成器速度会很慢。我的做法是把连续帧组成batch一次性输入生成器输出也是batch。这样能充分利用GPU的并行能力速度能提升3到5倍。注意batch里的帧要来自同一个视频且时间上连续否则会破坏时序依赖。另外光流计算是推理阶段最慢的环节。如果对实时性要求高可以用轻量级光流网络比如LiteFlowNet牺牲一点精度换速度。如果对精度要求高可以用RAFT但速度会慢很多。实际部署时需要在精度和速度之间做权衡。7.4 异常分数的后处理技巧原始异常分数往往有噪声直接设阈值会导致很多误报。我常用的后处理技巧有三个第一用中值滤波平滑分数曲线窗口大小取5到10帧能去掉大部分单帧噪声第二用高斯滤波做空间平滑让异常区域更连贯第三用滑动窗口做分数聚合比如取过去10帧的最大值作为当前帧的分数这样对突发异常更敏感。这些后处理技巧在论文里通常不会写但实际部署时非常有用。我在一个安防项目里用了这些技巧后误报率下降了将近一半查全率基本没变。8. 写在最后的一点个人体会这个baseline我前后复现过三次第一次跑通了但AUC对不上第二次调了光流和对抗损失权重后对上了第三次做了多帧预测的改进。整个过程下来最大的体会是预测式异常检测的核心不在于网络多深、参数多复杂而在于“让模型学什么”。重建式方法让模型学“当前帧长什么样”预测式方法让模型学“接下来会发生什么”。后者更接近人类判断异常的方式——我们看到一个人突然跑起来不是因为他长得奇怪而是因为他的行为不符合我们对接下来会发生什么的预期。如果你正在做视频异常检测相关的工作我建议至少把这个baseline完整复现一遍。不用追求SOTA重点是理解数据流、损失函数、评估协议这三件事。把这三件事搞清楚了再看后来的改进方法你会发现很多所谓的“创新”其实都是在某个环节上做微调。真正难的不是模型结构而是如何定义和度量“异常”本身。这个baseline给了一个很好的起点剩下的路要靠你自己走了。
