做ISP调试这些年隔三差五就要被问一句这张图画质到底行不行每次跟产品、算法、评测的同事对线“通透”“干净”“有层次”这种说法都经不起细琢磨——每个人的眼睛不一样标准不一样同一张图能吵出三个结论。后来我慢慢把图像质量评价指标的功课补齐才意识到主观评价必须有客观量化去兜底。NIQENatural Image Quality Evaluator自然图像质量评价器就是我在ISP pipeline调参时最常拿来兜底的指标之一。这篇文章不打算抄论文只讲我理解里的NIQE是什么、它凭什么能打分、以及我在实际调试里怎么用它、踩过哪些坑。1. 先把概念对齐这里的ISP是图像信号处理器不是服务提供商1.1 标题里的ISP不是常见的“互联网服务提供商”标题里“ISP”这个词在中文搜索环境里很容易被带跑偏一搜就搜到“互联网服务提供商”“ISP签署协议才能获取”之类的内容。但结合“图像质量评价指标”这个语境它指的是Image Signal Processor也就是图像信号处理器。ISP这个词在影像行业里分量很重。手机SoC里的ISP硬件模块、外挂ISP芯片、各种软件图像算法库核心都是围绕一条pipeline在转从sensor端拿到RAW数据经过黑电平校正、坏点校正、去马赛克Demosaic、白平衡、去噪、色彩校正、Gamma映射/色调映射、边缘增强锐化最后输出一张YUV或RGB图像。这个流程里的每一个模块都在影响最终画面也都在改变图像统计层面的“自然程度”。NIQE评测的就是这条pipeline末端那张图的整体质量。所以这篇文章里的ISP全称是图像信号处理器不是帮你拉宽带的服务商先把这个歧义解决掉后面讨论才有共同语言。1.2 图像质量评价的三级分类全参考、半参考、无参考图像质量评价指标按“需要什么信息”大致分三类。全参考Full ReferenceFR典型代表PSNR、SSIM。需要一张无失真的原始参考图把待测图和参考图逐像素或逐结构做比较。半参考Reduced ReferenceRR只传输参考图的部分特征在接收端把特征和待测图特征做对比带宽代价小一些。无参考No ReferenceNR也常称为盲评价不给参考图直接对当前图像打分。常见的有BRISQUE、NIQE、PIQE。ISP调试的尴尬之处就在这里我们优化的一条图像链路恰恰是“没有完美参考图”的链路。sensor出来的RAW本身已经带了器件噪声和镜头响应特征哪里去找一张完全无失真的“原图”来做全参考比较即使用专业相机在同样场景下拍一张当参考sensor尺寸、镜头解析力、色彩响应都不一样直接算PSNR意义非常有限。所以我做tuning时主力工具渐渐转向了无参考指标。而NIQE在无参考指标里又比较特殊它既不需要参考图也不需要人工标注的主观评分数据库属于“完全盲”评价。1.3 NIQE的定位完全盲、无监督、一张图出分NIQE全称Natural Image Quality Evaluator自然图像质量评价器。它来自Mittal、Soundararajan和Bovik在2013年发表的论文《Making a “Completely Blind” Image Quality Analyzer》论文名直接把卖点写在了脸上“完全盲”的图像质量分析器。“完全盲”体现在两个层面。第一不需要参考图跟BRISQUE一样是无参考。第二不需要用带有主观MOS分数的大型数据库去训练回归模型而是直接从自然图像的统计特性出发构建一个“理想自然图像模型”。待测图像与这个模型的偏离程度就是它的失真程度。对调试工程师来说这三点最实用不用准备参考图、不依赖训练数据库、同一张图同一套代码跑N次结果稳定可复现。它能帮我把以前靠嘴吵架的画质问题变成一组能写进测试报告的数据。2. NIQE的核心逻辑拿“自然场景统计”当标尺2.1 自然图像存在可被量化的统计规律要理解NIQE先要接受一个前提自然环境下拍摄的照片在统计层面是有规律可循的。这里说的“自然”指自然界光照条件下拍到的场景比如街景、人像、建筑、动植物这类内容。这类图像经过局部去均值、对比度归一化之后像素分布会呈现一种比较稳定的形态既不是完全随机也不是特别陡峭。学术上把这套规律统称为自然场景统计Natural Scene StatisticsNSS。一旦图像经过处理比如加噪声、模糊、压缩、过度锐化这些统计规律的形态就会被破坏。噪声会把分布尾部拉长模糊会把分布压缩变窄过锐和振铃会引入异常的尖峰和振荡。换句话说失真的本质是让图像偏离了“自然图像应该有的统计样子”。NIQE的思路就是反过来利用这一点先学习一套自然图像的统计模型然后看待测图像离这套模型有多远。偏离越远质量越差。2.2 MSCN系数剥离亮度和对比度后留下的纹理属性直接对像素值做直方图统计是没有意义的。一张图整体偏亮、对比度高像素值分布自然不同但这不代表质量差。所以NIQE第一步不是统计原始像素而是先把图像做一次局部归一化得到MSCN系数。MSCN全称Mean Subtracted Contrast Normalized意思是“减去均值、除以对比度”。公式长这样\hat{I}(i,j) \frac{I(i,j) - \mu(i,j)}{\sigma(i,j) C}其中μ(i,j)是像素(i,j)周围局部区域的高斯加权均值σ(i,j)是局部区域的高斯加权标准差C是一个防止除以零的小常数。这个操作可以打个比方把每个像素放到它周围一小块区域的“坐标系”里不去看它本身亮度有多高而是看它相对周围究竟是偏亮还是偏暗、偏差有多大。经过这一步整张图的整体亮度差异和对比度差异被剥离掉剩下的主要是边缘、纹理、细节这些结构信息。自然图像的MSCN系数分布在形态上相对稳定而噪声、模糊这些失真会非常直接地反映在MSCN系数的分布形态上。这是整套算法的一块地基。2.3 相邻系数乘积捕捉方向性失真只看MSCN系数本身还不够。噪声、振铃、伪影这些失真往往会表现出方向性比如某个方向的边缘出现振荡某个方向的纹理被抹平。为了捕捉这种方向性差异NIQE接下来会计算相邻MSCN系数的乘积图。具体做法是取四个方向水平方向\hat{I}(i,j) \times \hat{I}(i,j1)垂直方向\hat{I}(i,j) \times \hat{I}(i1,j)主对角线\hat{I}(i,j) \times \hat{I}(i1,j1)副对角线\hat{I}(i,j) \times \hat{I}(i1,j-1)这四个方向的乘积图会在不同失真下呈现不同的分布形态。比如模糊会让乘积图趋近于零、分布变窄振铃会让乘积图出现明显的正负不对称。这四个方向相当于从四个角度分别检查纹理结构有没有被破坏。2.4 MVG模型与马氏距离把偏离程度量化成分数光有特征还不够还得有一把“尺子”。NIQE的做法是收集大量自然图像在它们的局部块上提取特征向量然后假设这些特征向量服从多元高斯分布Multivariate GaussianMVG估计出一个代表“自然图像”的多元高斯模型包含均值向量和协方差矩阵。对待测图像做同样的事情分块、筛选、提取特征、估计MVG模型。最后用马氏距离计算待测图像的MVG模型参数和自然图像MVG模型参数之间的距离。距离越大说明待测图像的统计结构越偏离自然状态质量分数就越高。一句话总结NIQE的逻辑不是问“这张图看起来糟不糟糕”而是问“这张图还像不像一张自然照片”。这个问法恰好非常贴合ISP pipeline的调试需求——我们做的所有处理本质上都是在改变画面的“自然程度”。3. 逐步拆解NIQE的计算链路从像素点到最终分数3.1 分块与筛选只统计有纹理信息的位置理解了原理再看计算流程就会清晰很多。NIQE不是对整张图一口气做统计而是先把图像切成一个个局部块。论文和主流实现里block尺寸通常取96×96像素在图像上做滑窗采样相邻块之间可以有重叠。为什么要分块而不是整图统计因为很多失真都是局部性的比如局部噪声、局部模糊、局部振铃整图统计会把局部异常平均掉。分块之后不是所有块都参与模型估计。平坦区域比如天空、白墙、纯色阴影这些地方几乎没有纹理信息统计意义不大而且容易被噪声主导把模型带偏。实现里一般会先计算每个块的局部方差把方差高于某个阈值的块保留下来。如果没有这个筛选一张大面积天空占多数的图统计结果会变得不稳定。实际调试时这个特性非常关键。评价一张暗光照片时如果画面里有大片暗部区域筛选后参与统计的块会少很多分数可信度会下降。3.2 特征提取36维特征是怎么凑出来的对每个筛选后的图像块NIQE要提取一组36维特征。这个数字看起来神秘拆开其实很清楚。第一步对块内像素计算MSCN系数图对MSCN系数拟合广义高斯分布GGD得到2个参数形状参数和方差参数。这一步描述的是MSCN系数分布的形态也就是纹理统计特征。第二步对前面说的四个方向相邻乘积图分别拟合非对称广义高斯分布AGGD每个方向得到4个参数均值、形状、左尺度、右尺度。4个方向加起来16个参数。AGGD比GGD多考虑了分布的不对称性能够捕捉振铃、伪影这类带有方向性偏差的失真。第三步把上面这两步在原图上做一遍再把图像低通滤波后降采样一半在新尺度上再做一遍。两轮特征加起来正好是2×(216)36维。这里有一个容易忽略的细节同一个图像块在原尺度和降采样尺度上统计特征是不一样的。降采样之后高频噪声被压制纹理结构更加突出所以两个尺度组合起来能同时捕捉高频失真和中低频结构异常。3.3 协方差估计与正则化拿到所有有效图像块的36维特征向量之后就要估计多元高斯模型的参数了。均值向量好办直接对特征向量求平均。协方差矩阵稍微麻烦一点。当有效块数量不是很多或者36维特征之间存在较强相关性时直接用最大似然法估计的协方差矩阵可能出现病态甚至奇异导致后续计算距离时矩阵求逆失败。实际代码里普遍会加一点正则化比如在协方差矩阵的对角线上加一个很小的常数epsilon或者用收缩估计的方式让矩阵保持稳定。这也是不同实现之间分数存在差异的原因之一正则化系数取法不同最终分数的绝对数值就不一样。这提醒了我一件事NIQE分数适合在同一套实现、同一批输入条件下做相对比较不太适合拿A库算出的分数和B库算出的分数直接对线。3.4 实际跑一下用Python库算一张图的NIQE概念说了这么多最后还是落代码。我平时最常用的是pyiqa这个库里面集成了NIQE接口很简洁。import torch from pyiqa import create_metric from torchvision import transforms from PIL import Image device torch.device(cpu) niqe create_metric(niqe, devicedevice) img Image.open(output_frame.png).convert(RGB) tensor transforms.ToTensor()(img).unsqueeze(0) score niqe(tensor) print(NIQE:, score.item())这个库的输入是RGB张量范围在0到1之间。CPU上跑一张1080P图可能要等几秒到几十秒具体看机器性能如果图片数量大建议上GPU或者分批处理。需要明确一点pyiqa的实现和论文官方Matlab版本计算出来的绝对分数不一定完全一致但趋势是保持一致的。我在实际使用中更关注的是同批图之间的分数高低和变化趋势而不是纠结某个绝对数值。4. 我在ISP pipeline调试里怎么用NIQE做决策4.1 去噪强度取舍分数是一条U形曲线NIQE在我日常调试里最常用的场景是去噪强度的选择。拿我手头一个sensor的夜景场景来说固定其他模块参数只改2D降噪强度NIQE分数的走势是一条典型的U形曲线关闭降噪时噪声残留破坏了MSCN统计和相邻乘积分布分数偏高轻度降噪后噪声被压制分数明显下降但随着降噪强度继续增大图像开始出现涂抹感细节被抹平统计分布又偏离自然状态分数止跌回升。这个U形曲线解决了一个一直很让人头疼的问题以前判断“降噪开多少合适”靠的是人眼盯着放大图看噪点和细节费眼还容易吵架。现在可以先跑一组NIQE把参数候选框到一个范围再在这个范围内做精细主观确认。当然不同场景的U形形态不同。夜景和室内灯光下最佳降噪点位置会有差异所以我的习惯是每个典型场景都跑了一遍之后再综合选参数。4.2 模块版本A/B用NIQE做回归测试的基准ISP调试中会频繁遇到模块版本迭代。算法团队扔过来一个新版Demosaic或者优化了一版锐化核怎么判断新版是变好还是变坏我的做法是准备一套固定评测集里面包含不同场景、不同照度、不同色温的图片对同一批输入分别跑旧版本和新版本输出同一组图片然后逐图计算NIQE。如果新版在大多数场景上分数下降同时主观抽查没有发现明显伪彩或色偏那这版改动就基本可以收下。这里有个小技巧不要只看平均分还要看每个场景的分差方向。如果新版在夜景场景上分数大幅下降但在高光场景上分数上升那说明改动可能解决了夜景但同时损害了高光处理需要单独复盘而不是用平均分掩盖问题。4.3 多场景取均值参数寻优时先求稳做一次参数寻优比如找一组Gamma曲线我通常会把评测集分成室内、室外、人像、夜景、高动态等几个子集每个子集里的图片分别算NIQE然后看子集统计。子集均值会告诉我这组参数在“平均意义”上是不是变好了。子集标准差则告诉我这组参数是不是只在某几个场景上爆发、在其他场景上崩盘。我宁可选一组所有子集分数都在合理区间内的参数也不选一组平均分很低但个别场景分数异常的参数。后者往往意味着过拟合到特定场景了。在AWB和饱和度这类颜色相关参数的评估上NIQE不是很好的工具因为它主要在亮度域提取统计特征颜色通道的变化反映不明显。这种场景我会改用色差、彩噪等指标NIQE只是辅助参考。4.4 离线批量评测的最小搭建为了把NIQE真正用到日常迭代里我搭了一个很小的批量评测脚本逻辑非常简单给一个目录遍历里面的所有待测图计算NIQE输出CSV。每次参数改动后把图往目录里一扔跑一遍就知道分数变化。import csv import glob import torch from pyiqa import create_metric from torchvision import transforms from PIL import Image device torch.device(cpu) niqe create_metric(niqe, devicedevice) tf transforms.ToTensor() results [] for p in sorted(glob.glob(eval_set/*.png)): img tf(Image.open(p).convert(RGB)).unsqueeze(0) score niqe(img).item() results.append((p, score)) print(p, score) with open(niqe_results.csv, w, newline) as f: writer csv.writer(f) writer.writerow([path, niqe]) writer.writerows(results)这套脚本核心价值是让分数可回滚。以前出一个新参数版本要人工去对比一堆图现在直接把上一版和这一版的CSV拉出来做diff哪张图变好了、哪张图变差了一目了然。5. 与PSNR、SSIM、BRISQUE等指标横向对比5.1 全参考指标在ISP场景的尴尬处境PSNR和SSIM是学术界最经典的两个全参考指标但它们在ISP调试场景下非常尴尬。PSNR本质是均方误差的对数表示看的是像素级差异。ISP输出图通常经过大幅调色、对比度拉伸、边缘增强像素值和参考图相比会有整体偏移这时PSNR会给出很差的分数但主观上图反而更讨喜。SSIM在结构相似性上比PSNR好一些但它同样需要一个参考图。理想情况下参考图应该是在相同场景、相同曝光条件下由理想相机拍到的“真值图”。但现实是sensor本身有噪声镜头本身有畸变和暗角任何一条ISP链路都带着自己的风格。拿A版本的输出当参考去评价B版本比较的是“两个版本的差异”并不是“这个版本的质量”。所以全参考指标更适合压缩、传输这类有明确参考失真的链路不太适合ISP前端tuning。5.2 BRISQUE和NIQE同一个家族的两种路线BRISQUE和NIQE出自同一个学术团队算法思路也很接近都用到了MSCN特征但两者走了完全不同的路线。BRISQUE是“有监督”的无参考指标。它在LIVE等带有大量主观评分的数据集上用支持向量回归把特征映射到主观质量分。这个路线的好处是如果待测图像的失真类型和训练数据里的失真类型足够接近预测分数会非常贴合人眼感知坏处是一旦遇到训练库里没有的新失真预测就开始跑偏。ISP链路产生的失真比如Demosaic伪彩、过度锐化的振铃、低照度下的彩色噪声跟传统压缩、模糊、噪声数据库里的样本并不完全是一回事。所以BRISQUE在我的调试场景里偶尔会出现“某类图分数很好换类图分数离谱”的情况。NIQE选择了完全不同的路线不拟合任何主观分数只计算与自然图像统计模型的距离。它牺牲了在已知失真类型上的“精准度”换来的是对未知失真的稳健性。对ISP调试这种失真类型多样、而且常常“新奇怪”的场景稳健性比精准度更重要。5.3 横向对比表一套能落地的选型思路我把几个常见指标放在一起做对比方便快速参考指标参考图训练方式分数含义ISP调试场景适配度PSNR需要无需训练像素误差越大越好低缺少参考图时意义有限SSIM需要无需训练结构相似度越大越好低-中受参考图限制BRISQUE不需要有监督SVR回归MOS质量映射越高越差中依赖训练库失真类型NIQE不需要无监督与自然模型的马氏距离越低越好高适合相对比较PIQE不需要无监督块级质量感知越低越好中-高适合快速筛选这套组合拳我一直在用需要快速初筛大量候选参数时用NIQE和PIQE一起跑需要和学术基准对比时补一个SSIM参考判断某个具体失真是否改善时老老实实找对应专项指标比如噪点评估、色彩误差。5.4 分数越低越好但别只看分数NIQE的分数方向和PSNR相反NIQE越低越好意味着画面越接近自然图像统计规律。但这里有个容易被误解的地方。NIQE低只代表统计意义上“自然”不代表“主观讨喜”。最典型的例子是过度降噪把一张夜景图的噪声全部抹平细节磨成油画质感NIQE分数反而可能好看因为高频噪声被干掉了统计分布变整齐了。但人眼看着细节全没了质感崩塌。所以我在调试记录里会明确标注NIQE是用来衡量统计自然度的清晰度有清晰度指标色彩有色彩指标伪彩有伪彩指标谁也不替代谁。NIQE的价值是把“主观感觉”拆解成一个可追踪的维度而不是一个能回答所有问题的万能数字。6. 实操中绕不开的几个坑6.1 分辨率与ROI不统一比较就没有意义NIQE对图像尺寸非常敏感。同一张图缩放到一半分辨率再算局部纹理尺度变了MSCN统计跟着变分数就会变。插值算法不同分数也会跟着变。我踩过这个坑有一次拿两个版本的输出图对比一套图是1080P另一套是4K结果NIQE分数差了一大截差点误判版本回退。后来规定所有评测图统一先裁剪到固定ROI比如画面中心1920×1080再用同一套resize逻辑处理才把比较口径拉齐。比较的黄金法则是在同一次评测里所有图必须用相同分辨率、相同ROI、相同插值算法。分数高低只在同口径下有意义。6.2 场景内容“非自然”分数就不太可信NIQE的自然模型是从自然照片里学出来的所以它对“非自然内容”非常不适应。最典型的例子是含有大量文字和UI的屏幕截图。文字边缘是人工高频结构跟自然纹理完全不是一回事NIQE很容易给出偏高的虚警分数。还有扫描文档、纯色渐变界面、强人工光照下的商品图也会让统计规律失衡。我一般只对自然光照下拍摄的照片用NIQE做参考场景尽量包含街景、建筑、人物、植物这类内容。拍摄测试图时也刻意避开大面积纯色背景和密集文字区域避免特征筛选后留下的全是异常块。6.3 单帧波动问题多帧平均是基本操作噪声是随机的即使同一参数、同一场景连拍5帧每一帧的噪声形态都不一样NIQE分数自然会有波动。我曾经遇到两版参数平均分相差0.2但每版各自的标准差都超过0.5的情况。这种差异在统计上根本不显著硬要分出胜负就是拿噪声当信号。现在的习惯是每个参数采集至少5到10帧帧内容尽量静止算NIQE后取均值同时记录标准差。两版参数比较时先看均值差是否超过标准差的合成范围再看每帧的同向性。均值差不到0.3且方向不一致的一律不当作有效差异。6.4 指标和主观体验的分工谁也别想替代谁客观指标和主观评价在ISP调参流程里应该是有明确分工的。我的工作习惯是先用NIQE这类指标做初筛把改动方向大致找对把明显变差的版本淘汰掉然后在缩小到两三个候选的空间里上标准显示器、固定环境光让多个同事做盲评专注观察细节质感、色彩情感这种指标表达不了的维度。这相当于先让指标帮你把候选范围从十个缩到两个再用人的眼睛在最后两个里做高精度的选择。反过来如果主观评价阶段出现“指标说好但人眼看着差”的情况也不急着否定指标先查一下是不是分辨率口径没对齐或者场景本身不合适。多数时候问题出在使用条件上而不是算法本身。最后分享一个小习惯。我现在每发一组新参数都会在调试记录里附上本组测试图集的NIQE均值、标准差和分场景明细。时间长了就能摸清自己这台sensor、这条pipeline在哪些场景下NIQE的正常窗口是多少。新版本一进来先看有没有跳出窗口跳出再深挖原因。这个数据积累起来以后比临时翻论文定阈值要实用得多。
