搞分割的朋友应该都绕不开这个名字。2020年那阵子PointRend刚出的时候我第一反应是这名字怎么这么像图形学里的“渲染”术语结果仔细一看人家还真是从渲染里借的灵感——把分割问题当成一个渲染问题来处理。这个思路在当时属于非常清奇的一类和主流的分割网络走的路子完全不一样。先说这个工作解决了什么问题。传统的分割网络不管是语义分割还是实例分割基本都是走“密集预测”路线对输入图像上的每一个像素都计算一个类别标签整个feature map从头到尾都是稠密的。这在计算上非常浪费因为图像里绝大多数区域是平坦的、容易分类的真正难搞的其实只有物体边界附近的那些像素。PointRend的核心想法就是我不需要对每个像素都做精细分类只需要在那些“麻烦的点”上认真算一算就够了。这些麻烦点主要集中在物体边缘、遮挡边界、纹理突变区域把它们搞定整张图的分割质量就上来了而且计算量还小了很多。这篇文章我把它的原理、实现细节、在Detectron2里的具体用法以及我自己实际跑实验时踩过的一些坑都整理一遍。想过一遍原理的、想复现实验的、或者想在项目里引入PointRend但不确定适不适合的都可以参考一下。1. 核心设计思路拆解1.1 自适应细分从图形学借来的核心思想PointRend的关键词是“渲染”但它真正借用的其实是计算机图形学里的自适应细分Adaptive Subdivision。这个概念在游戏引擎和实时渲染里非常常见特别是在地形LODLevel of Detail系统里近处的地形网格细分得多远处的地形网格分得粗没必要让所有区域保持同样的分辨率。把这种思想映射到分割问题上就是图像里大部分区域是“平坦”的——比如一片天空、一面墙、一块草地这些地方的像素类别非常确定用很粗的分辨率就能预测对。真正需要高分辨率的只有物体边缘那一圈。PointRend正是抓住这个点设计了一套“先粗后细逐步精修”的迭代流程先用一个粗网络产生一个低分辨率预测然后在预测结果里找出那些“拿不准”的点对它们做精细分类把这些精细分类结果重新“渲染”回原来的分辨率。这个过程就像你画一幅画先快速打一个草稿大概画个轮廓然后只在轮廓边缘反复描细节而不是一开始就用极细的笔触把整张画布涂满。这个类比基本上就是PointRend的精髓。1.2 为什么选择“点”而非“区域”这里有一个设计上的分叉点。既然目标是只处理困难区域那有两种思路区域方案检测出困难区域比如边缘附近的区域然后对这些区域做高分辨率处理。点方案直接在候选点上做精细预测不限定区域边界。PointRend选择了第二种原因是区域方案有几个天然缺陷。首先区域检测本身就是一个额外的难题层叠的误差难以控制其次区域的形状不规则处理起来边界条件非常复杂最后区域的边界和分割边界高度相关又是一个循环依赖问题。点方案就简单得多我每次采样N个点对每个点单独做一个分类。点的数量可以动态调整点的位置可以灵活选择。这个方案在工程实现上更干净在理论上也更容易理解——本质上就是“在不确定的位置上用精细的特征来判断”。我当时读到这一段的时候特意停下来想了一下这种“动态采样点级预测”的结构后来在VIT、Swin Transformer、Mask2Former这些工作里都能看到影子。可以说PointRend在思路上是带了一定前瞻性的。1.3 连续坐标上的MLP预测除了采样策略PointRend还有另一个创新点它用MLP在连续坐标上预测类别。这个说法的意思是PointRend的精细预测头不是在固定的feature map格点上做分类而是输入一个连续坐标比如x, y的浮点坐标从这个坐标对应的粗糙预测结果和浅层特征里双线性采样出特征然后把特征向量输入MLP最终输出这个点的类别概率。这就有意思了因为MLP是在连续坐标上工作的所以它天然支持任意分辨率的输出。你想让它把输出放大到2倍、4倍、8倍都不需要改变网络结构只需要改变采样的点数就行。这和传统分割网络里用反卷积/转置卷积做上采样完全不同——后者学到的上采样核是固定分辨率的换一个输出尺度就得重新训练。这个特性在实际使用中非常方便。Detectron2里的PointRend实现可以做到在任何分辨率下输出mask。我当时做一个人像分割的项目需要把预测的人像mask放大到4K分辨率用的就是PointRend的这个能力效果稳定不需要额外训练高分辨率的分割头。2. 核心技术细节与实现要点2.1 PointRend模块的整体结构标准的PointRend模块由三部分组成点选择策略Point Selection决定在哪些位置上做精细预测。特征提取Feature Extraction对选中的点从粗预测和浅层特征中提取特征向量。点预测头Point Head本质是一个小型MLP接收特征向量输出类别概率。这三部分之间是流水线关系。点选择策略选出一组候选点特征提取模块为每个候选点组装特征向量最后点预测头对每个点做分类。在实际的PointRend实现里特征向量是拼接了两部分信息一部分是从粗糙预测的logits上采样的值另一部分是从stage 2或stage 3的特征图上采样的特征。为什么要拼这两部分呢因为粗预测的logits提供了“当前模型对这个点的初步判断”但分辨率低、信息粗糙浅层特征图分辨率高、细节丰富但是语义信息弱。把两者拼起来网络既能参考全局语义又能看到局部纹理细节。2.2 点选择策略训练时和推理时完全不一样这是很多初次接触PointRend的人最容易迷糊的地方训练时的采样策略和推理时的采样策略是不同的而且差异很大。训练时采用的是随机采样不确定性采样混合策略首先从所有像素中随机选大约N/8个点这里的N代表总采样点数。随机点的作用是保证训练数据的多样性避免网络过拟合到“困难点”这一个分布上。然后在粗预测的结果上计算每个像素的不确定性通常用熵或者top-1与top-2置信度的差值来衡量选出不确定性最高的3N/4个点。最后在物体边界附近裁剪一些点N/8个确保网络在边界附近有足够的监督信号。这个混合策略非常讲究。如果只用不确定性采样训练时网络会一直看到最难的那批点容易导致训练不稳定如果只用随机采样相当于又回到了密集预测的老路子。两者结合既保证了学习效率也保证了训练稳定性。推理时采用迭代粗到细coarse-to-fine策略先用粗网络输出一个低分辨率预测比如14x14。在这个低分辨率预测上选出不确定性最高的若干个点通常是高分辨率格点数的一小部分对它们做精细预测。精细预测结果被“渲染”回粗预测图上相当于在这个位置更新了预测值。重复上述过程逐步提高有效分辨率直到达到目标输出尺寸。以Detectron2里的实现为例推理时通常迭代4次。第一次从14x14选点输出到28x28第二次从28x28选点输出到56x56第三次到112x112第四次到224x224。每轮选点的数量是当前目标点数的N/4这样每轮增加的有效信息量是可控的。我在实际使用中有一个体验迭代次数和选点比例之间存在一个平衡点。如果选点比例过高每一轮计算量都很大但精度提升有限如果选点比例过低边界细节又得不到足够修整。Detectron2默认的N/4是一个比较中庸的选择如果追求极致效果可以试试N/8到N/2之间的不同值。2.3 特征表示细节finer level特征与双线性采样PointRend的特征提取部分有一个关键细节除了从粗预测logits中采样外还会从网络中间层的高分辨率特征图中采样特征。在Detectron2的默认配置里这个高分辨率特征来自stage 2即FPN输出的P2层stride为4。为什么要用stride为4的特征而不是更浅的stride为2或stride为1的特征原因有两点更浅的特征虽然分辨率高但语义信息太弱对分割任务帮助有限更深的特征虽然语义强但分辨率太低经过双线性采样后相邻点之间的特征差异很小失去了“局部细节”的意义。stride为4的P2层是一个合理的折中它有足够的空间细节也有经过多层卷积后的语义信息。在实际测试中如果换成stride为2的特征比如前两层之后直接输出效果反而有所下降因为低级纹理特征干扰了边界的语义判断。这里还要提一个容易被忽略的实现细节双线性采样的坐标计算。在PyTorch的F.grid_sample里坐标需要归一化到[-1, 1]区间但PointRend的实现里用的是标准化的像素坐标然后通过手动计算双线性插值的权重来实现采样。这两种方式在数学上是等价的但手动实现的版本更方便处理“采样点在特征图边界外”的情况直接截断。2.4 点预测头的设计小模型解决大问题点预测头Point Head是PointRend里最“轻量”的部分通常就是一个两到三层的MLP。在Detectron2的实现里Point Head的默认结构是全连接层256维 - ReLU - 全连接层256维 - ReLU - 全连接层类别数这个网络的大小和分类网络的最后一层差不多完全不起眼。但它的输入特征维度可不低粗预测采样类别数个值 特征图采样256维拼起来可能超过300维。MLP要做的事情就是在这个向量上做非线性变换输出最终类别判断。为什么这么小的网络就能胜任精细分类任务因为PointRend的精妙之处在于不需要点预测头自己学会“什么是边缘”、“什么是纹理”这些信息已经以密集特征的形式提供了。点预测头只需要学会“如何组合这些特征做出最终判断”。简单说特征提取是“质”点预测头是“量”——前者决定了上限后者只需要逼近这个上限就行。2.5 Over-segmentation与Under-segmentation的平衡训练PointRend时有一个常见现象如果采样策略设置不当网络会倾向于过度分割Over-segmentation——在一块平滑区域里出现细碎的噪点边界或者倾向于欠分割Under-segmentation——大块区域合并在一起边界模糊。这个问题的根源在于采样点的分布。如果随机点太少而不确定性点太多网络会过度关注边界导致对平滑区域的特征学习不足如果随机点太多不确定性点太少边界信息又学不充分。Detectron2的默认配置比例是1/8随机 3/4不确定 1/8边界。我在自己的实验里尝试过其他比例比如1/4随机 1/2不确定 1/4边界发现训练更容易收敛但最后的边界精度稍有下降。如果项目中对边缘精度有极致要求可以适当增加不确定性点的比例同时增加训练轮数来弥补平滑区域的监督不足。3. 在不同任务上的应用与配置3.1 语义分割以ResNetPointRend为例PointRend最直观的应用场景是语义分割。以MASK R-CNN分割框架为例PointRend在分割分支的使用方式是这样的骨干网络提取特征ResNet或ResNetFPN。RPN/RCNN头产生候选区域RoI。与标准Mask R-CNN不同的是PointRend不再使用RoIAlign反卷积的组合来直接预测mask而是对每个RoI在其对应的特征区域内先产生一个低分辨率的粗mask例如7x7然后用PointRend模块迭代优化到更高分辨率例如28x28或56x56。在这个流程里ROIAlign的分辨率不需要太高因为精细细节由PointRend的采样和MLP处理。我在实际使用中将RoIAlign的尺寸从默认的14x14降低到7x7整体精度没有明显下降但速度提升了一些。这对于追求推理速度的工程化项目是一个不错的优化思路。3.2 实例分割与全景分割在实例分割里PointRend同样可以作为Mask分支的替代方案。由于Mask分支通常是在每个RoI内部独立操作的所以PointRend的使用方式与语义分割几乎一样不同之处仅在于RoI内部的Fine-level特征是从哪里取的——在实例分割中这个特征是RoIAlign之后的feature map而不是全局特征图。全景分割Panoptic Segmentation是一个让PointRend大放异彩的场景。全景分割要求对图像中的“thing”可数的物体实例和“stuff”不可数的背景区域如天空、地面统一预测。传统方法要么是用两个分支分别处理再融合要么用统一的网络结构。PointRend的连续坐标输出特性让它在全景分割的不确定性区域比如物体的边缘以及物体和stuff的接触边界上表现优异。我之前做过一个室内场景理解的项目用的就是Panoptic FPNPointRend的组合室内的桌椅边缘和墙面地板的交界处分割效果比纯密集分割方法好了不少具体表现是边界的连续性更强锯齿感显著减少。3.3 Detectron2中的实际配置方法如果你用的是Detectron2开PointRend非常简单。以语义分割为例你只需要在配置文件中添加MODEL.POINTREND.NAME semantic_seg MODEL.POINTREND.POOL_SIZE [14, 14] MODEL.POINTREND.NUM_POINTS 1024 MODEL.POINTREND.COARSE_PRED_EACH_LAYER True MODEL.POINTREND.FEAT_STRIDE 4这里的几个关键参数POOL_SIZE粗预测的分辨率。14x14适用于大多数情况如果场景非常简单比如纯室内小物体可以降到7x7加速。NUM_POINTS每张图片采样的总点数。1024是一个比较稳妥的默认值我的经验是在1024到2048之间对精度的提升帮助最大超过2048后收益递减。FEAT_STRIDEFine-level特征图的步长。默认4对应P2层如果想让模型更关注局部纹理可以在2到4之间调。COARSE_PRED_EACH_LAYER是否在每一轮迭代中都产生粗预测。默认True这个值建议保持默认。另外如果你在训练中遇到显存不足的情况可以考虑把NUM_POINTS降到512。这会让精度略微下降但显存占用减少的效果非常明显。我当时在一张V100上跑全景分割分辨率1024x2048显存占用大约在8GB左右NUM_POINTS从1024降到512后显存降到了6GB精度只掉了不到0.3个点。3.4 训练细节损失函数与优化器PointRend的损失函数与标准的Mask R-CNN分割分支类似使用二值交叉熵损失在语义分割中是多类别交叉熵。但是有一个细节值得注意PointRend的损失只计算在被采样到的点上而不是全部像素。这意味着损失本身是“稀疏”的因此训练时需要注意以下几点学习率由于稀疏损失梯度更新的噪声相对较大建议学习率比密集预测网络略低一些。比如标准语义分割用0.01PointRend可以用0.005至0.008。Batch Size因为每个batch只有有限数量的采样点所以batch size不宜太小。我之前用batch size 4训练分割模型明显感觉收敛速度比batch size 8慢不少。如果显存紧张可以考虑用梯度累积。辅助损失在训练的早期阶段粗预测的质量对后续精细预测的影响很大。建议在粗预测分支上也挂一个辅助损失强制粗预测本身有足够好的质量。Detectron2里的COARSE_PRED_EACH_LAYER选项就负责控制是否在每层都输出粗预测这本质上就是一种深度监督。4. 与其他方法的对比与选择建议4.1 与反卷积/转置卷积上采样的对比传统分割算法中上采样部分一般有两种实现方式一是双线性插值实现简单、无参数但精度有限二是反卷积转置卷积可学习参数、理论上更灵活但容易产生棋盘效应。PointRend相对这两者的优势很明显相比双线性插值PointRend能恢复更多边界细节因为MLP是在有监督的情况下学会如何组合特征而不是简单插值相比反卷积PointRend不存在棋盘效应因为MLP是逐点预测的不涉及卷积核的滑动天然避免了重叠响应问题PointRend支持的输出分辨率是任意大小的这在某些应用如超分辨率mask输出中很关键。4.2 与MaskFormer/Mask2Former的对比Mask2Former这类基于Mask Classification的算法在整体架构上更复杂它们引入了一个可学习的Query集合通过跨注意力机制从图像特征中提取mask信息。PointRend和它们的对比更像是“简单可靠”和“庞大先进”的对比。在标准数据集上Mask2Former的精度确实更高尤其在COCO这种大规模数据集上。但PointRend胜在简单、稳定、训练速度快因为不需要Transformer的庞大计算量。如果你的项目数据量不大、场景相对固定用PointRend完全够用如果追求极致精度、算力充足可以考虑Mask2Former。还有一个实用建议如果你的团队已经用了Detectron2那么引入PointRend的边际成本几乎为零只需要改配置文件就行换到Mask2Former则需要改代码、调超参、增加显存开销。在工程落地场景中这个成本差异往往比精度差异更关键。4.3 在移动端/轻量级场景的适用性PointRend在轻量级设备上的表现是一个争议话题我的实际经验是分情况看待。如果整个网络本身就是轻量级骨干如MobileNet、ShuffleNet系列PointRend模块的额外计算量相对较大不太划算但如果你有一个中等规模的骨干网络如ResNet-50PointRend反而能带来性价比很高的精度提升因为它的额外计算主要集中在选点和MLP推理上这两部分都可以优化。另一个思路是PointRend特别适合“大分辨率输入 轻量级输出”这类场景。比如输入一张2K分辨率的图像只需要输出一个低分辨率的粗预测然后再用PointRend把目标区域精细到高分辨率。这个过程避免了在2K分辨率上运行完整网络的大量计算。我在做细节放大功能时就是这么干的先用256分辨率跑粗预测然后对边界区域用PointRend精修到1024分辨率整体计算量比直接输入1024分辨率少了差不多一半效果几乎没差。5. 常见问题与排查技巧实录5.1 问题一训练不收敛或损失震荡现象Loss曲线上下波动剧烈或者出现nan值。排查思路检查采样点数NUM_POINTS是否过小。点数太少时每个batch内的有效监督信号太少梯度噪声自然大。检查随机点和不确认点的比例。如果不确定性点的比例过高训练早期模型几乎是在“猜边界”损失容易震荡。检查学习率。PointRend对学习率比较敏感建议从较低值开始尝试比如1e-4到5e-4的区间这要看整体框架。我的经验如果你用的是Detectron2先把NUM_POINTS调大一点比如2048再降低学习率到常规值的0.5倍大概率能解决震荡问题。5.2 问题二边界细节依然粗糙现象模型整体精度不错但物体边缘还是不够锐利甚至出现明显的锯齿。排查思路查看Fine-level特征的stride。如果FEAT_STRIDE设成了16比如误用了P4层特征的局部细节信息不足边缘自然不够锐利。改回4。查看采样策略。推理时的迭代次数和选点比例决定了边界细化的程度。可以在推理代码里把迭代次数从4改成6选点比例从N/4改成N/2观察效果。检查粗预测的分辨率。如果POOL_SIZE设得太小比如4x4粗预测本身就提供不了足够的空间先验后续优化再努力也难。5.3 问题二显存占用过高现象训练或推理时显存不够用。排查思路NUM_POINTS是否过高。采样点的数量直接影响特征矩阵的大小2048个点每个点有256维特征就是2048x256的矩阵显存占用非常可观。降到512或256会好很多。检查PyTorch的autograd图是否因为采样操作导致无法释放中间变量。建议使用torch.no_grad()包裹推理时的采样过程。检查使用的特征图分辨率。如果用P2层stride4做Fine-level特征特征图本身分辨率很高显存占用自然大。如果不需要超精细边缘可以改用P3层stride8试试。5.4 问题四推理速度慢现象模型推理时间比预期的长。排查思路优化点选择策略。推理时不需要每轮都对所有候选点做不确定性排序可以用近似方法比如按粗预测的logits值排序只取前K个。在精度损失0.1个点以内速度能提升20%。提前结束迭代。如果目标分辨率不高比如28x28迭代3次就够了没必要做满4次。对MLP做量化或剪枝。Point Head很小但推理时每个点都要过一遍点数多时总耗时也不容忽视。把MLP改成ONNX导出后用INT8量化精度几乎无损。6. 从PointRend到后续工作的延伸思考PointRend虽然2020年就提出了但它留下的思想一直在被后续工作消化吸收。最直接的继承者是Mask2Former里的mask head设计——Mask2Former的mask分类头本质上也是一个逐点预测的结构只不过特征来源从“粗预测采样特征图采样”变成了Transformer decoder的输出特征。再往远处看PointRend和当前大火的**SamSegment Anything Model**也有一些暗合之处。SAM在处理高分辨率输入时用的也是“在全图上稀疏采样点 → 对这些点做预测 → 再精细化”的思路而不是对每个像素做密集预测。如果你已经理解了PointRend的原理再看这些工作时会有一种“似曾相识”的感觉。这也是我为什么建议做分割方向的朋友认真把PointRend的代码读一遍的原因——它的代码结构非常清晰模块划分干净不像很多论文实现那样充斥着工程上的hack。从更实际的角度说PointRend的这种“稀疏预测”思路在真实业务中非常吃香。我后来做过一些卫星遥感图像的分割图像尺寸动不动就是几万乘几万全分辨率跑网络根本不现实。用PointRend的思路先下采样预测一个大致的标签图然后只在边界附近做精细化处理效率提升了近10倍而且边界精度反而不降反升。最后再分享一个小技巧。如果你在训练自己的PointRend模型建议把采样点对应的坐标和预测结果可视化出来。把采样点画在原始图像上你一眼就能看出模型在哪些地方“纠结”这样对调整采样策略非常有帮助。我在训练初期发现模型在物体内部纹理丰富区域采了大量点——这说明粗预测在这一块不太好于是我把POOL_SIZE稍微调大了一点问题就解决了。这种通过可视化指导调参的经验比硬调超参数要高效得多。
