搞3D视觉这几年我最大的感受是2D图像那套成熟范式搬到点云上十有八九会翻车。点云不像图像有规整的网格结构它是一堆散乱无序的三维坐标点怎么让网络“理解”这种数据在PointNet出来之前一直是个老大难问题。这篇文章就围绕PointNet和它的升级版PointNet把核心理论从头捋一遍再用PyTorch把分类和分割的复现代码逐段拆开讲清楚包括训练、评估、以及我踩过的数据加载和显存优化的坑。不管你是刚入门3D计算机视觉的研究生还是准备在工程里落地点云识别的开发者这篇都能给你一条能直接照着走的路线。1. 先搞清楚点云为什么这么“难搞”1.1 图像和点云的本质差异做2D视觉的时候我们默认输入是一张H×W×3的图像素之间有天然的邻接关系卷积核滑过去就能提取局部纹理。但点云完全不是这么回事它是一组无序的坐标点每个点携带(x, y, z)坐标可能还有法线、颜色等附加属性。这就带来三个让传统深度学习无从下手的特性。第一是无序性。你交换一万个点里任意两个点的顺序点云表示的物体完全没变。但如果你把点云当成序列喂给RNN或者按顺序拼成一个长向量喂给全连接层顺序一变输出就变了。网络必须对输入点的所有排列保持输出不变这叫置换不变性。第二是稀疏性和不均匀性。同一个物体近距离扫描可能得到几百万个点远距离可能只有几千个不同区域的点密度也差别很大。这给卷积操作带来了麻烦——你怎么定义固定尺寸的卷积核在一个密度不均的几何体上滑动第三是缺乏规则拓扑。图像是网格体素是规则网格点云不是。早期做法是把点云体素化voxelize转成3D网格再用3D CNN处理但体素分辨率的立方增长让计算量和内存直接爆炸稀疏体素虽然缓解了这个问题但精度损失和预处理开销始终绕不开。PointNet最漂亮的地方在于它绕开了所有“把点云规则化”的思路直接从原始点云出发用了一个极其简洁的架构就解决了置换不变性问题。第一次跑通的时候我确实有点被震撼到原来无序数据可以这样处理。1.2 为什么PointNet是分水岭在PointNet出现之前3D深度学习的常见路线是多视角投影把点云渲染成多个视角的2D图再跑2D CNN和体素化。前者丢失了几何细节后者受分辨率和内存限制。PointNetCVPR 2017Qi et al.第一次证明直接消费原始点云用对称函数聚合逐点特征就能在分类和分割任务上超过当时的主流方法。它解决的核心问题是置换不变性用的方法也极其朴素——max pooling。每个点经过共享的MLP提取特征后用一个全局最大池化把所有点的特征压缩成一个全局特征向量。max操作相对于输入点的顺序是对称的不管你怎么打乱点的顺序max的结果不变。加上T-Net对输入做姿态归一化网络还具备了一定的几何变换鲁棒性。这套设计简单、优雅、有效后来很多3D方法比如Point Transformer、Point-MAE都还带着PointNet的影子。2. PointNet核心理论拆解对称函数、T-Net与全局特征2.1 用Max Pooling解决无序性PointNet对点云的定义很简洁输入是一组点{x1, x2, ..., xn}每个点xi是3维坐标或者加上法线等通道。要让网络对点的排列不敏感一个通用思路是使用对称函数所谓对称函数就是无论输入顺序怎么变函数值都不变的函数比如加法、最大值、最小值。PointNet的做法是先用共享的多层感知机MLP对每个点做特征提取把每个点从3维升到高维比如64维再升到1024维。这里的MLP对所有点是共享权重的所以单点特征提取本身是逐点独立的。然后用max pooling对每个特征通道做全局最大值聚合得到一个1024维的全局特征向量。最后把全局特征接上分类或分割的头。整个过程可以写成f(x1, ..., xn) g(h(x1), ..., h(xn))其中h是逐点MLPg是max pooling。只要g是对称的整个网络对输入顺序就是不敏感的。在实践中有一点值得注意max pooling虽然解决了无序性但它只保留每个通道的“最显著响应”会丢掉大量信息。这也是PointNet对复杂形状分割效果一般的原因之一——全局max pooling过于“粗暴”局部几何细节被冲掉了。后来有人尝试用sum pooling或attention pooling替代max各有取舍但PointNet原版的max在多数基准上依然最稳。2.2 T-Net让网络学会“摆正”点云点云还有一个问题同一个物体换个角度扫描坐标值完全不一样网络不应该对姿态敏感。PointNet引入了一个叫T-Net的结构本质是一个微型PointNet对输入点云预测一个变换矩阵。具体来说有两个T-Net输入变换T-Net3×3矩阵对原始坐标做仿射变换把点云“摆正”比如把倾斜的椅子旋转到正面朝上。特征变换T-Net64×64矩阵在点云被升维到64维特征空间后对特征做变换对齐不同样本的特征分布。为了不让特征变换矩阵太过自由导致优化困难PointNet还在损失函数里加了一个正则项约束变换矩阵尽量接近正交矩阵L_reg || I - A A^T ||^2权重通常设为0.001。我复现时试过不加这个正则项训练确实能跑但收敛速度和最终精度都会差一些尤其是特征变换那个64×64的矩阵不加约束很容易学习到退化解。需要注意的是T-Net的参数量不小尤其是特征变换矩阵是64×64这个全连接层的矩阵乘法在推理时有一定开销。后来很多改进版本如PointNet的变体干脆去掉了特征T-Net只保留输入T-Net精度影响不大但速度快了不少。2.3 分类与分割的完整流程分类任务相对简单输入B×N×3的点云经过T-Net、MLP、max pooling后得到B×1024的全局特征再接几层全连接输出B×C的类别得分C是类别数。对ModelNet40来说C40用交叉熵损失训练。分割任务要复杂一些因为需要给每个点输出一个标签。PointNet的做法是把全局特征拼接到每个点的特征上每个点原本有64维或128维局部特征拼上1024维全局特征等于每个点都“知道”了整个物体的全局语义然后再通过MLP逐点分类。在PyTorch里实现时拼接操作就是global_feat_expanded global_feat.unsqueeze(1).repeat(1, N, 1) # B×N×1024 point_feat torch.cat([point_feat, global_feat_expanded], dim-1) # B×N×(641024)这里有个小坑很多人一开始写分割模型时忘了把max pooling的索引保存下来或者把全局特征广播的方式搞错导致维度对不上。广播前最好打印一下中间张量的shape逐层核对。2.4 PointNet的局限性全局特征管不住局部细节PointNet虽然厉害但它的感受野基本是全局的。max pooling把整个物体的特征压成一个向量再做分割时每个点本质上参考的是“整把椅子”的信息而不是“这条椅子腿”和“旁边那条腿”的关系。对细粒度分割比如一个杯子分成杯身、手柄、杯底就力不从心。另外它对密集场景的泛化不太好。因为全局max pooling对点的密度变化敏感如果训练时点云均匀采样测试时有的区域特别密集、有的特别稀疏性能会下降不少。这些问题直接催生了PointNet。3. PointNet的演进分层特征学习与密度自适应3.1 核心思想像CNN一样逐层抽象局部结构PointNetNIPS 2017Qi et al.的核心思路是借鉴CNN的分层特征提取先用小邻域捕捉局部几何然后逐渐扩大感受野得到从局部到全局的层次化特征。它不是对整片点云做一次PointNet而是把点云划分成多个有重叠的局部区域对每个区域分别做PointNet再把区域特征进一步聚合。这个思路翻译成工程语言就是先把点云降采样到较少的关键点比如从N个点采样到N个点N N以每个关键点为中心圈一个局部邻域对邻域内的点做PointNet提取局部特征然后重复这个过程。每一层都像卷积网络的降采样特征越来越“抽象”覆盖范围越来越大。3.2 Set Abstraction的三步操作PointNet的基本模块叫Set Abstraction集合抽象它由三层组成采样层Sampling Layer用最远点采样Farthest Point Sampling, FPS从输入点云中选出一组中心点。FPS的流程是先随机选一个点然后迭代地选择离已选点集合最远的点作为下一个中心点。这样选出的中心点能比较均匀地覆盖整个点云几何。分组层Grouping Layer对每个中心点用ball query找半径r范围内的所有邻居点。这里用ball query而不是KNN是因为固定半径比固定邻居数更能适应密度变化——稀疏区域邻居数少但几何范围一致密集区域邻居数多但局部信息更丰富。PointNet层对每个局部邻域用一个PointNet提取特征。这个PointNet就是逐点MLP max pooling只不过作用在局部邻域上。如果用伪代码描述Set Abstraction对于输入点云(P, F): P FPS(P, m) # 从P中选m个中心点 for 每个中心点p: 邻域 ball_query(p, 半径r, P) # 取出中心点附近radius内的点 特征 pointnet(邻域) # 聚合邻域特征 输出: 新的点集P和对应的特征F我在实现的时候FPS这一步用纯PyTorch写会有点麻烦因为它是串行迭代的每选一个点依赖之前所有点的距离矩阵。推荐用一个支持自动微分的实现或者干脆用点云库如Open3D、torch_cluster里的现成函数。训练时稍微慢一点没关系推理时可以预计算中心点索引来加速。3.3 Density AdaptiveMSG和MRG是怎么应对密度变化的PointNet原文专门讨论了密度不均匀的问题。在真实场景里比如LiDAR点云近处物体点密集远处物体点稀疏如果分组半径固定不同区域的局部特征质量会差很多。解决办法有两个多尺度分组Multi-scale Grouping, MSG对每个中心点用多个不同半径比如r1 r2 r3分别做ball query每个半径下跑一个PointNet最后把所有尺度的特征拼接起来。这样即使某个尺度下邻域点太少其他尺度也能补充信息。多分辨率分组Multi-resolution Grouping, MRG把上一层浅层覆盖小范围的特征和本层深层覆盖大范围的特征拼接起来。相当于同时利用浅层的细节信息和深层的语义信息。MSG实现简单、效果提升明显但计算量成倍增加。MRG相对省算力。我在自己的数据集上测试过类别少、形状简单时用单尺度就够了类别多、形状差异细微时MSG两个尺度能把分割mIoU提升大概2-4个百分点代价是训练时间翻倍。3.4 分类与分割的完整pipelinePointNet分类网络输入B×N×3经过3-4层Set Abstraction点数量逐渐减少N - N/2 - N/4 - ...特征维度逐渐增加3 - 64 - 128 - 256 - 512最后一层的点数量可能只有1特征就是全局特征接全连接分类即可。如果最后一层不止一个点可以对所有点做max pooling再分类。PointNet分割网络需要使用Feature Propagation特征传播把高层特征逐层插值回原始点分辨率。具体做法是在每层上采样时用距离倒数加权插值inverse distance weighted interpolation把上一层中心点的特征传到当前层所有点上然后和skip connection的中间层特征拼接再过MLP融合。这个结构很像U-Net。这里有个容易搞混的地方特征传播时用的是“中心点的特征”不是原始所有点的特征。也就是说分割时点云经过了“先降采样提特征再插值回原始密度”的路子。如果你直接把每个点当成单独的样本做分类就完全理解偏了。4. PyTorch复现PointNet环境准备与数据集4.1 环境配置Anaconda PyTorch的正确打开方式复现PointNet不需要特别高的硬件门槛我最初在GTX 1660 Ti6GB显存上就能跑通ModelNet40分类训练只是batch size要小一点。但环境配置确实容易踩坑尤其是Windows上PyTorch的安装。我见过最多的报错是OSError: [WinError 1114] 动态链接库(DLL)初始化例程失败。 Error loading C:\Users\...\pytorch\lib\site-packages\torch\lib\c10.dll这个报错十有八九是Visual C Redistributable没装或者版本太老。去微软官网装最新的VC_redist.x64.exe重启电脑一般就好了。另一个常见原因是Anaconda环境里存在多个版本混乱的numpy或mkl库。这里给一个稳妥的安装路径装Anaconda创建独立环境conda create -n pointnet python3.8不建议用最新Python部分CUDA组件兼容性有坑激活环境后从PyTorch官网选择对应CUDA版本的安装命令比如pip install torch2.0.1 torchvision0.15.2 --index-url https://download.pytorch.org/whl/cu118如果是CPU环境做实验直接pip install torch即可。验证安装python -c import torch; print(torch.version, torch.cuda.is_available())4.2 数据集ModelNet40和ShapeNet怎么准备PointNet论文里分类用的是ModelNet40分割用的是ShapeNet Part。ModelNet40是40个类别的CAD模型椅子、桌子、飞机等官方提供的是网格格式.off需要自己从网格表面均匀采样点云。ShapNet Part则是16个类别、每个零件带逐点语义标签的数据集。网上已经有很多预处理好可以直接以HDF5文件加载的版本比如Charles Qi提供的ply和h5版本下载后按HDF5读取就行。如果你像我一样想自己从原始数据走一遍流程是用Open3D或trimesh读取网格在三角面片上按面积加权随机采样点再归一化到单位球内。归一化这步很重要直接影响训练收敛速度和最终精度通常是把点云平移到质心、再除以最大半径。训练时我通常做以下增强随机旋转绕z轴随机旋转对模型分类任务有效因为ModelNet中物体基本都是正面朝上的随机抖动给坐标加少量高斯噪声模拟扫描误差随机丢弃点随机删除5%-10%的点模拟遮挡和稀疏情况4.3 DataLoader实现哪些细节决定训练效率点云数据的DataLoader和图像不太一样。一个典型的坑是不同样本的点数可能不同尤其做真实扫描数据时但PyTorch的Tensor要求batch内shape一致。解决方案有两个一是把所有样本统一采样/裁剪到固定点数N最常用ModelNet40一般用1024或2048二是用collate_fn做动态padding但这会带来额外复杂度初学者不建议。我的DataLoader伪代码大致长这样class PointCloudDataset(Dataset): def __init__(self, data, labels, npoints1024): self.data data # (num_samples, num_points, 3) self.labels labels self.npoints npoints def __getitem__(self, idx): points self.data[idx] # 随机采样npoints个点 choice np.random.choice(points.shape[0], self.npoints, replaceTrue) points points[choice] # 归一化到单位球 points normalize(points) return torch.from_numpy(points).float(), self.labels[idx]要注意训练时随机采样点但测试时一般取前npoints个点或者固定一个采样索引以保证可重复性。很多人训练精度很高但测试精度忽高忽低就是因为测试时也做了随机采样导致评估不稳定。5. 核心代码逐段解析从模型定义到训练循环5.1 PointNet分类模型的结构化实现下面我贴一个精简的PointNet分类模型代码去掉了T-Net的中间张量打印但保留核心结构import torch import torch.nn as nn import torch.nn.functional as F class TNet(nn.Module): def __init__(self, k64): super().__init__() self.k k self.mlp nn.Sequential( nn.Conv1d(k, 64, 1), nn.BatchNorm1d(64), nn.ReLU(), nn.Conv1d(64, 128, 1), nn.BatchNorm1d(128), nn.ReLU(), nn.Conv1d(128, 1024, 1), nn.BatchNorm1d(1024), nn.ReLU(), ) self.fc nn.Sequential( nn.Linear(1024, 512), nn.BatchNorm1d(512), nn.ReLU(), nn.Linear(512, 256), nn.BatchNorm1d(256), nn.ReLU(), nn.Linear(256, k * k), ) def forward(self, x): # x: (B, k, N) B, k, N x.shape x self.mlp(x) x torch.max(x, dim-1)[0] # (B, 1024) x self.fc(x) # (B, k*k) x x.view(B, self.k, self.k) # 初始化为单位矩阵 identity torch.eye(self.k, devicex.device).unsqueeze(0).repeat(B, 1, 1) return x identity class PointNetClass(nn.Module): def __init__(self, num_classes40): super().__init__() self.input_transform TNet(k3) self.mlp1 nn.Sequential( nn.Conv1d(3, 64, 1), nn.BatchNorm1d(64), nn.ReLU(), nn.Conv1d(64, 64, 1), nn.BatchNorm1d(64), nn.ReLU(), ) self.feature_transform TNet(k64) self.mlp2 nn.Sequential( nn.Conv1d(64, 64, 1), nn.BatchNorm1d(64), nn.ReLU(), nn.Conv1d(64, 128, 1), nn.BatchNorm1d(128), nn.ReLU(), nn.Conv1d(128, 1024, 1), nn.BatchNorm1d(1024), nn.ReLU(), ) self.classifier nn.Sequential( nn.Linear(1024, 512), nn.BatchNorm1d(512), nn.ReLU(), nn.Dropout(0.3), nn.Linear(512, 256), nn.BatchNorm1d(256), nn.ReLU(), nn.Dropout(0.3), nn.Linear(256, num_classes), ) def forward(self, x): # x: (B, 3, N) trans self.input_transform(x) x torch.bmm(trans, x) # 输入变换 x self.mlp1(x) trans_feat self.feature_transform(x) x torch.bmm(trans_feat, x) # 特征变换 x self.mlp2(x) x torch.max(x, dim-1)[0] # 全局特征 (B, 1024) out self.classifier(x) return out, trans_feat这段代码里有几个地方值得展开说。第一所有Conv1d卷积核大小为1本质上就是全连接层作用在每个点上但用Conv1d写能天然共享权重并适配B×C×N的张量排布。Conv1d的输入是(B, C, N)和图像输入的(B, C, H, W)类似通道维在中间别搞混了。第二T-Net输出矩阵时加了一个单位矩阵identity保证初始状态接近恒等变换这样网络一开始不会因为随机初始化的变换矩阵把特征空间搅乱。一开始我漏了这一步训练直接不稳定loss一直不降排查了很久才发现是这个问题。第三BatchNorm在点云小batch时特别容易出问题。如果batch size只有4甚至更小BN统计量估计不准建议换成InstanceNorm或者增大batch size。5.2 损失函数里隐藏的正则项分类任务除了交叉熵还要加T-Net的正则化损失。前面提到过这个正则项强制特征变换矩阵接近正交减少信息冗余。在训练循环里我会这样处理criterion_cls nn.CrossEntropyLoss() def compute_loss(pred, target, trans_feat): cls_loss criterion_cls(pred, target) # 正交正则: ||I - A A^T||^2 B trans_feat.size(0) identity torch.eye(trans_feat.size(1)).to(trans_feat.device) identity identity.unsqueeze(0).expand(B, -1, -1) mat_diff torch.bmm(trans_feat, trans_feat.transpose(1, 2)) - identity reg_loss torch.mean(torch.sum(mat_diff ** 2, dim(1, 2))) loss cls_loss 0.001 * reg_loss return loss正则权重0.001是论文里的默认值我尝试过调成0.01精度反而下降因为过度约束了特征变换的自由度。0.001这个值比较合适既保证了矩阵接近正交又不至于影响特征表达。5.3 PointNet核心模块代码FPS与Ball QueryPointNet的代码比PointNet多了采样和分组两步。FPS和ball query我强烈建议先写一个用循环实现的版本逻辑清晰、易于调试然后再考虑向量化加速。FPS的循环版def farthest_point_sample(xyz, npoint): xyz: (B, N, 3) 输入点云 npoint: 采样的中心点数 M 返回: (B, M) 索引 B, N, C xyz.shape centroids torch.zeros(B, npoint, dtypetorch.long, devicexyz.device) distance torch.full((B, N), 1e10, devicexyz.device) farthest torch.randint(0, N, (B,), dtypetorch.long, devicexyz.device) for i in range(npoint): centroids[:, i] farthest centroid_xyz xyz.gather(1, farthest.unsqueeze(1).unsqueeze(2).expand(-1, -1, C)).view(B, 1, C) dist torch.sum((xyz - centroid_xyz) ** 2, dim-1) # (B, N) mask dist distance distance[mask] dist[mask] farthest torch.max(distance, dim-1)[1] return centroidsFPS看起来复杂实际逻辑就是四步选当前最远点记录到集合计算该点到所有点的距离更新每个人到已选集合的最小距离挑最小距离最大的点作为下一个点。这个算法保证了采样点在几何上尽量均匀。Ball Query的分组代码def ball_query(xyz, new_xyz, radius, nsample): xyz: (B, N, 3) 全部点 new_xyz: (B, M, 3) 中心点 radius: 查询半径 nsample: 每个邻域最多取的点数 返回: (B, M, nsample) 邻居索引 B, N, _ xyz.shape B, M, _ new_xyz.shape group_idx torch.arange(N, devicexyz.device).view(1, 1, N).expand(B, M, N) # 计算每个点到每个中心点的距离平方 sqrdists torch.sum((xyz.unsqueeze(1) - new_xyz.unsqueeze(2)) ** 2, dim-1) # (B, M, N) group_idx[sqrdists radius ** 2] N # 半径外的点标记为N group_idx group_idx.sort(dim-1)[0][:, :, :nsample] # 取距离最近的nsample个点 # 如果有效点不足nsample用第一个点填充 group_first group_idx[:, :, 0].view(B, M, 1).expand(-1, -1, nsample) mask group_idx N group_idx[mask] group_first[mask] return group_idx这个实现有个小细节我用sort来取前nsample个最近邻比直接用KNN更符合ball query的语义。实际运行时这个操作比较费显存因为(B, M, N)的距离矩阵在点数多时容易爆内存。工程上建议把N、M控制在几千以内或者用分块计算。5.4 训练循环与评估指标训练循环本身和普通分类没什么区别但有几个针对点云的细节值得注意每个epoch后必须在测试集上评估不能只看训练loss。点云任务里训练acc很容易超过95%但测试acc才能反映真实泛化能力。分类任务报告Overall Accuracy整体准确率和Mean Class Accuracy类别平均准确率两个指标。前者容易被高频类别主导后者更均衡。ModelNet40上PointNet论文报告的OA约89.2%mAcc约86.0%。我复现时最好跑到89.6% OA说明实现基本正确。分割任务报告mIoUmean Intersection over Union和mAcc。ShapeNet Part上PointNet的mIoU约83.7%PointNet能到85%左右。评估代码片段def evaluate(model, loader, num_classes): model.eval() correct 0 total 0 class_correct torch.zeros(num_classes) class_total torch.zeros(num_classes) with torch.no_grad(): for points, labels in loader: points points.transpose(1, 2).cuda() # (B, 3, N) labels labels.cuda() out, _ model(points) pred out.argmax(dim1) correct (pred labels).sum().item() total labels.size(0) for c in range(num_classes): mask labels c if mask.sum() 0: class_correct[c] (pred[mask] labels[mask]).sum().item() class_total[c] mask.sum().item() oa correct / total macc (class_correct / class_total.clamp(min1)).mean().item() return oa, macc类别平均准确率就是每个类别的准确率先分别算再取平均。如果不加这个你只看OA可能觉得模型不错但有些稀有类别可能完全没学到。我第一次跑的时候ModelNet40里的“person”类测试样本很少几乎全错mAcc比OA低了快5个点后来靠数据增强才拉回来一些。6. 实操避坑与性能调优实录6.1 Windows环境下PyTorch常见故障排查热词里很多人都在搜“pytorch安装”、“pytorch环境搭建”说明这一步确实劝退了很多人。除了前面提到的DLL报错我还遇到过CUDA out of memory、cuDNN初始化失败等。这里给个排查顺序表报错现象大概率原因处理办法WinError 1114 c10.dll加载失败VC运行库缺失或损坏安装最新VC_redist.x64.exe并重启CUDA error: out of memorybatch size或点数过大减小batch size/点数或用accumulate gradientcuDNN initialization failed显存不足或驱动版本过旧更新显卡驱动降低显存占用torch.cuda.is_available()为FalseCUDA版PyTorch和驱动不匹配用nvidia-smi查驱动版本再选匹配的PyTorch版本DataLoader worker崩溃Windows多进程bug设置num_workers0或num_workers2并加ifname main补充一句如果只是学习复现CPU环境也能跑但训练一个epoch的2048点分类可能要几分钟到十几分钟。建议至少有个4GB显存的GPU。6.2 训练精度上不去的常见原因精度上不去先别急着换模型按这个顺序排查第一数据归一化。我见过有人直接把原始CAD坐标喂进去坐标范围从-100到100MLP的输入分布极差BN再多也白搭。把点云归一化到单位球内质心移到原点最大半径归一化为1是必须的。第二点数量。ModelNet40上从1024个点加到2048个点OA通常能提升约1个百分点但训练时间也跟着涨。如果硬件有限1024个点是性价比最高的选择。第三学习率与调度。我习惯用AdamWlr0.001配合CosineAnnealingLR或StepLR每20个epoch衰减0.5。单用固定学习率在PointNet上容易陷入平台期loss降到一定程度就不再动了。第四数据增强。随机旋转、随机缩放、加噪声这三件套能显著降低过拟合。如果训练acc接近100%而测试acc只有80%多半是过拟合先加增强再说。6.3 PointNet训练显存优化心得跑PointNet时最费显存的就是ball query的方向量尤其是(batch_size, npoint, nsample, C)的邻居特征张量。我在6GB显存上训练batch size 16的MSG版直接OOM。后来用了几个策略才跑顺减少邻居采样点数nsample从32降到16精度损失不大但显存几乎减半。不用MSG先用单尺度SSG版本跑通所有代码验证没问题后再用MSG提升精度。把计算和推理时的batch拆分成多个mini-batch或者使用梯度累积。如果只是推理可以降低点数到4096以下FPS和ball query的计算量会大幅下降。6.4 从复现到落地PointNet系列还能怎么扩展PointNet系列虽然已经是几年前的工作但它的思想在现在的3D视觉里依然随处可见。如果你想在这个方向深入下去有几个自然的扩展方向把PointNet当作backbone接上Transformer目前主流的Point Transformer、Point-M2AE等都是在PointNet的采样分组框架下替换或增强特征提取器理解PointNet后看这些论文会轻松很多。结合补全和生成任务PointNet的全局特征可以作为自编码器的编码器再配合解码器做点云补全如PointNet AE、FoldingNet。这类任务在工业检测、自动驾驶中很有用。扩展到RGB-D融合把RGB图像特征投影到3D点云上再输入PointNet能同时利用颜色和几何信息在室内分割任务如ScanNet上效果提升明显。我个人在实际项目里的体会是PointNet的价值不在于它有多SOTA而在于它提供了一套清晰、可扩展的点云特征提取范式。即使现在很多新方法在基准上超过它工程上遇到点云任务时我还是会先跑一遍PointNet或PointNet作为baseline它的稳定性、可控性和调试友好度是很多复杂模型给不了的。最后再分享一个小技巧复现论文时先把模型在单个batch上跑通前向再跑一个batch的过拟合测试训练几十步让loss降下来最后再全量训练。这个流程能帮你快速定位是模型结构问题还是数据加载问题省下的时间远比想象中多。
