简介这是一套基于深度学习的6自由度抓取姿态预测项目聚焦机器人视觉抓取中的位姿估计问题适合机器人操作、自动化与计算机视觉方向的研究者学习也可作为机械臂抓取算法的参考实现。压缩包共54个文件以16个Python源码含模型定义、训练与评估脚本、12个npy抓取姿态数据、7个STL与2个OBJ三维物体模型为主另有YAML配置文件、README与多份许可证文件整体约9.83MB目录结构清晰便于按模块阅读和复用。目前已有629人浏览学习。资源不仅包含GraspNet网络架构、数据读取与物体渲染工具还提供panda/yumi机械臂抓取点模型、均匀四元数采样数据以及训练配置模板能帮助读者完整了解从目标检测、抓取采样到姿态评估的整个流程为二次开发或复现实验提供了可直接运行的脚本与配置。1. 六自由度抓取为什么值得做从2D抓取到6dof-graspnet的跳跃机械臂抓取这件事很多团队一开始用的是2D抓取相机拍一张图算法在图像平面上找目标手臂伸过去只做平移和绕z轴的旋转。可一旦物体斜靠在货架上2D方案就开始翻车手爪角度差几度就会把目标推倒。6dof-graspnet这一类基于深度学习的六自由度抓取网络把问题重定义为点云到抓取位姿的直接映射位置3个自由度旋转3个自由度全部端到端输出还带上质量评分。适合读这篇文章的是做机器人视觉抓取、上下料、分拣的工程师需要把视觉引导抓取真正装到机械臂上。下面按表示、推理、训练、避坑这条线把整个方案拆开讲文章里会用到的代码都是这套方案里最常见的实现方式你可以直接照着改。2. 网络在学什么抓取表示、生成器与评估器的配合打开6dof-graspnet的源码包第一眼看到的往往不是训练脚本而是一堆表示抓取的数学工具。我带新人看这类项目第一件事就是让他们把抓取表示的代码逐行读一遍没读懂之前不碰网络结构。原因是同样的点云输入、同样的损失函数抓取表示不同训练出来的模型行为会差很多。2.1 抓取位姿的数学表示从4x4齐次矩阵开始机械臂的末端工具坐标系是一个4x4齐次矩阵抓取网络最终输出也必须落到这个矩阵上。常见的输出规范包括位置、接近方向、夹爪张开方向和宽度。这里最关键的是方向向量的单位化与正交化因为机械臂运动学求解器要求旋转矩阵是正交矩阵差一点点逆运动学就会算出奇怪的关节角。我在工程里一般先把抓取参数组装成齐次矩阵再送去可视化或下发到机械臂。这个组装函数看起来简单但坐标系方向一旦弄反后面所有验证都会在视觉上被误导。import numpy as np def build_grasp_matrix(center, approach, width, finger_depth0.02): 由抓取参数构造4x4齐次变换矩阵。 参数说明 center: 抓取中心点位置形状 (3,)单位米 approach: 夹爪接近方向单位向量形状 (3,) width: 夹爪开度单位米本函数不直接用但调用方需保持一致 finger_depth: 抓取深度抓取中心到指尖的距离单位米 返回 T: 4x4齐次矩阵列向量依次对应夹爪坐标系的三个轴 binormal: 夹爪平面内的方向向量用于调试可视化 normal: 夹爪张开方向宽度测量的基准轴 approach np.asarray(approach, dtypenp.float64) approach approach / np.linalg.norm(approach) # 选一个与 approach 不平行的临时向量做叉积避免零向量 tmp np.array([0.0, 0.0, 1.0]) if abs(np.dot(approach, tmp)) 0.9: tmp np.array([1.0, 0.0, 0.0]) binormal np.cross(approach, tmp) binormal binormal / np.linalg.norm(binormal) normal np.cross(binormal, approach) T np.eye(4) T[:3, 0] binormal T[:3, 1] normal T[:3, 2] approach T[:3, 3] np.asarray(center, dtypenp.float64) return T, binormal, normal这段代码先把approach向量归一化再用临时向量做叉积得到第一个基向量binormal最后用binormal和approach叉积得到normal。这样三个轴严格正交approach方向就是手爪伸向物体的方向。这里的finger_depth参数暂时没有参与矩阵构建但它决定预抓取位置的计算把夹爪模型沿approach反方向平移finger_depth才能真正让指尖对齐到抓取中心后面真机调试时会反复用到。提示第一次看这个项目时建议抓一个公开数据集的场景把生成的抓取矩阵可视化到点云里再对照机械臂末端工具坐标系的方向定义检查一遍。坐标系问题在可视化阶段就能暴露别等上了真机才查。2.2 CVAE为什么用条件变分自编码器而不是直接回归同一个物体比如一个马克杯可以从侧面抓、从上方抓、从杯把方向抓结果都是稳定可行的。如果直接用回归网络去学这几种抓取的平均值出来的位姿往往是所有方式都不挨边的中间状态。这就是6dof-graspnet选择条件变分自编码器CVAE而不是普通回归网络的原因抓取本身是多模态的网络不能只给一个答案而要能生成一批有差异且可用的候选。条件变分自编码器的逻辑分两个阶段。训练阶段编码器同时读入点云特征和真实抓取把抓取信息压缩成潜在变量z的均值和对数方差然后从z采样让解码器从(z, 点云特征)重建出抓取。这相当于告诉网络在给定这个物体的点云时合法的抓取大致落在哪些区域。推理阶段编码器退场解码器直接从随机采样的z生成不同的抓取。class GraspCVAE(nn.Module): 6dof-graspnet生成器部分的简化示意。 输入条件特征点云编码输出抓取参数。 latent_dim 常用2~8太小生成结果单一太大会让重建损失偏高。 def __init__(self, pc_feat_dim256, latent_dim4, grasp_dim9): super().__init__() # 点云编码器通常复用 PointNet 的 set abstraction 模块 self.point_encoder PointNetPPEncoder(out_dimpc_feat_dim) # 训练阶段用到的编码分支由点云特征真实抓取推断z分布 self.encoder_mu nn.Linear(pc_feat_dim grasp_dim, latent_dim) self.encoder_logvar nn.Linear(pc_feat_dim grasp_dim, latent_dim) # 解码器从点云特征和潜在变量生成抓取 self.decoder nn.Sequential( nn.Linear(pc_feat_dim latent_dim, 256), nn.ReLU(), nn.Linear(256, 128), nn.ReLU(), nn.Linear(128, grasp_dim), ) def reparameterize(self, mu, logvar): std torch.exp(0.5 * logvar) eps torch.randn_like(std) return mu eps * std def forward(self, pc_feat, grasp_gtNone, zNone): if self.training: enc_input torch.cat([pc_feat, grasp_gt], dim-1) mu self.encoder_mu(enc_input) logvar self.encoder_logvar(enc_input) z self.reparameterize(mu, logvar) dec_input torch.cat([pc_feat, z], dim-1) return self.decoder(dec_input), mu, logvar else: dec_input torch.cat([pc_feat, z], dim-1) return self.decoder(dec_input)这里的latent_dim是控制生成多样性的开关。设置太小生成的抓取会集中在一个狭窄区域面对不同高度、不同遮挡的物体时适应能力差设置太大解码器会倾向于把z里的噪声直接映射到无意义位姿。训练时重参数化操作是必须的它让随机采样这个不可导过程变得可反向传播。2.3 推理时的采样-打分循环模型训练完推理阶段不是直接输出一个位姿而是采样一大批候选再排序。采样数量太少可能漏掉高得分抓取采样太多机械臂每来一个物体要等几百毫秒。常见的项目里采样数设在200到500之间处理后取分数最高的前几个。def inference_pipeline(model, evaluator, pc_tensor, num_samples300, top_k10): 采样 num_samples 个候选抓取用评估器打分后返回 top_k 个。 pc_feat model.point_encoder(pc_tensor) # 只编码一次节省开销 score_list, grasp_list [], [] for _ in range(num_samples): z torch.randn(model.latent_dim).to(pc_tensor.device) grasp model.decoder(torch.cat([pc_feat, z], dim-1)) # 这里把 grasp 通过 2.1 的矩阵处理再送入评估器避免维度错乱 quality evaluator(pc_feat, grasp) score_list.append(quality.item()) grasp_list.append(grasp.detach().cpu().numpy()) order np.argsort(score_list)[::-1][:top_k] return [grasp_list[i] for i in order], [score_list[i] for i in order]这个循环每次前向只有一个样本300次前向在GPU上会慢得明显。想提速的常见做法是先把z放进一个batch张量一次性前向得到300个抓取再做排序。排序后的高分抓取之间往往很相似实际使用时通常还会加一个去重逻辑两个抓取中心距离小于某个阈值且旋转角度差小于阈值时只保留分数高的那个这样机械臂拿到的候选才有区分度。3. 环境搭建与最小推理把6dof-graspnet跑起来的关键三步很多人卡在第一步的深度学习环境配置上代码还没跑起来就放弃了。这类项目本质上是一个典型的深度学习实战项目案例环境问题解决后真正的难点才会浮出水面。3.1 依赖安装与CUDA版本匹配6dof-graspnet依赖PyTorch、open3d、numpy同时点云特征部分会用到PointNet的自定义算子需要本地编译。整个环境搭建最让人头疼的就是CUDA版本匹配。老版本代码多半是按PyTorch 1.x时代写的conda新建环境后先装PyTorch再编译自定义算子顺序不能乱。conda create -n graspnet python3.8 conda activate graspnet # 先确认 torch 能正常调用 GPU python -c import torch; print(torch.__version__, torch.cuda.is_available()) # 安装常用依赖 pip install numpy open3d scipy # 编译项目里的自定义算子PointNet 等 python setup.py build_ext --inplacepython3.8是目前跑这类老代码最不容易出意外的版本。Python 3.10以上版本会遇到setup.py里distutils的兼容性问题报错信息五花八门。build_ext --inplace会把编译好的.so文件放在源码目录下面改完C源码必须重新执行这个命令否则训练时会出现undefined symbol这种怪错误。3.2 从点云到抓取候选的最小推理代码环境通了之后先别急着训练把推理脚本跑通是最有价值的动作。推理逻辑非常直接读点云降采样到固定点数中心化和归一化然后送进生成器和评估器。import open3d as o3d import numpy as np import torch def run_grasp_inference(model, evaluator, ply_path, device): 读取PLY格式点云输出抓取位姿。 ply_path: 点云文件路径 device: torch.device如 cuda:0 pcd o3d.io.read_point_cloud(ply_path) pts np.asarray(pcd.points, dtypenp.float32) # 降到2048点不足则重复采样超过则随机抽 if len(pts) 2048: idx np.random.choice(len(pts), 2048, replaceFalse) pts pts[idx] else: pad_idx np.random.choice(len(pts), 2048 - len(pts), replaceTrue) pts np.concatenate([pts, pts[pad_idx]], axis0) # 中心化 按最大范数归一化 centroid np.mean(pts, axis0) pts pts - centroid scale np.max(np.linalg.norm(pts, axis1)) pts pts / scale # 组batch送入网络 pc_tensor torch.from_numpy(pts).float().unsqueeze(0).to(device) with torch.no_grad(): grasps, scores inference_pipeline( model, evaluator, pc_tensor, num_samples300, top_k5 ) # 把归一化坐标还原回原尺度 for g in grasps: g[:3] g[:3] * scale centroid return grasps, scores这段代码有三个容易踩的细节。第一输入点云必须和训练时的坐标系完全一致左手系右手系混用会直接让抓取方向全部反转第二点数不足时重复采样会让网络看到很多重复点质量分数会虚高所以点数不足时更推荐先做上采样或者干脆报错提醒第三归一化的尺度要和训练代码保持一致训练用包围盒直径归一化你这里用最大范数输出位姿就会差出量级。3.3 结果可视化抓到没抓到点云里一眼看出来推理结果不可视化等于没做。把夹爪模型按预测的4x4矩阵摆进点云场景立刻能看到抓取位姿的合理性这一步能过滤掉大部分明显错误。def draw_grasps(pcd, grasps, scores, size0.05): 用 Open3D 展示点云和抓取位姿坐标架。 vis o3d.visualization.Visualizer() vis.create_window(window_namegrasp result) vis.add_geometry(pcd) for g, s in zip(grasps, scores): axes o3d.geometry.TriangleMesh.create_coordinate_frame(sizesize) axes.transform(g) vis.add_geometry(axes) print(fgrasp score{s:.3f}) vis.run() vis.destroy_window()create_coordinate_frame返回的坐标架红色是x轴绿色是y轴蓝色是z轴。工程里最好把坐标架的尺寸设成和机械臂末端工具一样大小比如你的夹爪长度为0.08米坐标架就设0.08。比场景小太多会被点云盖住比夹爪大多了又会误导你对抓取位置的判断。提示可视化时把多个候选用不同颜色区分或者逐个显示。全部叠在一起时高分候选会把低分候选压住看不出分布规律。4. 数据管道从深度相机原始流到训练标签6dof-graspnet能跑通一半功夫在数据。很多团队会在这一步偷懒直接拿别人的模型和数据集去真机测试结果针对自己场景的物体和光照条件效果很差。自建数据管道是绕不开的环节。4.1 公开数据集的标签结构先看公开数据集里究竟有什么。拿最常被引用的GraspNet-1Billion这类数据来说它的场景目录下通常包含深度图、相机内参、物体位姿以及逐物体实例的抓取标注。抓取标签一般包含接触点、接近方向、夹爪宽度和是否可行的类别标签。这些信息最后会组织成训练时用的点云与位姿对。训练6Dof-GraspNet时你要关心的不是图像或者物体分类而是点云与抓取标注的对应关系。下载数据集时很多人没有注意到场景里存在多个相机视角同一个场景有几十帧不同视角的观测。数据量并不是越大越好覆盖相机高度、遮挡程度的变化才是关键。4.2 用深度图生成点云的预处理脚本自己的现场没有带标注的数据第一步只能从深度相机原始流出发。深度图加内参就可以得到点云这一步的代码很短但单位问题特别容易踩。def depth_to_points(depth, K, depth_unitmm): 深度图转点云。 参数说明 depth: HxW 单通道深度图 K: 3x3 相机内参矩阵 depth_unit: 深度图单位mm 或 m 返回 points: Nx3 点云单位米 h, w depth.shape u, v np.meshgrid(np.arange(w), np.arange(h)) if depth_unit mm: z depth.astype(np.float32) / 1000.0 else: z depth.astype(np.float32) x (u - K[0, 2]) * z / K[0, 0] y (v - K[1, 2]) * z / K[1, 1] points np.stack([x, y, z], axis-1).reshape(-1, 3) # 去掉无效深度和离群点 mask (z.reshape(-1) 0) (z.reshape(-1) 3.0) return points[mask]真机上常见的坑是深度图在近处和远处都有噪点特别是近距离反光物体表面会出现飞点。只按z值范围过滤远远不够更实用的做法是先做中值滤波再用统计滤波去掉孤立点。如果相机本身输出的已经是单位米的深度图用mm去换算会让整个点云缩小1000倍抓取位置全落到原点附近这是新手最容易翻车的点。4.3 用自己的数据微调最少采多少样才不算玄学自己采数据的问题在于每采集一个场景就要做一次抓取标注。完全不标注直接训练是不可能的损失函数里根本没有真值可以用。常见做法分两种一是用仿真器批量生成训练数据导入物体网格模型渲染不同视角点云通过运动学计算自动生成可行抓取二是对少量真实场景做程序化标注人为标出可行的抓取中心、方向和宽度。起步阶段我个人会用仿真数据先跑通训练流程再用少量真实数据做微调。仿真的点云分布和真实深度相机之间有差距所以微调数据的数量一般不要低于真实场景的十分之一否则微调等于没做。如果发现模型在真实数据上分数虚高但真机成功率很低优先检查标注时的夹爪宽度和接近方向是否按真实机械臂的物理尺寸生成而不是怀疑网络结构。5. 训练避坑损失不降、抓取全偏的5个直接原因这个章节把我在训练6dof-graspnet时遇到过的真实问题写出来。每一条都是先现象、后原因、再解决办法你可以对照自己的训练日志排查。5.1 坐标系约定不一致训练流程却在跑现象训练损失能正常下降推理可视化里抓取位姿却整体偏离物体表面有的朝向桌面有的指向相机方向。原因代码里训练数据的抓取矩阵应用了两次坐标变换或者点云预处理阶段把坐标系从右手系翻转成了左手系而标签没有跟着翻转。这类问题在纯数值训练里不报错但可视化一出来就露馅。解决把训练读入的数据和标签做一个固定抽查用主程序里的矩阵把抓取画回到点云里人工看一眼是否对齐。这个检查脚本放在训练脚本里每次启动训练前自动跑一帧能尽早拦截坐标系问题。5.2 夹爪宽度和深度单位对不上现象网络输出的夹爪宽度要么过大要么过小比如细长螺丝刀被预测出0.1米的夹爪开度真机上夹爪还没到目标位置就提前闭合。原因数据集中夹爪宽度标注单位不一致有的用毫米有的用米。模型本身没有物理常识它只会模仿训练数据的分布单位一混输出就乱。解决在数据加载类里统一转成米并在训练前对宽度标签做一次统计打印mean、max、min。如果发现宽度分布跨度超过两个数量级优先怀疑单位问题而不是网络问题。5.3 点云降采样把薄片物体采没了现象模型对薄板、手机这类扁平物体几乎不给高分抓取对所有候选都打出低质量分数。原因训练前把点云降采样到固定点数时薄片物体的点数本就少再被均匀采样一次后只剩零星几点PointNet提取不到有效几何特征。解决采样策略不要用全局随机降采样改成先做体素降采样保留密度信息再按空间分布均匀化。另外在数据增强里加入随机裁剪和点云补全让网络见过部分缺失的输入推理时遇到被遮挡的薄物体才不至于完全懵掉。5.4 KL散度权重过大生成结果变成千篇一律现象训练损失里KL散度那一项下降得特别快但生成的抓取几乎都在同一个位置采样300次得到的结果差异很小。原因KL散度权重设置太大变分自编码器退化成普通自编码器潜在变量z的分布被压到接近零均值零方差采样出来的z都差不多多样性自然没了。解决把KL散度的权重从默认值调小比如训到某一步再用warm-up让权重慢慢加上去而不是一开始就满权重。经验做法是前10个epoch权重从0线性增加到目标值让解码器先把重建能力学好再逐步加入分布约束。5.5 评估指标选错只盯成功率却忽略接触约束现象评估脚本显示抓取成功率很高但真机重复测试时有一半机会把物体碰倒。原因成功率指标只看夹爪最终是否抓住物体没检查抓取位姿是否和物体表面存在干涉。一个抓取位姿如果深入物体内部太多视觉上得分很高真机执行时会把物体刨飞。解决评估时加两个硬约束——抓取中心到物体表面的距离必须小于夹爪指尖长度接近方向与物体表面法线的夹角不能超过一定阈值。这两个约束在推理后处理里做掉而不是只靠网络输出的分数。6. 把抓取位姿接到真实机械臂坐标变换与真机验证模型在离线数据和可视化里表现正常只说明深度学习那部分做完了真正的工作从机械臂执行才刚开始。把相机坐标系下的抓取位姿变成机械臂基座坐标系下的末端位姿需要经过手眼标定得到的变换矩阵。常见的链路是相机检测到物体得到相机系下的抓取矩阵T_cam然后左乘手眼矩阵T_base_cam得到基座系下的抓取矩阵T_base再送给运动学求解器。def camera_to_robot(T_grasp_cam, T_base_cam): 把相机系下的抓取矩阵变换到机械臂基座系。 T_grasp_cam: 相机坐标系下的4x4抓取位姿 T_base_cam: 手眼标定得到的相机在基座系中的位姿 T_grasp_base T_base_cam T_grasp_cam return T_grasp_base这行矩阵乘法看起来简单但实际项目里最容易出错的是手眼标定矩阵本身的坐标系定义。有的标定工具输出的是相机到基座的变换有的输出基座到相机的变换方向反了机械臂会朝着反方向猛冲。我第一次接真机时就在这里栽过吓得后来每次上电前都用一支笔尖在空间里指定三个点先手动验证变换方向再放开速度。真机验证我有一个固定习惯先用最低速度、最大预留距离跑一次预到达动作让机械臂运动到抓取点上方10厘米停住确认位姿方向没有明显碰撞风险再完全下爪。这个习惯救了我很多次尤其是夹爪朝向反了的情况在距离物体还有10厘米时就能发现。另一个实用技巧是记录每一次抓取的完整上下文点云文件、预测位姿、实际执行结果成功/偏移/碰撞按时间戳存成一个JSON。不要相信自己的记忆翻车之后没有回放数据等于白翻。这条链路要做到稳定恐怕比训练模型还费时间但做完之后整个抓取系统的可调试性会提升一大截。跑6dof-graspnet这类深度学习抓取项目真正值钱的不是把模型训练出来而是把从点云到机械臂抓取这整条链路里的每一个坐标系、单位和约束都钉死。这也是我踩过多次之后养成的习惯希望帮到你。本文还有配套的精品资源点击获取
