触觉数据：机器人精细操作训练的下一个关键模态

1. 触觉数据为什么突然成了机器人训练的香饽饽如果你这两年一直在关注机器人学习领域应该能明显感觉到一个变化视觉和语言这两块的数据集已经卷到天上去了Open X-Embodiment、RT-X 这类跨本体数据集动辄上百万条轨迹但真正让机器人完成拧瓶盖插网线叠衣服这类精细操作时成功率依然上不去。问题出在哪我自己的判断是——缺了触觉这一路模态。视觉能告诉你手在物体上方 3 厘米但它没法告诉你指尖已经感受到 0.5 牛的接触力再往下压 0.2 毫米就会打滑。人类做精细操作时视觉只负责粗定位真正闭环靠的是皮肤里的机械感受器。机器人要复现这种能力就必须把触觉信号引入训练回路。这就是 IROS 2026 现场触觉正在成为机器人训练的下一种数据这个判断的底层逻辑。这篇文章我想聊的不是某篇具体论文而是把触觉数据这件事从传感器选型、数据采集、表征方式、训练策略到落地场景完整拆一遍。适合正在做机器人学习、具身智能、柔性传感方向的朋友也适合刚入门想搞清楚触觉到底怎么用的开发者。我会尽量把每个环节的为什么讲透而不是只丢结论。先说一个反直觉的点触觉数据难不难在传感器本身难在对齐。视觉数据是一帧一帧的图像时间戳对齐相对容易触觉是连续的高频模拟信号不同传感器采样率从几十赫兹到几千赫兹不等还要和视觉、本体感觉关节角度、末端位姿做时间同步。IROS 现场好几个团队都在吐槽这件事——采数据一小时对齐清洗三小时。这个痛点决定了后面所有技术选型的走向。2. 触觉传感器的三条技术路线与选型逻辑2.1 视触觉Vision-based TactileGelSight 系的统治力从何而来视触觉是目前学术界最主流的方案代表就是 GelSight 及其衍生DIGIT、TacTip 等。原理说白了很朴素一块弹性凝胶表面被物体压出形变内部摄像头拍下这个形变通过光度立体算法反推出接触面的三维几何和力分布。它为什么这么受欢迎我总结三个原因。第一分辨率极高凝胶表面能做到微米级形变感知能看到纹理、边缘、螺丝纹路这是传统点式传感器做不到的。第二输出是图像可以直接复用成熟的 CNN/ViT 视觉骨干网络迁移成本极低。第三成本可控一个 DIY 版 GelSight 用普通摄像头加硅胶就能搭几百块人民币起步。但它的坑也很明显。凝胶是消耗品反复摩擦会磨损、会撕裂工业场景下寿命是硬伤。另外摄像头帧率通常 30-60 fps做高频力控比如抓取瞬间的冲击时采样率不够。我在实际搭台子时踩过一次坑凝胶和摄像头之间的照明不均匀导致光度立体解算出来的法向量在边缘区域严重失真后来加了漫射板才解决。2.2 电阻/电容式阵列便宜、皮实但标定是噩梦这类传感器就是一层压阻或电容材料做成阵列每个阵点输出一个和压力相关的电信号。代表有 Tekscan、国产的柔性压力阵列。优点是薄、软、便宜、耐用适合大面积覆盖比如整只灵巧手的手掌。问题在于非线性、迟滞和串扰。压阻材料的电阻-压力曲线是对数型的而且加载和卸载曲线不重合迟滞相邻阵点之间还有机械串扰。你要拿它做定量力控必须做逐点标定一个 16x16 的阵列就是 256 个点标定一次能耗掉一整天。我的经验是如果只是做接触/未接触的二值判断或者粗略的力分级这类传感器完全够用但如果要做精细力控标定成本会让你怀疑人生。2.3 磁性/光学点式MEMS 与霍尔方案的取舍还有一类是基于霍尔效应或 MEMS 的微型力传感器比如把磁体和霍尔元件封装在弹性体里通过磁场变化反推力。这类传感器体积小、响应快、可以做到很高采样率上千赫兹适合集成到指尖做高频力反馈。选型上我一般这样判断做研究、要丰富接触信息优先视触觉做产品、要耐用和低成本优先阵列式做高频力控、要闭环优先点式 MEMS。三者不是互斥的很多灵巧手是视触觉看纹理 点式测力混搭。路线分辨率采样率耐用性成本典型场景视触觉极高30-60Hz差中研究、精细操作电阻/电容阵列中100-1kHz好低大面积覆盖、产品磁性/MEMS点式低单点1k-10kHz好中高高频力控3. 触觉数据采集从硬件同步到标注的完整链路3.1 时间同步软同步和硬同步的取舍采集触觉数据第一个要解决的就是同步。假设你有两路摄像头60fps、一个触觉阵列500Hz、一个机械臂本体状态1kHz怎么把它们对齐到同一时间轴软同步就是各设备各自打时间戳事后按时间戳插值对齐。实现简单但依赖系统时钟精度Linux 下如果不用 PTP 或硬件触发抖动可能到几毫秒对高频力控来说不可接受。硬同步是用一个统一的触发信号比如 FPGA 或 MCU 发出的方波同时触发所有采集设备抖动能压到微秒级。我的建议是做数据集、离线训练软同步够用做在线闭环控制必须硬同步。IROS 现场有个团队分享说他们用 ROS 2 的message_filters做近似时间同步结果触觉和视觉差了 15ms训练出来的策略在真机上抓取时总是慢半拍。后来换成硬件触发才解决。3.2 数据表征原始信号、力场还是触觉图像采到数据之后怎么表示它直接决定了后面网络怎么设计。常见三种原始时序信号直接把每个阵点的电压序列喂给时序模型LSTM、Transformer。信息最全但维度高、噪声大。力场/接触图把阵列解算成二维力分布图当成单通道或多通道图像处理。适合 CNN。触觉图像视触觉直接输出 RGB 图像走视觉骨干。这里有个容易忽略的点触觉信号的高频成分往往比低频更有信息量。抓取瞬间的冲击、滑动起始的微振动都藏在几十到几百赫兹的频段里。如果你直接下采样到和视觉同频30Hz这些信息就全丢了。我一般会保留原始高频信号单独用一个轻量网络提特征再和视觉特征做融合。3.3 标注触觉数据的标签到底标什么视觉数据标注是画框、打标签触觉数据标注完全是另一回事。常见的标注目标有接触状态接触/未接触、滑动/稳定。力的大小和方向需要标定后的真值。物体属性材质、硬度、重量这些往往靠触觉才能区分。操作阶段接近、接触、抓稳、操作、释放。标注触觉数据最麻烦的是真值获取。你要标力是 5 牛得有个标准力传感器做参照。我见过一个取巧做法用已知重量的砝码压在传感器上做标定曲线然后反推。但砝码只能给静态力动态力还是得靠专业测力台。提示如果做的是自监督或对比学习可以绕过显式标注用同一物体不同抓取或同一抓取不同物体构造正负样本对大幅降低标注成本。4. 触觉如何融入机器人训练四条主流技术路径4.1 多模态融合早期融合、晚期融合还是交叉注意力把触觉和视觉、本体感觉拼在一起训练融合时机很关键。早期融合是把触觉信号和视觉特征在输入层就拼起来一起过网络。简单但要求各模态维度对齐且触觉的高频噪声会污染视觉特征。晚期融合是各自过独立编码器最后在决策层拼接。鲁棒但丢失了模态间的细粒度交互。交叉注意力是当前主流让视觉 token 和触觉 token 互相 attend能学到看到边缘时触觉该关注哪里这种关联。我实测下来交叉注意力效果最好但训练最慢显存吃紧。如果算力有限晚期融合加一个门控机制gating是性价比之选——让网络自己学什么时候该信触觉、什么时候该信视觉。4.2 触觉作为奖励信号比人工设计奖励靠谱强化学习里设计奖励函数是老大难。触觉天然适合做奖励抓稳了触觉分布稳定打滑了触觉信号突变。有团队用触觉信号的时间导数作为滑动检测一旦检测到滑动就给负奖励让策略学会抓得刚好不滑。这个思路的好处是不需要精确的力真值只需要触觉信号的相对变化。对没有标定的廉价传感器特别友好。我在一个抓取项目里用过类似方法策略收敛速度比纯视觉快了将近一倍。4.3 触觉驱动的模仿学习示教数据里的隐藏信息模仿学习BC、ACT、Diffusion Policy现在很火但大多数工作只用了视觉和关节轨迹。其实示教过程中触觉信号一直在记录只是被忽略了。把触觉加进观测空间策略能学到人类示教时用了多大力泛化到新物体时更稳。难点在于不同本体的触觉信号不可比。人的手指触觉和机器人的阵列传感器量纲完全不同跨本体迁移时得做归一化或者学一个共享的触觉隐空间。4.4 触觉世界模型预测摸上去会怎样最新的一类思路是训练一个触觉世界模型给定当前视觉和动作预测下一步触觉会是什么。这本质上是让机器人学会想象触感。有了这个模型可以在没有真实触觉的情况下做规划——先在心里模拟一遍再执行。这条路很前沿IROS 现场讨论很热但目前还停留在仿真和简单任务上。仿真里触觉的物理建模尤其是柔性体接触本身就没完全解决sim-to-real 的 gap 比视觉更大。5. 仿真环境里的触觉TacSim、Isaac 与 sim-to-real 的鸿沟5.1 为什么触觉仿真比视觉仿真难得多视觉仿真已经相当成熟光线追踪能渲染出以假乱真的图像。但触觉仿真要解的是接触力学两个柔性体接触时的形变、摩擦、粘附这些是高度非线性的偏微分方程。实时求解几乎不可能只能近似。主流做法有两类。一类是基于有限元FEM精度高但慢通常离线用。另一类是基于位置动力学PBD/XPBD快但精度有限适合实时。Isaac Sim 里的触觉插件、MuJoCo 的接触模型都属于后者。5.2 视触觉仿真的特殊技巧视触觉有个讨巧的地方它的输出是图像所以可以用渲染凝胶形变的方式仿真。TacSim 这类工作就是用 FEM 算出凝胶表面形变再用光度立体渲染成图像。这样仿真出来的触觉图像和真实 GelSight 输出在分布上比较接近sim-to-real 相对好做。但坑在于凝胶的材质参数杨氏模量、泊松比、摩擦系数很难测准而且真实凝胶会老化参数随时间漂移。我的经验是仿真里别追求物理精确追求分布对齐——用域随机化把材质参数在一个合理范围内随机让策略学会对参数不敏感。5.3 域随机化在触觉上的具体做法视觉域随机化是随机光照、纹理、背景。触觉域随机化随机什么我一般随机这几项传感器噪声水平模拟不同信噪比接触刚度模拟不同物体软硬摩擦系数模拟不同表面采样延迟模拟通信抖动零点漂移模拟温漂把这些随机进去策略在真机上鲁棒性会明显提升。代价是训练变慢因为策略要学的分布更宽了。6. 落地场景触觉数据在哪些任务上真正值钱6.1 精密装配插孔、拧螺丝、线束整理这是触觉最刚需的场景。插网线、插 USB、拧螺丝视觉被遮挡或者精度不够时全靠触觉做最后的对准和力控。工业界对这类任务的容忍度是99.9% 成功率纯视觉很难达到触觉是补上最后那 0.9% 的关键。具体做法通常是分层控制视觉负责粗定位到孔位附近触觉负责搜索和插入。搜索阶段用触觉信号做螺旋搜索或者力引导插入阶段监控力的大小防止损坏。6.2 柔性物体操作叠衣服、理线、翻书柔性物体没有固定形状视觉很难预测它下一秒的状态。触觉能感知到布料被夹住了多少线有没有打结。这类任务目前成功率普遍偏低触觉是重要的突破口。6.3 人机交互与安全让机器人知道轻重服务机器人给人递东西、搀扶必须知道用了多大力。触觉皮肤覆盖在机械臂表面能实时监测接触力一旦超过阈值就急停。这是安全合规的硬需求也是触觉从研究走向产品的直接驱动力。6.4 物体属性识别不看只摸有些属性视觉根本看不出来这个水果熟没熟、这个零件表面粗糙度多少、这个材料是软的还是硬的。触觉探索active tactile exploration让机器人主动去摸、去捏、去滑通过触觉序列判断属性。这类任务在分拣、质检里有实际价值。7. 我在触觉项目里踩过的坑与实操心得7.1 传感器标定别信出厂参数买来的柔性压力阵列出厂给的灵敏度曲线基本只能做参考。实际装配到手指上之后因为弯曲、预紧力不同曲线全变了。我的做法是装配后重新标定用标准砝码逐点加载拟合出实际曲线。这一步偷懒后面所有力控都是错的。7.2 数据采集的脏数据陷阱触觉数据特别容易脏。常见的有传感器没贴牢导致基线漂移、线缆拉扯引入伪信号、电磁干扰导致的高频噪声。采数据时一定要同步记录原始信号和可视化边采边看发现异常立刻停。我吃过一次亏采了三天数据回头一看触觉通道有一路一直是饱和的白干。7.3 训练时的模态不平衡触觉信号维度通常远低于视觉如果直接拼接网络会倾向于忽略触觉。解决办法是给触觉分支更高的学习率或者在损失函数里给触觉相关的任务更高权重。另一个技巧是做模态 dropout——训练时随机丢掉视觉逼网络学会用触觉。7.4 真机部署的实时性训练时用的是离线数据部署时要实时推理。触觉高频信号如果全量喂给网络推理延迟会爆。我的做法是在传感器端做特征提取比如算滑动窗口的均值和方差只把低维特征传给主网络。这样既保留了高频信息又控制了延迟。7.5 一个具体的小技巧用触觉做抓取成功检测抓取任务里判断抓没抓稳是个高频需求。与其训练一个复杂网络不如用触觉信号的简单统计量抓取后 200ms 内如果触觉信号方差低于阈值且均值稳定判定为抓稳如果方差持续偏高判定为滑动。这个规则简单粗暴但在很多场景下比神经网络还稳而且零延迟。8. 触觉数据的未来标准化、规模化与开源现在触觉数据最大的问题是没有统一标准。每个实验室用自己的传感器、自己的采集流程、自己的表征方式数据没法互通。视觉领域有 ImageNet、COCO 这样的基准触觉领域还没有。IROS 现场不少人在呼吁建立触觉数据的统一格式和基准任务。我个人的判断是接下来一两年会看到几个趋势。一是触觉数据集开始规模化类似 Open X-Embodiment 但加入触觉模态。二是仿真触觉的保真度提升让 sim-to-real 更可行。三是触觉基础模型出现用大规模触觉数据预训练一个通用编码器下游任务微调。对开发者来说现在入场的性价比很高。传感器成本在降开源工具在成熟数据标准还没定型意味着有话语权。如果你手上有一台机械臂和一个视触觉传感器完全可以自己搭一套采集系统从简单的抓取任务开始积累数据。触觉这块的坑早踩早受益。最后分享一个我常用的调试方法把触觉信号实时可视化成一个热力图叠加在相机画面上。这样你能直观看到手接触物体的哪个部位、力分布什么样。很多问题——标定错误、串扰、延迟——在这个可视化下一眼就能看出来。比盯着数字调参高效得多。