未来具身智能的触觉革命！TactEdge传感器让机器人具备精细触觉感知，实现织物缺陷检测、灵巧操作控制

在我们的设想中，一个完美的机器人应当具备和人类一样的视觉、触觉、听觉、嗅觉和味觉。

通过以上「五感」感知并理解物理世界，同时借助强大的 AI 大脑实现对环境的精确响应，是打造智能机器人的核心，科技巨头特斯拉也认同这一点。

比如，他们推出的第二代人形机器人 Optimus 就强化了触觉感知能力，可以完成两只手指捏起鸡蛋的灵巧操作。这种对物体的准确感知和对力度的精准把握，正是得益于其十根手指尖端搭载的触觉传感器。

人类利用触觉评估物体的尺寸和形状等，机器人也是如此。借助触觉传感器，机器人可以更好地理解现实世界的物体交互行为，获取目标物体的纹理、温度、硬度和变形等触觉信息，从而实现对物体的精准定位，以执行各种操作（比如抓握）任务。简而言之，操作离不开触觉，触觉传感在机器人领域具备巨大的应用潜力。

在这里插入图片描述

12 月 13 日，由具身触觉社区主办、HyperAI超神经协办的「新锐论前沿」第三期线上分享活动正式开幕。本次活动邀请到了中国地质大学（北京）四年级博士生章诗昕，他以「TactEdge 传感器的设计、制备及机器人感知操作」为主题， 向大家详细介绍了视触觉传感器 TactEdge 的迭代历史、硬件优化、视触觉仿真、机器人感知操作等。

HyperAI超神经在不违原意的前提下，对章诗昕博士的本次深度分享进行了整理汇总。

视触觉传感器 TactEdge 的升级历史

过去，人们利用电子类触觉传感器来统计触觉信息，但这类触觉传感器的传感单元分布较为稀疏，在映射触觉信息时分辨率相对较低。为了提升触觉信息的质量，研究人员引入了一种新的传感机制——基于视觉识别原理的触觉传感器（也被称为视触觉传感器），其利用图像作为传感媒介，显著提高了触觉质量，尤其是在空间分辨率方面。 视触觉类传感器的演进进程如下图所示：

在这里插入图片描述

20 世纪后，研究人员们提出了一种新的视触觉传感方法，他们的工作可以归纳为 3 个主要模块：接触模块、相机模块、照明模块，并以此规范视触觉传感机制。其中，接触模块包括标记层、涂层、用于传递触觉信息的功能层（例如感温层），再通过逆成像技术实现触觉信息的可视化。

在这里插入图片描述

我们团队自 2014 年起开始进行视触觉传感器的研究，至今已历经 10 年时间。在此期间，我们探索并发展了多代传感器技术，并将其称为一种前沿的触觉技术 TactEdge， 如下图所示：

在这里插入图片描述

第一代 TactEdge 采用涂层式设计， 通过金属溅射和掩膜工艺，制备了轻薄的金属涂层和标准标记阵列，具备双模态触觉传感功能。

第二代 TactEdge 在涂层或者标记材料中添加了热致变材料， 因为每种材料具有不同的温度阈值，可以在温度升高或降低的情况下，看到由浅至深的颜色变化，以此获得局部温度感知。

第三代 TactEdge 是集成视触觉传感的软体手，以内嵌视觉来监测内腔形变状态的方式实现弯曲姿态的追踪。

第四代 TactEdge： 涂层用于纹理映射，标记层实现了力的追踪，，而感温层则负责温度感知。为了实现多模态感知，我们将这些功能层进行组合，第四代 TactEdge 将热致变层与涂层结合实现纹理与温度的多模态感知。

第五代 TactEdge 在传感器的径向尺寸优化、触觉成像鲁棒性上做出巨大提升。 此外，还将标记层与涂层结合同时实现力和纹理的双模态感知。

第六代 TactEdge 采用了新式的视触觉传感机制 TIRgel， 通过在弹性体内部实施全内反射创造光度信息对触觉信息的表征，同时引入可调焦相机进行内外视觉的转换。

硬件优化

在近几年的传感器开发过程中，我们专注于硬件优化。 例如，2021 年的时候，我们总结了当前主流传感器的制备技术（比如弹性体制备工艺、标记层制备工艺、涂层制备工艺、支撑结构形式），并在此基础上进行工艺编码，归纳出 7 个设计目标，如下图所示，这些目标取决于视触觉传感器的应用需求。

在这里插入图片描述

根据这些传感需求，我们增加了各种限制条件，构建了工艺与设计目标之间的内在关系和逻辑框架。基于此，我们建立了整个工艺制定系统，并基于 QT 开发了工艺制定系统可视化界面。如下图所示，用户可以在绿色框中输入设计目标，系统后台会根据这些目标匹配合理的制备流程，辅助团队开发传感器。然而，这里只提供推荐的制备流程辅助，特殊场景下的一些需求，仍要对工艺进行特定的局部优化。

在这里插入图片描述

弹性体工艺优化：简化制备流程+更低成本

例如，弹性体常用的制备工艺包括定模、调配硅胶、浇筑、抽真空、加热和脱模，随后进入各种涂层工艺，这是一种通用的弹性体制备流程。在批量生产时，考虑到加热时间较长，可以采用自固化的特殊硅胶材料，这种材料在固化和抽真空后不需要额外加热。此外，为了降低传感器弹性体制备的成本，我们团队也提出了一种层积工艺。

在这里插入图片描述

涂层工艺优化：耐磨性和延展性

目前，传感器的涂层制备方案主要分为喷涂工艺、金属溅射工艺。金属涂层在经过频繁触摸后会出现完全脱落和磨损的现象，喷涂涂层的耐磨性略胜一筹，但在遇到尖锐物体时会出现局部破损。因此，涂层质量和耐磨性是无法忽视的问题。过去，涂层制备更偏向于机械附着的方式，前几年，有人提出化学附着的概念，也就是在未固化的弹性体表面附着涂层材料，在固化前形成化学键，以增强耐磨性和附着力。

贴金工艺：提升耐磨性

对此，我们提出了一种新的涂层优化方案——贴金工艺，用于提升其耐磨性。主要是将金属箔贴附于弹性体上，形成薄涂层，这种方案实现了附着强度的双重优化，即金属箔表面的过氧化物与亚克力胶带（甲基丙烯酸甲酯）引发链聚合反应，从而形成化学键，此外，弹性体与金属箔形成范德华力。

在这里插入图片描述

相比传统的喷涂和金属溅射工艺，贴金工艺在硬件成本、制备成本和时间损耗方面具有显著优势。比如，喷涂过程以及喷枪清洗的麻烦被大幅简化，缩短了传感器的制备周期。此外，新工艺不仅提高了功能层的耐磨性，熟练操作下，整个接触模块的制备时间可能缩短至 5-10 分钟。贴金工艺的另一个显著优势是方便维护，涂层表面通常会贴附保护层，如织物或医用胶带，这些保护层的厚度会影响触觉灵敏度和精细纹理映射，但贴金工艺允许在破损的涂层上进行二次操作，有利于维护。

拉丝工艺：提升延展性

然而，在实际应用中我们发现，由于金属箔本身是连续的涂层，在按压过程中容易产生裂纹。我们认为金属箔颗粒度不断堆积可以在宏观上形成一个连续的涂层，进而提升涂层延展性，于是我们对贴金工艺进行改良，提出了拉丝工艺。

在这里插入图片描述

我们对金属箔进行拉伸处理，由于其具有丰富的滑移系，在塑性变形过程中可以形成精细颗粒，拉伸强度越高，颗粒越精细。不同金属的滑移系不同，颗粒尺寸也有所差异，因此我们使用铜箔、铝箔和银箔进行了实验，电子显微镜下的微观结构显示：

铜箔：由于滑移系不如铝箔和银箔丰富，拉伸过程中颗粒较为粗大，影响触觉成像的连续性。
铝箔和银箔：拉伸后的颗粒非常精细，具备纳米级颗粒分布，显著提升了触觉成像的空间分辨率。

在这里插入图片描述

我们将拉丝的涂层与现在主流的喷涂工艺、金属溅射进行对比，如下图所示，我们的工艺在纹理的映射效果上来讲是最好的。
在这里插入图片描述

如下图所示，薄涂层在按压过程中容易破碎，在尖锐物体按压时破裂的速度和程度更快。但颗粒化后的拉丝涂层在抵抗不规则形变时显示出更强的抵抗力，这表明颗粒化处理提高了薄涂层的延展性。

在这里插入图片描述

为了评估双重附着强化后涂层的耐磨性能，我们进行了耐磨性测试，并记录了涂层微观结构变化。结果显示，拉丝涂层在磨损过程中颗粒变得更加精细，整体呈现均匀磨损；而喷涂涂层由于附着力较弱，在磨损过程中出现局部脱落并堆积在周围区域，形成坑洼现象。

在这里插入图片描述

视触觉成像优化：提升视触觉成像鲁棒性

此外，改进的涂层也在一定程度上增强了视触觉成像的鲁棒性。

在视触觉传感中，成像距离非常小，很多都是微距成像，这种情况下，每次按压都会改变成像距离，从而导致成像偏差。此外，传感器设计时预设的成像距离与实际使用中的成像距离也可能存在差异，这两者均会导致成像清晰度不足。为了解决这些问题，我们开发了一套成像调节系统，该系统包括校准模块和调焦模块。

在这里插入图片描述

在成像调节系统中，成像校准模块采用全局搜索策略来推进调整区间并缩短调焦距离，同时帮助确定合理的调整值作为标签。调焦模块则采用了两种方法：基于三点拟合的对焦深度法、基于深度学习的离焦深度法，前者精度高但速度慢，后者速度更快但精度略低，是一种端到端的调整方法。

在这里插入图片描述

鉴于视触觉传感依赖图像机制，我们主要以图像清晰度为标准进行调焦。如下图所示，理想的成像清晰度评估曲线应具有无偏性和单峰性等（红色曲线）。然而，在实际调焦环境中，光线往往不均匀（蓝色曲线），会陷入局部调焦峰值。

在这里插入图片描述

在封闭环境中使用的视触觉传感可以减少外界干扰因素，使得成像曲线更接近理想状态。为此，我们搭建了标定平台，并测试视触觉传感的成像曲线，探索适用于该传感器的图像梯度计算方法。结果显示，Tenengrad 梯度计算方法更贴合传感器的匹配度，且拟合曲线具备所提出的五个关键特性，尤其是无偏性和单峰性，这对后续调焦的评估至关重要。

一般情况下，我们会随机设置一个初始调焦值，轻微按压后，对成像进行标定以获得清晰图像，成像仍在可接受范围内。

在这里插入图片描述

此外，在传感器设计阶段需考虑动态变化的传感域，以便根据特定场景扩大或缩小成像距离。随着成像距离的增长，传感域也会扩大，用动态应对成像调焦来简化整体设计。如下图所示：

在这里插入图片描述

为了测试调焦精度，我们使用 3 种不同密度纹理的物体进行实验，结果显示两种校准方法均接近预期效果，成像调整准确率可达 99.5% 以上，并能在动态识别任务中实时调焦。

在这里插入图片描述

感温层优化：进行分布式模态设计

在感温层的优化设计方面，目前，其研究相对较少，主流方法是在传感器的功能层中添加感温材料，例如，加入热致变粉末和热致变油。从初步成像结果来看，这种方法的颜色信息与纹理信息融合在一起。然而，温度与纹理之间并没有直接的相关性，如果在图像中将这些不相关的特征融合而不进行适当的特征提取或分离，再一同输入模型进行识别，这种做法是不合理的。

在这里插入图片描述

为了解决这个问题，我们对感温层和涂层进行了分布式模态设计，两个区域的尺寸与特征提取机制相匹配。我们将在后面详细讲解。

在这里插入图片描述

内部结构优化：小型化提高传感器的集成性

考虑到视触觉传感器的小型化需求，我们希望减小其尺寸来提高传感器的集成性。得益于微观成像技术的发展，我们有效减小了镜像尺寸，并对传感器内部结构进行模块化处理，通过将不常装备的组件集成化，可以便于组装与拆卸，也实现了空间的最大利用。结合不同的连接器，微型视触觉传感器能够集成到各种机械手上，实现高集成性和高兼容性。

视触觉仿真

尽管我们的方法提高了视触觉传感器涂层的耐磨性，但经过数千次使用后仍会出现磨损，这种情况下需要我们进行大规模的数据采集，仅依赖人工并不现实。因此，我们展开了视触觉仿真的研究，主要是基于 Taichi 语言和 MLS-MPM 方法，对弹性体变形进行仿真。

在这里插入图片描述

弹性仿真主要是通过颗粒化的粒子表示弹性体和压头，并在每一步仿真过程中传递粒子的物理属性（如动量和质量）至网格，然后使用网格节点和粒子的先前状态对粒子的状态进行更新，仿真结束后，可获取深度信息。Tacchi 也可以与其他机器人相连来联合仿真，在按压过程中粒子会逐帧变化，最终形成粒子深度图并渲染。进一步地，在 Touch 2.0 中，我们增加了粒子与网格间的相互信息传递机制，改善了滑动物体的仿真效果，并采用光线追踪方式提升渲染的真实感，使得新版本在细节上比 Touch 1.0 更为精细。

在这里插入图片描述

机器人感知操作

在硬件和仿真的基础上，视触觉传感器正向不同感知领域扩展，我们的 TactEdge 机器就是用来解决不同领域的识别难题，我们也在机器人操作上进行一些有趣的尝试。

织物识别：可用于织物缺陷检测

因为织物的纹理精细且几何特征鲜明，早期大家用其验证视触觉传感器的纹理映射效果。然而，涂层式视触觉传感器在按压织物时会过滤掉颜色信息，虽然间接提取了几何信息，但对于织物而言，颜色同样重要。为此，我们比较了涂层式传感器与第六代视触觉传感器在相同纹理但不同颜色样本上的表现，如下图所示，融合视触觉后的涂层式传感精度显著提升，既能获得视觉信息，又能获得触觉信息。

在这里插入图片描述

织物缺陷检测至关重要，其缺陷会导致价值降低 45%—65%。布料染色花纹会严重影响算法的通用性和复杂程度，触觉作为人类重要的感知能力之一，不受物体表面颜色的影响，可以辅助视觉来帮助我们感知物体。因此，我们把触觉引入织物缺陷检测，并利用 9 种布料样本进行交叉验证。结果显示，触觉模式下的识别准确率高于视觉模式，特别是对于某些特殊纹理的识别。

在这里插入图片描述

由于织物的纹理信息占据主导地位，影响缺陷部位的判定，我们引入了注意力机制，对有缺陷的重点区域进行偏重处理，增强缺陷部位的识别精确度。

在这里插入图片描述

透明物体识别：玻璃杯识别准确率达 99% 以上

除了织物外，透明物体的纹理识别颇具难度，由于其透明属性和反射光的影响，视觉情况下会存在错识，因此我们引入触觉机制，并采集触觉数据、建立触觉平台，在采集的玻璃杯中，考虑其自身的温度属性影响，我们通过添加热水或冰块调节温度，采集触觉图像，并处理为所需的触觉形式。

在这里插入图片描述

前面提到，触觉识别通常包含温度和纹理信息。将这两者分开识别，并把不同的单模型融合，强化两种特征的提取和分离，是常见的识别方法，却可能会造成不规则的融合。

于是，我们提出了层次区域特征提取机制。该机制确保感温层和温度层的区域分布是按照特定尺寸分布的，将这种特定尺寸与卷积尺寸匹配，在卷积滑移过程中实现各自区域内的独立特征提取，可以避免混杂融合提取。此外，在区域特征提取的同时，后续特征图中的各个模态区域与初始区域会形成模态的映射，并结合矢量化处理，实现不相关模态特征的分布式并行处理。

在这里插入图片描述

考虑到纹理特征和温度特征的学习难度不同，我们还集成了层次识别机制，分配不同的深度网络模块以深化信息处理，这种层次机制可以有效学习复杂特征。

如下图所示，传统单模型未能有效处理纹理和温度信息，因此在个体识别中，温度识别准确率较低，在整体识别中，因为图像的纹理识别占主导地位，模型把不相关特征进行了强行耦合和映射，温度识别提高。而我们的机制 (LRFE-Net) 在整体识别和个体识别的持续准确率保持一致。此外，与多模型识别相比，我们的方法在时间效率上也得到了提高。

在这里插入图片描述

总结来说，我们在视觉模式下获得透明物体的外观属性，在触觉模式下获得其纹理或温度属性，接下来，就可以用决策融合的方式将这两种模式得到的属性融合，共同作用于透明物体识别，比如，我们的方法将玻璃杯视触觉识别准确率达到了 99% 以上。

在这里插入图片描述

农业领域应用：水果质量检测

在农业领域，我们也把视触觉传感扩展到了水果质量检测上，利用形变差异评估水果软硬度及局部腐烂程度。

在这里插入图片描述

当施加压力时，不同硬度的物体会产生不同的形变，同样，标记和力也存在相互关系。要完全表达这种触觉的接触机制可能需要非常庞大的数据集和复杂的模型。但在实际操作任务中，并不一定需要精确测量力值，了解接触点的形变趋势就足以满足某些任务的需求。于是，我们提出了一个 two-stage 自适应抓取策略，如下图所示，该策略主要分为两个阶段：