当前机器人灵巧手的精密操作离不开触觉传感,视触觉传感能够通过光信号和密集排列的光学传感单元达到高精度的触觉感知性能。为实现连续与可换空间的接触识别,用于交互的弹性体可被设计为曲面以适应接触区域的变化。然而,由于曲面结构引入的变形不均匀,会导致触觉图像的空间映射失真,无法准确反映弹性体的真实变形,限制触觉信息的解析利用。针对上述挑战,华南师范大学李昕明课题组面向视触觉传感系统提出一种基于图像序列的触觉信息循环融合策略。依据曲面传感器在连续动态接触过程的运动特征,该策略利用采集的触觉图像序列间的信息特征关系,实现在像素级精确提取接触数据和整合形状特征,有效降低了由于接触曲面结构引起的触觉解析偏差。
该研究成果以“Cyclic Fusion of Measuring Information in Curved Elastomer Contact via Vision-Based Tactile Sensing”为题在线发表在国际知名期刊IEEE Transactions on Instrumentation and Measurement(2025,74,9504011)。获取接触引起的弹性体形变量的位置和程度是解析触觉信息的关键。由于动态检测中曲面接触界面各位置与物体接触的形变量会受到曲面结构的调制而引起解析复杂,该策略通过一次采集过程触觉图像序列间信息的互补计算和融合,实现了对曲面引起的映射失真的缓解。研究提出的策略在频域中对触觉图像在特征对齐后进行小波变换以分离不同特征的数据,对包含精细边缘信息的高频部分采用基于显著性分析的权重融合,以在序列中提取出局部信息量最大的触觉数据,结合通过平均融合的低频信息后整合和还原得到融合触觉图像。
验证测试表明,使用该策略在保持图像结构相似度一致基础上能够较原始数据信息含量提高8%,沿曲面方向的区域信息偏差减少20%。在应用场景的验证中,使用该策略使得结合神经网络进行布料的属性识别和缺陷检测任务的错误预测减少了20%,也降低了50%的基于光度立体的表面深度重建中表面投影偏差,展示了策略在克服曲面接触结构引起的映射失真方面的能力。综上所述,该研究提出的策略能够在一定程度上克服视触觉传感器曲面接触结构引起的数据应用和触觉行为解析局限,通过触觉图像序列的方式使得策略具有更强的通用性和泛化能力,有潜力在大面积复杂触觉检测和类指尖的精密接触传感中具有应用潜力。