一种融合多维触觉感知与语义解释的柔性触觉传感器系统及使用方法

本发明涉及一种融合多维触觉感知与语义解释的柔性触觉传感器系统及使用方法，属于柔性触觉传感器设计。

背景技术：

1、随着智能机器人、柔性电子皮肤及人机交互技术的发展，触觉感知系统不再局限于单一压力信号检测，而是需在复杂接触过程中同步获取力、温度、接近状态、滑移及振动等多模态信息，并进一步理解物体的软硬、冷热、粗糙度及滑移倾向等触觉属性。现有柔性触觉传感器多基于电阻、电容、压电或温度等单一感测机理实现接触检测：电阻式传感器适于静态力学载荷测量，但对接触瞬间及微振动等动态信息响应不足；压电式传感器虽响应快，能捕获瞬态刺激，但难以承担持续压力测量；电容式传感器可用于接近检测，却无法直接反映接触力大小及方向。液态金属微流道虽为柔性三维力检测提供了有效途径，但不同模态信号间存在严重耦合。此外，机器人抓取、物体识别和辅助交互等应用场景，不仅要求系统获得底层传感器数据，还需将触觉感知结果转化为用户可理解的自然语言解释。

2、然而，现有柔性触觉传感器及处理系统仍存在以下缺陷：其一，在三维力检测过程中，法向力与切向力耦合严重，难以稳定分离三维力分量；其二，动态触觉与温度信息获取不足，且温度变化对力学信号产生漂移干扰；其三，接近觉检测与触觉感知相互割裂，系统难以在物理接触前对目标接近状态做出预判；其四，现有系统多停留在传感器信号显示或简单类别识别阶段，缺少由用户问题驱动的触觉探索流程，也缺少将三维力、温度、接近状态及滑移/振动事件等多模态触觉结果组织为结构化描述并生成自然语言解释的方法。

技术实现思路

1、本发明的目的是提供一种融合多维触觉感知与语义解释的柔性触觉传感器系统及使用方法，通过自上而下依次层叠设置的温度感知层、pvdf（polyvinylidene fluoride，聚偏二氟乙烯）压电薄膜层、液态金属感知层和叉指电极层的多模态触觉传感器、多模态信号采集单元、多模态触觉属性模型与自然语言解释模块，实现多物理场协同感知与语义化解释，以解决现有柔性触觉传感器存在力觉耦合严重、温度与动态信息缺失、接近状态预判困难及触觉语义解释能力不足的问题。

2、为解决上述技术问题，本发明是采用下述技术方案实现的：

3、第一方面，本发明提供一种融合多维触觉感知与语义解释的柔性触觉传感器系统，包括：

4、柔性多模态触觉传感器，包括自上而下依次层叠设置的温度感知层、pvdf压电薄膜层、液态金属感知层和叉指电极层，所述柔性多模态触觉传感器用于在接触目标物体时输出多模态信号，所述多模态信号包括温度电阻信号、压电响应信号、液态金属形变电阻信号以及接近觉信号；

5、多模态信号采集单元，用于基于柔性多模态触觉传感器采集所述多模态信号；

6、多模态触觉属性模型，用于将所述多模态信号处理为多模态信息，所述多模态信息包括三维接触力、温度信息、接近状态、接触状态、滑移状态或振动状态；

7、自然语言解释模块，用于根据用户输入的问题和所述多模态信息，生成目标物体属性的自然语言解释或操作建议。

8、进一步地，所述温度感知层包括柔性封装结构和设置于所述柔性封装结构表面或近表面的铂片温度检测单元；所述铂片温度检测单元通过设置于所述柔性多模态触觉传感器上的电极引出端与外部阻值测量电路电连接，用于根据自身电阻值的变化获取接触温度或环境温度，并输出温度电阻信号；

9、所述pvdf压电薄膜层包括pvdf压电薄膜及设置于所述pvdf压电薄膜两侧的柔性电极或电极引出结构，用于感测外部机械扰动并输出对应的压电响应信号；所述外部机械扰动至少包括接触、敲击、滑动及振动；

10、所述液态金属感知层包括pdms液态金属感知层上封装、液态金属和液态金属流体通道封装；所述液态金属流体通道封装内设置有多个填充液态金属的柔性微流道感知单元；所述柔性微流道感知单元用于在法向压力、切向力或剪切力作用下发生形变，并输出对应的液态金属形变电阻信号；

11、所述叉指电极层包括在同一平面内交错排列的发射电极和接收电极，用于根据目标物体引起的等效电容变化输出对应的接近觉信号。

12、进一步地，所述柔性封装结构为pdms封装层，所述铂片温度检测单元为铂片、铂薄膜或图案化铂电阻中的一种。

13、进一步地，所述柔性微流道感知单元呈2×2阵列式分布，并分别填充共晶镓铟合金液态金属；所述柔性微流道感知单元的形状为蛇形结构、回形结构、栅格形结构或多弯折形结构中的一种。

14、进一步地，所述发射电极和所述接收电极之间形成边缘电场，当目标物体与所述柔性多模态触觉传感器的距离在预设范围内时，所述发射电极和所述接收电极之间的等效电容发生变化。

15、进一步地，所述多模态触觉属性模型的网络结构，包括：

16、信号预处理模块，用于对多模态信号依次进行滤波操作、动态基线校准操作、归一化操作和时间同步操作，得到预处理后的温度电阻信号、预处理后的压电响应信号、预处理后的液态金属形变电阻信号以及预处理后的接近觉信号；

17、温度补偿模块，用于根据预处理后的温度电阻信号对预处理后的液态金属形变电阻信号进行温度漂移补偿，得到补偿后的液态金属形变电阻信号；

18、温度特征提取模块，用于根据预处理后的温度电阻信号提取温度特征；

19、动态触觉特征提取模块，用于根据预处理后的压电响应信号提取幅值特征、差分特征、窗口能量特征或过零率特征，组成动态触觉特征；

20、接近觉特征提取模块，用于根据预处理后的接近觉信号提取接近觉特征；

21、结构先验特征构建模块，用于根据所述补偿后的液态金属形变电阻信号以及多个柔性微流道感知单元的空间阵列关系，构建横向差异特征、纵向差异特征和整体压缩特征，组成力学特征；

22、多模态token嵌入模块，用于将所述力学特征、所述温度特征、所述接近觉特征和所述动态触觉特征映射为统一维度的多模态触觉token，并加入时间位置编码和模态编码，得到多模态触觉token序列；

23、transformer编码器，用于通过多头自注意力机制对所述多模态触觉token序列进行处理，得到上下文增强的多模态触觉token序列；

24、跨模态注意力融合模块，用于对所述上下文增强的多模态触觉token序列进行跨模态自适应融合，得到融合后的多模态触觉表征；

25、多任务输出层，用于根据所述融合后的多模态触觉表征输出多模态信息。

26、进一步地，所述多模态触觉属性模型的训练方法，包括：

27、对具有不同硬度、表面粗糙程度、温度状态和摩擦特性的目标物体执行外部机械扰动；所述外部机械扰动至少包括接触、敲击、滑动及振动；

28、同步获取多模态信号以及与所述多模态信号时间同步的监督标签构建训练集；

29、所述多模态信号包括温度电阻信号、压电响应信号、液态金属形变电阻信号以及接近觉信号；所述监督标签包括三维接触力标签、温度信息标签、接近状态标签、接触状态标签、滑移状态标签或振动状态标签；

30、将所述训练集输入所述多模态触觉属性模型进行处理输出多模态信息；

31、所述多模态信息包括三维接触力、温度信息、接近状态、接触状态、滑移状态或振动状态；所述三维接触力包括两个正交方向的切向力分量和一个法向力分量；

32、根据所述多模态信息与对应监督标签，计算模型损失函数；

33、基于所述模型损失函数对所述多模态触觉属性模型进行反向传播和参数更新，直至满足预设停止训练条件。

34、进一步地，所述模型损失函数，表示为：

35、；

36、式中，表示模型损失函数，表示三维接触力预测损失的权重系数，表示温度信息预测损失的权重系数，表示接近状态的回归损失的权重系数，表示接触状态的回归损失的权重系数，表示滑移状态或振动状态的分类损失的权重系数。

37、进一步地，所述自然语言解释模块包括：

38、用户问题解析单元，用于获取用户输入的问题，并对所述问题进行语义解析以识别目标物体属性查询或操作建议请求，得到解析结果；

39、触觉探索动作选择单元，用于根据所述解析结果从预设动作库中选择触觉探索动作，所述触觉探索动作包括接近检测、轻触按压、持续按压、滑移或振动中的一种或多种；

40、结构化触觉描述生成单元，用于将所述多模态信息处理为结构化触觉描述；

41、自然语言生成单元，用于根据所述解析结果、所述触觉探索动作和所述结构化触觉描述，生成目标物体属性的自然语言解释或操作建议。

42、第二方面，本发明提供一种基于第一方面所述的融合多维触觉感知与语义解释的柔性触觉传感器系统的使用方法，包括：

43、响应于用户输入的问题，并对所述问题进行语义解析以识别目标物体属性查询或操作建议请求，得到解析结果；

44、根据所述解析结果从预设动作库中选择触觉探索动作，控制所述柔性多模态触觉传感器执行对应的所述触觉探索动作；

45、在执行对应的所述触觉探索动作的过程中，通过多模态信号采集单元采集多模态信号，包括温度电阻信号、压电响应信号、液态金属形变电阻信号和接近觉信号；

46、将采集的多模态信号，输入预先训练的多模态触觉属性模型进行处理，输出多模态信息；

47、将所述多模态信息处理为结构化触觉描述；

48、根据所述解析结果、所述触觉探索动作和所述结构化触觉描述，生成目标物体属性的自然语言解释或操作建议。

49、与现有技术相比，本发明所达到的有益效果：

50、1、本发明通过温度感知层、pvdf压电薄膜层、液态金属感知层和叉指电极层自上而下依次层叠构成柔性多模态触觉传感器，分别输出温度电阻信号、压电响应信号、液态金属形变电阻信号和接近觉信号，并通过多模态信号采集单元同步采集上述多模态信号，由多模态触觉属性模型对多模态信号进行处理输出三维接触力、温度信息、接近状态、接触状态、滑移状态或振动状态，再通过自然语言解释模块根据用户问题生成目标物体属性的自然语言解释或操作建议，实现了力觉、温度觉、接近觉及动态触觉的综合感知，可有效抑制法向力与切向力之间的信号耦合，并同步获取了温度与动态触觉信息的同步获取，通过对接近觉信号的利用实现物理接触前的接近状态预判，将感知结果转化为自然语言解释，克服了现有触觉感知结果难以语义化解释的缺陷，显著提升了触觉感知系统的感知维度与交互能力。

51、2、本发明通过温度感知层、pvdf压电薄膜层、液态金属感知层和叉指电极层自上而下依次层叠构成柔性多模态触觉传感器，分别输出温度电阻信号、压电响应信号、液态金属形变电阻信号和接近觉信号，可实现接触力、温度、接近觉、振动及滑移的多物理量同步感知，解决了现有传感器因感测机理单一导致的多维触觉信息难以同时获取的问题。其中，液态金属感知层中2×2阵列分布的柔性微流道感知单元输出液态金属形变电阻信号，结合结构先验特征构建模块提取的横向差异特征、纵向差异特征和整体压缩特征，可解耦输出三维接触力的两个正交方向切向力分量和一个法向力分量，有效抑制法向力与切向力之间的信号耦合；pvdf压电薄膜层输出压电响应信号，经动态触觉特征提取模块提取幅值特征、差分特征、窗口能量特征或过零率特征，可实现振动或滑移事件的准确检测；叉指电极层的发射电极和接收电极之间形成边缘电场，通过等效电容变化输出接近觉信号，可在物理接触前预判目标物体的接近状态，为接触过程预判提供依据。

52、3、本发明通过信号预处理模块对多模态信号进行滤波、动态基线校准、归一化和时间同步后，由温度补偿模块根据预处理后的温度电阻信号对预处理后的液态金属形变电阻信号进行温度漂移补偿，得到补偿后的液态金属形变电阻信号，可消除温度变化对液态金属形变电阻信号带来的干扰，提高三维接触力检测精度；将力学特征、温度特征、接近觉特征和动态触觉特征经多模态token嵌入模块映射为统一维度的多模态触觉token并加入时间位置编码和模态编码后，由transformer编码器通过多头自注意力机制进行上下文建模，再由跨模态注意力融合模块进行跨模态自适应融合，可充分挖掘各模态信号之间的关联信息，实现多模态触觉信息的深度融合。

53、4、本发明通过自然语言解释模块中用户问题解析单元对用户输入的问题进行语义解析以识别目标物体属性查询或操作建议请求，触觉探索动作选择单元根据解析结果从预设动作库中选择接近检测、轻触按压、持续按压、滑移或振动中的一种或多种触觉探索动作，结构化触觉描述生成单元将多模态信息处理为结构化触觉描述，自然语言生成单元根据解析结果、触觉探索动作和结构化触觉描述生成目标物体属性的自然语言解释或操作建议，使得用户可通过自然语言提问驱动触觉传感器系统执行相应的触觉探索动作，并获得目标物体属性的自然语言解释或操作建议，将多模态触觉感知结果转化为用户可理解的自然语言表达，克服了现有触觉感知结果难以语义化解释的缺陷，提升了人机交互的自然性和智能性。