一种基于触觉关联表征的双臂机器人视触觉多模态数据构建方法与系统

摘要: 本发明涉及具身智能机器人,特别涉及一种基于触觉关联表征的双臂机器人视触觉多模态数据构建方法与系统。背景技术:1、随着智能制造、自动化实验室和精密装配等场景的发展...
一种基于触觉关联表征的双臂机器人视触觉多模态数据构建方法与系统

本发明涉及具身智能机器人,特别涉及一种基于触觉关联表征的双臂机器人视触觉多模态数据构建方法与系统。

背景技术:

1、随着智能制造、自动化实验室和精密装配等场景的发展,机器人操作任务逐渐从固定流程执行转向多步骤、多对象和接触密集型操作。双臂机器人能够通过一臂固定、一臂操作,或双臂共同夹持、旋拧、倾倒、插拔等方式完成协同任务,但其动作生成不仅依赖视觉图像和本体状态,还需要触觉信息补充接触强度、受力分布、接触中心和滑移趋势等视觉难以可靠观测的接触状态。因此,面向双臂机器人构建包含视觉、双臂状态、夹爪状态、动作数据以及双臂末端触觉关联信息的多模态数据,是训练触觉增强动作模型的重要基础。

2、现有机器人数据采集方法多以视觉图像、机器人本体状态和动作数据为主,部分方案虽引入触觉传感器,但通常将触觉数据作为单路状态量或独立末端反馈进行记录,缺少针对双臂协同操作的触觉来源标识、左右臂触觉配对和关联表征。在双臂机器人操作中,如果左右臂触觉数据未与所属机械臂、所属夹爪和触觉数据类型绑定,容易造成触觉来源不清;如果不同频率的视觉、触觉、状态和动作数据未对齐到同一控制周期,则会导致多模态数据错位;如果仅保留原始触觉数据,而未提取左右接触强度比例、左右接触中心偏移关系和左右滑移趋势差异等关联特征,则难以表达双臂末端在共同夹持、稳定支撑、旋拧或转移过程中的接触关系。因此,有必要提出一种基于触觉关联表征的双臂机器人视触觉多模态数据构建方法及系统,以提高双臂视触觉数据的结构化程度和多模态基础模型的训练适配性。

技术实现思路

1、本发明提供了一种基于触觉关联表征的双臂机器人视触觉多模态数据构建方法与系统,以解决背景技术所提到的技术问题。

2、为达到上述目的,本发明采用如下技术方案:

3、本发明提供了一种基于触觉关联表征的双臂机器人视触觉多模态数据构建方法,包括如下步骤:

4、s1、构建视觉图像、左右臂触觉数据、左右臂状态数据、夹爪状态数据和遥操作示教动作数据的采集通道集合,为触觉传感器建立身份映射关系;并将左右臂触觉数据与对应机械臂、夹爪状态绑定;

5、s2、在当前控制周期内,基于采集通道集合获取视觉图像、左右臂触觉数据、左右臂状态数据、夹爪状态数据和遥操作示教动作数据,并为各数据记录时间戳;根据时间戳将左右臂触觉数据与同周期的视觉图像、左右臂状态数据、夹爪状态数据和遥操作示教动作数据对齐,形成双臂协同触觉数据单元;

6、s3、基于所述双臂协同触觉数据单元,提取机器人左右臂触觉关联特征;左右臂触觉关联特征包括左右接触强度比例、左右接触中心偏移关系、左右滑移趋势差异;将左右臂触觉关联特征、视觉图像、左右臂状态数据、夹爪状态数据、遥操作示教动作数据共同封装为当前控制周期的采集单元;

7、s4、循环s2至s3,得到多个控制周期的采集单元,然后将多个控制周期的采集单元按照时间顺序排列,形成双臂机器人视触觉多模态数据;然后利用双臂机器人视触觉多模态数据对多模态基础模型进行训练。

8、进一步地,所述s1具体包括如下步骤:

9、s11、构建双臂机器人视触觉多模态采集系统,包括左臂、右臂、左右臂末端夹爪、设置于左右臂末端接触区域的触觉传感器、视觉采集装置以及用于读取左右臂状态数据、夹爪状态数据和遥操作示教动作数据的采集模块;

10、s12、建立视觉图像、左右臂触觉数据、左右臂状态数据、夹爪状态数据和遥操作示教动作数据的采集通道集合,记为:

11、;

12、其中,表示采集通道集合,表示视觉采集通道,表示触觉采集通道,表示双臂状态采集通道,表示夹爪状态采集通道,表示遥操作示教动作数据采集通道;

13、s13、设定触觉传感器集合,并为每个触觉传感器建立身份映射关系;所述身份映射关系至少包括传感器编号、所属机械臂、所属夹爪和触觉数据类型,用于区分左臂触觉数据和右臂触觉数据;

14、s14、将触觉传感器集合划分为左臂触觉传感器集合和右臂触觉传感器集合。

15、进一步地,所述s13中设定触觉传感器集合,并为每个触觉传感器建立身份映射关系的实现方式为:

16、s131、设定触觉传感器集合为:

17、;

18、其中,表示触觉传感器集合;表示第

n个触觉传感器;

19、s132、针对每个触觉传感器,建立如下身份映射关系:

20、;

21、其中,表示身份映射关系,表示触觉传感器的编号,表示所属机械臂,用于区分左臂和右臂;表示所属夹爪,用于区分左夹爪和右夹爪;表示触觉数据类型;触觉数据类型包括三维合力、分布式触觉阵列或压力阵列中的至少一种。

22、进一步地,所述s2具体包括如下步骤:

23、s21、将视觉图像、左右臂触觉数据、左右臂状态数据、夹爪状态数据和遥操作示教动作数据统称为模态数据;基于采集通道集合,并利用双臂机器人视触觉多模态采集系统获取第

m个模态数据的原始数据序列;原始数据序列是多个数据样本和每个数据样本的时间戳的集合;

24、s22、设定第

k个控制周期的时间标识,从第

m个模态数据的原始数据序列中选取时间戳与时间标识最接近的数据样本,作为第

k个控制周期对应的模态数据;

25、s23、计算第

k个控制周期对应的模态数据的时间戳与第

k个控制周期的时间标识之间的时间偏差;然后依据时间偏差将视觉图像、左右臂触觉数据、左右臂状态数据、夹爪状态数据和遥操作示教动作数据的时间戳对齐到相同的第

k个控制周期内;

26、s24、完成时间戳对齐后,依据对齐到同一个控制周期的模态数据设定第

k个控制周期的多模态观测集合;

27、s25、从多模态观测集合中提取与左右臂触觉配对相关的数据,形成双臂协同触觉数据单元。

28、进一步地,所述第

m个模态数据的原始数据序列的表达式为:

29、

30、其中,表示第

m个模态数据的原始数据序列,表示第

m个模态数据的第个数据样本,表示数据样本编号,表示第

m个模态数据的时间戳,表示第

m个模态数据在当前采集过程中的样本数量;

31、所述第

k个控制周期对应的模态数据的数据索引为:

32、;

33、其中,表示第

k个控制周期对应的模态数据的数据索引;表示取使的值最小所对应的数据样本编号作为输出;

34、所述时间偏差的表达式为:

35、;

36、其中,表示第

k个控制周期对应的模态数据的时间戳;

37、所述多模态观测集合的表达式为:

38、;

39、其中,表示视觉图像,表示左臂触觉数据,表示右臂触觉数据,表示左右臂状态数据,表示夹爪状态数据,表示遥操作示教动作数据;

40、所述双臂协同触觉数据单元的表达式为:

41、;

42、其中,和分别表示左夹爪状态数据和右夹爪状态数据。

43、进一步地,所述s3具体包括如下步骤:

44、s31、基于双臂协同触觉数据单元,双臂机器人视触觉多模态采集系统提取左右臂触觉关联特征;左右臂触觉关联特征包括用于描述左臂触觉数据和右臂触觉数据在同一控制周期内的左右接触强度比例、左右接触中心偏移关系以及左右滑移趋势关系;

45、s32、然后依据左右接触强度比例、左右接触中心偏移关系以及左右滑移趋势关系构建触觉关联特征向量;

46、s33、随后将左右臂触觉关联特征与视觉图像、左右臂状态数据、夹爪状态数据、遥操作示教动作数据共同封装为当前控制周期的采集单元。

47、进一步地,所述左右接触强度比例根据左右臂触觉数据中的法向力计算得到,用于表征左右臂末端在同一控制周期内的相对接触强度,左右接触强度比例的表达式为:

48、;

49、其中,表示左右接触强度比例,表示第个控制周期内的左臂触觉法向合力,表示第个控制周期内的右臂触觉法向合力,为防止分母为零的常数;

50、左臂触觉法向合力、右臂触觉法向合力的表达式分别如下:

51、;

52、;

53、其中,和分别表示第个控制周期内左臂触觉传感器集合和右臂触觉传感器集合中第个测点的法向力;

54、左右接触中心偏移关系的表达式为:

55、;

56、其中,表示左右接触中心偏移关系;、分别表示左、右臂接触中心,表达式分别为:

57、;

58、;

59、其中,和分别表示左臂触觉传感器集合和右臂触觉传感器集合中第个测点的位置;

60、左右滑移趋势关系基于切向力与法向力的比值得到,左右滑移趋势关系的表达式为:

61、;

62、其中,表示左右滑移趋势关系,和分别表示第个控制周期内的左、右臂触觉切向力;表示欧式距离;

63、所述触觉关联特征向量的表达式为:

64、;

65、其中,表示触觉关联特征向量;

66、所述当前控制周期的采集单元的表达式为:

67、;

68、其中,表示第个控制周期的采集单元。

69、进一步地,所述s4具体包括如下步骤:

70、s41、循环s2至s3,得到多个控制周期的采集单元;

71、s42、将多个控制周期的采集单元按照时间顺序排列,形成双臂机器人视触觉多模态数据;

72、s43、基于双臂视触觉多模态数据序列构建用于多模态基础模型训练的样本对;

73、s44、将样本对输入到所需训练的多模态基础模型中,多模态基础模型包括依次连接的编码器、基于transformer的多模态融合网络、预测头;

74、在编码器中,对视觉图像进行特征编码,得到视觉特征;对左右臂状态数据、夹爪状态数据进行特征编码,得到状态特征,对左右臂触觉数据及触觉关联特征向量进行特征编码,得到触觉增强特征;

75、随后通过基于transformer的多模态融合网络对所述视觉特征、状态特征和触觉增强特征进行融合,得到融合特征;

76、然后将融合特征输入到预测头中,输出预测动作;

77、s45、依据预测动作和连续动作监督标签构建损失函数,计算损失值;

78、s46、判断损失值是否收敛,如果是,则输出得到满足训练目标的多模态基础模型,否则依据损失值对多模态基础模型的参数进行调整,并返回s44中,继续对多模态基础模型进行训练。

79、进一步地,所述双臂机器人视触觉多模态数据的表达式为:

80、;

81、其中,表示双臂视触觉多模态数据序列;

82、所述样本对的表达式为:

83、;

84、其中,表示第个训练样本输入;表示连续动作监督标签;

85、所述训练目标的表达式为:

86、;

87、其中,表示满足训练目标的多模态基础模型的参数,表示待训练的多模态基础模型,表示多模态基础模型参数,表示动作预测损失函数;表示取使的值最小所对应的多模态基础模型参数作为输出。

88、本发明另一方面还提供了一种基于触觉关联表征的双臂机器人视触觉多模态数据构建系统,被配置为执行一种基于触觉关联表征的双臂机器人视触觉多模态数据构建方法,包括:

89、数据获取模块,被配置为获取视觉图像、左右臂触觉数据、左右臂状态数据、夹爪状态数据和遥操作示教动作数据,并形成双臂协同触觉数据单元;

90、关联特征获取单元,被配置为依据双臂协同触觉数据单元获取左右臂触觉关联特征;

91、多周期采集模块,被配置为基于双臂协同触觉数据单元、左右臂触觉关联特征建立多个控制周期的采集单元;

92、多模态数据构建模块,被配置为依据多个控制周期的采集单元建立双臂机器人视触觉多模态数据。

93、本发明的有益效果:

94、1、本发明通过建立左右末端触觉传感器的身份映射关系,并在同一控制周期内对左右臂触觉数据进行配对处理,进一步提取左右接触强度比例、左右接触中心偏移关系和左右滑移趋势关系等触觉关联特征,使原本独立记录的左右臂触觉数据形成可比较、可分析的触觉关联表征,从而解决了双臂机器人操作中左右触觉来源不清、受力关系难以表达的问题。

95、2、本发明将视觉图像、左右臂触觉数据、左右臂状态数据、夹爪状态数据、遥操作示教动作数据、触觉关联特征向量封装为同一个控制周期的采集单元,并按照时间顺序形成双臂机器人视触觉多模态数据,使数据在构建阶段即完成触觉身份绑定、左右臂触觉配对、多模态同步和触觉关联特征提取,从而减少了后续数据清洗、模态对齐和触觉特征重构工作,形成可用于对多模态动作模型训练的样本数据。