一种视触觉信息融合网络模型及其融合方法、装置及系统与流程

本申请涉及机器人，尤其涉及一种视触觉信息融合网络模型及其融合方法、装置及系统。

背景技术：

1、机器人领域的视触觉融合方法还处在较为早期的发展阶段，现有文献中的视触觉信息融合方法普遍较为简单。同时现有的融合方法通常假设视觉信息由机器人头部或手部的摄像头给出，触觉信息主要由布置在机械手末端的少数触觉传感器给出，无论是视觉还是触觉的信息来源都较少，因此很多融合网络通常只考虑一个视觉输入和一个触觉输入，并将该视觉输入和该触觉输入进行简单的融合。

2、但是在实际的机器人应用当中，通常在机器人的不同部位都会布置多个摄像头和多个触觉传感器，以实现机器人对周围环境的丰富感知，因此常用的单视觉信息和单触觉信息融合方法就不再适用了。

技术实现思路

1、本申请实施例的目的在于提出一种视触觉信息融合网络模型及其融合方法、装置及系统，以实现多点视觉信息和多点触觉信息的融合。

2、第一方面，本申请实施例提供一种视触觉信息融合网络模型，包括：

3、一种视触觉融合网络模型，所述网络模型包括：n个视觉嵌入模块、n个视觉token化模块、视觉自注意力模块、m个触觉嵌入模块、m个触觉token化模块、触觉自注意力模块和结合模块；其中，n为大于等于1的整数；m为大于等于1的整数；

4、每个所述视觉嵌入模块，用于以物体图像作为输入，输出得到视觉的嵌入信息；

5、每个所述视觉token化模块，用于以所述视觉的嵌入信息作为输入，输出得到视觉token；

6、所述视觉自注意力模块，用于对n个所述视觉token进行自注意力计算，得到n个视觉信息的最终嵌入；

7、每个所述触觉嵌入模块，用于以触觉信息作为输入，输出得到触觉的嵌入信息；

8、每个所述触觉token化模块，用于以所述触觉的嵌入信息作为输入，输出得到触觉token；

9、所述触觉自注意力模块，用于对m个所述触觉token进行自注意力计算，得到m个触觉信息的最终嵌入；

10、所述结合模块，用于对所述n个视觉信息的最终嵌入和所述m个触觉信息的最终嵌入进行双向注意力计算；并将所述双向注意力计算的结果连接在一起，得到最终的视触觉融合信息。

11、进一步的，在一个实施例中，每个所述视觉token化模块包括：

12、视觉池化单元，用于将所述视觉的嵌入信息池化为一个一维向量；

13、视觉分词单元，用于对所述一维向量的视觉的嵌入信息token化。

14、进一步的，在一个实施例中，每个所述触觉token化模块包括：

15、触觉池化单元，用于将所述触觉的嵌入信息池化为一个一维向量；

16、触觉分词单元，用于对所述一维向量的触觉的嵌入信息token化。

17、进一步的，在一个实施例中，所述结合模块包括：

18、双向注意力计算单元，用于对所述n个视觉信息的最终嵌入和所述m个触觉信息的最终嵌入进行双向注意力计算；

19、连接单元，用于将两个所述双向注意力计算结果连接在一起，得到最终的视触觉融合信息。

20、进一步的，在一个实施例中，当所述触觉信息为图像或矩阵形式；所述触觉嵌入模块与所述视觉嵌入模块的网络结构相同。

21、第二方面，提供一种基于上面所述的视触觉融合网络模型的视触觉融合方法；所述方法包括下述步骤：

22、获取n个物体图像；其中，n为大于等于1的整数；

23、获取m个触觉信息；其中，m为大于等于1的整数；

24、将每个所述物体图像作为每个所述视觉嵌入模块的输入；将每个所述触觉信息作为每个所述触觉嵌入模块的输入；以经所述结合模块输出得到所述最终的视触觉融合信息。

25、第三方面，提供一种机器人系统，所述系统包括：所述系统包括：机器人、图像传感器、力/触觉传感器以及控制器；机器人的末端设置末端执行器；力/触觉传感器设置于末端执行器；

26、所述控制器分别与所述图像传感器和所述力/触觉传感器通信连接；

27、所述控制器用于实现上面所述的视触觉融合方法的步骤。

28、第四方面，提供一种视触觉融合装置，所述装置包括：

29、图像获取模块，用于获取n个物体图像；其中，n为大于等于1的整数；

30、触觉获取模块，用于获取m个触觉信息；其中，m为大于等于1的整数；

31、结果生成模块，用于将每个所述物体图像作为每个所述视觉嵌入模块的输入；将每个所述触觉信息作为每个所述触觉嵌入模块的输入；以经所述结合模块输出得到所述最终的视触觉融合信息。

32、第五方面，本申请实施例提供一种控制器，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上面所述的视触觉信息融合方法的步骤。

33、第六方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上面所述的视触觉信息融合方法的步骤。

34、与现有技术相比，本申请实施例主要有以下有益效果：

35、本申请实施例通过视触觉融合网络模型可以对机器人本体上不限数量的视觉传感器信息和触觉传感器信息进行融合，得到充分融合后的视触觉融合特征，可以为后续下游任务提供丰富高效的视触觉特征。

1.一种视触觉融合网络模型，其特征在于，所述网络模型包括：n个视觉嵌入模块、n个视觉token化模块、视觉自注意力模块、m个触觉嵌入模块、m个触觉token化模块、触觉自注意力模块和结合模块；其中，n为大于等于1的整数；m为大于等于1的整数；

2.根据权利要求1所述的视触觉融合网络模型，其特征在于，每个所述视觉token化模块包括：

3.根据权利要求1或2所述的视触觉融合网络模型，其特征在于，每个所述触觉token化模块包括：

4.根据权利要求1或2所述的视触觉融合网络模型，其特征在于，所述结合模块包括：

5.根据权利要求1或2所述的视触觉融合网络模型，其特征在于，当所述触觉信息为图像或矩阵形式；所述触觉嵌入模块与所述视觉嵌入模块的网络结构相同。

6.一种基于权利要求1至5中任一项所述的视触觉融合网络模型的视触觉融合方法；其特征在于，所述方法包括下述步骤：

7.一种机器人系统，其特征在于，所述系统包括：所述系统包括：机器人、图像传感器、力/触觉传感器以及控制器；机器人的末端设置末端执行器；力/触觉传感器设置于末端执行器；

8.一种视触觉融合装置，其特征在于，所述装置包括：

9.一种控制器，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求6所述的视触觉融合方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求6所述的视触觉融合方法的步骤。