基于头戴设备的识别方法、装置、设备及介质与流程

本技术涉及头戴，更具体地，涉及一种基于头戴设备的识别方法、装置、设备及介质。

背景技术：

1、随着人工智能技术的飞速发展，ai大模型逐渐兴起，其在各个领域的应用日益广泛。与此同时，头戴显示设备(例如ar头盔)可为用户提供更加沉浸式的体验，被广泛使用。

2、假如将ai大模型与头戴显示设备相结合，以增加头戴设备的功能，这不仅能够极大地提升头戴设备的用户体验，还能提高头戴设备的智能性。因此，如何将ai大模型与头戴显示设备相结合以增加头戴设备的新功能，成为亟待解决的技术问题。

技术实现思路

1、本技术的一个目的是提供一种基于头戴设备的识别的新技术方案。

2、根据本技术的第一方面，提供了一种基于头戴设备的识别方法，应用于头戴设备，所述方法包括：

3、获取针对于所述头戴设备的佩戴者的第一输入语音的语音识别结果，所述语音识别结果包括语音类型以及第一语音内容；

4、在所述语音类型为识别类的情况下，获取所述佩戴者的眼动数据以及所述佩戴者的第一注视图像；

5、根据所述眼动数据和所述第一注视图像，确定所述第一注视图像中所述佩戴者的注视对象的注视对象子图像；

6、根据所述第一语音内容，确定识别对象，其中，所述识别对象为物体或语言；

7、根据所述识别对象以及所述注视对象子图像，调用与所述识别对象相匹配的ai大模型，以由所述ai大模型识别注视对象，得到识别结果。

8、可选地，所述根据所述识别对象以及所述注视对象子图像，调用与所述识别对象相匹配的ai大模型，以由所述ai大模型识别注视对象，得到识别结果，包括：

9、在所述识别对象为物体的情况下，确定与所述识别对象相匹配的ai大模型为物品识别类ai大模型；

10、根据所述第一语音内容，生成所述物品识别类ai大模型的第一输入指令；

11、根据所述第一输入指令以及所述注视对象子图像，调用所述物品识别类ai大模型，以由所述物品识别类ai大模型识别注视对象，得到识别结果。

12、可选地，所述根据所述识别对象以及所述注视对象子图像，调用与所述识别对象相匹配的ai大模型，以由所述ai大模型识别注视对象，得到识别结果，包括：

13、在所述识别对象为语音的情况下，根据所述佩戴者的第一输入语音，确定所述佩戴者的第一输入语音的第一语言类型；

14、根据所述注视对象子图像，获取所述注视对象的第二输入语音；

15、确定与所述识别对象相匹配的ai大模型为将语音识别为所述第一语言类型的语言识别类ai大模型；

16、根据所述第一语音内容，生成所述语言识别类ai大模型的第二输入指令；

17、根据所述第二输入指令以及所述第二输入语音，调用与所述语言识别类ai大模型，以由所述语言识别类ai大模型识别所述第二输入语音，得到识别结果。

18、可选地，所述确定与所述识别对象相匹配的ai大模型为将语音识别为所述第一语言类型的语言识别类ai大模型，包括：

19、根据所述注视对象的第二输入语音，确定所述第二输入语音的第二语言类型；

20、确定所述与所述识别对象相匹配的ai大模型为将第二语言类型翻译为所述第一语言类型的语言识别类ai大模型。

21、可选地，所述根据所述眼动数据和所述第一注视图像，确定所述第一注视图像中所述佩戴者注视对象的注视对象子图像，包括：

22、根据所述第一注视图像，确定所述第一注视图像中包含的不同的物体第一物体图像；

23、根据所述眼动数据，确定所述佩戴者在所述第一注视图像中的注视区域；

24、根据所述注视区域以及不同所述第一物体图像，确定所述佩戴者的注视对象；

25、从所述第一注视图像中提取所述注视对象的图像，得到所述注视对象子图像。

26、可选地，所述根据所述注视区域以及所述不同所述第一物体图像，确定所述佩戴者的注视对象，包括：

27、针对于任一所述第一物体图像，确定所述注视区域与所述第一物体图像的第一交并比；

28、在存在一个最大值的所述第一交并比的情况下，将最大值的所述第一交并比对应第一物体图像中包含的物体，作为所述佩戴者的注视对象；

29、在存在至少两个最大值的第一交并比的情况下，获取位于所述第一注视图像的后连续预设帧数的第二注视图像；

30、针对所述第二注视图像中的任一帧第二注视图像，确定所述第二注视图像中包含的不同的物体的第二物体图像；

31、针对于任一所述第二物体图像，确定所述注视区域与所述第二物体图像的第二交并比；

32、将所述第一交并比和所述第二交并比中最大值的交并比对应物体图像中包含的物体，确定为所述佩戴者的注视对象。

33、可选地，所述根据所述第一注视图像，确定所述第一注视图像中包含的不同的物体第一物体图像，包括：

34、缩放所述第一注视图像，得到所述第一注视图像的缩放后图像；

35、根据所述第一注视图像的缩放后图像，确定所述第一注视图像中包含的不同的物体第一物体图像。

36、根据本技术的第二方面，提供了一种基于头戴设备的识别装置，应用于头戴设备，所述装置包括：

37、第一获取模块，用于获取针对于所述头戴设备的佩戴者的第一输入语音的语音识别结果，所述语音识别结果包括语音类型以及第一语音内容；

38、第二获取模块，用于在所述语音类型为识别类的情况下，获取所述佩戴者的眼动数据以及所述佩戴者的第一注视图像；

39、第一确定模块，用于根据所述眼动数据和所述第一注视图像，确定所述第一注视图像中所述佩戴者的注视对象的注视对象子图像；

40、第二确定模块，用于根据所述第一语音内容，确定识别对象，其中，所述识别对象为物体或语言；

41、识别模块，用于根据所述识别对象以及所述注视对象子图像，调用与所述识别对象相匹配的ai大模型，以由所述ai大模型识别注视对象，得到识别结果。

42、根据本技术的第三方面，提供了一种头戴设备，所述头戴设备包括如第二方面所述的装置；

43、或者，所述头戴设备包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，以执行如第一方面中任一项所述的方法。

44、根据本技术的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据第一方面中任一项所述的方法。

45、本技术提供了一种基于头戴设备的识别方法，应用于头戴设备，方法包括：获取针对于头戴设备的佩戴者的第一输入语音的语音识别结果，语音识别结果包括语音类型以及第一语音内容；在语音类型为识别类的情况下，获取佩戴者的眼动数据以及佩戴者的第一注视图像；根据眼动数据和第一注视图像，确定第一注视图像中佩戴者的注视对象的注视对象子图像；根据第一语音内容，确定识别对象，其中，识别对象为物体或语言；根据识别对象以及注视对象子图像，调用与识别对象相匹配的ai大模型，以由ai大模型识别注视对象，得到识别结果。通过该方法，头戴设备可通过调用ai大模型的方式，为佩戴者识别出佩戴者不认识的物体是什么？以及，为佩戴者识别出使用与自身语言类型不同的人说的是什么？这样，头戴设备增加了物体识别功能以及翻译功能。

46、通过以下参照附图对本技术的示例性实施例的详细描述，本技术的其它特征及其优点将会变得清楚。