一种混合现实导览方法、系统和设备与流程

本发明涉及交互体验，尤其涉及一种混合现实导览方法、系统和设备。

背景技术：

1、混合现实（mixed reality,mr）结合了虚拟现实（virtual reality,vr）和增强现实（augmented reality ,ar）的特点，能够将虚拟元素叠加到现实环境中。将混合现实引入导览中，可引导参观者在博物馆、艺术馆、农业田间基础识别、工业轻量化巡检等场景下进行自发性的探索。

2、当前主流的混合现实导览方案通常依赖slam（simultaneous localization andmapping，同步定位与建图）技术实现虚拟物体与真实空间的锚定，并配合高精度的3d渲染内容进行交互。然而，为了支持slam运算和高精3d渲染，设备必须采用高阶芯片，导致硬件单价昂贵、续航时间短（通常不足2小时）、发热严重。

技术实现思路

1、本发明实施例旨在提供一种混合现实导览方法、系统和设备，利用视觉语言大模型的语义识别能力替代物理空间坐标比对，能够实现在复杂环境下的高精准看图讲解功能。

2、第一方面，本发明实施例提供一种混合现实导览方法，包括：

3、根据混合现实设备的定位，解算用户粗略位置，加载所述用户粗略位置所在区域内各候选展品的元特征；

4、采集混合现实设备的摄像头图像，对用户当前视野中的核心目标进行识别；

5、响应于用户语音指令，将所述用户粗略位置、所述核心目标和所述用户语音指令输入至预训练的视觉语言模型中，提取实时特征向量；所述视觉语言模型将所述用户粗略位置作为实时特征向量的强行约束生成空间；

6、计算所述实时特征向量与所述元特征的相似度，根据所述相似度，确定目标展品；

7、从所述用户语音指令中提取目标任务，根据所述导览知识库中所述目标展品的信息，生成并执行所述目标任务的任务执行策略。

8、作为上述方案的改进，所述根据混合现实设备的定位，解算用户粗略位置，加载所述用户粗略位置所在区域内各候选展品的元特征，包括：

9、根据混合现实设备接收到的蓝牙信号强度，解算用户粗略位置；

10、以所述用户粗略位置为中心，根据预设的区域半径，确定用户粗略位置所在的区域；

11、从本地知识库中筛选所述区域内所有展品，作为候选展品，并获取各所述候选展品的元特征。

12、作为上述方案的改进，所述采集混合现实设备的摄像头图像，对用户当前视野中的核心目标进行识别，包括：

13、采集混合现实设备的摄像头图像；

14、通过轻量级目标检测算法，从所述摄像头图像中提取语义为展品的检测框；

15、对所述检测框进行去重，得到用户当前视野中的核心目标。

16、作为上述方案的改进，所述视觉语言模型包括视觉编码器、位置编码器、语音编码器和跨模态注意力模块，所述视觉语言模型的构建方法包括：

17、在预训练的通用视觉语言模型的基础上增加位置编码器，用于注入位置先验；所述通用视觉语言模型包括视觉编码器、语音编码器和跨模态注意力模块。

18、作为上述方案的改进，所述视觉语言模型的训练方法包括：

19、获取当前导览场景下的三元组数据集；所述三元组数据集包括展品图像、展品坐标和专家解说词；

20、冻结所述视觉编码器和所述语音编码器，为所述跨模态注意力模块添加低秩自适应旁路；

21、采用所述三元组数据集，对冻结了所述视觉编码器和所述语音编码器的所述视觉语言模型进行训练，更新所述位置编码器与所述低秩自适应旁路的参数，得到训练后的视觉语言模型。

22、作为上述方案的改进，所述响应于用户语音指令，将所述用户粗略位置、所述核心目标和所述用户语音指令输入至预训练的视觉语言模型中，提取实时特征向量，包括：

23、响应于用户语音指令，将所述用户粗略位置、所述核心目标和所述用户语音指令输入至预训练的视觉语言模型中；

24、通过所述位置编码器提取所述用户粗略位置的位置向量，通过所述视觉编码器提取所述核心目标的图像特征，通过所述语音编码器提取所述用户语音指令的语音指令特征；

25、通过跨模态注意力模块，对所述位置向量、所述图像特征和所述语音指令特征进行特征融合，得到实时特征向量。

26、作为上述方案的改进，所述计算所述实时特征向量与所述元特征的相似度，根据所述相似度，确定目标展品，包括：

27、计算所述实时特征向量与各所述候选展品的元特征的余弦相似度；

28、对所述余弦相似度进行排序，若最大的所述余弦相似度大于预设阈值时，将对应的候选展品确定为目标展品。

29、作为上述方案的改进，所述从所述用户语音指令中提取目标任务，根据所述导览知识库中所述目标展品的信息，生成并执行所述目标任务的任务执行策略，包括：

30、从所述用户语音指令中提取目标任务；所述目标任务包括生成可视化信息和生成可听化信息中的至少一项；

31、当所述目标任务包括生成可视化信息时，根据所述导览知识库中所述目标展品的信息，获取可视化素材；

32、采用单目深度估计轻量网络，生成所述可视化素材的相对深度图；

33、根据混合现实设备的虚拟成像面距离和人体瞳距，计算所述相对深度图的视差，生成带视差相对深度图，将所述带视差相对深度图渲染于所述混合现实设备的离轴自由曲面模组上；

34、当所述目标任务包括生成可听化信息时，根据所述导览知识库中所述目标展品的信息，获取可听化素材；

35、根据所述可听化素材，生成解说音频，并将所述解说音频加载于所述混合现实设备的音频模组上。

36、第二方面，本发明实施例还提供了一种混合现实导览系统，包括：

37、元特征获取模块，用于根据混合现实设备的定位，解算用户粗略位置，加载所述用户粗略位置所在区域内各候选展品的元特征；

38、核心目标识别模块，用于采集混合现实设备的摄像头图像，对用户当前视野中的核心目标进行识别；

39、实时特征向量提取模块，用于响应于用户语音指令，将所述用户粗略位置、所述核心目标和所述用户语音指令输入至预训练的视觉语言模型中，提取实时特征向量；所述视觉语言模型将所述用户粗略位置作为实时特征向量的强行约束生成空间；

40、目标展品确定模块，用于计算所述实时特征向量与所述元特征的相似度，根据所述相似度，确定目标展品；

41、策略生成模块，用于从所述用户语音指令中提取目标任务，根据所述导览知识库中所述目标展品的信息，生成所述目标任务的任务执行策略。

42、第三方面，本发明实施例还提供了一种混合现实导览设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的混合现实导览方法。

43、与现有技术相比，本发明公开的一种混合现实导览方法、系统和设备，通过根据混合现实设备的定位，解算用户粗略位置，加载所述用户粗略位置所在区域内各候选展品的元特征；采集混合现实设备的摄像头图像，对用户当前视野中的核心目标进行识别；响应于用户语音指令，将所述用户粗略位置、所述核心目标和所述用户语音指令输入至预训练的视觉语言模型中，提取实时特征向量；所述视觉语言模型将所述用户粗略位置作为实时特征向量的强行约束生成空间；计算所述实时特征向量与所述元特征的相似度，根据所述相似度，确定目标展品；从所述用户语音指令中提取目标任务，根据所述导览知识库中所述目标展品的信息，生成并执行所述目标任务的任务执行策略。采用本发明实施例，利用视觉语言大模型的语义识别能力替代物理空间坐标比对，能够实现在复杂环境下的高精准看图讲解功能。