基于多维度幻觉判别机制的人机协同具身智能作业方法、装置、设备及介质与流程

摘要: 本技术涉及智能机器人领域,特别涉及一种基于多维度幻觉判别机制的人机协同具身智能作业方法、装置、设备及介质。背景技术:1、具身智能机器人已在仓储物流、精密装配、特...
基于多维度幻觉判别机制的人机协同具身智能作业方法、装置、设备及介质与流程

本技术涉及智能机器人领域,特别涉及一种基于多维度幻觉判别机制的人机协同具身智能作业方法、装置、设备及介质。

背景技术:

1、具身智能机器人已在仓储物流、精密装配、特种作业等工业场景中广泛应用,其通过具身智能模型对作业场景进行感知与任务理解,生成机器人的控制指令,实现抓取、搬运、装配等作业的自主执行。

2、相关技术中,为规避具身智能模型的决策失误引发的生产事故,通常采用置信度门控加人工接管的方案,即在模型输出的置信度低于预设阈值时触发人工接管,否则直接执行模型输出的控制指令。

3、然而,模型输出的置信度仅能够反映输出层的概率分布,当模型以高置信度输出错误决策时,上述方案难以对该类隐性幻觉进行识别,导致具身智能作业的可靠性较低。

技术实现思路

1、本技术旨在提出一种基于多维度幻觉判别机制的人机协同具身智能作业方法、装置、设备及介质,能够提高具身智能作业中幻觉检测的准确性,进而提高具身智能作业的可靠性。

2、第一方面,本技术实施例提供一种基于多维度幻觉判别机制的人机协同具身智能作业方法,包括以下步骤:

3、获取机器人作业过程中的多模态输入数据,所述多模态输入数据包括视觉感知数据、本体状态数据、力触觉数据和任务语义数据;

4、对所述多模态输入数据进行时空对齐,并将时空对齐后的多模态输入数据映射至黎曼流形,得到多模态特征流形集;

5、基于所述多模态特征流形集,从语义认知维度、物理感知维度和推理逻辑维度对具身智能模型的输出进行一致性校验,得到各维度对应的一致性分数;

6、对所述各维度对应的一致性分数进行基于c-vine pair-copula的风险融合,得到综合幻觉风险值,所述综合幻觉风险值用于表征所述具身智能模型的输出发生幻觉的综合概率;

7、根据所述综合幻觉风险值确定人机协同模式,并基于所确定的人机协同模式生成所述机器人的目标控制指令。

8、根据本技术的一些实施例,所述对所述多模态输入数据进行时空对齐,并将时空对齐后的多模态输入数据映射至黎曼流形,得到多模态特征流形集,包括:

9、以所述机器人的主控制器的时钟为基准时间轴,对所述视觉感知数据、所述本体状态数据和所述力触觉数据进行插值重采样,得到时间同步序列;

10、将所述时间同步序列中的视觉感知数据、本体状态数据和力触觉数据统一变换至所述机器人的基坐标系,得到空间配准数据;

11、分别构建所述空间配准数据中所述视觉感知数据对应的特征协方差矩阵、所述本体状态数据对应的窗口协方差矩阵以及所述力触觉数据对应的gram矩阵,并将所述特征协方差矩阵、所述窗口协方差矩阵和所述gram矩阵映射至对称正定矩阵黎曼流形,得到视觉流形点集、本体流形点集和力触觉流形点集;

12、对所述任务语义数据进行语义编码得到语义向量,构建所述语义向量对应的语义协方差矩阵,并将所述语义协方差矩阵映射至语义黎曼流形,得到语义锚点;

13、其中,所述多模态特征流形集包括所述视觉流形点集、所述本体流形点集、所述力触觉流形点集和所述语义锚点。

14、根据本技术的一些实施例,所述方法还包括:

15、计算相同时刻的所述视觉流形点集、所述本体流形点集和所述力触觉流形点集中两两流形点之间的黎曼测地距离,并基于各所述黎曼测地距离确定该时刻的对齐分数,所述对齐分数用于表征所述多模态输入数据在该时刻的跨模态一致性;

16、若该时刻的对齐分数小于预设对齐阈值,则将该时刻标记为感知失配预警点;

17、其中,在进行所述一致性校验的过程中,对被标记为所述感知失配预警点的时刻施加权重放大。

18、根据本技术的一些实施例,所述从语义认知维度对具身智能模型的输出进行一致性校验,包括:

19、提取所述具身智能模型推理过程中多个网络层的中间语义表征,并将各所述中间语义表征映射至所述语义黎曼流形,得到语义演化轨迹;

20、计算所述语义演化轨迹上各流形点与所述语义锚点之间的测地偏差,并基于各所述测地偏差确定语义黎曼熵,所述语义黎曼熵为在黎曼流形度量下对各所述测地偏差的偏差分布计算的微分熵;

21、基于所述语义黎曼熵确定所述语义认知维度对应的语义一致性分数。

22、根据本技术的一些实施例,所述从物理感知维度对具身智能模型的输出进行一致性校验,包括:

23、将所述具身智能模型预测的下一时刻的视觉流形点,与所述下一时刻实测的本体流形点和力触觉流形点构成预测实测配对组;

24、计算各时刻的所述预测实测配对组对应的跨模态测地偏差,得到测地偏差序列;

25、基于所述测地偏差序列确定感知测地熵,所述感知测地熵为对所述测地偏差序列对应的偏差分布计算的熵值;

26、基于所述感知测地熵确定所述物理感知维度对应的感知一致性分数。

27、根据本技术的一些实施例,所述从推理逻辑维度对具身智能模型的输出进行一致性校验,包括:

28、将所述具身智能模型的各可选决策分支建模为纯态,并基于所述具身智能模型输出的各所述可选决策分支的选择概率构建密度矩阵;

29、对所述密度矩阵进行特征值分解,并基于分解得到的各特征值确定冯诺依曼熵;

30、基于所述语义认知维度对应的语义一致性分数对所述冯诺依曼熵进行修正,得到修正后推理熵,并基于所述修正后推理熵确定所述推理逻辑维度对应的推理一致性分数。

31、根据本技术的一些实施例,所述根据所述综合幻觉风险值确定人机协同模式,并基于所确定的人机协同模式生成所述机器人的目标控制指令,包括:

32、基于所述各维度对应的一致性分数确定全局一致性分数,若所述全局一致性分数小于第一预设阈值且所述综合幻觉风险值小于第二预设阈值,则判定所述具身智能模型的输出为隐性幻觉,并提升对应的风险等级;

33、根据所述综合幻觉风险值以及隐性幻觉判定结果,将所述人机协同模式确定为全自主模式、监督预警模式、人机共驾模式和人工接管模式中的一者,并以动作片段为粒度,对所述综合幻觉风险值超过对应分级阈值的动作片段执行所确定的人机协同模式,生成所述目标控制指令;

34、和/或,所述方法还包括:获取所述人机协同模式下人工介入的作业数据,基于所述作业数据构建标注样本,基于所述标注样本对所述具身智能模型进行增量微调,以及更新所述风险融合的模型参数和风险分级阈值。

35、第二方面,本技术实施例提供了一种基于多维度幻觉判别机制的人机协同具身智能作业装置,包括:

36、数据获取模块,用于获取机器人作业过程中的多模态输入数据,所述多模态输入数据包括视觉感知数据、本体状态数据、力触觉数据和任务语义数据;

37、流形构建模块,用于对所述多模态输入数据进行时空对齐,并将时空对齐后的多模态输入数据映射至黎曼流形,得到多模态特征流形集;

38、一致性校验模块,用于基于所述多模态特征流形集,从语义认知维度、物理感知维度和推理逻辑维度对具身智能模型的输出进行一致性校验,得到各维度对应的一致性分数;

39、风险融合模块,用于对所述各维度对应的一致性分数进行基于c-vine pair-copula的风险融合,得到综合幻觉风险值,所述综合幻觉风险值用于表征所述具身智能模型的输出发生幻觉的综合概率;

40、协同调度模块,用于根据所述综合幻觉风险值确定人机协同模式,并基于所确定的人机协同模式生成所述机器人的目标控制指令。

41、第三方面,本技术实施例提供了一种电子设备,所述设备包括:处理器以及存储有计算机程序指令的存储器;

42、所述处理器执行所述计算机程序指令时实现如第一方面所述的基于多维度幻觉判别机制的人机协同具身智能作业方法。

43、第四方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如第一方面所述的基于多维度幻觉判别机制的人机协同具身智能作业方法。

44、本技术实施例的基于多维度幻觉判别机制的人机协同具身智能作业方法、装置、设备及介质,至少具有如下有益效果:

45、本实施方式中,通过获取包括视觉感知数据、本体状态数据、力触觉数据和任务语义数据的多模态输入数据,对其进行时空对齐并映射至黎曼流形,得到多模态特征流形集,再基于多模态特征流形集从语义认知维度、物理感知维度和推理逻辑维度对具身智能模型的输出进行一致性校验,得到各维度对应的一致性分数,进而对各维度对应的一致性分数进行基于c-vine pair-copula的风险融合,得到综合幻觉风险值,并根据综合幻觉风险值确定人机协同模式以生成机器人的目标控制指令。如此,一方面,三个维度的一致性校验分别从认知层、物理层和逻辑层刻画模型输出与多模态输入数据之间的自洽程度,能够识别仅依靠输出层置信度无法发现的高置信度犯错类幻觉;另一方面,c-vine pair-copula的风险融合能够刻画各维度风险之间的非线性尾部依赖关系,避免单一维度检测造成的漏检,从而提高幻觉检测的准确性;在此基础上根据综合幻觉风险值确定人机协同模式,可以使高风险决策得到相匹配的人工干预,进而提高具身智能作业的可靠性。

46、本技术的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。