智能机器人交互控制方法和智能机器人系统与流程

摘要: 本技术涉及智能机器人,特别是涉及一种智能机器人交互控制方法和智能机器人系统。背景技术:1、随着人工智能技术的快速发展,智能机器人已在家庭服务、教育陪伴等场景中得...
智能机器人交互控制方法和智能机器人系统与流程

本技术涉及智能机器人,特别是涉及一种智能机器人交互控制方法和智能机器人系统。

背景技术:

1、随着人工智能技术的快速发展,智能机器人已在家庭服务、教育陪伴等场景中得到广泛应用。

2、然而,现有的智能机器人虽然能够记录语音、视觉、情绪等多种模态的输入数据,但是在嘈杂环境下,或者当用户发出模糊指令时,交互准确率仍然较低。例如用户提出的交互指令并未涉及任何设备的操作,却可能需要进行多设备操控,可见,目前的智能机器人无法理解并自主执行用户以自然语言描述的复杂任务,导致人机交互的自然度和任务执行能力受限。

3、由此可见,现有技术中仍然存在着智能机器人的指令理解与任务执行能力较弱的问题。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高智能机器人的指令理解和任务执行能力的智能机器人交互控制方法和智能机器人系统。

2、第一个方面,本技术提供了一种智能机器人交互控制方法,应用于智能机器人,所述智能机器人交互控制方法包括:

3、将目标用户的多种模态的输入信号进行跨模态语义对齐与置信度加权融合,得到多模态融合特征;

4、基于所述多模态融合特征,确定所述目标用户的交互意图;

5、基于所述交互意图和可用工具集合进行任务编排,得到待执行任务集合;

6、基于所述待执行任务集合的执行结果,生成面向所述目标用户的响应结果。

7、在其中一个实施例中,所述将目标用户的多种模态的输入信号进行跨模态语义对齐与置信度加权融合,得到多模态融合特征包括:

8、对各所述模态的输入信号,采用与所述模态对应的特征提取算法进行特征提取,确定各所述模态的输入特征;

9、将各所述模态的输入特征投射至统一向量空间,确定各所述模态的统一维度特征向量;

10、根据各所述模态的统一维度特征向量,采用多头交叉注意力层计算各所述模态间的关联权重;

11、基于所述关联权重对各所述模态的统一维度特征向量进行特征增强,得到各所述模态的增强特征向量;

12、基于各所述模态的置信度分数,对各所述模态的增强特征向量进行加权融合,得到所述多模态融合特征。

13、在其中一个实施例中,所述基于所述交互意图和可用工具集合进行任务编排,得到待执行任务集合包括:

14、基于所述交互意图,生成多个原子子任务以及各所述原子子任务之间的依赖关系;

15、基于所述可用工具集合,对每个所述原子子任务的调用工具进行配置;

16、基于所述依赖关系确定各所述原子子任务的执行顺序;

17、基于各所述原子子任务和所述执行顺序,确定所述待执行任务集合。

18、在其中一个实施例中,所述基于所述交互意图和可用工具集合进行任务编排,得到待执行任务集合还包括:

19、基于所述交互意图,新建场景模板或从场景模板库中选择与所述交互意图相匹配的场景模板;所述场景模板包括一个或多个设备的状态调整操作;

20、基于所述目标用户的偏好信息和所在环境的上下文信息,对所述状态调整操作的参数进行调整,得到所述待执行任务集合。

21、在其中一个实施例中,所述基于所述交互意图和可用工具集合进行任务编排,得到待执行任务集合还包括:

22、对所述智能机器人的当前屏幕交互界面进行交互内容识别,确定对应所述当前屏幕交互界面中每个交互元素的位置及功能;

23、基于所述交互意图、所述每个交互元素的位置及功能以及所述可用工具集合,确定目标交互元素对应的待执行任务;

24、基于所述交互意图和所述可用工具集合,确定待执行任务集合;所述待执行任务集合包括控制所述目标交互元素执行的与所述交互意图相匹配的任务。

25、在其中一个实施例中,所述多模态融合特征包括面部表情特征、语音情感特征和生理特征中的一种或多种;所述生成面向所述目标用户的响应结果包括:

26、基于所述多模态融合特征,确定所述目标用户的当前情绪状态向量;

27、基于所述当前情绪状态向量,确定响应结果的输出参数;所述输出参数包括语音合成音量、语音合成语速、语音合成语气、响应文本风格中的一种或多种。

28、第二个方面,本技术提供了一种智能机器人系统,所述智能机器人系统包括用户交互层、多模态感知融合层和大模型智能中枢层,所述大模型智能中枢层包括基础模型服务和执行引擎,其中:

29、所述用户交互层用于采集目标用户的多种模态的输入信号;

30、所述多模态感知融合层用于将各模态的所述输入信号进行跨模态语义对齐与置信度加权融合,得到多模态融合特征;

31、所述基础模型服务用于基于所述多模态融合特征,确定所述目标用户的交互意图;

32、所述执行引擎用于基于所述交互意图和可用工具集合进行任务编排,得到待执行任务集合;基于所述待执行任务集合的执行结果,生成面向所述目标用户的响应结果。

33、在其中一个实施例中,所述智能机器人系统还包括智能体开放平台,所述执行引擎包括意图路由调度器和平台智能体引擎,所述平台智能体引擎部署有多个智能体实例,所述智能体实例包括平台智能体实例和通过所述智能体开放平台接入的第三方智能体实例;

34、所述意图路由调度器用于接收目标用户通过终端发送的第一任务指令;基于所述第一任务指令进行意图识别,确定与所述第一任务指令相匹配的智能体本地实例;

35、所述智能体实例用于基于所述第一任务指令和所述可用工具集合,确定可执行操作序列并执行;将所述可执行操作序列的执行结果发送至所述目标用户的终端。

36、在其中一个实施例中,所述智能机器人系统还包括采用消息队列的云端中继服务,所述执行引擎还包括远程智能体引擎,所述远程智能体引擎通过所述云端中继服务与用户终端加密连接,用于:

37、接收所述用户终端发送的且由所述云端中继服务转发的第二任务指令;

38、基于所述第二任务指令和所述可用工具集合,确定可执行操作序列并执行;

39、将所述可执行操作序列的执行结果,通过所述云端中继服务发送至所述目标用户的终端。

40、在其中一个实施例中,所述智能机器人系统还包括工具调用服务层和设备与协议层,其中:

41、所述工具调用服务层包括多个工具调用接口模块;一至多个所述工具调用接口模块与所述设备与协议层连接,用于响应于所述待执行任务集合的工具调用指令,通过所述设备与协议层,向所述工具调用指令对应的目标设备发送控制指令;

42、所述设备与协议层用于接收所述工具调用接口模块发送的控制指令,并根据所述控制指令对应的通信协议,对所述控制指令进行数据格式转换后发送至所述目标设备。

43、上述智能机器人交互控制方法和智能机器人系统,通过将目标用户的多种模态输入信号进行跨模态语义对齐与置信度加权融合,得到多模态融合特征,从而在嘈杂环境或用户发出模糊指令时,可以利用多模态信息的互补与融合提升指令理解的准确性;基于多模态融合特征确定目标用户的交互意图,从而能够从融合特征中准确解析出用户的具体任务需求;基于交互意图和可用工具集合进行任务编排,得到待执行任务集合,可以将复杂意图分解为可执行的操作序列;基于待执行任务集合的执行结果生成面向目标用户的响应结果,从而形成完整的人机交互闭环,因而可以克服传统智能机器人在指令理解与任务执行能力方面的不足,达到提高智能机器人的指令理解和任务执行能力的技术效果。