一种多模态语音交互方法及装置与流程

本发明涉及机器人控制，特别是涉及一种面向智能机器人的多模态语音交互方法及装置。

背景技术：

1、随着智能机器人在陪护、巡检、导盲等场景中的应用不断增加，语音交互已成为用户控制机器人并获取机器人服务的重要方式。现有智能机器人通常配置有麦克风、扬声器、摄像头、导航定位模块以及运动控制模块，可实现语音唤醒、意图识别、语音播报、控制、导航定位以及环境感知等功能。在现有技术中，机器人的语音交互通常采用云端语音识别模型或智能对话大模型实现。机器人端采集用户语音后，将音频数据发送至云端，由云端完成语音识别、语义理解以及回复生成，并将处理结果返回机器人端进行语音播报或执行相应操作。当用户语音涉及移动控制、导航服务或环境感知等任务时，机器人端通常进一步调用运动控制模块、导航规划模块、摄像头图像采集模块以及第三方服务接口，以完成对应任务。

2、然而，随着机器人应用场景的不断复杂化，用户提出的语音请求已逐渐从简单问答发展为涉及导航、环境查看、信息查询以及设备控制等多种能力协同参与的复合型任务。例如，用户可能提出“带我去最近的药店”“帮我看看前面是什么”“拍张照片发给家人”“查询当前位置天气”等任务。此类任务不仅需要完成语音识别和语义理解，还需要结合机器人当前位置、运行状态以及外部服务信息，调用导航定位、环境感知、运动控制以及信息查询等不同功能模块协同完成任务处理。特别是在多轮语音交互过程中，用户后续语音请求往往依赖于前序交互结果。例如，在“查询附近药店”之后继续发出“导航到第一个地点”的请求，或者在“查看前方环境”之后继续发出“拍照发送给家人”的请求。此类关联任务需要利用历史交互结果和当前机器人运行状态生成后续执行策略，因此需要对会话过程中的任务状态和执行状态进行持续管理。现有技术中，各功能模块通常以独立服务或独立功能单元形式运行，各模块仅完成自身功能处理，而缺少面向复杂语音任务的统一状态管理和任务协同执行机制。当一个用户请求需要多个功能模块共同参与时，系统难以对任务生命周期、模块调用顺序、执行状态以及反馈结果进行统一管理，从而容易导致任务执行过程中的状态失配、执行冲突、重复响应以及反馈不一致等问题。例如，在语音导航场景中，用户提出的目的地往往并非预先配置的固定导航点，而可能是“最近的厕所”“附近公交站”等动态目标。此类目标需要结合机器人当前位置获取候选地点信息，并在用户确认后生成机器人能够执行的导航任务。

3、现有语音交互系统难以实现从自然语言目的地描述到机器人导航任务之间的稳定转换。在语音环境理解场景中，机器人需要根据用户语音请求获取当前环境图像并进行分析。当用户连续发起环境查看请求时，历史交互信息和历史环境信息可能对当前分析结果产生影响，从而降低环境理解结果与当前场景之间的对应性和准确性。此外，在语音控制场景中，机器人完成本地控制任务后，云端系统仍可能继续返回回复内容，从而造成重复播报、反馈滞后以及反馈内容与实际执行状态不一致的问题。同时，机器人自身播报的语音还可能被再次采集并参与语音识别，影响后续语音交互过程的稳定性和准确性。

4、因此，如何提供一种多模态语音交互方法及系统，通过建立统一的状态管理和任务协同执行机制，实现复杂语音任务的理解、组织、执行及反馈过程的协调控制，从而提高机器人在复杂交互场景下的交互准确性、执行可靠性以及任务处理一致性,是迫切需要本领域技术人员解决的技术问题。

技术实现思路

1、鉴于上述问题，本发明提供用于克服上述问题或者至少部分地解决上述问题的一种多模态语音交互方法及装置。

2、本发明提供了如下方案：

3、一种多模态语音交互方法，包括：

4、通过麦克风采集脉冲编码调制格式的音频数据，在机器人处于唤醒状态时，将所述音频数据进行预处理后上传至云端；

5、将预处理后的所述音频数据转换为文本信息，对所述文本信息进行语义分析，确定任务类型，提取目标对象、任务参数及上下文关联信息，生成结构化语义结果；

6、根据所述结构化语义结果生成任务需求，所述任务需求包括任务标识、任务类型、任务目标、任务参数、任务状态及能力需求信息；建立与会话关联的状态管理信息，所述状态管理信息包括会话状态、任务状态、能力调用状态及执行反馈状态；对于涉及环境感知的任务，为每次任务生成唯一任务标识，并将采集的环境数据与当前任务标识绑定存储；

7、根据所述任务需求及所述状态管理信息生成任务执行策略；当所述能力需求信息涉及动态目标地点查询时，调用信息查询模块基于当前定位信息与目标类别查询候选地点集合，将所述候选地点集合反馈给用户进行确认，根据用户确认结果确定最终导航目标位置并生成导航任务需求；当所述能力需求信息涉及多个能力时，建立能力执行链，按照能力之间的数据依赖关系确定调用顺序，调用机器人能力模块执行任务；在执行过程中，仅调用与当前任务标识绑定的环境数据参与分析处理；

8、在任务执行过程中，持续接收所述机器人能力模块返回的执行结果，根据所述执行结果实时更新所述任务状态；当接收到依赖历史交互结果的语音请求时，根据会话状态中保存的历史任务状态对当前任务需求进行补全、更新或约束；当环境分析异常、导航过程中出现路径失效、目标不可达、定位异常、导航超时，或查询失败、查询超时、外部服务异常时，判定当前能力调用失败，立即停止当前任务的后续执行流程，将对应任务状态更新为已终止，并记录对应异常原因；

9、对所述执行结果进行筛选与融合，生成反馈文本，利用文本转语音模块合成语音并播报；在播报过程中，通过消息通信机制控制麦克风停止采集或暂停音频数据上传；在播报完成后，恢复语音输入处理，并更新当前反馈状态。

10、优选地：所述预处理包括重采样处理，并将音频数据转换为预设采样率的标准语音数据格式；所述云端包括用于语音识别的云端语言大模型和用于图像分析的云端视觉大模型。

11、优选地：所述任务状态包括创建、待执行、执行中、已完成及已终止；当接收到停止指令时，所述任务控制中心将对应运行任务的任务状态更新为已终止，以阻止当前任务的继续执行。

12、优选地：调用环境感知模块包括：

13、获取可见光相机及深度相机采集的图像数据，将获取的图像数据与所述唯一任务标识进行关联；在连续发起的多个环境查看请求中，基于不同的任务标识区分对应的环境数据，仅将当前任务标识关联的图像数据输入至视觉大模型进行分析。

14、优选地：调用定位导航模块具体包括：

15、获取包含经纬度信息、定位时间戳、定位状态及定位精度的定位信息；当定位状态异常或定位精度低于预设阈值时，停止导航处理；对于涉及泛化类型导航请求的场景，将机器人当前有效定位信息作为查询条件补充至当前任务需求中。

16、优选地：调用运动控制模块具体包括：

17、接收用户直接发出的运动控制请求或接收定位导航模块生成的导航路径；根据所述运动控制请求中的控制参数或所述导航路径动态生成运动控制指令，通过机器人底层控制接口发送至电机驱动器；在运动过程中，根据激光雷达及超声波测距传感器获取的障碍信息实时调整机器人运动状态。

18、优选地：调用信息查询模块具体包括：

19、根据任务执行策略中的目标类别信息以及当前位置信息执行地点检索处理；生成包含目的地名称及对应经纬度信息的候选地点集合；将查询结果写入当前任务需求以及历史会话信息中，以供后续任务调用。

20、优选地：对执行结果进行筛选包括：

21、识别执行结果的时间戳及关联的任务标识；剔除时间戳早于当前任务状态更新时间的已失效反馈信息；过滤与当前任务状态不匹配的执行结果及模块调用产生的重复执行结果。

22、优选地：生成反馈文本包括：

23、对于单能力任务，直接采用对应能力返回的执行结果生成反馈内容；对于多能力协同任务，根据各能力返回结果之间的关联关系生成统一反馈内容；在导航任务执行过程中，将定位导航模块返回的导航执行情况与环境感知模块返回的环境描述信息融合生成反馈内容。

24、一种多模态语音交互装置，用于执行上述的多模态语音交互方法，所述装置包括：

25、语音识别与会话管理单元，用于通过麦克风采集脉冲编码调制格式的音频数据，在机器人处于唤醒状态时，将预处理后的音频数据上传至云端；

26、语音内容理解与意图解析单元，用于将上传的音频数据转换为文本信息，对所述文本信息进行语义分析，确定任务类型，提取目标对象、任务参数及上下文关联信息，生成结构化语义结果；

27、任务需求生成与状态管理单元，用于根据所述结构化语义结果生成任务需求，所述任务需求包括任务标识、任务类型、任务目标、任务参数、任务状态及能力需求信息；建立与会话关联的状态管理信息，所述状态管理信息包括会话状态、任务状态、能力调用状态及执行反馈状态；对于涉及环境感知的任务，为每次任务生成唯一任务标识，并将采集的环境数据与当前任务标识绑定存储；

28、任务编排与能力调用单元，用于根据所述任务需求及所述状态管理信息生成任务执行策略；当所述能力需求信息涉及动态目标地点查询时，调用信息查询模块基于当前定位信息与目标类别查询候选地点集合，将所述候选地点集合反馈给用户进行确认，根据用户确认结果确定最终导航目标位置并生成导航任务需求；当所述能力需求信息涉及多个能力时，建立能力执行链，按照能力之间的数据依赖关系确定调用顺序，调用机器人能力模块执行任务；在执行过程中，仅调用与当前任务标识绑定的环境数据参与分析处理；

29、任务执行与状态更新单元，用于在任务执行过程中，持续接收所述机器人能力模块返回的执行结果，根据所述执行结果实时更新所述任务状态；当接收到依赖历史交互结果的语音请求时，根据会话状态中保存的历史任务状态对当前任务需求进行补全、更新或约束； 当环境分析异常、导航过程中出现路径失效、目标不可达、定位异常、导航超时，或查询失败、查询超时、外部服务异常时，判定当前能力调用失败，立即停止当前任务的后续执行流程，将对应任务状态更新为已终止，并记录对应异常原因；

30、执行结果反馈与语音播报单元，用于对所述执行结果进行筛选与融合，生成反馈文本，利用文本转语音模块合成语音并播报；在播报过程中，通过消息通信机制控制麦克风停止采集或暂停音频数据上传；在播报完成后，恢复语音输入处理，并更新当前反馈状态。

31、根据本发明提供的具体实施例，本发明公开了以下技术效果：

32、本技术实施例提供的一种多模态语音交互方法及装置，通过构建以任务需求为核心的任务编排机制，使各能力模块围绕同一任务目标参与任务执行，避免由于各能力模块独立执行导致的任务执行割裂和执行冲突等问题，同时减少复杂多模态语音任务在执行过程中产生的重复调用、重复交互以及重复反馈等问题，从而提高复杂多模态语音任务的执行连续性和可靠性。

33、通过对复杂多模态语音任务建立贯穿任务创建、任务执行、任务结束以及执行反馈全过程的状态管理方式，使任务状态能够随着任务执行过程持续更新，避免因任务状态滞后导致重复执行、错误执行以及反馈内容与实际执行状态不一致等问题，提高复杂多模态语音交互过程的执行一致性和交互可靠性。

34、通过构建任务需求生成、任务编排以及能力协同执行机制，将自然语言交互过程中用户表达的意图逐步转换为机器人能够直接执行的任务语义，并进一步转换为对应的机器人执行动作，实现自然语言交互与机器人实际动作之间的有效衔接，使用户能够以自然语言直接驱动机器人完成复杂任务，提高复杂多模态语音交互的智能化水平。

35、通过对机器人执行过程中各个能力模块的反馈结果进行统一处理、筛选与融合，消除不同来源执行结果之间的冲突以及重复反馈，同时清除已经失效或与当前任务状态不一致的反馈信息，从而避免复杂多模态语音交互过程中出现重复播报、错误播报以及反馈滞后等问题，提高机器人执行结果反馈的准确性和一致性。

36、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。