语音指令的调度方法及其装置、电子设备、程序产品与流程

本发明涉及人工智能与人机交互，具体而言，涉及一种语音指令的调度方法及其装置、电子设备、程序产品。

背景技术：

1、随着人工智能技术的发展，语音交互逐渐被引入各类自助服务终端，以提升用户体验和服务效率。然而，当前引入语音交互的自助服务终端在应用中面临以下问题：（1）语音交互与业务操作的耦合冲突，现有自助终端的语音交互通常采用简单的串行处理模式，在响应语音指令时会阻塞业务操作，或在执行业务操作时完全忽略语音输入。在涉及多步骤业务流程（如行李托运确认、身份核验、支付操作等）的场景中，用户的语音输入与正在进行的业务操作之间缺乏有效的协调机制，容易导致业务流程被意外中断或关键操作被错误覆盖。（2）语音指令的并发竞争，旅客可能在短时间内发出多条语音指令，或在尚未完成上一条指令的处理时发出新的指令，缺乏对多条并发语音指令的有效管理机制，可能导致指令处理的混乱、重复执行或遗漏执行。（3）关键业务操作的安全保障，自助服务终端涉及对旅客权益有影响的关键业务操作，如行李托运确认（涉及行李安全责任转移）、机票改签（涉及费用变更）、身份信息核验等。这些操作一旦执行便不可轻易撤销，但现有自助服务终端未能针对这些关键操作建立有效的语音指令防护机制，存在安全隐患。（4）语音会话状态的全局管理，当前自助服务终端通常将每次语音输入视为独立事件处理，缺乏对整个交互会话的全局状态管理，当业务流程涉及多个步骤、多次确认时，难以区分用户的新意图和对当前流程的确认响应，也难以在用户中途离开后正确恢复会话状态。

2、由于存在上述问题，在自助服务终端的语音交互场景中，现有技术无法实现语音指令与业务操作之间的并发控制与协同管理，导致无法根据当前业务操作的状态，准确地、智能地调度语音指令进行语音指令任务处理。

3、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种语音指令的调度方法及其装置、电子设备、程序产品，以至少解决相关技术中无法实现语音指令与业务操作之间的并发控制与协同，导致无法根据当前业务操作的状态，准确地调度语音指令进行语音任务处理的技术问题。

2、根据本技术实施例的一个方面，提供了一种语音指令的调度方法，包括：获取自助行李托运设备监测到的旅客的音频流，并获取自助行李托运设备的业务操作接口的当前锁定状态；对音频流进行语音活动检测，得到语音片段，并基于预设路由函数，对语音片段进行路由，以确定目标路由通道，其中，预设路由函数用于基于当前锁定状态，控制语音片段进入目标路由通道；基于目标路由通道，对语音片段进行识别，得到意图类别，并基于当前锁定状态以及意图类别，创建语音指令任务，其中，语音指令任务对应有任务状态；对待调度任务队列中的每个历史语音指令任务进行失效判定，得到判定结果，并基于判定结果，将历史语音指令任务替换为语音指令任务，其中，待调度任务队列中存储有从任务注册表中筛选出的待调度任务集，待调度任务集包括：任务状态为已创建状态以及排队状态的语音指令任务，任务注册表存储有创建的多个历史语音指令任务；确定待调度任务队列中每个历史语音指令任务的调度优先级，基于所有历史语音指令任务的调度优先级，调度语音指令任务。

3、进一步地，在获取自助行李托运设备的业务操作接口的当前锁定状态之前，包括：构建有限状态自动机，其中，有限状态自动机包括：锁定状态集、事件集、状态转移函数、初始锁定状态以及映射函数，锁定状态集包括：空闲状态、软锁定状态和硬锁定状态，事件集包括：旅客在自助行李托运设备上进行业务操作触发的多个业务事件，状态转移函数用于依据事件集中的业务事件，对当前锁定状态进行转换。

4、进一步地，在获取自助行李托运设备的业务操作接口的当前锁定状态之后，包括：在自助行李托运设备的当前锁定状态为硬锁定状态的情况下，判断当前锁定状态处于硬锁定状态的持续时长；在持续时长大于预设允许时长的情况下，将硬锁定状态转换为软锁定状态，并对未完成的业务事件进行回滚。

5、进一步地，基于目标路由通道，对语音片段进行识别，得到意图类别的步骤，包括：在目标路由通道是意图识别通道的情况下，对语音片段进行语音识别，得到语音文本；计算语音文本与第一预设关键词集中每个第一预设关键词之间的相似度，并在存在相似度大于等于第一预设相似阈值的情况下，将意图类别确定为第一预设意图；计算语音文本与第二预设关键词集中每个第二预设关键词之间的相似度，并在存在相似度大于等于第一预设相似阈值的情况下，将意图类别确定为第二预设意图；在第一预设关键词集以及第二预设关键词集中均不存在相似度大于等于第一预设相似阈值的情况下，将意图类别确定为第三预设意图。

6、进一步地，在将意图类别确定为第三预设意图之后，包括：在意图类别为第三预设意图的情况下，监测在预设时段内第三预设意图出现的次数；在次数大于等于预设次数阈值，且检测到其它语音片段的情况下，生成提示词语，并监测旅客的应答语音，其中，提示词语用于引导旅客进行应答，以得到应答语音；重新识别应答语音的应答意图类别，并在应答意图类别为第三预设意图的情况下，将应答意图类别修改为第一预设意图，或将应答意图类别修改为第二预设意图。

7、进一步地，基于目标路由通道，对语音片段进行识别，得到意图类别的步骤，还包括：在目标路由通道是语音处理通道的情况下，对语音片段进行语音识别，得到语音文本；构建第一函数，并构建第二函数以及第三函数，其中，第一函数用于判断语音片段的连贯度，第二函数用于判断语音片段与上一语音片段是否为同一说话人，第三函数用于判断语音文本中的目标词语是否在预设长度的历史话语滑动窗口的历史话语中有指代对象，目标词语是代词，和/或，指示词，预设长度用于指示历史话语滑动窗口中历史话语的数量；基于第一函数、第二函数以及第三函数，对语音文本进行处理，确定目标语音文本；对目标语音文本进行意图识别，得到意图类别，其中，意图识别包括：第一层级识别以及第二层级识别，在第一层级识别的置信度小于置信度阈值的情况下，进入第二层级识别，以确定意图类别。

8、进一步地，构建第一函数的步骤，包括：计算语音文本与历史话语滑动窗口中的每个历史话语之间的语义相似度；对于每个语义相似度，基于预设衰减系数、预设长度以及语义相似度对应的历史话语在历史话语滑动窗口中的位置，构建语义相似度权重；基于所有语义相似度以及所有语义相似度权重，构建第一函数。

9、进一步地，语音片段对应有产生时间戳，每个历史话语对应有历史产生时间戳，构建第二函数以及第三函数的步骤，包括：基于产生时间戳以及所有历史产生时间戳，确定目标历史话语，其中，目标历史话语是历史话语滑动窗口中距离语音文本的产生时间戳最近的历史话语；提取语音文本对应的语音片段的第一声纹特征向量，并提取目标历史话语对应的历史语音片段的第二声纹特征向量；构建第一声纹特征向量与第二声纹特征向量之间的向量相似度计算函数，并基于向量相似度计算函数、预设相似度阈值，构建第二函数；提取语音文本中的目标词语集，并构建目标词语指代集，其中，目标词语指代集用于存储在历史话语滑动窗口中查找到的目标词语指代的词语；基于目标词语集以及目标词语指代集，构建第三函数。

10、根据本技术实施例的另一方面，还提供了一种语音指令的调度装置，包括：获取单元，用于获取自助行李托运设备监测到的旅客的音频流，并获取自助行李托运设备的业务操作接口的当前锁定状态；路由单元，用于对音频流进行语音活动检测，得到语音片段，并基于预设路由函数，对语音片段进行路由，以确定目标路由通道，其中，预设路由函数用于基于当前锁定状态，控制语音片段进入目标路由通道；识别单元，用于基于目标路由通道，对语音片段进行识别，得到意图类别，并基于当前锁定状态以及意图类别，创建语音指令任务，其中，语音指令任务对应有任务状态；判定单元，用于对待调度任务队列中的每个历史语音指令任务进行失效判定，得到判定结果，并基于判定结果，将历史语音指令任务替换为语音指令任务，其中，待调度任务队列中存储有从任务注册表中筛选出的待调度任务集，待调度任务集包括：任务状态为已创建状态以及排队状态的语音指令任务，任务注册表存储有创建的多个历史语音指令任务；调度单元，用于确定待调度任务队列中每个历史语音指令任务的调度优先级，基于所有历史语音指令任务的调度优先级，调度语音指令任务。

11、进一步地，语音指令的调度装置包括：第一构建模块，用于在获取自助行李托运设备的业务操作接口的当前锁定状态之前，构建有限状态自动机，其中，有限状态自动机包括：锁定状态集、事件集、状态转移函数、初始锁定状态以及映射函数，锁定状态集包括：空闲状态、软锁定状态和硬锁定状态，事件集包括：旅客在自助行李托运设备上进行业务操作触发的多个业务事件，状态转移函数用于依据事件集中的业务事件，对当前锁定状态进行转换。

12、进一步地，语音指令的调度装置还包括：第一判断模块，用于在获取自助行李托运设备的业务操作接口的当前锁定状态之后，在自助行李托运设备的当前锁定状态为硬锁定状态的情况下，判断当前锁定状态处于硬锁定状态的持续时长；第一转换模块，用于在持续时长大于预设允许时长的情况下，将硬锁定状态转换为软锁定状态，并对未完成的业务事件进行回滚。

13、进一步地，识别单元包括：第一识别模块，用于在目标路由通道是意图识别通道的情况下，对语音片段进行语音识别，得到语音文本；第一计算模块，用于计算语音文本与第一预设关键词集中每个第一预设关键词之间的相似度，并在存在相似度大于等于第一预设相似阈值的情况下，将意图类别确定为第一预设意图；第二计算模块，用于计算语音文本与第二预设关键词集中每个第二预设关键词之间的相似度，并在存在相似度大于等于第一预设相似阈值的情况下，将意图类别确定为第二预设意图；第一确定模块，用于在第一预设关键词集以及第二预设关键词集中均不存在相似度大于等于第一预设相似阈值的情况下，将意图类别确定为第三预设意图。

14、进一步地，语音指令的调度装置还包括：第一监测模块，用于在将意图类别确定为第三预设意图之后，在意图类别为第三预设意图的情况下，监测在预设时段内第三预设意图出现的次数；第一生成模块，用于在次数大于等于预设次数阈值，且检测到其它语音片段的情况下，生成提示词语，并监测旅客的应答语音，其中，提示词语用于引导旅客进行应答，以得到应答语音；第一修改模块，用于重新识别应答语音的应答意图类别，并在应答意图类别为第三预设意图的情况下，将应答意图类别修改为第一预设意图，或将应答意图类别修改为第二预设意图。

15、进一步地，识别单元还包括：第二识别模块，用于在目标路由通道是语音处理通道的情况下，对语音片段进行语音识别，得到语音文本；第二构建模块，用于构建第一函数，并构建第二函数以及第三函数，其中，第一函数用于判断语音片段的连贯度，第二函数用于判断语音片段与上一语音片段是否为同一说话人，第三函数用于判断语音文本中的目标词语是否在预设长度的历史话语滑动窗口的历史话语中有指代对象，目标词语是代词，和/或，指示词，预设长度用于指示历史话语滑动窗口中历史话语的数量；第二确定模块，用于基于第一函数、第二函数以及第三函数，对语音文本进行处理，确定目标语音文本；第三识别模块，用于对目标语音文本进行意图识别，得到意图类别，其中，意图识别包括：第一层级识别以及第二层级识别，在第一层级识别的置信度小于置信度阈值的情况下，进入第二层级识别，以确定意图类别。

16、进一步地，第二构建模块包括：第一计算子模块，用于计算语音文本与历史话语滑动窗口中的每个历史话语之间的语义相似度；第一构建子模块，用于对于每个语义相似度，基于预设衰减系数、预设长度以及语义相似度对应的历史话语在历史话语滑动窗口中的位置，构建语义相似度权重；第二构建子模块，用于基于所有语义相似度以及所有语义相似度权重，构建第一函数。

17、进一步地，语音片段对应有产生时间戳，每个历史话语对应有历史产生时间戳，第二构建模块还包括：第一确定子模块，用于基于产生时间戳以及所有历史产生时间戳，确定目标历史话语，其中，目标历史话语是历史话语滑动窗口中距离语音文本的产生时间戳最近的历史话语；第一提取子模块，用于提取语音文本对应的语音片段的第一声纹特征向量，并提取目标历史话语对应的历史语音片段的第二声纹特征向量；第三构建子模块，用于构建第一声纹特征向量与第二声纹特征向量之间的向量相似度计算函数，并基于向量相似度计算函数、预设相似度阈值，构建第二函数；第二提取子模块，用于提取语音文本中的目标词语集，并构建目标词语指代集，其中，目标词语指代集用于存储在历史话语滑动窗口中查找到的目标词语指代的词语；第四构建子模块，用于基于目标词语集以及目标词语指代集，构建第三函数。

18、根据本技术实施例的另一方面，还提供了一种计算机程序产品，包括非易失性计算机可读存储介质，非易失性计算机可读存储介质存储计算机程序，计算机程序被处理器执行时实现上述任意一项语音指令的调度方法。

19、根据本技术实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，存储器用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述任意一项语音指令的调度方法。

20、在本发明中，获取自助行李托运设备监测到的旅客的音频流，并获取自助行李托运设备的业务操作接口的当前锁定状态；对音频流进行语音活动检测，得到语音片段，并基于预设路由函数，对语音片段进行路由，以确定目标路由通道，其中，预设路由函数用于基于当前锁定状态，控制语音片段进入目标路由通道；基于目标路由通道，对语音片段进行识别，得到意图类别，并基于当前锁定状态以及意图类别，创建语音指令任务，其中，语音指令任务对应有任务状态；对待调度任务队列中的每个历史语音指令任务进行失效判定，得到判定结果，并基于判定结果，将历史语音指令任务替换为语音指令任务，其中，待调度任务队列中存储有从任务注册表中筛选出的待调度任务集，待调度任务集包括：任务状态为已创建状态以及排队状态的语音指令任务，任务注册表存储有创建的多个历史语音指令任务；确定待调度任务队列中每个历史语音指令任务的调度优先级，基于所有历史语音指令任务的调度优先级，调度语音指令任务，解决了相关技术中无法实现语音指令与业务操作之间的并发控制与协同，导致无法根据当前业务操作的状态，准确地调度语音指令进行语音任务处理的技术问题。

21、在本发明中，通过实时获取旅客音频流及设备业务操作接口的当前锁定状态，利用预设路由函数将语音片段智能分发至对应的目标路由通道，从而实现业务状态与语音处理的联动，之后，基于目标路由通道，对语音片段进行识别，得到意图类别，基于识别出的意图类别及当前锁定状态创建语音指令任务，并可以依据多因子加权计算的调度优先级对待调度任务进行排序执行，解决了现有自助终端语音交互中因缺乏业务状态协同而导致的指令冲突、关键操作误打断及并发处理混乱问题，实现了语音指令与业务操作的精准协同与安全调度。