一种机器人注意力调度方法、介质及设备与流程

摘要: 本发明涉及人机交互,特别是涉及一种机器人注意力调度方法、介质及设备。背景技术:1、在多个用户围绕机器人进行咨询、问答或互动的场景中,机器人通常需要面向正在讲话的...
一种机器人注意力调度方法、介质及设备与流程

本发明涉及人机交互,特别是涉及一种机器人注意力调度方法、介质及设备。

背景技术:

1、在多个用户围绕机器人进行咨询、问答或互动的场景中,机器人通常需要面向正在讲话的用户转动头部,以形成面向该用户的注视姿态,配合语音、表情或肢体动作完成交互反馈。

2、现有方案多关注“识别当前说话人”或“定位当前声源”,即通过麦克风阵列估计单个声源的到达方向,或通过摄像头定位正在讲话的人脸,再由控制器按照实时声源方向驱动机器人头部转动。该类方案在单人连续讲话时可以正常工作,但缺少面向多人同时讲话场景的转头时间间隔控制和转头策略。

3、当两名或两名以上用户同时讲话、交替抢话或在较短时间内连续发声时,实时声源方向会在不同用户之间快速变化,机器人头部容易跟随瞬时声源方向来回摆动,表现为无所适从和频繁乱转,交互过程不稳定。

4、此外,多人同时讲话时,机器人需要确定先响应谁、何时切换到下一个人、切换前是否重新确认目标位置,以及等待用户如何避免被长期忽略。若机器人在检测到新的声源方向后立即转头,会打断当前用户尚未完成的交互。若长时间不切换,又会导致其他用户无法被依次响应。现有方案单纯按照声音强度、距离、固定身份优先级或最后一次声源方向进行转头,均难以形成稳定、连续且符合多人互动体验的响应顺序。

5、因此,在多人同时或交替讲话时,如何设置机器人头部转向的时间间隔和转头策略,使机器人既能够逐一响应每个说话用户,又能够避免头部在多个声源之间频繁乱转成为亟待解决的技术问题。

技术实现思路

1、针对上述技术问题,本发明采用的技术方案为一种机器人注意力调度方法,该机器人注意力调度方法包括如下步骤:

2、s1,根据交互区域内的音频信息和图像信息,识别出交互区域内的候选说话用户。

3、s2,当检测到至少两名候选说话用户存在语音时间重叠,或者预设时间窗口内出现至少两个满足预设有效条件的讲话事件时,进入多人说话调度状态,并为各候选说话用户分别建立对应的待响应交互任务并计算任务优先级,得到交互任务集合。

4、s3,根据预设的转头时间控制策略和任务优先级,从交互任务集合中确定一个通过位置置信度校验的当前任务,并控制机器人头部转向当前任务对应的候选说话用户,进入注意力锁定状态并执行交互响应,其中,在注意力锁定状态下,若检测到新声源,仅更新交互任务集合,不触发头部转向,若交互任务集合中存在满足预设抢占条件的待响应交互任务,则解除注意力锁定状态并执行s4。

5、s4,在当前任务满足预设响应完成条件、标记为失效或被抢占时,若处于注意力锁定状态则解除注意力锁定状态,并确定下一个当前任务,其中,若当前任务被抢占,则将抢占任务确定为下一个当前任务,若当前任务满足预设响应完成条件或标记为失效,则根据任务优先级,从交互任务集合中剩余的待响应交互任务中选择下一个当前任务。

6、s5,更新下一个当前任务对应的候选说话用户的空间方位,并校验位置置信度。

7、s6,若更新后的空间方位和位置置信度满足预设交互条件,则根据更新后的空间方位控制机器人头部转向该候选说话用户,进入注意力锁定状态并执行交互响应,返回执行s4;若更新后的空间方位或位置置信度不满足预设交互条件,将下一个当前任务标记为失效,返回执行s4,直至交互任务集合中不存在满足预设交互条件的待响应交互任务,退出多人说话调度状态。

8、本发明还提供了一种非瞬时性计算机可读存储介质,非瞬时性计算机可读存储介质中存储有至少一条指令或至少一段程序,至少一条指令或至少一段程序由处理器加载并执行以实现上述的机器人注意力调度方法。

9、本发明还提供了一种电子设备,包括处理器和上述的非瞬时性计算机可读存储介质。

10、本发明至少具有以下有益效果:通过在语音时间重叠或预设时间窗口内出现多个有效讲话事件时才进入多人说话调度状态,并为每个候选说话用户分别建立待响应交互任务,解决了多人同时讲话时机器人只保留其中一路声音、其余用户请求丢失的问题;通过设置转头时间控制策略,使机器人头部按照可控节奏转动,在当前任务未完成时保持注意力锁定、普通的新声源仅更新任务而不触发转头,解决了头部跟随瞬时声源频繁摆动以及当前交互被打断的问题;通过在每次转头前重新更新下一个当前任务对应候选说话用户的空间方位并校验位置置信度,在不满足预设交互条件时将该下一个当前任务标记为失效并重新选取,解决了等待期间用户移动导致机器人转向旧位置的问题,提升了转头命中率与交互连贯性。

1.一种机器人注意力调度方法,其特征在于,所述方法包括如下步骤:

2.根据权利要求1所述的机器人注意力调度方法,其特征在于,s1包括如下步骤:

3.根据权利要求1所述的机器人注意力调度方法,其特征在于,判断所述讲话事件是否满足所述预设有效条件,包括如下步骤:

4.根据权利要求2所述的机器人注意力调度方法,其特征在于,为各候选说话用户分别建立对应的待响应交互任务,包括如下步骤:

5.根据权利要求2所述的机器人注意力调度方法,其特征在于,计算任务优先级,包括如下步骤:

6.根据权利要求1所述的机器人注意力调度方法,其特征在于,所述预设的转头时间控制策略包括:

7.根据权利要求6所述的机器人注意力调度方法,其特征在于,s4包括如下步骤:

8.根据权利要求1所述的机器人注意力调度方法,其特征在于,s6包括如下步骤:

9.一种非瞬时性计算机可读存储介质,所述非瞬时性计算机可读存储介质中存储有至少一条指令或至少一段程序,其特征在于,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-8中任意一项所述的机器人注意力调度方法。

10.一种电子设备,其特征在于,包括处理器和权利要求9中所述的非瞬时性计算机可读存储介质。