一种仿生机器人主动温和注视的目标选择与头眼协同控制方法与流程

摘要: 本技术涉及仿生机器人控制,尤其涉及一种仿生机器人主动温和注视的目标选择与头眼协同控制方法。背景技术:1、随着仿生机器人在人机交互、公共服务、陪伴交流、展览讲解等...
一种仿生机器人主动温和注视的目标选择与头眼协同控制方法与流程

本技术涉及仿生机器人控制,尤其涉及一种仿生机器人主动温和注视的目标选择与头眼协同控制方法。

背景技术:

1、随着仿生机器人在人机交互、公共服务、陪伴交流、展览讲解等场景中的应用逐渐增多,机器人除了需要识别交互对象外,还需要通过头部及眼部运动向交互对象传递注视状态。机器人是否选择合适的注视对象,以及头部和眼部采用何种运动方式进行注视,会直接影响机器人交互动作的自然性。

2、现有机器人通常根据人脸大小、目标距离、目标位置、语音来源或目标优先级,从多个目标中直接选择一个目标作为注视对象,并根据目标相对于机器人正前方的位置计算眼部及头部所需的转动角度。部分方案进一步采用眼部先转、头部随后跟随的方式模拟人的头眼协同运动。

3、然而,上述方式中的目标选择主要依赖机器人被动获取的目标特征,无法反映目标对象是否实际对机器人的注视动作产生响应。例如,在机器人视野内同时存在多个人员时,距离较近或者人脸较大的人员未必是当前愿意与机器人建立注视交互的人员。若机器人直接长时间注视该人员,容易形成机械式盯视。

4、另一方面,现有头眼协同方式通常按照预先设置的头眼转动比例进行控制,没有根据目标对象对机器人眼部运动及头部运动的不同响应程度调整头眼运动分配。当目标对象对机器人较明显的头部动作较为敏感时,机器人仍按照固定幅度执行头部转动,容易造成注视动作过于突兀。

5、因此,需要一种能够由机器人主动发起小幅注视试探,根据目标对象对不同试探阶段的实际响应进行目标选择,并进一步利用所获得的响应结果调节头眼运动分配的方法。

技术实现思路

1、本技术提供了一种仿生机器人主动温和注视的目标选择与头眼协同控制方法,提高了机器人注视过程的自然性、交互针对性及温和程度。

2、本技术提供了如下方案:

3、根据第一方面,提供了一种仿生机器人主动温和注视的目标选择与头眼协同控制方法,包括:获取机器人视野内的多个候选注视目标;依次针对各候选注视目标控制机器人眼部执行眼动试探,获取各候选注视目标对应的第一响应变化;根据各候选注视目标的第一响应变化确定待进一步试探的候选注视目标;在保持眼部指向所述待进一步试探的候选注视目标的情况下,控制机器人头部执行跟随运动,获取对应的第二响应变化;根据所述第一响应变化与第二响应变化之间的关系确定目标注视对象;根据所述目标注视对象对应的第一响应变化和第二响应变化,确定机器人眼部与头部的运动分配,并控制机器人进行注视。

4、根据本技术实施例中一可实现的方式,所述获取机器人视野内的多个候选注视目标,包括:获取机器人头部视觉装置采集的连续图像,从所述连续图像中识别位于机器人预设交互范围内的多个目标对象;分别确定各目标对象的面部朝向及眼部位置,并将面部区域完整且在连续多帧图像中保持可跟踪状态的目标对象确定为候选注视目标。

5、根据本技术实施例中一可实现的方式,所述依次针对各候选注视目标控制机器人眼部执行眼动试探,包括:根据机器人眼部当前视轴方向与候选注视目标的注视基准位置,确定眼部转动方向;按照所述眼部转动方向控制机器人眼部转动,使眼部视轴移动至所述注视基准位置;继续控制机器人眼部沿所述眼部转动方向执行附加转动,使眼部视轴越过所述注视基准位置;控制机器人眼部反向转动,使眼部视轴重新移动至所述注视基准位置,形成对应候选注视目标的眼动试探过程。

6、根据本技术实施例中一可实现的方式,所述获取各候选注视目标对应的第一响应变化,包括:获取所述眼动试探过程中候选注视目标的连续面部图像;分别确定眼部发生附加转动前、附加转动后以及返回所述候选注视目标后,所述候选注视目标的视线方向;当候选注视目标的视线方向随机器人眼部的附加转动发生同向变化时,确定所述候选注视目标形成跟随响应;当形成所述跟随响应后,候选注视目标的视线方向随机器人眼部的反向转动朝附加转动前的视线方向回返时,确定所述候选注视目标形成回返响应;根据所述跟随响应和回返响应确定所述候选注视目标对应的第一响应变化。

7、根据本技术实施例中一可实现的方式,所述根据各候选注视目标的第一响应变化确定待进一步试探的候选注视目标,包括:根据各候选注视目标对应的第一响应变化,确定同时形成所述跟随响应和回返响应的候选注视目标,并将其确定为第一筛选目标;当仅存在一个第一筛选目标时,将所述第一筛选目标确定为待进一步试探的候选注视目标;当存在多个第一筛选目标时,分别确定机器人眼部开始执行附加转动至对应第一筛选目标形成回返响应所经历的完整响应时长;比较多个第一筛选目标对应的完整响应时长,将完整响应时长最短的第一筛选目标确定为待进一步试探的候选注视目标。

8、根据本技术实施例中一可实现的方式,所述控制机器人头部执行跟随运动,包括:保持机器人眼部持续指向所述待进一步试探的候选注视目标;控制机器人头部沿眼部当前偏转方向进行跟随转动,并在头部转动过程中控制眼部相对于头部执行反向补偿运动,使机器人整体注视方向保持指向所述待进一步试探的候选注视目标;在头部达到对应跟随位置后,停止所述反向补偿运动并保持当前头眼姿态。

9、根据本技术实施例中一可实现的方式,所述获取对应的第二响应变化,包括:根据机器人头部当前朝向与所述待进一步试探的候选注视目标对应的注视基准位置,确定机器人头部的预定跟随方向;获取机器人头部开始跟随运动前第一时间段以及开始跟随运动后第二时间段内的候选注视目标连续面部图像,所述第一时间段与第二时间段的时长相同;分别确定所述第一时间段和第二时间段内候选注视目标的视线方向沿所述预定跟随方向的累计变化量,得到第一方向变化量和第二方向变化量;根据所述第一方向变化量与第二方向变化量之间的变化关系,确定所述候选注视目标对应的第二响应变化。

10、根据本技术实施例中一可实现的方式,所述根据所述第一方向变化量与第二方向变化量之间的变化关系,确定所述候选注视目标对应的第二响应变化,包括:计算所述第二方向变化量与第一方向变化量之间的差值,得到方向变化差值,并将所述方向变化差值作为所述第二响应变化。

11、根据本技术实施例中一可实现的方式,所述根据所述第一响应变化与第二响应变化之间的关系确定目标注视对象,包括:根据所述第一响应变化,分别确定各待进一步试探的候选注视目标形成所述跟随响应和回返响应所经历的完整响应时长;获取各待进一步试探的候选注视目标对应的作为第二响应变化的方向变化差值;按照所述响应时长由短到长对各待进一步试探的候选注视目标进行排序;当存在完整响应时长相同的候选注视目标时,按照所述方向变化差值由大到小对所述完整响应时长相同的候选注视目标进行排序;将排序第一的候选注视目标确定为目标注视对象。

12、根据本技术实施例中一可实现的方式,所述根据所述目标注视对象对应的第一响应变化和第二响应变化,确定机器人眼部与头部的运动分配,包括:获取所述目标注视对象形成跟随响应和回返响应所经历的完整响应时长,以及所述目标注视对象对应的方向变化差值;根据所述完整响应时长确定机器人眼部朝向所述目标注视对象的先行转动量,其中,所述完整响应时长越短,所述先行转动量越大;根据所述方向变化差值确定机器人头部沿眼部转动方向的跟随转动量,其中,所述方向变化差值越大,所述跟随转动量越小;控制机器人眼部按照所述先行转动量进行转动,并控制机器人头部按照所述跟随转动量进行跟随转动,同时减小眼部相对于头部的偏转量,使机器人视轴保持指向所述目标注视对象。

13、根据本技术提供的具体实施例,本技术公开了以下技术效果:

14、本技术通过针对多个候选注视目标依次执行眼动试探,并根据各候选目标对眼动试探产生的第一响应变化进行初步筛选,使机器人能够主动识别更可能与其形成有效注视交互的目标,避免仅依据距离、人脸大小或固定优先级直接选取目标造成的误选。在此基础上,通过头部跟随运动进一步获取第二响应变化,并结合两阶段响应确定目标注视对象,使目标选择同时反映候选目标对眼部运动和头部运动的实际响应特征。进一步依据目标注视对象的两阶段响应结果分配眼部与头部的运动量,可减少不必要的大幅头部转动和突兀视线切换,提高机器人注视过程的自然性、交互针对性及温和程度。

15、当然,实施本技术的任一产品并不一定需要同时达到以上所述的所有优点。