一种机器人视线预测与预判式注视控制方法与流程

摘要: 本发明涉及机器人视觉控制及运动控制,具体涉及一种机器人视线预测与预判式注视控制方法。背景技术:1、机器人在执行物体抓取、人机交互、巡检、移动作业等任务过程中,通...
一种机器人视线预测与预判式注视控制方法与流程

本发明涉及机器人视觉控制及运动控制,具体涉及一种机器人视线预测与预判式注视控制方法。

背景技术:

1、机器人在执行物体抓取、人机交互、巡检、移动作业等任务过程中,通常需要通过眼部视觉传感器持续获取目标图像,并根据任务执行过程在不同注视目标之间进行视线切换。对于具有眼部和头部独立运动能力的机器人,通常可以通过眼部转动、头部转动或者眼部与头部共同转动改变注视方向。

2、现有机器人注视控制通常以使当前目标位于图像中心为主要控制目标。当当前目标发生运动时,机器人根据目标位置变化不断调整视线,以使目标保持在图像中心附近;当需要观察下一目标时,再根据下一目标的位置控制眼部和头部完成注视切换。

3、上述控制方式存在以下问题:一方面,当当前目标持续运动时,如果始终将当前目标保持在图像中心,则没有利用图像中与目标未来运动方向相反一侧的成像空间,使目标沿未来运动方向能够保持于图像中的运动余量有限;另一方面,在机器人已经能够确定后续操作目标的情况下,头部仍通常维持当前姿态,直至真正发生注视切换后才开始向下一注视方向转动,容易导致下一次注视切换所需的运动量较大,增加视线切换时间。

4、因此,需要一种能够兼顾当前运动目标持续观察和下一注视任务提前准备的机器人视线控制方式。

技术实现思路

1、本申请提供了一种机器人视线预测与预判式注视控制方法,提高视线切换的及时性和连续性。

2、本申请提供了如下方案:

3、根据第一方面,提供了一种机器人视线预测与预判式注视控制方法,包括:获取当前注视目标的运动状态及机器人眼部、头部的当前姿态,预测当前注视目标的未来运动方向,并确定下一注视方向;根据所述未来运动方向,从机器人视觉传感器采集的当前图像中心出发,沿与所述未来运动方向相反的方向确定目标成像位置,并控制机器人调整视线,使所述当前注视目标位于所述目标成像位置;根据所述下一注视方向与当前视线方向的方向关系确定头部预调方向,控制头部沿所述头部预调方向运动,并根据头部姿态变化调整眼部姿态,使所述当前注视目标保持于所述目标成像位置;确定维持所述当前注视目标处于所述目标成像位置所需的眼部补偿量,当所述眼部补偿量达到预设补偿限值时,停止维持所述目标成像位置,并控制眼部和头部转向所述下一注视方向,完成预判式注视切换。

4、根据本申请实施例中一可实现的方式,所述获取当前注视目标的运动状态,包括:连续获取所述当前注视目标在多帧图像中的目标位置;根据相邻帧图像中所述目标位置的变化,确定所述当前注视目标的运动方向和运动速度。

5、根据本申请实施例中一可实现的方式,所述预测当前注视目标的未来运动方向,包括:根据所述当前注视目标在连续多帧图像中的运动方向,确定对应的方向变化趋势;根据所述方向变化趋势和当前运动方向确定所述未来运动方向。

6、根据本申请实施例中一可实现的方式,所述确定下一注视方向,包括:获取机器人在当前注视任务之后待执行的下一操作动作,并确定所述下一操作动作对应的操作目标;获取所述操作目标相对于机器人的空间位置;根据所述空间位置确定机器人执行所述下一操作动作时对应的下一注视方向。

7、根据本申请实施例中一可实现的方式,所述确定目标成像位置,包括:根据所述当前注视目标的运动速度确定成像偏移距离,其中,所述运动速度越大,所述成像偏移距离越大;从所述当前图像中心沿与所述未来运动方向相反的方向偏移所述成像偏移距离,得到所述目标成像位置。

8、根据本申请实施例中一可实现的方式,所述控制机器人调整视线,使所述当前注视目标位于所述目标成像位置,包括:确定所述当前注视目标的当前成像位置与所述目标成像位置之间的位置差;根据所述位置差控制机器人眼部、头部中的至少一个运动,直至所述当前注视目标到达所述目标成像位置。

9、根据本申请实施例中一可实现的方式,所述确定头部预调方向,包括:确定所述下一注视方向相对于当前视线方向的方向偏差;将所述方向偏差所指向的方向确定为所述头部预调方向。

10、根据本申请实施例中一可实现的方式,所述根据头部姿态变化调整眼部姿态,使所述当前注视目标保持于所述目标成像位置,包括:根据头部沿所述头部预调方向产生的头部转动量,确定用于抵消头部转动所引起视线变化的第一眼部调整量;根据所述当前注视目标的运动状态,确定用于抵消所述当前注视目标运动所引起成像位置变化的第二眼部调整量;根据所述第一眼部调整量和第二眼部调整量的方向及大小确定目标眼部调整量;按照所述目标眼部调整量调整眼部姿态,使所述当前注视目标保持于所述目标成像位置。

11、根据本申请实施例中一可实现的方式,所述根据所述第一眼部调整量和第二眼部调整量的方向及大小确定目标眼部调整量,包括:比较所述第一眼部调整量和第二眼部调整量的调整方向;当两者调整方向相同时,将两者的调整量之和确定为所述目标眼部调整量;当两者调整方向相反时,将两者的调整量之差的绝对值确定为所述目标眼部调整量,并将调整量较大者对应的调整方向确定为所述目标眼部调整量的调整方向。

12、根据本申请实施例中一可实现的方式,所述预设补偿限值根据机器人眼部沿所述头部预调方向反方向的最大允许转动范围确定,并小于或等于所述最大允许转动范围。

13、根据本申请提供的具体实施例,本申请公开了以下技术效果:

14、本申请通过预测当前注视目标的未来运动方向,将其在图像中的成像位置预先调整至与未来运动方向相反的一侧,从而为目标后续运动预留更大的成像空间,降低目标快速接近图像边缘而导致跟踪中断的可能性。同时,根据下一注视方向提前调整机器人头部姿态,并通过眼部补偿保持当前注视目标处于目标成像位置,使机器人在不中断当前目标观察的情况下预先完成部分下一注视转动。当眼部补偿量达到补偿限值后再执行眼头协同切换,可减少正式切换阶段所需的剩余转动量,提高视线切换的及时性和连续性,并兼顾当前目标稳定跟踪与后续注视任务的快速响应。

15、当然,实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。

1.一种机器人视线预测与预判式注视控制方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述获取当前注视目标的运动状态,包括:

3.根据权利要求2所述的方法,其特征在于,所述预测当前注视目标的未来运动方向,包括:

4.根据权利要求1所述的方法,其特征在于,所述确定下一注视方向,包括:

5.根据权利要求2所述的方法,其特征在于,所述确定目标成像位置,包括:

6.根据权利要求1所述的方法,其特征在于,所述控制机器人调整视线,使所述当前注视目标位于所述目标成像位置,包括:

7.根据权利要求1所述的方法,其特征在于,所述确定头部预调方向,包括:

8.根据权利要求1所述的方法,其特征在于,所述根据头部姿态变化调整眼部姿态,使所述当前注视目标保持于所述目标成像位置,包括:

9.根据权利要求8所述的方法,其特征在于,所述根据所述第一眼部调整量和第二眼部调整量的方向及大小确定目标眼部调整量,包括:

10.根据权利要求1所述的方法,其特征在于,所述预设补偿限值根据机器人眼部沿所述头部预调方向反方向的最大允许转动范围确定,并小于或等于所述最大允许转动范围。