视觉定位非线性调速方法、装置、设备及存储介质与流程

摘要: 本技术涉及云台控制,尤其涉及视觉定位非线性调速方法、装置、设备及存储介质。背景技术:1、三轴云台广泛应用于增稳拍摄设备,相机安装于俯仰轴末端,通过偏航、横滚、俯...
视觉定位非线性调速方法、装置、设备及存储介质与流程

本技术涉及云台控制,尤其涉及视觉定位非线性调速方法、装置、设备及存储介质。

背景技术:

1、三轴云台广泛应用于增稳拍摄设备,相机安装于俯仰轴末端,通过偏航、横滚、俯仰三个电机的转动调整镜头朝向。在视觉定位过程中,相机端或上位机运行目标检测算法,逐帧输出被拍摄对象在画面中的归一化位置偏差,云台据此转动,使对象保持在画面中心附近。然而,视觉通道存在采集与滤波滞后,检测算法在遮挡、快速运动或光照突变时还可能输出错误的检测框,这些因素会导致云台在定位过程中出现镜头过冲、往复摆动或抖动等现象,影响拍摄画面的稳定性。

2、目前,云台一侧的常见做法是将归一化偏差乘以一个固定系数,作为一次转动的步进量下发,步进量逐帧累加,直至偏差落入设定的死区。但该做法存在以下客观缺陷:换算系数缺少物理依据,需逐台手工调试,更换镜头或机型后须重新调试;若将偏差折算为横向位移量,则转角会随目标距离变化,导致近处目标转动量不足、远处目标转动量过大;若沿用视觉伺服常规做法,还需预先标定相机内参与相机到电机的外参,标定结果会随装配公差或跌落后形变而失效。此外,该做法为开环步进控制,偏差发出后不再被闭环消除,步进量偏大则越过画面中心,偏小则镜头始终落后于目标;近中心处速度不衰减,镜头易在中心附近往复摆动。

3、因此,如何在不依赖目标距离测量和相机与电机之间位姿标定的情况下,实现云台视觉定位的稳定闭环控制,是目前亟需解决的一个问题。

4、上述内容仅用于辅助理解本技术的技术方案,并不代表承认上述内容是现有技术。

技术实现思路

1、本技术的主要目的在于提供一种视觉定位非线性调速方法、装置、设备及存储介质,旨在解决与背景技术对应的技术问题。

2、为实现上述目的,本技术提出一种视觉定位非线性调速方法,所述的方法包括:

3、获取包含对象的图像帧,确定所述对象在所述图像帧中的位置相对于画面基准区域的归一化偏差量;

4、根据所述归一化偏差量与所述图像帧对应的视场角参数,确定所述对象所在视线相对于所述画面基准区域对应的基准视线方向的角偏差量;

5、基于所述角偏差量和电机的当前角度,确定电机的目标角度,并根据所述角偏差量生成所述电机的角速度指令,其中,所述角速度指令的幅值随所述角偏差量的绝对值减小而呈非线性关系衰减;

6、根据所述角偏差量的绝对值与预设阈值,确定是否更新所述目标角度,并根据所述目标角度与所述电机的当前角度之间的角度误差,生成速度指令,其中所述速度指令的幅值以所述角速度指令的幅值为上限,以驱动所述电机转动。

7、在一实施例中,所述预设阈值至少包括预设进入阈值和预设退出阈值,所述预设进入阈值小于所述预设退出阈值;

8、所述根据所述角偏差量的绝对值与预设阈值,确定是否更新所述目标角度,包括:

9、当所述角偏差量的绝对值小于所述预设进入阈值时,进入居中保持状态,不更新所述电机的目标角度,将所述电机的目标角度锁定为进入所述居中保持状态时的所述电机的当前角度,使所述电机停止转动;

10、当处于所述居中保持状态,且连续预设数量帧图像中所述角偏差量的绝对值均大于所述预设退出阈值时,则退出所述居中保持状态,恢复更新所述电机的目标角度;

11、当未处于所述居中保持状态,且所述角偏差量的绝对值大于或等于所述预设进入阈值时,根据所述角偏差量更新所述电机的目标角度。

12、在一实施例中,所述确定所述对象在所述图像帧中的位置相对于画面基准区域的归一化偏差量,包括:

13、根据所述对象的位置与所述画面基准区域的位置,确定所述对象相对于所述画面基准区域的相对位置;

14、将所述相对位置在水平方向和垂直方向上分别按照所述画面基准区域至所述图像帧边缘的距离进行归一化并进行限幅,得到所述归一化偏差量。

15、在一实施例中,所述根据所述归一化偏差量与所述图像帧对应的视场角参数,确定所述对象所在视线相对于所述画面基准区域对应的基准视线方向的角偏差量,包括:

16、获取所述图像帧对应的视场角参数,所述视场角参数为所述图像帧对应的半视场角;

17、根据所述归一化偏差量与所述半视场角,基于预设映射关系确定所述角偏差量的幅值;

18、根据所述归一化偏差量的符号,基于预设方向关系,确定所述角偏差量的正负号;

19、根据所述幅值和所述正负号,确定所述对象所在视线相对于所述画面基准区域对应的基准视线方向的角偏差量。

20、在一实施例中,所述角速度指令的幅值随所述角偏差量的绝对值减小而呈非线性关系衰减,包括:

21、当所述角偏差量的绝对值小于预设边界值时,所述角速度指令的幅值随所述角偏差量的绝对值减小而以所述绝对值的平方关系衰减;

22、当所述角偏差量的绝对值不小于所述预设边界值时,所述角速度指令的幅值随所述角偏差量的绝对值减小而以所述绝对值关系衰减,且所述角速度指令的幅值在所述预设边界值处连续。

23、在一实施例中,所述根据所述目标角度与所述电机的当前角度之间的角度误差,生成速度指令,其中所述速度指令的幅值以所述角速度指令的幅值为上限,以驱动所述电机转动,包括:

24、根据所述目标角度与所述电机的当前角度之间的角度误差,通过位置环按照所述角速度指令的幅值上限生成速度指令;

25、将所述速度指令输入速度环,由所述速度环输出力矩指令,以驱动所述电机转动。

26、在一实施例中,所述方法还包括:

27、当多个电机中的第一电机处于所述居中保持状态时,所述第一电机的目标角度锁定;

28、所述多个电机中的第二电机的转动使所述第一电机对应的角偏差量的绝对值增大,且连续预设数量帧图像中所述第一电机对应的角偏差量的绝对值均大于所述预设退出阈值时,所述第一电机退出所述居中保持状态,恢复更新所述第一电机的目标角度。

29、此外,为实现上述目的,本技术还提出一种视觉定位非线性调速装置,所述视觉定位非线性调速装置包括:

30、图像获取模块,用于获取包含对象的图像帧,确定所述对象在所述图像帧中的位置相对于画面基准区域的归一化偏差量;

31、角偏差量确定模块,用于根据所述归一化偏差量与所述图像帧对应的视场角参数,确定所述对象所在视线相对于所述画面基准区域对应的基准视线方向的角偏差量;

32、指令生成模块,用于基于所述角偏差量和电机的当前角度,确定电机的目标角度,并根据所述角偏差量生成所述电机的角速度指令,其中,所述角速度指令的幅值随所述角偏差量的绝对值减小而呈非线性关系衰减;

33、驱动模块,用于根据所述角偏差量的绝对值与预设阈值,确定是否更新所述目标角度,并根据所述目标角度与所述电机的当前角度之间的角度误差,生成速度指令,其中所述速度指令的幅值以所述角速度指令的幅值为上限,以驱动所述电机转动。

34、此外,为实现上述目的,本技术还提出一种视觉定位非线性调速设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的视觉定位非线性调速方法的步骤。

35、此外,为实现上述目的,本技术还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的视觉定位非线性调速方法的步骤。

36、此外,为实现上述目的,本技术还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上文所述的视觉定位非线性调速方法的步骤。

37、本技术提供了一种视觉定位非线性调速方法,本技术首先通过获取包含对象的图像帧,确定该对象在该图像帧中的位置相对于画面基准区域的归一化偏差量,并根据该归一化偏差量与该图像帧对应的视场角参数,确定该对象所在视线相对于该画面基准区域对应的基准视线方向的角偏差量,以通过视场角参数将画面偏差直接折算为角度偏差,由于画面位置是角度量而非位移量,同一条视线上远近不同的对象落在同一点,不含距离信息,半视场角为镜头标称参数,归一化偏差量与之相乘即得角偏差量,相机与电机刚性固连,角偏差量叠加电机当前角度后位置环角度误差恰为该角偏差量,且映射位于闭环内,标度误差只改变收敛快慢而不改变收敛终点,因此无需目标距离测量和相机与电机之间的外参标定;然后基于该角偏差量和电机的当前角度,确定电机的目标角度,并根据该角偏差量生成该电机的角速度指令,其中,该角速度指令的幅值随该角偏差量的绝对值减小而呈非线性关系衰减,以在近中心处自动降低速度上限,由于视觉通道存在采集与滤波滞后,若近中心速度与偏差成正比则增量增益不衰减,会导致镜头越过中心后往复摆动,而角速度指令幅值随角偏差量绝对值减小而非线性衰减,近中心按平方关系衰减,使增量增益随偏差趋零,往复越过量按平方衰减,从而抑制过冲;接着根据该角偏差量的绝对值与预设阈值,确定是否更新该目标角度,并根据该目标角度与该电机的当前角度之间的角度误差,生成速度指令,其中该速度指令的幅值以该角速度指令的幅值为上限,以驱动该电机转动,从而在免标定的前提下抑制近中心过冲。

38、综上可知,本技术通过视场角参数映射与角速度指令非线性衰减的结合,克服了现有技术需逐台调试、依赖目标距离和外参标定且近中心易往复摆动的缺陷,实现了云台视觉定位的免标定闭环控制与近中心平稳收敛。