一种基于相机的运动姿态估计方法及装置与流程

本技术属于计算机视觉，尤其涉及一种基于相机的运动姿态估计方法及装置。

背景技术：

1、随着立体安防监控技术的普及，搭载深度传感器的防护相机被大量部署，需要持续输出自身六自由度姿态以构建统一的三维监控坐标系，实现警戒区域标定、移动物体轨迹还原、事后事件的溯源定位。

2、然而，在实际监控工况中，场景普遍存在弱纹理墙面、行人车辆等动态干扰目标、数小时至数天不间断长时序连续拍摄、相机间歇性启停运动等复杂条件，导致现有运动姿态估计算法难以适配跟踪响应速度的实时性与全局精度需求。

技术实现思路

1、本技术实施例提供了一种基于相机的运动姿态估计方法及装置，可以解决现有相机姿态的估计过程中由于不区分相机的运动状态而导致无法兼顾跟踪响应速度实时性与全局精度的技术问题。

2、第一方面，本技术实施例提供了一种基于相机的运动姿态估计方法，包括：

3、获取相机采集的上一帧图像和当前帧图像，其中，所述上一帧图像和所述当前帧图像分别包含成对的深度图和强度图；

4、根据所述上一帧图像中深度图的有效深度点集和所述当前帧图像中深度图的有效深度点集，计算得到所述当前帧图像中的深度运动点占比值；

5、根据提取得到的所述上一帧图像中强度图的第一特征点和所述当前帧图像中强度图的第二特征点，计算得到所述当前帧图像中的特征运动点占比值；其中，所述深度运动点占比值与所述特征运动点占比值用于确定所述相机的当前帧运动状态类型；

6、根据所述相机的当前帧运动状态类型，估计所述相机的当前帧运动姿态。

7、在第一方面的一种可能的实现方式中，所述运动状态类型包括动态工况、短时静止工况、运动停止工况；

8、所述根据所述相机的当前帧运动状态类型，估计所述相机的当前帧运动姿态，包括：

9、若所述当前帧运动状态类型为所述动态工况，将通过位姿预测模型预测得到的所述当前帧图像对应的当前帧初始运动姿态作为优化初始值，对包含所述当前帧图像在内的连续多帧图像进行滑动窗口光束平差优化处理，得到所述当前帧图像对应的所述当前帧运动姿态；其中，所述位姿预测模型是基于三帧历史运动姿态构建的用于预测下一帧运动姿态的运动学模型；

10、若所述当前帧运动状态类型为所述短时静止工况，则将所述上一帧图像对应的上一帧运动姿态作为所述当前帧运动姿态；

11、若所述当前帧运动状态类型为所述运动停止工况，则基于所述相机运动全过程中的所有帧图像、所有帧图像对应的所有帧运动姿态，进行全局迭代优化，得到所述当前帧运动姿态。

12、在第一方面的一种可能的实现方式中，根据所述深度运动点占比值与所述特征运动点占比值，确定所述相机的当前帧运动状态类型，包括：

13、在所述深度运动点占比值大于或等于预设深度阈值，和/或，所述特征运动点占比值大于或等于预设特征阈值时，确定所述当前帧图像为运动图像，则确定所述相机的当前帧运动状态类型为所述动态工况；

14、在所述深度运动点占比值小于所述预设深度阈值，且所述特征运动点占比值小于所述预设特征阈值时，确定所述当前帧图像为静止图像；

15、在所述静止图像的连续累计帧数值小于预设帧数值时，则确定所述相机的当前运行状态类型为所述短时静止工况；

16、在所述静止图像的连续累计帧数值大于或等于所述预设帧数值时，则确定所述相机的当前运行状态类型为所述运动停止工况。

17、在第一方面的一种可能的实现方式中，所述根据所述上一帧图像中深度图的有效深度点集和所述当前帧图像中深度图的有效深度点集，计算得到所述当前帧图像中的深度运动点占比值，包括：

18、将所述上一帧图像中有效深度点集与所述当前帧图像中有效深度点集进行对比，逐点计算得到所述上一帧图像中有效深度点集与所述当前帧图像中有效深度点集之间的深度差值；

19、统计所述深度差值大于预设深度差值阈值的深度点数量，得到有效深度点数量；

20、根据所述有效深度点数量与所述当前帧图像中有效深度点集中的总深度点数量的比值，计算得到所述深度运动点占比值。

21、在第一方面的一种可能的实现方式中，所述根据提取得到的所述上一帧图像中强度图的第一特征点和所述当前帧图像中强度图的第二特征点，计算得到所述当前帧图像中的特征运动点占比值，包括：

22、通过特征光流算法，将所述第一特征点与所述第二特征点进行匹配，得到匹配点对，并计算所述匹配点对之间的位移；

23、统计所述位移大于预设位移阈值的运动特征点数量，得到有效运动特征点数量；

24、根据所述有效运动特征点数量与匹配点对总数量的比值，计算得到所述特征运动点占比值。

25、在第一方面的一种可能的实现方式中，所述位姿预测模型为二阶匀加速运动模型；

26、通过所述位姿预测模型预测所述当前帧图像对应的当前帧初始运动姿态的过程，包括：

27、提取所述相机的三帧历史运动姿态；

28、根据所述三帧历史运动姿态，计算得到所述相机的等效加速度；

29、基于短时序匀加速运动原理，根据所述等效加速度预测得到所述当前帧运动姿态对应的当前帧李代数增量；

30、根据所述当前帧李代数增量和左雅可比矩阵构建得到的状态转移方程，得到当前帧运动姿态预测值；

31、根据所述当前帧运动姿态预测值、观测方程和预设姿态增量阻尼约束进行扩展卡尔曼滤波迭代估计，得到所述当前帧初始运动姿态；其中，所述观测方程是根据点到平面几何残差、平面法向量夹角残差、特征点重投影残差融合得到的。

32、在第一方面的一种可能的实现方式中，所述根据所述三帧历史运动姿态，计算得到所述相机的等效加速度，包括：

33、根据所述三帧历史运动姿态，计算相邻帧间的李群变换增量；

34、将所述李群变换增量，通过对数映射转换为李代数增量；

35、对所述李代数增量进行二阶差分计算，得到所述相机的等效加速度。

36、在第一方面的一种可能的实现方式中，所述若所述当前帧运动状态类型为所述动态工况，将通过位姿预测模型预测得到的所述当前帧图像对应的当前帧初始运动姿态作为优化初始值，对包含所述当前帧图像在内的连续多帧图像进行滑动窗口光束平差优化处理，得到所述当前帧图像对应的所述当前帧运动姿态，包括：

37、将包含所述当前帧图像在内的连续多帧图像作为滑动窗口，并构建包含所述点到平面几何残差、所述平面法向量夹角残差、所述特征点重投影残差的目标函数；

38、根据场景纹理、平面数量，自适应分配所述点到平面几何残差、所述平面法向量夹角残差和所述特征点重投影残差对应的残差权重，得到待求解优化模型；

39、根据所述当前帧初始运动姿态，对所述滑动窗口内的待优化变量进行初始化，得到所述待优化变量的优化初始解；

40、根据所述优化初始解，采用高斯牛顿法迭代运算和舒尔消元运算，得到每轮迭代更新后的变量值；

41、在达到预设迭代收敛条件时，终止迭代计算，得到所述当前帧运动姿态。

42、在第一方面的一种可能的实现方式中，所述若所述当前帧运动状态类型为所述运动停止工况，则基于所述相机运动全过程中的所有帧图像、所有帧图像对应的所有帧运动姿态，进行全局迭代优化，得到所述当前帧运动姿态，包括：

43、根据局部帧堆长度，将所述所有帧图像序列划分为多个局部帧堆，其中，所述局部帧堆长度是基于所述相机运动全过程中累积总帧数的百分比得到的；

44、根据每个所述局部帧堆内每一帧运动姿态，采用所述目标函数进行局部滑动窗口光束平差优化处理，得到局部优化姿态，并更新每帧舒尔消元矩阵的非零元素占比、平均残差平方；

45、根据所述局部帧堆内每一帧运动姿态对应的舒尔消元矩阵的非零元素占比、平均残差平方计算得到的单帧综合质量评分，确定所述局部帧堆中的全局关键帧集合；

46、根据所述全局关键帧集合，通过增量式全局滑动窗口光束平差优化模型，求解得到全局最优关键帧姿态；

47、将所述全局最优关键帧姿态回写至对应局部帧堆，通过区分设置关键帧权重、普通帧权重对所述目标函数进行重构，得到更新后目标函数，并根据所述更新后目标函数，重新执行局部滑动窗口光束平差优化处理，得到修正后局部优化姿态；

48、根据所述全局最优关键帧姿态和所述修正后局部优化姿态，得到优化运动姿态，并以所述优化运动姿态更新所述当前帧运动姿态。

49、第二方面，本技术实施例提供了一种基于相机的运动姿态估计装置，包括：

50、获取模块，用于获取相机采集的上一帧图像和当前帧图像，其中，所述上一帧图像和所述当前帧图像分别包含成对的深度图和强度图；

51、深度比值确定模块，用于根据所述上一帧图像中深度图的有效深度点集和所述当前帧图像中深度图的有效深度点集，计算得到所述当前帧图像中的深度运动点占比值；

52、特征比值确定模块，用于根据提取得到的所述上一帧图像中强度图的第一特征点和所述当前帧图像中强度图的第二特征点，计算得到所述当前帧图像中的特征运动点占比值；其中，所述深度运动点占比值与所述特征运动点占比值用于确定所述相机的当前帧运动状态类型；

53、估计模块，用于根据所述相机的当前帧运动状态类型，估计所述相机的当前帧运动姿态。

54、第三方面，本技术实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的基于相机的运动姿态估计方法。

55、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于相机的运动姿态估计方法。

56、第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的基于相机的运动姿态估计方法。

57、本技术实施例与现有技术相比存在的有益效果是：

58、本技术实施例提供了一种基于相机的运动姿态估计方法，该方法包括：首先，获取相机采集的上一帧图像和当前帧图像，其中，上一帧图像和当前帧图像分别包含成对的深度图和强度图。然后，根据上一帧图像中深度图的有效深度点集和当前帧图像中深度图的有效深度点集，计算得到当前帧图像中的深度运动点占比值；根据提取得到的上一帧图像中强度图的第一特征点和当前帧图像中强度图的第二特征点，计算得到当前帧图像中的特征运动点占比值，其中，深度运动点占比值与特征运动点占比值用于确定相机的当前帧运动状态类型。最后，根据相机的当前帧运动状态类型，估计相机的当前帧运动姿态。通过该方法可以准确地区分相机的运动状态，根据相机不同的运动状态自适应确定运动姿态的估计算法，可以在提高实时跟踪响应速度的同时，保证相机运动姿态的全局精度。