一种面向地下退化视觉环境的移动载体定位方法及系统与流程

本技术涉及地下空间自主定位，具体地，涉及一种面向地下退化视觉环境的移动载体定位方法及系统。

背景技术：

1、随着地下空间开发、隧道施工、矿山智能化、地下管廊巡检以及深地工程作业的持续推进，移动机器人、无人平台、手持测绘设备和智能巡检装备在地下空间中的自主定位需求日益增强。然而，地下空间通常存在卫星导航信号不可用、光照不足、纹理稀缺、结构重复、视角受限以及移动载体运动状态复杂等问题，传统依赖帧式相机的视觉定位方法容易受到曝光变化、运动模糊和特征失配影响，导致定位精度下降甚至定位中断。特别是在长廊、管廊、巷道转弯、局部遮挡和照明突变等场景中，图像帧之间的有效纹理约束不连续，单纯依靠固定曝光帧式图像难以保证前端特征跟踪的稳定性。

2、事件相机以异步事件流的形式输出亮度变化信息，具有高时间分辨率、高动态范围和低延迟等特点，在快速运动和复杂光照变化场景中具有较好的应用潜力。但在地下退化视觉环境中，事件相机仍面临事件触发稀疏、噪声占比升高、结构信息缺失、时间混叠和事件表征不稳定等问题。尤其是在弱纹理、低照度、低事件率或移动载体快速转向、快速旋转等情况下，若采用固定时间尺度对事件流进行累积，可能在强运动阶段产生边缘扩散和等效积分模糊，也可能在事件稀疏阶段因有效事件数量不足而导致结构表达不完整，从而影响后续特征提取、特征匹配和位姿估计的可靠性。

3、综上所述，在地下退化视觉环境中，现有基于事件相机的定位方法难以根据运动状态的变化自适应地调整事件累积时间尺度和事件表征参数，也无法对事件表征质量进行评价并将评价结果反馈至位姿估计，导致定位精度和鲁棒性不足。因此，亟需一种能够解决上述问题的移动载体定位方法。

技术实现思路

1、本技术要解决的技术问题在于：在地下退化视觉环境中，现有基于事件相机的定位方法存在事件表征不稳定、定位精度和鲁棒性不足的问题，进而提供一种面向地下退化视觉环境的移动载体定位方法及系统。

2、第一方面，本技术技术方案提供一种面向地下退化视觉环境的移动载体定位方法，所述移动载体上搭载有事件相机和惯性测量单元，所述方法包括：

3、获取所述事件相机采集的异步事件流和所述惯性测量单元采集的惯性测量数据，建立所述异步事件流与所述惯性测量数据之间的时间对应关系；

4、按照定位更新需求设定事件流的基本处理时间区间，从所述异步事件流中提取当前处理时间区间内的事件集合形成当前事件片段；从所述惯性测量数据中提取与所述当前事件片段的时间范围对应的惯性测量数据，形成当前惯性运动片段；将所述当前事件片段与所述当前惯性运动片段绑定为当前片段；

5、根据所述当前片段的惯性测量数据，提取用于描述移动载体运动状态的运动状态特征，所述运动状态特征包括角速度统计特征和加速度统计特征；

6、根据所述运动状态特征，识别所述当前片段的运动退化状态；

7、根据所述运动状态特征和所述运动退化状态，从多个候选事件累积时间尺度中确定所述当前片段对应的目标事件累积时间尺度；

8、根据所述时间对应关系，从所述当前片段的事件流中，按照所述目标事件累积时间尺度选取事件集合进行聚合，生成事件表征；

9、对所述事件表征进行质量评价，生成事件表征质量评分；

10、根据所述事件表征进行特征提取和帧间特征匹配，构建事件观测约束；根据所述事件表征质量评分确定所述事件观测约束的可信权重；

11、根据所述当前片段的惯性测量数据，对所述移动载体的位置、速度和姿态进行短时状态传播，获得位姿预测结果；利用所述可信权重对所述事件观测约束和所述位姿预测结果进行融合，得到移动载体的位姿；

12、按照时间顺序累积各片段的移动载体位姿，形成所述移动载体的连续运动轨迹。

13、一些方案中所述的面向地下退化视觉环境的移动载体定位方法，所述建立所述异步事件流与所述惯性测量数据之间的时间对应关系，包括：

14、获取所述事件相机与所述惯性测量单元之间的时间偏差，其中，为所述时间偏差；为所述事件相机的时间戳，为所述惯性测量单元的时间戳；

15、根据所述时间偏差，对所述异步事件流中的事件时间戳进行校正，使校正后的事件时间戳与所述惯性测量数据的时间戳对齐至同一时间基准，从而使位于同一处理片段内的所述异步事件流与所述惯性测量数据在物理时间上相对应；其中，按如下方式将事件时间戳校正至所述惯性测量单元的时间基准：

16、；

17、；

18、其中，为第个处理片段经时间对齐后的事件集合，为第个事件，为的原始时间戳；为与对应的惯性测量数据集合；为所述惯性测量单元测得的角速度；为所述惯性测量单元测得的加速度；为第个处理片段的参考时刻，为第个处理片段的事件累积时间尺度。

19、一些方案中所述的面向地下退化视觉环境的移动载体定位方法，所述按照定位更新需求设定事件流的基本处理时间区间，从所述异步事件流中提取当前处理时间区间内的事件集合形成当前事件片段；从所述惯性测量数据中提取与所述当前事件片段的时间范围对应的惯性测量数据，形成当前惯性运动片段；将所述当前事件片段与所述当前惯性运动片段绑定为当前片段，包括：

20、按如下方式从所述异步事件流中提取当前处理时间区间内的事件集合，形成当前事件片段：

21、；

22、；

23、其中，为当前处理时间区间内的事件集合，表示事件，为的时间戳，为第个事件处理窗口，为第个事件处理窗口内事件数量；为第个事件片段的候选事件累积时间尺度，为预设候选时间尺度集合；为第个候选尺度；和分别为事件数量下限与上限；

24、按如下方式从所述惯性测量数据中提取与所述当前事件片段的时间范围对应的惯性测量数据，形成当前惯性运动片段：

25、；

26、其中，为所述惯性测量单元测得的角速度；为所述惯性测量单元测得的加速度；

27、将所述当前事件片段与所述当前惯性运动片段绑定为当前片段。

28、一些方案中所述的面向地下退化视觉环境的移动载体定位方法，所述根据所述当前片段的惯性测量数据，提取用于描述移动载体运动状态的运动状态特征，所述运动状态特征包括角速度统计特征和加速度统计特征，包括：

29、通过如下方式获得角速度统计特征：

30、；

31、其中，脚标表示第个片段，为角速度运动特征，其为向量；为角速度模值均值；为角速度模值标准差；为最大角速度；为角速度变化率；为第个事件处理窗口内的旋转扰动能量；为第个事件处理窗口内的累积角增量；

32、通过如下方式获得加速度统计特征：

33、；

34、式中，为加速度运动特征，其为向量；为加速度模值均值；为加速度模值标准差；为最大加速度；为加速度变化率；为加速度均值；表示第个事件处理窗口内的加速扰动能量；表示第个事件处理窗口内的去均值后的短时速度变化强度；

35、将所述角速度统计特征和所述加速度统计特征组合，构建当前片段的所述运动状态特征：

36、；

37、；

38、其中，为运动状态特征，其为向量；为归一化算子；为单位像素单位时间内的事件触发密度；为正负极性不均衡系数；为孤立噪声比例；为总事件数量；为事件相机像素总数。

39、一些方案中所述的面向地下退化视觉环境的移动载体定位方法，所述根据所述运动状态特征，识别所述当前片段的运动退化状态，包括：

40、通过如下方式确定所述当前片段的退化状态的向量表达式：

41、；

42、；

43、；

44、；

45、其中，为退化状态向量；为时间混叠或边缘扩散风险；为事件稀疏风险；为噪声占比；为匹配退化风险；为sigmoid函数；、、和为运动退化判别参数；和为事件数量与事件密度参考值；为孤立事件数量；为热噪声或异常高频像素事件数量；为通过几何一致性检验的内点匹配数量；为初始匹配数量；为用于防止分母为零的常数；

46、所述根据所述运动状态特征和所述运动退化状态，从多个候选事件累积时间尺度中确定所述当前片段对应的目标事件累积时间尺度，包括：

47、通过如下方式确定当前片段采用各候选尺度时的综合代价：

48、；

49、其中，为候选尺度代价函数；和分别为最小、最大候选尺度；、、、和分别为时间混叠或边缘扩散权重、事件稀疏权重、噪声权重、尺度平滑权重和表征质量项权重；为采用候选尺度生成事件表征后的质量评价值；为上一片段对应的目标事件累积时间尺度；

50、选取使所述综合代价最小的候选尺度作为当前片段的所述目标事件累积时间尺度：。

51、一些方案中所述的面向地下退化视觉环境的移动载体定位方法，所述根据所述时间对应关系，从所述当前片段的事件流中，按照所述目标事件累积时间尺度选取事件集合进行聚合，生成事件表征中，通过如下方式生成多通道事件表征：

52、；

53、；

54、；

55、其中，为第个片段在像素位置处生成的多通道事件表征；为采用目标事件累积时间尺度选取的事件集合；为第个事件的去噪权重；为时间衰减系数；为示性函数；为事件极性；为空间投影核；、分别为事件的像素横纵坐标；为孤立事件风险；为热点像素风险；为时空邻域事件支持度；、和为去噪权重参数；为上一片段时间衰减参数；为自适应平滑系数；、和为调节参数；为上下限截断函数；和分别为平滑系数下限和上限；

56、所述对所述事件表征进行质量评价，生成事件表征质量评分中，通过如下方式计算所述事件表征质量评分：

57、；

58、；

59、其中，为事件表征质量评分；、、、和分别为梯度清晰度、特征数量、匹配稳定性、噪声惩罚和方向离散惩罚的权重；为事件表征梯度；为有效事件区域面积；为可检测特征数量；为特征数量归一化常数；和分别为内点匹配数量和总匹配数量；为边缘方向集合；为边缘像素区域；为边缘方向方差；

60、一些方案中所述的面向地下退化视觉环境的移动载体定位方法，所述根据所述事件表征进行特征提取和帧间特征匹配，构建事件观测约束，根据所述事件表征质量评分确定所述事件观测约束的可信权重，包括：

61、从所述事件表征中提取特征点，并将当前片段的事件表征中的特征点与相邻片段的事件表征中的特征点进行匹配，建立帧间特征对应关系：

62、；

63、其中，为第

i个片段的帧间候选匹配集合；和分别为相邻片段事件表征中的第

m个和第

n个特征点的位置；和为对应特征点的描述子；为描述子距离归一化尺度矩阵；为描述子一致性阈值；为相机投影函数；为反投影函数；为特征点的深度先验或局部尺度估计；为由惯性测量数据预积分得到的相邻片段间相对运动预测；为空间重投影误差协方差；为空间一致性阈值；

64、剔除不满足几何一致性约束的误匹配，根据保留的稳定特征匹配关系构建移动载体的相对运动约束，作为所述事件观测约束：

65、；

66、；

67、；

68、其中，为第

m个特征匹配的重投影残差；为惯性测量单元坐标系到事件相机坐标系的外参变换；为事件相机坐标系到惯性测量单元坐标系的外参变换；为相邻片段间惯性测量单元的相对位姿；为事件观测约束的可信权重；和分别为最小、最大可信权重；为权重变化斜率；为事件表征质量阈值；为内点匹配集合；为鲁棒核函数；为事件观测噪声协方差。

69、一些方案中所述的面向地下退化视觉环境的移动载体定位方法，所述根据所述当前片段的惯性测量数据，对所述移动载体的位置、速度和姿态进行短时状态传播，获得位姿预测结果；利用所述可信权重对所述事件观测约束和所述位姿预测结果进行融合，得到移动载体的位姿，包括：

70、通过如下方式对所述移动载体的位置、速度和姿态进行短时状态传播：

71、；

72、；

73、；

74、；

75、其中，为位置；为速度；为姿态四元数；为姿态四元数对应的旋转矩阵；和分别为陀螺仪零偏和加速度计零偏；和分别为所述惯性测量单元测得的加速度和角速度；和分别为加速度计和陀螺仪的测量噪声；为重力向量；为四元数乘法；和分别为零偏随机游走噪声；

76、通过如下方式利用所述可信权重对所述事件观测约束和所述位姿预测结果进行融合：

77、；

78、；

79、其中，和分别为第

i个片段更新前和更新后的误差状态；为增益矩阵；为事件特征匹配形成的观测量；为事件观测模型；为第

i个片段的预测状态；为预测误差协方差；

hi为事件观测雅可比矩阵；

80、通过如下方式将更新后的误差状态注入预测状态，得到所述移动载体在当前片段的位姿：

81、；

82、；

83、；

84、其中，、、分别为第

i个片段更新后的位置、速度和姿态；、、分别为第

i个片段更新前的位置、速度和姿态；、、分别为位置误差增量、速度误差增量和姿态误差增量；exp()为李代数到四元数的指数映射。

85、一些方案中所述的面向地下退化视觉环境的移动载体定位方法，所述按照时间顺序累积各片段的移动载体位姿，形成所述移动载体的连续运动轨迹，包括：

86、根据相邻片段之间的位姿变化检测所述连续运动轨迹是否存在异常跳变：

87、；

88、其中，为第

i个片段的异常跳变评分；和为相邻片段的位置；为上一片段的速度；和为相邻片段的姿态旋转矩阵；为相邻片段的时间间隔；log()为旋转矩阵到李代数的对数映射；和分别为位置误差尺度矩阵和姿态误差尺度矩阵；为事件观测平均残差；若超过预设阈值，则判定当前轨迹存在异常跳变；

89、当所述事件表征质量评分低于预设质量阈值时，降低所述可信权重，使事件观测对位姿更新的影响减弱，并利用惯性测量数据的状态传播维持定位连续性；

90、当所述事件表征质量评分恢复至高于所述预设质量阈值时，渐进增大所述可信权重，使事件观测对位姿更新的影响逐步恢复，以抑制惯性传播误差的累积；

91、输出所述连续运动轨迹：；

92、其中，为连续运动轨迹序列；为第

i个片段的参考时刻；为第

i个片段的位置估计；为第

i个片段的姿态估计；为第

i个片段的速度估计；为第

i个片段的事件表征质量评分；为第

i个片段的事件观测可信权重；

di为第

i个片段的退化状态向量；

n为轨迹点总数。

93、第二方面，本技术技术方案提供一种面向地下退化视觉环境的移动载体定位系统，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现第一方面任一项所述的面向地下退化视觉环境的移动载体定位方法的步骤。

94、本技术提供的上述技术方案，相比于现有技术，具有如下技术效果：

95、本技术提供的面向地下退化视觉环境的移动载体定位方法及系统，通过建立异步事件流与惯性测量数据之间的时间对应关系，并对事件流进行片段划分与绑定，为后续处理提供了时间对齐的同步数据基础；通过根据当前片段的惯性测量数据提取包括角速度统计特征和加速度统计特征在内的运动状态特征，并据此识别运动退化状态，实现了对移动载体运动状态和事件表征退化风险的准确感知；根据运动状态特征和运动退化状态从多个候选事件累积时间尺度中自适应地确定当前片段对应的目标事件累积时间尺度，并按照该目标尺度选取事件集合进行聚合生成事件表征，使得在快速运动或频繁转向阶段能够通过较短的时间尺度抑制事件跨时刻叠加导致的时间混叠和边缘扩散，在低动态、弱纹理或低事件率阶段能够通过较长的时间尺度增加有效事件数量并增强结构表达完整性，从而解决了现有方法因采用固定时间尺度累积事件而导致的事件表征不稳定问题；通过对生成的事件表征进行质量评价生成质量评分，并根据该质量评分确定事件观测约束的可信权重，利用该可信权重对事件观测约束和惯性测量数据状态传播得到的位姿预测结果进行加权融合，使得当事件表征质量较高时事件观测在定位融合中发挥主要修正作用、当事件表征质量较低时系统自动降低不可靠事件观测的影响并依赖惯性测量数据维持定位连续性，形成了运动感知-事件增强-质量评价-定位更新的闭环反馈机制；最终按照时间顺序累积各片段位姿形成连续运动轨迹，实现了移动载体在地下退化视觉环境中的连续可靠定位，有效提升了定位精度和鲁棒性。