一种结合球面坐标映射的复杂场景视觉位姿估计方法

本发明涉及计算机视觉与图像处理，尤其涉及一种结合球面坐标映射的复杂场景视觉位姿估计方法。

背景技术：

1、视觉位姿估计通常通过提取连续场景图像中的特征点，并建立图像特征与三维场景点之间的对应关系，求解相机在三维空间中的位置和姿态，广泛应用于低空飞行器导航、机器人定位和复杂环境巡检。

2、在高架桥、建筑群及道路交叉区域等复杂场景中，同一观察方向可能依次穿过地面、桥面、墙面等多个三维表面。受粗略相机位姿误差、场景三维表面误差和遮挡影响，同一图像特征可能对应多个候选交点。现有方法多依据最近交点、特征匹配程度或重投影误差选择空间点，未充分利用特征的消失时刻、重现时刻及遮挡前后关系判断其所属空间层，容易发生前景表面与后景表面之间的错误关联。由于错误空间点可通过调整相机位姿获得较小的重投影误差，该类错误难以通过常规误差评价发现。

3、当相机镜头保护面附着水滴时，部分场景光线经水滴球冠表面折射后进入相机，使同一场景点可能同时在直接成像区域和水滴区域形成不同位置的图像特征。现有方法通常直接屏蔽水滴区域，导致可用特征减少；或者仍按普通针孔成像模型处理水滴内特征，未结合水滴球冠参数、折射出射点和折射方向建立折射成像视线，难以将水滴区域中的图像信息用于位姿求解。

4、因此，本发明提出了一种结合球面坐标映射的复杂场景视觉位姿估计方法。在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可能包含不属于本领域普通技术人员公知常识的现有技术信息。

技术实现思路

1、本发明的目的是针对现有技术的不足之处，提供一种结合球面坐标映射的复杂场景视觉位姿估计方法，解决上述背景技术中所提到的技术问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种结合球面坐标映射的复杂场景视觉位姿估计方法，包括如下步骤：

4、s1、获取场景图像、场景三维表面数据、相机标定参数及粗略相机位姿数据，识别水滴区域、直接成像区域、跨帧同源特征和遮挡轮廓，并根据区域内外同源特征对确定初始水滴光学参数；

5、s2、将直接成像区域内的同源特征映射为直接球面视线，根据初始水滴光学参数将水滴区域内的同源特征映射为折射球面视线，按照同源特征标识形成多视线集合；

6、s3、将多视线集合转换至世界坐标系，求取各球面视线与场景三维表面的候选交点，按照视线传播距离形成候选交点层序，并根据消失时刻、重现时刻、遮挡轮廓切触位置及前后层关系生成显隐层序约束；

7、s4、依据显隐层序约束筛选候选交点，采用果蝇算法搜索候选空间点组、相机位姿调整量及水滴参数调整量，并以多视线共点关系、显隐层序关系、水滴参数连续性和相机位姿连续性为约束联合求解，获得相机位置、相机姿态、初始真实交点及校正水滴光学参数；

8、s5、根据相机位置、相机姿态及校正水滴光学参数，对初始真实交点进行直接反向投影和折射反向投影，依据反向投影误差和显隐时序一致性修正初始真实交点、相机位姿或校正水滴光学参数，输出视觉位姿估计结果。

9、s1具体包括：采集复杂场景图像，获取相机标定参数、光学结构标定数据、粗略相机位姿数据和场景三维表面数据，提取局部三维表面并设置分层表面标记；对复杂场景图像进行归一化、畸变校正和图像识别，依据候选闭合区域的边界闭合程度、高光集中程度、纹理压缩程度及跨帧位置稳定程度识别水滴区域，确定直接成像区域，提取场景特征、跨帧特征轨迹和遮挡轮廓；依据水滴轮廓和标定映射关系确定球冠底面中心、底面半径和球冠高度，计算球冠曲率半径及水滴等效球心，匹配区域内外同源特征对，确定初始图像折射中心及水滴参数置信度，形成初始水滴光学参数和初始视觉解析数据。

10、s2具体包括：建立以相机光心为球心的相机观察球面，将直接成像区域内同源特征的图像坐标转换为直接球面方向向量，形成直接球面坐标序列；根据初始水滴光学参数生成水滴内传播光线，求取其与水滴等效球面的有效交点作为折射出射点，依据表面法向量和折射定律确定单位折射出射方向，建立折射球面视线和直接球面视线；按照帧序号和同源特征标识归组折射球面视线和直接球面视线，依据跨帧角位移筛除无效视线及运动不连续视线，形成包含视线起点、单位方向向量、水滴标识和有效状态的多视线数据。

11、s3具体包括：依据粗略相机位姿将多视线数据转换至世界坐标系，建立候选交会走廊，求取球面视线与场景三维表面的候选交点，按照视线传播距离形成候选交点层序；根据跨帧特征轨迹、遮挡轮廓、直接成像区域和水滴区域确定同源特征的可见状态，将三维表面边界投影至场景图像，确定候选遮挡表面、消失时刻、重现时刻和重现方向，形成显隐事件；比较候选交点与候选遮挡表面的视线传播距离，确定前层交点、后层交点及候选遮挡表面所属空间层，筛选层序允许交点和层序冲突交点，形成显隐层序约束数据。

12、s4具体包括：依据显隐层序约束，将同源特征的候选交点归组为候选空间点组，采用果蝇算法搜索候选空间点组、相机位姿和水滴参数，依据共点偏差、层序冲突和参数连续性筛选优选候选解；将优选候选解的位置确定为待确认空间点，采用阻尼最小二乘方法联合调整相机位姿、待确认空间点和水滴光学参数，并随水滴参数更新计算折射球面视线，形成联合求解结果；依据空间层、共点偏差、水滴参数范围、相机运动范围和有效同源特征数量筛选联合求解结果，确定初始真实交点、相机位姿及校正水滴光学参数。

13、s5具体包括：根据相机位置、相机姿态、相机标定参数和校正水滴光学参数，将初始真实交点转换至相机坐标系，计算直接反向投影位置，并在水滴区域内确定折射反向投影位置；计算两类反向投影误差，依据场景三维表面数据判断投影可见状态，将预测可见状态与显隐层序约束比较，确定空间层异常、水滴参数异常、相机位姿异常或同源特征异常；依据异常类型替换候选空间点组、调整水滴光学参数或相机位姿、剔除异常同源特征，重新进行联合求解和反向投影校验，满足闭环收敛条件后输出视觉位姿估计结果。

14、本发明的有益效果在于：

15、本发明通过将直接成像区域内的同源特征映射为直接球面视线，并根据水滴球冠参数和折射定律建立折射球面视线，可将原本被视为污染区域的水滴区域转化为有效视觉信息来源，增加可用于位姿估计的观测视线和同源特征数量。通过求取直接球面视线和折射球面视线与场景三维表面的候选交点，并按照视线传播距离形成候选交点层序，可完整保留同一观察方向对应的不同空间层，避免仅选择最近交点造成的候选空间点遗漏。

16、本发明通过结合特征的消失时刻、重现时刻、遮挡轮廓切触位置和重现方向构建显隐层序约束，可利用真实遮挡过程筛除层序冲突交点，降低地面、桥面、墙面等前后景表面之间的错误关联。通过果蝇算法联合搜索候选空间点组、相机位姿调整量和水滴参数调整量，并以多视线共点关系、显隐层序关系及跨帧连续性作为约束，可减弱空间点误选、水滴参数误差和相机位姿误差之间的相互补偿，提高联合求解的准确性。

17、本发明通过根据调整后的球冠底面中心、球冠底面半径和球冠高度重新计算水滴等效球心及折射球面视线，可使水滴光学参数的变化真实作用于折射光路，避免沿用固定折射视线造成的水滴参数无效调整。通过对初始真实交点分别执行直接反向投影和折射反向投影，并结合显隐时序一致性识别空间层异常、水滴参数异常、相机位姿异常和同源特征异常，可对求解结果实施闭环修正，提高复杂遮挡场景及镜头附着水滴条件下视觉位姿估计的稳定性和可靠性。