一种基于深度学习的无人机视觉导航方法及系统与流程

本技术涉及图像识别，尤其涉及一种基于深度学习的无人机视觉导航方法及系统。

背景技术：

1、随着无人机在低空巡检和近距离目标观测中的应用增多，视觉导航逐渐成为卫星定位信号不稳定环境下维持自主飞行的重要技术，以夜间桥梁巡检为例，无人机沿桥梁腹板或箱梁侧缘贴近飞行时，机载相机需要连续采集梁体边缘、螺栓排布、支座轮廓以及相邻构件之间的图像关系，并由深度学习模型估计相邻视频帧之间的视觉位移，当无人机从桥下暗区进入局部照明区，或者在横风作用下进行短时偏航修正时，相机曝光时间会随亮度变化发生调整，机体姿态和云台补偿也可能在同一采集周期内连续变化，由于常用机载相机存在逐行曝光特性，同一图像帧内不同高度位置的结构边缘可能对应不同采集时刻；在低光照条件下，延长曝光还会使梁体边缘、吊杆阴影和检修平台轮廓产生方向性拖影，此时，图像中仍保留可被深度模型匹配的纹理和结构关系，但这些纹理和结构关系所承载的视觉位移已经具有帧内时间差异。

2、现有无人机视觉导航技术通常通过视觉里程计、视觉惯性融合、图像畸变校正或者深度神经网络模型估计相机运动，并结合惯性测量数据维持导航状态的连续性，相关技术能够为弱纹理、低照度和卫星定位受限环境下的无人机飞行提供视觉位姿估计基础，在滚动快门、低光运动模糊和机体姿态突变同时出现的工况中，深度视觉里程计输出的候选视觉位移可能仍具有较高匹配置信度，融合后的轨迹残差也可能保持在可接受范围内，但该候选视觉位移实际对应的图像采集时间区间未必覆盖当前导航状态更新时刻，若系统仅依据视觉位移置信度或融合残差决定是否更新当前位姿，可能将时间边界不一致的视觉位移写入当前导航状态，使后续视频帧以偏移后的位姿作为匹配先验，在桥梁贴近巡检、楼宇转角绕行和隧道口明暗过渡飞行中，该问题表现为导航状态短时间内保持连续，但航迹逐帧接近构件表面，进而影响巡检对象定位精度和低空飞行裕量判断，因此，需要对深度视觉里程计输出的候选视觉位移进行与图像帧内采集时间相关的许可处理，使视觉位移在参与导航状态更新前具有明确的时间归属和回写边界。

技术实现思路

1、本技术提出了一种基于深度学习的无人机视觉导航方法及系统，以解决背景技术中提出的问题。

2、为达到上述目的，本技术采用如下技术方案：一种基于深度学习的无人机视觉导航方法，包括：

3、获取包含连续视频帧和采集时序记录的视觉导航数据，运行视觉位移估计模型处理连续视频帧，生成候选视觉位移记录，候选视觉位移记录携带候选视觉位移、候选视觉位移贡献权重图和可信状态标记；沿图像行方向聚合候选视觉位移贡献权重图，输出与候选视觉位移对应的图像行承载区间；

4、采用行级采集时间映射策略处理图像行承载区间和采集时序记录，生成视觉承载时间区间，视觉承载时间区间表征候选视觉位移的帧内视觉证据采集边界；

5、获取当前视觉导航状态及其更新时刻，采用时间覆盖复核策略处理视觉承载时间区间，生成时间覆盖状态；在时间覆盖状态为覆盖时，对图像行承载区间执行特征漂移提取和漂移闭合复核，输出包含许可状态的导航更新判定结果；在时间覆盖状态为未覆盖时，将许可状态标记为未许可；

6、采用视觉位移回写控制策略处理导航更新判定结果；在许可状态为许可时，采用候选视觉位移更新当前视觉导航状态；在许可状态为未许可且可信状态标记为高可信时，将候选视觉位移转换为延迟视觉因子，并生成延迟视觉因子与视觉承载时间区间对应的历史状态节点绑定关系，输出视觉导航延迟更新状态。

7、进一步的，生成候选视觉位移记录，包括：将连续视频帧中的相邻帧限定为第一视频帧和第二视频帧，运行视觉位移估计模型处理第一视频帧和第二视频帧，输出候选视觉位移、原始贡献图、模型匹配置信量、相邻帧匹配关系和像素级预测运动；在第一视频帧原始采集行坐标下，依据相邻帧匹配关系和像素级预测运动对原始贡献图执行位移一致校准，生成与候选视觉位移绑定的候选视觉位移贡献权重图，并依据模型匹配置信量和候选视觉位移贡献权重图中的贡献聚集程度生成可信状态标记。

8、进一步的，输出图像行承载区间，包括：沿图像行方向聚合候选视觉位移贡献权重图，生成行贡献分布；对行贡献分布执行孤立高响应点抑制，降低孤立高响应点形成的行贡献；依据由稳定飞行样本形成的贡献闭合条件，从行贡献分布中截取满足贡献闭合条件的连续图像行区间，生成与候选视觉位移对应的图像行承载区间；未截取到满足贡献闭合条件的连续图像行区间时，将可信状态标记限制为低可信。

9、进一步的，采用行级采集时间映射策略处理图像行承载区间和采集时序记录，包括：依据第一视频帧与第二视频帧之间参与候选视觉位移形成的匹配关系，生成与图像行承载区间对应的第二视频帧匹配落点行范围；对图像行承载区间和第二视频帧匹配落点行范围执行原始采集行坐标校验；在校验通过时，依据采集时序记录将图像行承载区间和第二视频帧匹配落点行范围分别映射为对应的行曝光时间片段；在校验未通过时，输出时间映射受限状态。

10、进一步的，生成视觉承载时间区间，包括：依据匹配关系和候选视觉位移贡献权重图，建立图像行承载区间与第二视频帧匹配落点行范围之间的行级对应关系；将行级对应关系中的第一视频帧贡献采集行和第二视频帧匹配落点采集行分别关联至对应的行曝光时间片段，形成视觉证据时间片段；依据采集时序记录对视觉证据时间片段执行时间连续性校验；在校验通过时，依据视觉证据时间片段的采集边界生成视觉承载时间区间；在校验未通过时，输出时间映射受限状态。

11、进一步的，采用时间覆盖复核策略处理视觉承载时间区间，包括：依据由采集时序记录形成的相机时间戳同步误差边界对视觉承载时间区间执行内缩处理，生成覆盖区间；其中，内缩处理为将视觉承载时间区间的起始边界向后收缩相机时间戳同步误差边界，并将视觉承载时间区间的终止边界向前收缩相机时间戳同步误差边界；在当前视觉导航状态的更新时刻落入覆盖区间时，将时间覆盖状态标记为覆盖；在更新时刻未落入覆盖区间、内缩处理未形成覆盖区间、时间映射受限状态成立中的任一情形成立时，将时间覆盖状态标记为未覆盖，并将许可状态标记为未许可。

12、进一步的，对图像行承载区间执行特征漂移提取和漂移闭合复核，包括：在时间覆盖状态为覆盖时，依据图像行承载区间和匹配关系生成行级漂移记录；将行级漂移记录与候选视觉位移在图像平面内的对应运动进行一致性比较；在通过一致性比较的行级漂移记录承接的行贡献满足贡献闭合条件时，将许可状态标记为许可；在通过一致性比较的行级漂移记录承接的行贡献未满足贡献闭合条件、可信状态标记为低可信中的任一情形成立时，将许可状态标记为未许可。

13、进一步的，采用视觉位移回写控制策略处理导航更新判定结果，包括：按候选视觉位移记录编号，对导航更新判定结果、候选视觉位移记录和视觉承载时间区间执行对应关系校验；在对应关系校验通过、许可状态为许可、候选视觉位移与当前视觉导航状态处于同一导航状态坐标基准，且相机内参、相机至机体外参和尺度约束均可用时，将候选视觉位移转换为更新时刻对应的视觉位移增量并写入当前视觉导航状态；在对应关系校验未通过、许可状态为未许可、坐标基准不一致、相机内参缺失、相机至机体外参缺失、尺度约束不可用中的任一情形成立时，不执行当前视觉导航状态更新。

14、进一步的，生成延迟视觉因子与视觉承载时间区间对应的历史状态节点绑定关系，包括：在许可状态为未许可、覆盖区间已形成、当前视觉导航状态的更新时刻未落入覆盖区间且可信状态标记为高可信时，依据视觉承载时间区间从当前视觉导航状态维护的历史状态节点序列中选取历史状态节点对；

15、历史状态节点对包括状态时间戳不晚于视觉承载时间区间起始边界的历史状态节点，以及状态时间戳不早于视觉承载时间区间终止边界且不晚于当前视觉导航状态的更新时刻的历史状态节点；

16、在视觉承载时间区间的终止边界不晚于当前视觉导航状态的更新时刻，且历史状态节点对中前一历史状态节点的状态时间戳早于后一历史状态节点的状态时间戳时，将候选视觉位移作为位移约束量生成延迟视觉因子，并依据位移约束量与历史状态节点对之间的预测相对位移形成延迟残差，建立延迟视觉因子与历史状态节点对之间的绑定关系；

17、在覆盖区间未形成、当前视觉导航状态的更新时刻落入覆盖区间、可信状态标记不为高可信、视觉承载时间区间的终止边界晚于当前视觉导航状态的更新时刻、历史状态节点对中的任一历史状态节点不存在中的任一情形成立时，不生成延迟视觉因子。

18、一种基于深度学习的无人机视觉导航系统，包括：

19、候选视觉位移生成模块，获取包含连续视频帧和采集时序记录的视觉导航数据，运行视觉位移估计模型处理连续视频帧，生成候选视觉位移记录，候选视觉位移记录携带候选视觉位移、候选视觉位移贡献权重图和可信状态标记；沿图像行方向聚合候选视觉位移贡献权重图，输出与候选视觉位移对应的图像行承载区间；

20、视觉承载时间生成模块，采用行级采集时间映射策略处理图像行承载区间和采集时序记录，生成视觉承载时间区间，视觉承载时间区间表征候选视觉位移的帧内视觉证据采集边界；

21、导航更新判定模块，获取当前视觉导航状态及其更新时刻，采用时间覆盖复核策略处理视觉承载时间区间，生成时间覆盖状态；在时间覆盖状态为覆盖时，对图像行承载区间执行特征漂移提取和漂移闭合复核，输出包含许可状态的导航更新判定结果；在时间覆盖状态为未覆盖时，将许可状态标记为未许可；

22、视觉位移回写控制模块，采用视觉位移回写控制策略处理导航更新判定结果；在许可状态为许可时，采用候选视觉位移更新当前视觉导航状态；在许可状态为未许可且可信状态标记为高可信时，将候选视觉位移转换为延迟视觉因子，并生成延迟视觉因子与视觉承载时间区间对应的历史状态节点绑定关系，输出视觉导航延迟更新状态。

23、本发明有益效果如下：

24、1.本发明通过候选视觉位移记录、视觉承载时间区间和导航更新判定结果的同编号闭合校验，先确认视觉位移的对象来源和时间归属，再决定是否允许当前更新，使视觉位移只有在许可状态、时间覆盖状态和坐标基准均闭合时才进入当前视觉导航状态，从源头纠正了错时刻视觉证据被当作当前增量使用的问题。

25、2.对于现有方法中时间未覆盖即丢弃视觉证据导致有效观测浪费的问题，本发明进一步设置延迟利用路径，候选视觉位移因当前更新时刻未落入其视觉承载时间区间而不能当前回写时，若该候选视觉位移仍具有高可信状态，系统依据视觉承载时间区间从历史状态节点序列中选取能够承接该采集时间边界的历史状态节点对，并将候选视觉位移转换为仅作用于该历史状态节点对的延迟视觉因子，这样，高可信但错过当前更新窗口的视觉证据不会被错误写入当前状态，也不会被简单丢弃，而是回到其真实采集时间对应的历史状态区间内发挥约束作用，从而修正了现有导航更新中迟到视觉证据无处承接的技术缺陷。

26、3.对于低可信视觉位移、漂移未闭合视觉位移以及时间映射受限视觉位移仍可能被默认映射或弱约束回写的问题，本发明通过许可状态、时间覆盖状态、未许可原因、可信状态标记、视觉承载时间区间终止边界、坐标基准和历史状态节点绑定关系共同限定视觉位移的使用边界，凡属于时间映射受限、默认映射受限、低可信受限、漂移记录缺失、贡献闭合条件不可用、漂移未闭合或视觉承载时间区间晚于当前更新时刻的候选视觉位移，均被隔离为视觉位移受限状态，不生成延迟视觉因子，也不写入当前视觉导航状态，由此，系统能够把当前可回写的视觉位移、可延迟约束的视觉位移和必须阻断的视觉位移分开处理，避免来源不闭合或时间边界错误的视觉证据污染导航状态更新链条。