一种无人机图像坐标校准方法及系统与流程

本技术涉及图像识别，尤其涉及一种无人机图像坐标校准方法及系统。

背景技术：

1、随着无人机视觉巡检和低空测绘技术的发展，无人机图像逐渐用于山地道路及其附属防护结构的巡查作业，在一类实际巡检任务中，无人机沿山地道路外侧或坡脚方向低空飞行，拍摄画面内常同时包含道路面、排水沟、护栏底部、边坡表面、挡墙立面以及桥梁翼缘下方的局部结构，巡检系统通常需要将图像中识别到的裂缝、剥落、渗水痕迹或构件异常位置转换为可用于现场复核的空间坐标，使后续缺陷台账、巡检工单和地理信息标注能够指向真实构件位置，现有无人机图像坐标校准通常结合无人机姿态信息、相机参数、正射影像、历史地图、控制点或图像特征匹配结果建立图像坐标与参考坐标之间的转换关系，并通过匹配残差、重投影误差或整体配准一致性判断校准结果，在道路平面占主导、目标区域近似处于同一空间面的场景中，该类方式能够满足常规定位需求。

2、然而，在山地道路巡查过程中，图像中的道路面、边坡面、挡墙面和桥梁局部立面具有不同空间朝向，待定位目标所依附的空间基准面并不一致，若校准过程主要利用道路标线、护栏底部或排水沟边缘等稳定特征建立整幅图像的坐标映射关系，整体配准结果可能表现为残差较小，但位于边坡面或桥梁立面的裂缝会被投影到道路基准面上，形成具有数值坐标却不能准确指向真实构件位置的校准结果，进一步地，坡脚线、挡墙顶线和桥梁翼缘边等折面交界特征在图像中清晰且易于匹配，但该类特征同时关联相邻空间面，若未确认其空间归属便作为普通校准锚点，会使不同空间面的变换关系混入同一校准模型，导致目标区域坐标在交界附近看似连续、远离交界后出现方向性偏移，因此，需要提供一种能够结合图像结构识别结果确定目标区域空间基准面，并对折面交界锚点进行归属约束的无人机图像坐标校准方法。

技术实现思路

1、本技术提出了一种无人机图像坐标校准方法及系统，以解决背景技术中提出的问题。

2、为达到上述目的，本技术采用如下技术方案：一种无人机图像坐标校准方法，包括如下步骤：

3、获取无人机巡检图像序列和拍摄辅助记录，采用目标附着面解析方式对无人机巡检图像序列中的目标帧图像执行目标区域识别和图像结构面匹配，并利用拍摄辅助记录校验候选图像结构面方向，生成待定位目标和图像空间基准面候选结果，图像空间基准面候选结果包含与待定位目标邻域视觉边界形成边界延伸连续匹配的候选图像结构面；

4、从图像空间基准面候选结果中提取候选视觉特征，采用视觉锚点分流方式对候选视觉特征执行结构面位置归类和跨帧稳定性标记，生成锚点分流结果，锚点分流结果包含面内校准锚点、交界待复核锚点和排除锚点；

5、采用交界竞争复核方式对锚点分流结果中的交界待复核锚点执行相邻候选图像结构面映射和待定位目标投影连续性复核，生成交界归属复核结果；

6、采用承接许可门控方式对图像空间基准面候选结果、锚点分流结果和交界归属复核结果执行待定位目标承接一致性校验，生成承接许可结果，在承接许可结果为许可通过时生成待定位目标的局部图像坐标变换结果并输出图像坐标校准结果，在承接许可结果为许可未通过时生成图像坐标校准受限状态。

7、进一步的，采用目标附着面解析方式对无人机巡检图像序列中的目标帧图像执行目标区域识别，包括：从无人机巡检图像序列中，筛选具有目标区域边界检测结果且存在拍摄时间相邻并具备拍摄辅助记录的图像帧，得到目标帧图像；

8、在目标帧图像中基于目标区域边界检测结果生成待定位目标，并按照待定位目标的图像区域边界执行邻域扩展，形成待定位目标邻域视觉边界；在未筛选到目标帧图像时，生成目标帧不足状态并停止图像空间基准面候选结果生成。

9、进一步的，采用目标附着面解析方式对目标帧图像执行图像结构面匹配，并利用拍摄辅助记录校验候选图像结构面方向，生成图像空间基准面候选结果，包括：对目标帧图像进行图像结构面识别，并对识别出的图像结构面进行线段聚合，得到候选图像结构面及候选图像结构面的面内延伸方向；沿待定位目标邻域视觉边界提取边界片段，依据边界片段与候选图像结构面之间由距离接近、无向方向延续和邻域连接形成的近邻延续关系，生成边界延伸连续匹配量；

10、利用拍摄辅助记录对目标帧图像以及拍摄时间相邻并具备拍摄辅助记录的图像帧进行方向归一化后，校验候选图像结构面的面内延伸方向；在历史复核样本数量达到最低样本数量要求时，根据历史复核样本生成承接阈值；在历史复核样本数量未达到最低样本数量要求时，将样本不足承接阈值作为承接阈值；将边界延伸连续匹配量达到承接阈值且方向校验通过的候选图像结构面写入图像空间基准面候选结果。

11、进一步的，从图像空间基准面候选结果中提取候选视觉特征，并采用视觉锚点分流方式对候选视觉特征执行结构面位置归类，包括：读取图像空间基准面候选结果，将候选图像结构面对应的图像区域与待定位目标邻域视觉边界限定区域的重叠区域作为特征提取区域，提取候选视觉特征，记录候选视觉特征的特征类型，并记录候选视觉特征与对应待定位目标、候选图像结构面之间的对应关系；对同一待定位目标下特征类型相同、目标帧图像坐标之间的距离不超过特征合并距离且支撑像素区域存在像素交叠的候选视觉特征进行合并，形成关联候选图像结构面集合；依据候选视觉特征的支撑像素区域相对于候选图像结构面对应的图像区域和候选图像结构面的边界的位置，将候选视觉特征归类为面内位置、交界位置和面外位置。

12、进一步的，采用视觉锚点分流方式对候选视觉特征执行跨帧稳定性标记，生成锚点分流结果，包括：利用拍摄辅助记录对目标帧图像和拍摄时间相邻的图像帧进行方向归一化，在拍摄时间相邻的图像帧中检索与候选视觉特征的特征类型一致的对应视觉特征，并按照结构面位置归类方式确定对应视觉特征的结构面位置类别；在对应视觉特征的结构面位置类别与候选视觉特征的结构面位置类别一致时，依据候选视觉特征与对应视觉特征之间的位置偏移、方向偏移和局部描述一致性生成跨帧稳定性标记；在同一候选视觉特征对应多个对应视觉特征，且最佳对应视觉特征与次优对应视觉特征之间的局部描述一致性差值未达到唯一匹配间隔门槛时，将候选视觉特征标记为重复响应特征；将结构面位置类别为面内位置、跨帧稳定且未标记为重复响应特征的候选视觉特征写入面内校准锚点；将结构面位置类别为交界位置、跨帧稳定、未标记为重复响应特征且关联候选图像结构面集合包含两个以上候选图像结构面的候选视觉特征写入交界待复核锚点；将结构面位置类别为面外位置、跨帧稳定性标记为跨帧不稳定、标记为重复响应特征、结构面位置类别为交界位置但关联候选图像结构面集合少于两个候选图像结构面的候选视觉特征写入排除锚点。

13、进一步的，采用交界竞争复核方式对锚点分流结果中的交界待复核锚点执行相邻候选图像结构面映射，包括：依据交界待复核锚点对应的待定位目标和关联候选图像结构面集合，筛选与同一待定位目标对应、图像区域边界存在像素邻接关系且方向校验状态为通过的候选图像结构面，生成相邻候选图像结构面集合；读取同一待定位目标、同一相邻候选图像结构面对应的面内校准锚点，根据面内校准锚点的数量和目标帧图像坐标分布生成映射支撑状态；在映射支撑状态为映射支撑满足状态时，以交界待复核锚点的目标帧图像坐标为待映射对象，向相邻候选图像结构面对应的图像区域内部搜索，形成候选面承接位置；依据候选面承接位置与相邻候选图像结构面对应的图像区域之间的位置关系，生成映射有效状态。

14、进一步的，对交界待复核锚点执行待定位目标投影连续性复核，生成交界归属复核结果，包括：在相邻候选图像结构面处于映射有效状态时，依据相邻候选图像结构面的面内延伸方向，将靠近交界待复核锚点的待定位目标邻域视觉边界片段延伸至相邻候选图像结构面对应的图像区域，形成候选面目标投影片段；根据候选面目标投影片段与相邻候选图像结构面对应的图像区域、交界待复核锚点、相邻候选图像结构面的面内延伸方向以及除相邻候选图像结构面以外的候选图像结构面边界之间的关系，生成投影连续状态；根据映射支撑状态、映射有效状态、投影连续状态、边界延伸连续匹配量和方向校验状态，生成交界归属状态，并在交界归属状态为通过时确定交界归属候选图像结构面，生成交界归属复核结果。

15、进一步的，采用承接许可门控方式执行待定位目标承接一致性校验，包括：依据图像空间基准面候选结果中的方向校验状态、边界延伸连续匹配量和承接阈值，从与同一待定位目标对应的候选图像结构面中确定待许可图像结构面；依据锚点分流结果中与待许可图像结构面对应的面内校准锚点的数量和目标帧图像坐标分布，生成面内支撑状态；在锚点分流结果中存在交界待复核锚点时，依据交界归属复核结果生成交界归属一致性校验结果；在锚点分流结果中不存在交界待复核锚点时，将交界归属一致性校验结果确定为通过；在已确定待许可图像结构面、面内支撑状态为面内支撑满足状态且交界归属一致性校验结果为通过时，生成许可通过的承接许可结果；在待许可图像结构面未确定、面内支撑状态不是面内支撑满足状态、交界归属一致性校验结果不是通过中的任一情形下，生成许可未通过的承接许可结果并生成图像坐标校准受限状态。

16、进一步的，输出图像坐标校准结果，包括：以待许可图像结构面的面内延伸方向确定局部主方向，并以在目标帧图像坐标中垂直于局部主方向且指向待许可图像结构面对应的图像区域内部的方向确定局部副方向；依据与待许可图像结构面对应的面内校准锚点的目标帧图像坐标确定局部参考点；基于局部参考点、局部主方向和局部副方向，将待定位目标的目标帧图像坐标转换为局部二维图像坐标框架下的有向像素距离，生成局部图像坐标变换结果；依据局部图像坐标变换结果输出图像坐标校准结果。

17、一种无人机图像坐标校准系统，包括：

18、图像空间基准面候选模块，获取无人机巡检图像序列和拍摄辅助记录，采用目标附着面解析方式生成待定位目标和图像空间基准面候选结果；

19、锚点分流模块，从图像空间基准面候选结果中提取候选视觉特征，采用视觉锚点分流方式对候选视觉特征执行结构面位置归类和跨帧稳定性标记，生成锚点分流结果，锚点分流结果包含面内校准锚点、交界待复核锚点和排除锚点；

20、交界归属复核模块，采用交界竞争复核方式对锚点分流结果中的交界待复核锚点执行相邻候选图像结构面映射和待定位目标投影连续性复核，生成交界归属复核结果；

21、承接许可校准模块，采用承接许可门控方式对图像空间基准面候选结果、锚点分流结果和交界归属复核结果执行待定位目标承接一致性校验，生成承接许可结果，在承接许可结果为许可通过时生成待定位目标的局部图像坐标变换结果并输出图像坐标校准结果，在承接许可结果为许可未通过时生成图像坐标校准受限状态。

22、本发明有益效果如下：

23、本发明通过将无人机巡检图像中的待定位目标与目标帧图像内的图像承接基准区域进行分层解析，先形成图像空间基准面候选结果，再对候选视觉特征进行面内、交界和排除分流，并针对折面交界处的交界待复核锚点执行相邻候选图像结构面映射和待定位目标投影连续性复核，最后通过承接许可门控统一校验候选图像结构面、面内校准锚点和交界归属结果的一致性，使局部二维图像坐标变换仅在基准面承接明确、面内锚点支撑充分且交界归属一致时输出；相较于仅进行点线特征匹配、线段聚合或者跨帧跟踪的常规图像配准流程，本发明将交界锚点的候选面承接资格与最终许可输出绑定，能够避免将道路面、边坡面、挡墙面和桥梁局部立面等不同图像结构面的视觉特征混入同一坐标校准过程，降低折面交界、遮挡、反光和重复纹理导致的错误锚点准入风险，提高无人机巡检图像中待定位目标的图像承接归属可靠性和局部坐标表达一致性。