一种低空巡检图像的风险目标识别方法与流程

本发明涉及计算机视觉和无人机图像处理，具体为一种低空巡检图像的风险目标识别方法。

背景技术：

1、随着无人机巡检技术在输电线路、桥梁、光伏电站及其他基础设施中的应用，无人机通常利用机载相机采集巡检图像，并通过目标检测方法识别设备缺陷、线路异物和施工机械等风险目标；在巡检过程中，无人机需要根据巡检范围、障碍物分布和局部细节采集要求调整飞行位置、云台姿态或者相机焦距，导致同一目标在不同图像中的像素尺寸发生变化；例如，授权的中国发明专利申请cn108037133b公开了一种基于无人机巡检图像的电力设备缺陷智能识别方法及其系统，通过图像预处理、目标区域分割、特征提取和缺陷识别实现电力设备缺陷检测；又如，授权的中国发明专利申请cn115761552b公开了面向无人机机载平台的目标检测方法、设备及介质，通过调整图像分辨率、提取并融合多尺度特征以及进行目标检测，获得目标类别和目标位置；

2、上述现有技术主要根据图像内容和预先配置的特征处理结构完成目标识别，未根据当前图像帧对应的飞行高度、相机到目标的距离、云台姿态和相机焦距确定目标尺度，并利用该目标尺度协调图像处理、特征提取和定位预测；当目标像素尺寸超出相应特征处理层级的适用范围时，像素尺寸较小的目标容易丢失边缘和局部结构，像素尺寸较大的目标则可能难以保留完整轮廓，从而造成同类目标在不同拍摄状态下的特征表示不一致；与此同时，固定锚框、固定参考点或者固定回归基准难以适应目标像素尺寸的变化，容易产生漏检、定位框尺寸偏差和中心位置偏移；仅对整幅图像进行统一缩放，难以同时兼顾同一图像中的近端目标和远端目标；仅调整定位预测基准，又不能解决目标尺度与特征处理层级不匹配的问题；在图像处理过程和定位预测过程分别按照完整尺度差异进行调整时，还可能对同一尺度变化进行重复补偿；

3、因此，如何根据与图像帧对应的飞行状态信息和相机成像参数确定目标尺度，并据此协调图像尺度处理、特征处理路径和定位预测基准，以减少目标漏检和定位偏移，是低空巡检图像风险目标识别中需要解决的技术问题。

技术实现思路

1、针对现有技术的不足，本发明提供了一种低空巡检图像的风险目标识别方法，解决了上述背景技术中提到的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种低空巡检图像的风险目标识别方法，包括：

4、获取待识别巡检图像及对应的飞行状态信息，按图像曝光时刻关联形成飞行状态记录；

5、根据所述飞行状态记录、相机成像参数、目标物理尺寸或者参考图像尺度，确定目标尺度基准和等效尺度状态；

6、根据所述目标尺度基准处理所述待识别巡检图像，记录实际尺度调整量并根据总尺度调整量与所述实际尺度调整量确定剩余尺度差异；

7、根据所述等效尺度状态选择或者组合特征处理路径，将不同处理层级的特征转换为统一特征，并与类别参考特征比较，得到类别初步判定结果；

8、根据所述统一特征、所述飞行状态记录和所述剩余尺度差异调整定位预测基准，输出候选目标；

9、将所述候选目标转换至原始图像坐标并归并，形成风险目标识别结果。

10、优选的，所述获取待识别巡检图像及对应的飞行状态信息，包括：

11、获取携带帧号和图像时间戳的待识别巡检图像；

12、获取飞行高度或者相机到目标的距离，并获取无人机姿态、云台姿态和相机焦距；

13、所述飞行状态记录以所述帧号或者所述图像曝光时刻作为关联标识。

14、优选的，所述按图像曝光时刻关联形成飞行状态记录，包括：

15、根据所述图像曝光时刻与状态数据时间戳之间的时间差确定时间对齐状态；

16、当所述时间差未超过正常同步范围时，将所述状态数据标记为正常；

17、当所述时间差超过所述正常同步范围但未超过降级使用范围，且无人机机身角速度、云台转动速度和相邻图像中的设施参考点位移均未超过对应变化范围时，将所述状态数据标记为降级可用；

18、当所述时间差超过所述降级使用范围，或者所述无人机机身角速度、所述云台转动速度、所述设施参考点位移中的任一个超过对应变化范围时，将所述状态数据标记为不可用；

19、其中，所述正常同步范围和所述降级使用范围根据图像帧周期、无人机角速度变化范围、云台转动速度、时间戳精度和时间同步标定结果确定。

20、优选的，所述飞行状态记录中的相机到目标的距离按照以下方式确定：

21、对于地面俯视目标，在地面起伏未超过任务允许范围且云台姿态有效时，根据飞行高度和相机视轴方向估计相机到目标的距离；

22、对于不位于水平地面的目标，根据激光测距结果确定相机到目标的距离，或者根据设施三维模型、预设拍摄点位、无人机位置和相机视轴确定相机到目标的距离；

23、在缺少直接测距结果时，根据连续图像中已知设施部件的视差变化估计相对距离。

24、优选的，所述确定目标尺度基准和等效尺度状态，包括：

25、在所述目标物理尺寸能够获得时，根据相机焦距、像元尺寸、所述目标物理尺寸和相机到目标的距离之间的成像关系，确定目标的理论像素尺寸；

26、在所述目标物理尺寸不能获得时，根据当前相机焦距和当前目标距离相对于参考拍摄状态的变化，将经人工确认的同类目标在参考图像中的像素尺寸换算为当前图像对应的目标尺度基准；

27、根据参考图像中的目标像素尺寸分布、各特征处理层级的适用范围和验证图像的处理结果划分所述等效尺度状态。

28、优选的，所述根据所述目标尺度基准处理所述待识别巡检图像，包括：

29、采用整幅图像统一尺度调整、分区尺度调整、按照尺度区间生成处理图像或者保持原始图像尺寸中的一种方式处理所述待识别巡检图像；

30、在执行尺度调整时，建立处理图像与原始图像之间的几何映射记录；

31、将所述总尺度调整量中未由所述实际尺度调整量完成的部分确定为所述剩余尺度差异。

32、优选的，所述根据所述等效尺度状态选择或者组合特征处理路径，包括：

33、根据所述等效尺度状态查询尺度状态与处理路径对应表，确定主处理路径、辅助处理路径和路径组合比例；

34、按照所述路径组合比例合并所述主处理路径与所述辅助处理路径的输出；

35、在未查询到匹配配置或者配置版本不一致时，采用基础处理路径。

36、优选的，所述将不同处理层级的特征转换为统一特征，并与类别参考特征比较，包括：

37、对不同处理层级输出的特征进行空间尺寸调整、通道转换和归一化处理，得到所述统一特征；

38、将经人工确认的参考图像依次经过与在线识别相同的图像预处理、特征提取和层间转换处理，得到所述类别参考特征；

39、根据所述统一特征与所述类别参考特征之间的差异及类别匹配门限确定所述类别初步判定结果；

40、其中，所述类别匹配门限根据同类参考图像与对应类别参考特征之间的差异分布、异类参考图像与对应类别参考特征之间的差异分布、验证图像处理结果和人工复核结果确定。

41、优选的，所述根据所述统一特征、所述飞行状态记录和所述剩余尺度差异调整定位预测基准，包括：

42、采用锚框式定位预测结构时，根据所述剩余尺度差异调整参考锚框的宽度、高度或者适用处理层级；

43、在图像端已经完成全部尺度调整时，保持原参考锚框；

44、在图像端仅完成部分尺度调整时，根据尚未完成的尺度调整量修正所述参考锚框；

45、其中，所述参考锚框的允许范围根据经人工确认的参考图像中目标框的尺寸分布、各处理层级的适用像素范围和验证图像的定位结果确定。

46、优选的，所述将所述候选目标转换至原始图像坐标并归并，包括：

47、根据几何映射记录，将不同图像区域或者不同尺度处理图像产生的候选目标转换至原始图像坐标；

48、根据候选框重叠程度和候选框中心距离，判断多个候选目标是否属于同一真实目标，并对属于同一真实目标的候选目标进行归并；

49、根据类别得分、类别匹配结果和定位质量确定所述风险目标识别结果的基础置信状态，并根据质量降级表调整所述基础置信状态。

50、与现有技术相比，本发明提供了一种低空巡检图像的风险目标识别方法，具备以下有益效果：

51、1.本发明，通过将待识别巡检图像与飞行状态信息按照图像曝光时刻进行关联，根据飞行高度、相机到目标的距离、云台姿态、相机焦距和目标尺度参考确定目标尺度基准，并根据所述目标尺度基准调整图像尺度和选择相应的特征处理路径；同时，记录图像处理过程实际完成的尺度调整量，将尚未完成的尺度调整部分用于修正定位预测基准，并将不同处理区域产生的候选目标转换至原始图像坐标后进行归并，从而使图像尺度处理、特征提取和定位预测适应当前成像状态，减少目标像素尺寸变化造成的特征处理层级不匹配和重复尺度调整，降低目标漏检、定位框尺寸偏差和中心位置偏移，提高不同拍摄状态下风险目标识别结果的一致性。

52、2.本发明，通过对时间对齐状态、目标距离来源、图像质量、配置版本和计算资源状态进行校验，在状态数据缺失、设备反馈异常、图像质量不符合处理要求、通信中断或者计算资源不足时，执行替代数据调用、尺度处理暂停、基础处理路径回退、结果缓存或者人工复核，并在相关数据、设备或者资源恢复且通过校验后恢复正常处理。由此，能够减少无效数据参与目标尺度确定和风险目标识别所造成的错误输出，避免异常识别结果触发不适当的复巡建议，提高异常工况下识别过程的连续性、处理记录的可追溯性和识别结果的可信度。