无人机巡检方法及系统与流程

本技术涉及无人机，尤其涉及一种无人机巡检方法及系统。

背景技术：

1、随着低空经济和智能运维技术的发展，无人机巡检逐渐应用于电力设施、工业设备、交通基础设施等场景。无人机巡检能够通过搭载图像采集设备获取目标区域信息，并结合地面分析系统实现远程检测，相较于传统人工巡检方式，提高了巡检效率和作业安全性。

2、现有无人机巡检过程中，通常需要将采集的图像或视频数据传输至地面端进行分析处理。由于巡检数据规模较大，而无人机与地面端之间的通信资源有限，在实际应用中容易受到网络状态变化、传输距离等因素影响，导致巡检数据无法有效传递，难以保证地面端能够及时获取满足检测需求的关键信息。同时，现有巡检系统在完成数据分析后，通常需要人工参与判断后续处理方式。

3、因此，如何在无人机巡检过程中，在有限通信资源条件下提高关键检测信息传输有效性，并实现巡检结果的智能反馈闭环，成为亟待解决的技术问题。

技术实现思路

1、本技术的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中如何在无人机巡检过程中，在有限通信资源条件下提高关键检测信息传输有效性，并实现巡检结果的智能反馈闭环的技术缺陷。

2、第一方面，本技术提供了一种无人机巡检方法，应用于无人机巡检系统，系统至少包括地面工作站和部署于无人机上的机载边缘计算平台，方法包括：

3、机载边缘计算平台基于无人机巡检时采集的目标区域图像，确定缺陷候选区域，并根据多模态空间配准残差、运动模糊估计长度和物距自适应修正参数，对缺陷候选区域进行扩展，得到roi空间掩膜图像；

4、根据实时通信状态以及缺陷候选区域的缺陷置信度和缺陷严重程度等级，确定缺陷语义联合代价值；

5、基于缺陷语义联合代价值，对roi空间掩膜图像中的缺陷区域和背景区域分别进行图像数据处理，生成区域编码数据，并将区域编码数据发送至地面工作站；

6、地面工作站根据区域编码数据进行图像重构，并当重构图像的检测结果满足复检条件时，生成复检控制指令并发送至机载边缘计算平台，以控制无人机执行目标区域复检。

7、可选地，根据多模态空间配准残差、运动模糊估计长度和物距自适应修正参数，对缺陷候选区域进行扩展，得到roi空间掩膜图像，包括：

8、根据目标区域图像对应的多模态图像配准过程中的像素偏移误差，确定多模态空间配准残差；

9、根据无人机的运动速度、无人机所搭载图像采集设备的曝光时间以及像素分辨率，确定运动模糊估计长度；

10、根据图像采集设备的焦距、传感器物理尺寸、目标物距以及单像素尺寸，确定物距自适应修正参数；

11、根据多模态空间配准残差、运动模糊估计长度和物距自适应修正参数，计算roi扩展像素数量；

12、根据roi扩展像素数量，对缺陷候选区域进行边界扩展，得到roi空间掩膜图像。

13、可选地，根据多模态空间配准残差、运动模糊估计长度和物距自适应修正参数，计算roi扩展像素数量，包括：

14、按照以下公式计算roi扩展像素数量：

15、

16、其中，为roi扩展像素数量，为基础预设最小像素阈值，为多模态空间配准残差，为运动模糊估计长度，为物距自适应修正参数，为图像采集设备的焦距，为传感器物理尺寸，为目标物距，为单像素尺寸，、和为加权调节系数。

17、可选地，根据实时可用带宽以及缺陷候选区域的缺陷置信度和缺陷严重程度等级，确定缺陷语义联合代价值，包括：

18、

19、其中，为缺陷语义联合代价值，为缺陷置信度，为缺陷严重程度等级，为缺陷严重程度等级最大值，为实时可用带宽，为全画幅无损传输所需额定标准带宽，和为权重系数，且。

20、可选地，基于缺陷语义联合代价值，对roi空间掩膜图像中的缺陷区域和背景区域分别进行图像数据处理，生成区域编码数据，生成对应的区域编码数据，包括：

21、根据缺陷语义联合代价值，分别确定roi空间掩膜图像中的缺陷区域和背景区域对应的编码控制信息；

22、根据编码控制信息，对缺陷区域和背景区域分别执行对应的图像数据处理，以生成对应的区域编码数据。

23、可选地，根据缺陷语义联合代价值，分别确定roi空间掩膜图像中的缺陷区域和背景区域对应的编码控制信息，包括：

24、当缺陷语义联合代价值小于第一预设阈值时，将roi空间掩膜图像中缺陷区域对应的编码控制信息配置为采用第一量化参数进行编码，将roi空间掩膜图像中背景区域对应的编码控制信息配置为采用第二量化参数进行编码，第一量化参数小于第二量化参数；

25、当缺陷语义联合代价值不小于第一预设阈值且小于第二预设阈值时，将缺陷区域对应的编码控制信息配置为采用第三量化参数进行编码，将背景区域对应的编码控制信息配置为采用第四量化参数进行编码，第二量化参数不大于第三量化参数，第三量化参数小于第四量化参数；

26、当缺陷语义联合代价值大于或等于第二预设阈值时，将缺陷区域对应的编码控制信息配置为采用无损编码方式进行编码，将背景区域对应的编码控制信息配置为停止编码与传输。

27、可选地，根据区域编码数据进行图像重构，包括：

28、若区域编码数据包括缺陷区域的编码数据和背景区域的编码数据，则对背景区域的编码数据进行解码和尺寸恢复，得到背景恢复图像；

29、根据缺陷区域对应的位置坐标，将缺陷区域解码后的缺陷恢复图像映射至背景恢复图像中的对应位置；

30、根据缺陷恢复图像与背景恢复图像之间的边界，向边界两侧扩展预设像素宽度，得到过渡区域；

31、根据过渡区域内各像素对应的渐变权重值，对缺陷恢复图像和背景恢复图像进行加权融合，得到重构图像。

32、可选地，当重构图像的检测结果满足复检条件时，生成复检控制指令并发送至机载边缘计算平台，包括：

33、对重构图像进行目标检测、缺陷分类和置信度评估，得到缺陷目标的缺陷分类结果、缺陷分类结果的分类概率，以及缺陷目标的置信度评估结果；

34、根据重构图像对应的红外数据和可见光数据，分别进行红外判读和可见光判读，得到红外判读结果和可见光判读结果；

35、若置信度评估结果低于预设安全阈值，或缺陷目标的缺陷分类结果为疑似高危缺陷且对应的分类概率低于预设概率阈值，或红外判读结果与可见光判读结果存在语义冲突，则确定重构图像的检测结果满足复检条件，根据缺陷目标对应的位置信息，确定复检目标位置；

36、根据复检目标位置和复检采集需求生成复检控制指令，发送至机载边缘计算平台。

37、可选地，根据复检目标位置和复检采集需求生成复检控制指令，发送至机载边缘计算平台，包括：

38、根据无人机采集目标区域图像时的空间位姿信息，对复检目标位置进行空间映射，确定复检目标位置对应的三维空间坐标；

39、根据三维空间坐标进行航迹规划，确定复检航点，并根据复检采集需求，确定对应的飞行高度、云台姿态以及图像采集参数；

40、根据复检航点、飞行高度、云台姿态以及图像采集参数，生成复检控制指令。

41、第二方面，本技术提供了一种无人机巡检系统，包括：系统至少包括地面工作站和部署于无人机上的机载边缘计算平台，系统用于执行上述实施例中任一项无人机巡检方法的步骤。

42、从以上技术方案可以看出，本技术实施例具有以下优点：

43、本技术提供的无人机巡检方法及系统，通过机载边缘计算平台根据无人机巡检采集的目标区域图像确定缺陷候选区域，并结合多模态空间配准残差、运动模糊估计长度以及物距自适应修正参数对缺陷候选区域进行扩展，得到能够表征缺陷区域空间范围的roi空间掩膜图像；进一步根据实时通信状态以及缺陷候选区域对应的缺陷置信度和缺陷严重程度等级确定缺陷语义联合代价值，并基于该代价值分别对缺陷区域和背景区域进行图像数据处理，生成区域编码数据，使巡检图像中不同区域能够依据缺陷检测价值进行差异化编码，从而在有限通信资源条件下优先传输与缺陷检测相关的关键图像信息，提高巡检检测信息的传输有效性。同时，地面工作站根据区域编码数据进行图像重构，并根据重构图像的检测结果确定是否生成复检控制指令，在满足复检条件时控制机载边缘计算平台执行目标区域复检，使地面分析结果能够反馈至无人机巡检过程，形成基于检测结果驱动的巡检反馈闭环，提高无人机巡检过程的信息交互效率。