面向输电线路巡检的现场小目标缺陷即时筛查方法、装置及存储介质与流程

本发明涉及输电线路巡检、边缘计算和计算机视觉，具体涉及一种面向输电线路巡检的现场小目标缺陷即时筛查方法、装置及存储介质。

背景技术：

1、无人机巡检已成为输电线路精细化运维的重要手段。一次现场作业通常会产生数千张高分辨率巡检图像，现有工程实践中多采用"现场采集—全量回传—后台集中识别—结果回传"的处理模式。该模式虽然便于后台统一管理，但在野外巡检环境中仍存在以下不足：

2、一、全量回传耗时长，现场作业效率低。 巡检图像数量大且单图分辨率高，在弱网或间歇联网环境下进行全量回传时，传输耗时长，往往导致现场作业结束后仍需等待较长时间才能进入分析环节，严重影响巡检作业的整体效率。

3、二、小目标缺陷检出能力不足，漏检风险高。 销钉缺失、金具细小破损等缺陷在整幅巡检图像中所占像素比例极小（通常不足整图面积的0.05%），背景干扰强、尺度变化大。通用缺陷检测模型在此类目标上的识别稳定性有限，容易出现漏检或置信度偏低的情况，而现场作业人员无法在拍摄后即时获知缺陷位置和类别，难以及时决定是否补拍、复飞或就地复核。

4、三、后台结果滞后，现场缺乏即时决策支撑。 识别任务主要依赖后台服务器完成，从图像回传到获得分析结果之间存在明显的延迟窗口。现场人员无法在巡检过程中即时获取严重缺陷的告警信息，也就无法在现场做出"是否需要立即复核"或"是否需要补拍"等关键决策。

5、四、全量回传持续占用传输带宽、存储空间和后台算力。 大量不含缺陷或仅含轻微缺陷的图像被无差别回传，不仅浪费通信资源，还增加了后台存储和分析的压力，不利于大规模巡检作业的高效组织。

6、因此，亟需一种能够在资源受限的现场便携式终端上直接运行、并能够针对小目标缺陷进行专项复判的即时筛查方法，以便在巡检现场快速给出初步结果，同时降低不必要的数据回传量。

技术实现思路

1、针对现有技术的不足，本发明提供一种面向输电线路巡检的现场小目标缺陷即时筛查方法、装置及存储介质，能够在资源受限的现场便携式终端上直接运行、并能够针对小目标缺陷进行专项复判的即时筛查方法，以便在巡检现场快速给出初步结果，同时降低不必要的数据回传量。

2、本发明是通过如下技术方案实现的：

3、提供一种面向输电线路巡检的现场小目标缺陷即时筛查方法，应用于具备边缘计算能力的便携式终端，方法包括以下步骤：

4、接收无人机巡检图像，对巡检图像进行有效性校验与标准化预处理；

5、调用部署于便携式终端侧的轻量化缺陷检测模型对预处理后的巡检图像执行第一次检测，得到各候选缺陷目标的边界框、候选缺陷类别及第一置信度；

6、针对满足小目标触发条件的候选缺陷目标，以该候选缺陷目标的边界框为基准向四周外扩预设比例生成扩展局部区域，对扩展局部区域执行裁剪、放大及尺寸归一化后输入小目标增强识别模型执行二次复判，得到第二识别结果及第二置信度；其中，小目标增强识别模型包括局部特征增强子网络和置信度校准子网络，局部特征增强子网络包含轻量级空间注意力子模块；

7、按照预设融合规则对第一检测结果与第二复判结果进行融合，得到最终缺陷类别与最终置信度；

8、根据最终缺陷类别、最终置信度及缺陷目标的相对尺寸信息，按照预设严重程度评分规则计算严重程度评分 s=0.4×ftype+0.4×fconf+0.2×fsize，其中ftype为缺陷类型评分，fconf为最终置信度评分，fsize为缺陷尺寸评分；

9、将s≥0.70的缺陷目标判定为严重缺陷目标，生成现场筛查报告，并将严重缺陷目标对应的原始图像、局部裁剪图像及结构化结果选择性回传至后台系统；

10、其中，小目标触发条件包括下述至少一项：

11、候选缺陷目标的边界框面积低于整图面积的0.05%；

12、候选缺陷目标属于预设小目标缺陷类别集合，所述小目标缺陷类别集合至少包括销钉缺失；

13、候选缺陷目标的第一置信度位于0.50至0.80的区间内。

14、进一步地，向四周外扩的预设比例为边界框各边外扩20%，尺寸归一化的目标尺寸为128×128像素。

15、进一步地，融合规则具体包括：

16、当第一检测的缺陷类别与第二识别结果的缺陷类别一致时，保留该缺陷类别，并将第一置信度与第二置信度中的较大值作为最终置信度；

17、当两次缺陷类别不一致且第二置信度不低于0.80时，采用第二识别结果作为最终缺陷类别，并以第二置信度作为最终置信度；

18、当两次缺陷类别不一致且第二置信度低于0.80时，保留第一检测结果作为最终缺陷类别，并为该目标增加人工复核标记。

19、进一步地，严重程度评分中，对于销钉缺失类缺陷，ftype取1.0；fconf直接取最终置信度；fsize根据缺陷面积与所在部件面积的比例归一化计算。

20、进一步地，还包括对缺陷目标的分级处理策略：

21、s ≥0.70，判定为严重缺陷，即时生成重点告警并回传；

22、0.50≤s<0.70，判定为关注缺陷，本地缓存并在网络可用时批量回传或供人工复核；

23、s<0.50，判定为一般缺陷，仅写入本地巡检记录或生成简化报告。

24、进一步地，轻量化缺陷检测模型为经int8 量化的改进yolov5s 模型，模型文件大小不大于28mb，输入尺寸为640×640像素，通过openvino推理引擎在便携式终端上执行推理。

25、现场筛查报告至少包括作业批次信息、图像编号、杆塔编号、缺陷类别、缺陷位置、严重程度等级、最终置信度和建议处置项；对未达到严重程度阈值的目标，仅在便携式终端本地缓存其结果信息而不触发即时回传。

26、本发明还提供一种使用面向输电线路巡检的现场小目标缺陷即时筛查方法的装置，部署于具备边缘计算能力的便携式终端，包括：

27、图像接收与预处理单元，用于接收无人机巡检图像，执行有效性校验与标准化预处理；

28、初检单元，用于调用轻量化缺陷检测模型对预处理后的巡检图像执行第一次检测，输出候选缺陷目标的边界框、候选缺陷类别及第一置信度；

29、小目标复判单元，用于针对满足小目标触发条件的候选缺陷目标，以边界框为基准向四周外扩生成扩展局部区域，经裁剪、放大、尺寸归一化后输入小目标增强识别模型执行二次复判，得到第二识别结果及第二置信度；所述小目标增强识别模型包括含轻量级空间注意力子模块的局部特征增强子网络以及含全连接层的置信度校准子网络；

30、结果融合单元，用于按照预设融合规则对第一检测结果与第二复判结果进行融合，得到最终缺陷类别与最终置信度；

31、严重程度判定单元，用于根据最终缺陷类别、最终置信度及缺陷相对尺寸，计算严重程度评分，并将s≥0.70者判定为严重缺陷目标；

32、报告生成与回传单元，用于生成现场筛查报告，并将严重缺陷目标对应的原始图像、局部裁剪图像及结构化结果回传后台系统。

33、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现所述方法的步骤。

34、本发明的有益效果：

35、本发明将缺陷识别能力前置至巡检现场，在巡检图像导入后即可完成初检和重点复判，减少因全量图像回传和后台排队分析导致的等待时间，提升现场获取初步结果的时效性。

36、通过针对小目标缺陷设置局部裁剪放大和二次增强识别环节，在不对全部图像执行重计算的情况下，提高销钉缺失、细小破损等关键目标的识别能力，降低漏检风险。特别是通过设置0.50至0.80置信度犹豫区作为触发条件之一，将复判算力精准投放于初检模型信心不足但仍有较高真实阳性概率的候选目标上，实现了算力资源的最优分配。

37、基于严重程度判定规则对识别结果进行筛选和分级，现场作业人员可在终端界面上即时查看严重缺陷的列表、缩略图、局部放大图和高亮框标记，据此决定是否进行复核、补拍或上报，填补了现场即时决策支撑的空白。

38、本发明仅对严重缺陷目标对应的图像和结构化信息进行回传，从而降低网络带宽占用和后台存储压力，形成现场初检、局部复判、严重筛查、选择性回传的闭环处理链路。

39、另外，本发明采用经 int8量化的改进yolov5s 目标检测模型作为第一次检测模型，并通过openvino 推理引擎在便携式终端上执行推理。结合 640×640像素统一输入和模型文件大小不大于28mb 的轻量化部署方式，终端可在现场完成巡检图像的预处理、第一次检测、小目标复判、严重程度判定及筛查报告生成，从而减少对后台集中算力的依赖。