电网巡检大模型语义筛选与缺陷检测协同识别方法及系统与流程

本发明涉及电网巡检图像识别，具体为电网巡检大模型语义筛选与缺陷检测协同识别方法及系统。

背景技术：

1、电网巡检无人机用于配电线路、杆塔、绝缘子与线夹巡查任务。实际获取的电网巡检图像包含树木、建筑、导线、阴影与反光背景，绝缘子绑扎不规范、保护壳缺失、横杆腐蚀与塔头损坏缺陷在电网巡检图像中像素占比低、对比度低和形态变化大，单帧图像内的待判别缺陷特征常被复杂背景像素淹没。

2、现有技术通常单独采用多模态语义模型或者单独采用专用检测器完成缺陷识别任务，多模态语义模型具备场景理解能力与候选目标筛选能力，多模态语义模型在处理小目标缺陷时面临推理耗时长和局部边界框定位粗糙的问题，专用检测器具备快速推理能力与细粒度定位边界，但专用检测器缺乏对巡检任务语义和复杂场景上下文的理解机制，面临复杂背景下输出错误检测结果的风险。

3、现有多模型融合方案通常仅针对多模态语义模型与专用检测器的最终输出结果执行置信度数值平均计算或者字符结果拼接动作，现有多模型融合方案缺少涵盖模式选择、候选区域处理、专用精检、融合验证与复核反馈环节的结构化协同机制。现有模型融合架构未建立根据算力状态、通信状态、预设时延约束和历史识别结果动态切换识别模式的闭环调度链路，面临复杂巡检场景下检测框互相冲突、候选区域外部真实缺陷漏检、硬件算力资源浪费和网络带宽分配失衡的问题。

技术实现思路

1、针对现有技术的不足，本发明提供了电网巡检大模型语义筛选与缺陷检测协同识别方法及系统，解决了现有技术无法兼顾场景语义理解与小目标定位、多模型融合容易引发结果冲突与漏检，以及缺乏计算资源动态调度机制的问题。

2、为实现以上目的，本发明第一方面提供电网巡检大模型语义筛选与缺陷检测协同识别方法，包括以下步骤：

3、获取电网巡检图像、当前处理端算力状态、通信状态、预设时延约束和上一帧或上一批次识别模式参数，组合封装为协同输入数据；

4、解析协同输入数据，输出涵盖专用检测器全图检测模式指令、语义筛选加候选区域精检模式指令、边缘端复核增强模式指令和云端复核增强模式指令的切换指令；

5、基于语义筛选加候选区域精检模式指令和电网巡检图像输出包含候选类别语义的候选缺陷区域集合，基于候选缺陷区域集合输出标准化的候选缺陷区域队列；

6、基于专用检测器全图检测模式指令针对电网巡检图像，或者针对标准化的候选缺陷区域队列执行缺陷像素匹配，输出全图精检结果或者区域精检结果；

7、针对全图精检结果或者区域精检结果执行空间关系比对和类别关系比对生成有效缺陷结果和冲突样本，基于冲突样本执行二次复核运算生成电网缺陷识别结果。

8、通过组合算力状态、通信状态和预设时延约束多维指标构建协同输入数据，判定条件树组件内置状态提取单元解析协同输入数据，评估巡检任务所处阶段与任务复杂度，在专用检测器全图检测模式与语义筛选加候选区域精检模式之间执行模式切换，识别模式调度模块通过模式切换机制平衡算力资源和精度需求。

9、语义粗定位模块利用场景特征提取阵列生成候选缺陷区域集合，候选缺陷区域处理模块针对候选缺陷区域集合执行坐标映射运算与边界扩展运算，输出标准化的候选缺陷区域队列，轻量级专用检测器执行像素匹配输出检测结果，交叉验证组件执行空间关系比对和类别关系比对，分离有效缺陷结果和冲突样本，边缘云复核模块针对冲突样本执行二次复核运算，依托端边云通信架构完成缺陷样本归档。

10、优选地，获取协同输入数据包括：

11、图像获取模块内的硬件探针周期性读取处理器的实时占用百分比与内存阵列的剩余可用容量，合并转换为当前处理端算力状态；

12、总线通信接口提取当前的数据吞吐率数值和信号延迟毫秒数生成为通信状态，配置读取组件自限制配置文件提取图像最大允许处理耗时确立为预设时延约束。

13、图像获取模块设定统一触发时钟信号同步提取硬件探针、总线通信接口和配置读取组件的运行数据，图像获取模块在相同时间戳内独立生成数据集合，避免跨越长历史时间段的状态累积计算，保证协同输入数据具备时序一致性。

14、优选地，输出切换指令包括：

15、判定条件树组件自电网巡检图像携带的元数据内读取当前识别任务所处阶段、当前批次任务类型与待巡检设备类型，组装拼接为当前巡检任务状态，同步自上一帧或上一批次识别模式参数内提取上一轮识别结果；

16、判定条件树组件根据待巡检设备类型以及上一轮识别结果内包含的缺陷分布密度在场景评估配置表内进行查询匹配，输出当前任务对应的场景复杂度数值并提取预先写入的第一场景复杂度阈值和第二场景复杂度阈值；

17、判定条件树组件内置需求配置表并自需求配置表提取第一时延需求阈值，当预设时延约束的数值小于第一时延需求阈值或者场景复杂度数值小于第一场景复杂度阈值时，输出专用检测器全图检测模式指令；

18、当预设时延约束的数值大于或者等于第一时延需求阈值并且场景复杂度数值大于或者等于第一场景复杂度阈值时，输出语义筛选加候选区域精检模式指令。

19、优选地，基于冲突样本执行二次复核运算生成电网缺陷识别结果，具体包括：

20、融合验证模块汇总有效缺陷结果和融合置信度数值拼装输出融合结果，识别模式调度模块预先配置输出阈值、第一带宽需求和第二带宽需求，当融合结果内存在低于输出阈值的低置信度结果，且场景复杂度数值大于或者等于第一场景复杂度阈值并且小于第二场景复杂度阈值，并且通信状态满足第一带宽需求时，触发边缘端复核增强模式指令并将包含低置信度结果的融合结果调度至边缘端内部对应的处理节点；

21、当融合结果内存在类别冲突样本或者高风险类别数据，且场景复杂度数值大于或者等于第二场景复杂度阈值，并且通信状态满足第二带宽需求时，触发云端复核增强模式指令并将类别冲突样本或者高风险类别数据通过端边云通信模块调度至云端执行二次复核运算。

22、复核触发组件持续接收冲突样本，依据融合置信度数值、交并比数值和本地高风险类别清单划分低置信样本、类别冲突样本和高风险类别数据。端边云通信模块侦测锁定满足第二带宽需求的通信上行链路，通过通信上行链路将低置信样本调度至边缘端内的高算力处理节点，将类别冲突样本和高风险类别数据调度至云端执行大语言视觉网络二次诊断。

23、优选地，输出标准化的候选缺陷区域队列包括：

24、坐标归一化组件提取候选缺陷区域集合内的区域坐标进行等比例映射计算输出归一化边界框，边界扩展组件读取候选区域扩展比例，利用候选区域扩展比例将归一化边界框向外延伸输出外扩边界框；

25、尺寸约束判定组件计算外扩边界框的面积数值比对预设最小面积阈值，当面积数值低于预设最小面积阈值时，将外扩边界框的长宽像素值增加至预设最小长宽数值生成达标边界框，裁剪放大组件接收达标边界框生成标准候选缺陷图像组合生成标准化的候选缺陷区域队列。

26、坐标归一化组件提取区域坐标并根据原图宽尺寸和原图高尺寸执行等比例映射计算生成归一化边界框。边界扩展组件执行向外扩展与画面限幅运算防范向外延伸导致的坐标溢出画面边界范围。裁剪放大组件调用双线性插值算法调整初始裁剪图像块的像素尺寸生成标准候选缺陷图像，并在本地缓存介质内记录保留达标边界框与电网巡检图像之间的坐标对应关系。队列排序组件根据粗定位置信度、外扩边界框的面积数值、候选类别风险等级、历史冲突次数和预计处理耗时数值执行乘积累加计算生成综合优先级得分，队列排序组件将全部标准候选缺陷图像按照综合优先级得分执行降序排列创建标准化的候选缺陷区域队列。

27、优选地，输出全图精检结果或者区域精检结果包括：

28、当输出专用检测器全图检测模式指令时，轻量级专用检测器执行全图特征提取与缺陷像素匹配输出包含缺陷类别、缺陷边界框和精检置信度的全图精检结果；

29、当输出语义筛选加候选区域精检模式指令时，轻量级专用检测器接收标准化的候选缺陷区域队列逐一执行图像块特征提取与缺陷像素匹配输出包含缺陷类别、缺陷边界框和精检置信度的区域精检结果。

30、标签列表组件持续存储缺陷类别集合与标签索引映射关系数据。语义粗定位模块内嵌类别语义描述配置表。类别语义描述配置表内的语义字段与标签列表组件内的缺陷类别集合维持完全对齐匹配。类别语义描述配置表和标签列表组件建立双向数据同步链路，防范轻量级专用检测器输出结果内存在未登记的未知识别标签，保障缺陷像素匹配过程的标签合法属性。

31、优选地，生成有效缺陷结果和冲突样本包括：

32、坐标反向映射组件将区域精检结果内的缺陷边界框反向映射至原图坐标系内输出统一坐标精检结果，或者直接将全图精检结果设定为统一坐标精检结果；

33、交叉验证组件判断统一坐标精检结果内的缺陷边界框的像素坐标点是否位于达标边界框的像素坐标范围内，执行类别关系比对判断缺陷类别字符是否与候选类别语义字符完全相同，当判定统一坐标精检结果内的缺陷边界框未落入达标边界框的像素坐标范围内，或者缺陷类别字符与候选类别语义字符不完全相同时，将相对应的统一坐标精检结果设定为冲突样本。

34、交叉验证组件针对空间关系比对，提取还原后的缺陷边界框与相对应的达标边界框计算相交区域面积与合并区域面积的除法数值生成交并比数值。交叉验证组件针对类别语义的一致性比对，提取统一坐标精检结果内的缺陷类别字符和相对应的候选类别语义字符判定字符内容是否完全相同，并输出类别一致性指标。交叉验证组件结合预先设定的多项预设融合权重系数执行组合运算生成融合置信度数值。

35、优选地，还包括：调度反馈模块汇总当前批次任务内的有效缺陷结果总数和冲突样本总数得出类别冲突比例，汇总全图精检结果内未落在达标边界框内的补充发现数量和所有检出结果总数得出补充发现比例；

36、参数计算组件读取当前处理端算力状态、通信状态、类别冲突比例、补充发现比例和推理耗时，并自本地缓存提取预设冲突容忍阈值和预设发现容忍阈值，当类别冲突比例大于预设冲突容忍阈值并且通信状态满足第二带宽需求时，调高下一帧或上一批次识别模式参数内携带的云端复核比例阈值；

37、当补充发现比例大于预设发现容忍阈值时，增加全图检测频率数值并同步调大候选区域扩展比例；

38、调度反馈模块将调整完毕的参数指标封装为下一轮识别模式参数。

39、补充发现评估组件接收标准化全图结果，计算标准化全图结果与候选缺陷区域集合内区域坐标的空间重叠面积比例。补充发现评估组件结合预设空间分离阈值和预设高置信补充发现阈值截留补充发现数量，完成全图检测模式下的假阳性数据过滤并同步保留发生漏检的真实缺陷数据。调度反馈模块依据当批次推理耗时数值和当批次冲突比例数值调节预设输出阈值和预设交并比阈值，并向判定条件树组件发送更新完毕的候选区域扩展比例。

40、优选地，生成电网缺陷识别结果包括：

41、数据格式化组件创建包含第一项缺陷类别字段、第二项缺陷位置字段、第三项融合置信度字段和第四项复核标记字段的数据结构体；

42、数据格式化组件将数据结构体打包生成电网缺陷识别结果由结果输出模块传输至云端完成缺陷样本归档，并同步驱动显示设备完成电网缺陷识别结果的界面呈现。

43、结果组装组件读取有效缺陷结果队列内存储的全部数据内容，转换拼接为包含三段式组装格式的电网缺陷识别结果。头部元数据字段记录图像唯一标识符和长宽尺寸数据。核心框体类别字段记录缺陷边界框四角坐标和缺陷类别字符。尾部追踪标识字段记录融合置信度数值并在数据尾端追加状态编码，建立标准化文本数据支持缺陷样本归档动作。

44、本发明第二方面提供电网巡检大模型语义筛选与缺陷检测协同识别系统，包括：

45、机载端、边缘端、云端和端边云通信模块；

46、机载端内部设置图像获取模块和专用精检模块，图像获取模块组合封装协同输入数据，专用精检模块输出全图精检结果或者区域精检结果；

47、边缘端内部包含识别模式调度模块、语义粗定位模块、候选缺陷区域处理模块、融合验证模块、调度反馈模块和结果输出模块，识别模式调度模块输出切换指令，融合验证模块生成有效缺陷结果和冲突样本，调度反馈模块更新识别模式参数，结果输出模块输出电网缺陷识别结果；

48、边缘端和云端部署边缘云复核模块，边缘云复核模块接收冲突样本执行二次复核运算，端边云通信模块连通机载端、边缘端和云端。

49、图像获取模块内嵌硬件探针和总线通信接口，采集硬件负载数据与网络通信数据。识别模式调度模块内嵌判定条件树组件，分流电网巡检图像至轻量级专用检测器或者语义粗定位模块。语义粗定位模块连接候选缺陷区域处理模块，针对电网巡检图像执行像素坐标切分与尺寸放缩处理。

50、融合验证模块内嵌坐标反向映射组件和交叉验证组件，过滤全图检测模式下的假阳性数据，同步验证局部候选区域的合法属性。结果输出模块内嵌数据格式化组件，针对更新融合结果执行字段拆解和重新组合动作，创建标准化的数据结构体。

51、本发明提供了电网巡检大模型语义筛选与缺陷检测协同识别方法及系统。具备以下有益效果：

52、1、本发明通过构建包含语义筛选加候选区域精检模式和专用检测器全图检测模式的多级流水线，利用语义粗定位模型执行场景理解输出候选缺陷区域集合，结合专用检测器针对候选缺陷区域队列执行缺陷像素匹配输出缺陷精检结果，解决单一识别网络在复杂背景图像下发生漏检和推理耗时长的问题，兼顾场景语义筛选与局部目标定位。

53、2、本发明通过设置融合验证模块和边缘云复核模块，将候选缺陷区域集合与缺陷精检结果统一映射至原图坐标系内针对空间关系和类别语义关系执行交叉验证，分离最终缺陷结果与冲突样本，结合边缘云复核模块针对冲突样本执行二次复核运算，拦截未对齐类别标签与低置信度边界框，防范多模型推理过程产生的重复检测数据与误报数据。

54、3、本发明通过在协同识别系统中配置调度反馈模块，持续统计类别冲突比例和补充发现比例，结合当前处理端算力状态与通信状态更新下一批次巡检图像的识别模式、复核阈值和计算调用端，根据硬件计算资源状态与网络带宽资源状态动态切换机载端、边缘端和云端的任务调度比例，平衡多批次巡检图像处理过程的硬件资源消耗与缺陷检出率。