一种面向小目标的轻量化输电线路隐患DETR检测方法与流程

本发明属于输电线路静态隐患检测，特别是涉及一种面向小目标的轻量化输电线路隐患detr检测方法。

背景技术：

1、输电线路静态隐患检测以单帧图像为基础，既关注目标的空间定位精度与多尺度表达能力，又需在实际部署条件下保持计算规模可控。现有技术中，通常采用目标检测模型进行识别。与本发明最相近的现有技术为rt-detr检测模型。该模型采用端到端检测结构，其装置或系统主要包括：由卷积主干（backbone）、特征融合模块（hybridencoder）、transformer编码与解码结构（decoder）以及检测头（head）构成。其运行过程为：输入图像经主干网络逐级下采样形成多尺度特征，高层语义特征进入transformer模块进行全局建模，最终由检测头输出类别与边界框参数。

2、目前，相关现有技术存在如下缺陷：一是小尺度目标表达不足：随着网络层级加深，特征图分辨率持续降低，远距离小尺度隐患（如远距离风筝、薄膜）在深层特征中的有效响应区域相对有限。当背景复杂时，局部目标特征容易被干扰，表达强度减弱；二是特征融合恢复能力差：在特征融合阶段，rt-detr采用固定的双线性插值方式进行上采样，未能对不同区域的内容差异进行自适应调节，难以有效补偿细节信息；三是细长目标回归不稳定：现有模型采用l1损失giou损失组合，在长宽比较大的目标（如细长异物）场景下，对比例扰动的约束相对有限，尺度或中心的微小波动易引起风险判定结果波动；四是计算复杂度偏高：transformer模块增加了全局语义建模能力，同时也增加了计算量，在无人机机载算力受限的条件下，难以满足实时性要求。

技术实现思路

1、本发明目的在于解决现有主干网络在多次下采样过程中，造成的小尺度异物与细粒度缺陷信息衰减，以及深层网络计算量大的问题；解决现有特征融合阶段采用固定规则网格插值，导致边缘响应被平滑处理、小尺度目标与复杂背景差异减弱的问题；以及解决现有边界框回归损失函数缺乏对几何形态一致性的约束，导致细长或比例异常目标定位结果偏移、空间关系判断不可靠的问题，提出一种面向小目标的轻量化输电线路隐患detr检测方法。

2、为了实现本发明目的，本发明公开了一种面向小目标的轻量化输电线路隐患detr检测方法，包括以下步骤：

3、步骤1、图像预处理；对无人机采集的任意分辨率原始巡检图像进行标准化处理，生成标准化张量；

4、步骤2、轻量化多尺度特征提取；将标准化后的图像张量输入epnet主干网络，通过多个阶段逐级下采样与特征提取，形成层次化的多尺度特征表示体系；

5、步骤3、动态自适应特征融合；在混合编码器中完成跨尺度特征的自适应融合，生成融合全局语义与局部细节的多尺度增强特征；

6、步骤4、全局语义建模与特征解码；通过transformer编解码结构对融合后的多尺度增强特征进行全局语义建模，生成包含目标类别与边界框初步参数的预测集合；

7、步骤5、基于形状约束shapeiou的边界框回归与目标检测输出；通过检测头对transformer解码器输出的初步预测集合进行最终优化，完成目标类别概率预测与边界框参数回归；

8、步骤6、输出输电线路隐患检测结果；对模型输出的原始检测结果进行后处理，过滤置信度低于预设值的低质量预测框，最终输出包含隐患类别、空间坐标、置信度得分的结构化检测数据，实现安全距离计算与风险评估，为输电线路隐患预警提供可直接调用的决策依据。

9、进一步地，首先将图像统一缩放至640×640像素，再进行均值与方差归一化，同时应用符合输电线路物理结构约束的数据增强策略，包括水平翻转、±10°～15°小角度旋转、亮度与对比度扰动，避免使用垂直翻转、强透视变换等破坏空间一致性的操作，最终生成符合模型输入要求的标准化张量，为后续特征提取提供可靠的数据基础。

10、进一步地，步骤2中，将标准化后的图像张量输入epnet主干网络，通过4个阶段的逐级下采样生成s2(160×160)、s3(80×80)、s4(40×40)、s5(20×20)四个尺度的特征图，每个阶段通过epblock模块完成部分卷积降计算与多尺度注意力增强的特征提取，其中浅层特征保留小目标的空间细节信息，深层特征提取目标的语义类别信息，形成层次化的多尺度特征表示体系。

11、进一步地，epnet主干网络采用epblock轻量化多尺度特征提取模块，epblock轻量化多尺度特征提取模块包括通道分组模块、第一特征分支、第二特征分支、残差连接单元和特征输出端口；

12、通道分组模块首先将上一层输出的特征图沿通道维度划分为8组，为后续的双分支并行计算提供基础，通道分组策略能够有效降低单个分支的计算复杂度，同时为多尺度注意力机制的空间-通道联合建模提供粒度更细的特征单元，保证后续特征增强操作的高效性与针对性；

13、第一特征分支为卷积运算分支，负责完成基础的特征提取任务，核心采用部分卷积（partial convolution，简称pconv）运算，仅对25%的通道执行3×3标准卷积运算，其余75%的通道保持恒等映射，理论计算量仅为标准卷积的1/16，卷积完成后将运算通道与恒等映射通道进行拼接，恢复原始通道数，在不显著降低特征表达能力的前提下，大幅减少主干网络的参数量与计算开销；

14、第二特征分支为注意力增强分支，对卷积分支输出的特征进行自适应重标定，首先通过空间方向编码子单元分别沿水平和垂直方向进行全局平均池化，提取跨空间的长程依赖信息，再结合局部3×3卷积分支提取的邻域结构特征，生成空间-通道联合注意力权重，最后通过sigmoid函数将权重映射至0-1区间，与原始特征进行逐元素相乘，增强小目标区域的特征响应，抑制复杂背景的干扰信息；

15、残差连接单元将输入特征与注意力增强后的特征进行逐元素相加，构建残差学习路径，有效解决深度网络训练过程中的梯度消失问题，保证模型能够稳定收敛，同时使网络能够学习到更精细的特征差异，提升对微小隐患的识别能力；

16、特征输出端口将经过epblock处理后的增强特征图输出至下一个epblock模块或混合编码器，保证特征流在主干网络中的连续传递，为后续的跨尺度特征融合与全局建模提供高质量的特征输入。

17、进一步地，步骤3中，首先对主干输出的s5深层特征图通过dysample动态上采样至s4尺寸，与s4特征进行逐元素融合，再将融合后的特征通过dysample上采样至s3尺寸，与s3特征进行二次融合，整个过程通过预测采样点偏移量使采样坐标向小目标的高响应区域偏移，避免固定插值的边缘平滑问题，最终生成融合全局语义与局部细节的多尺度增强特征。

18、进一步地，使用跨尺度特征融合的dysample动态上采样模块替代原rt-detr的双线性固定插值上采样，通过内容感知的自适应采样坐标调整，解决了固定插值导致的小目标边缘模糊、细节丢失问题，在不增加计算量的前提下，显著提升了小尺度目标在特征融合过程中的细节保留度。dysample动态上采样模块包括低分辨率特征输入端口、高分辨率特征输入端口、偏移量预测卷积单元、局部邻域坐标微调单元、采样坐标生成单元、内容感知重采样单元和跨尺度特征融合单元；

19、低分辨率特征输入端口接收来自主干深层的低分辨率特征图，包括s5(20×20)和s4(40×40)两个尺度，这类特征包含丰富的语义类别信息，但空间分辨率较低，远距离小目标的结构细节已被多次下采样压缩，需要通过上采样恢复空间分辨率后与浅层特征融合；高分辨率特征输入端口接收来自主干浅层的高分辨率特征图，包括s4(40×40)和s3(80×80)两个尺度，这类特征保留了清晰的空间边缘与纹理细节，但语义信息较弱，需要与深层语义特征融合后才能实现准确的目标识别与定位；

20、偏移量预测卷积单元是动态上采样的核心环节，通过1×1卷积对输入的低分辨率特征图进行处理，预测每个像素点对应的采样偏移量，每个位置预测2×s²个偏移量，s为上采样因子，为后续的自适应采样提供坐标依据，使采样点能够根据特征内容自动调整位置；

21、局部邻域坐标微调单元对预测的原始偏移量进行幅度约束，将其限制在±2个像素范围内，避免采样点过度偏离原始位置导致特征融合不稳定，再通过pixelshuffle操作将通道维度的偏移量重排为空间维度的采样坐标，实现偏移量从通道空间到图像空间的映射；

22、采样坐标生成单元首先生成基础的规则网格坐标，保证采样的整体连续性，再将基础网格坐标与微调后的偏移量相加，得到最终的自适应采样坐标集合，使采样点能够向小目标的高响应区域偏移，实现内容感知的精准采样；

23、内容感知重采样单元根据生成的自适应采样坐标，通过双线性插值从低分辨率特征图中采样像素值，生成上采样后的高分辨率特征图，当低分辨率特征中存在小目标的高响应区域时，采样坐标会自动向该区域聚集，从而保留更清晰的边缘信息，避免固定插值的边缘平滑效应；

24、跨尺度特征融合单元将上采样后的低分辨率特征图与对应尺寸的高分辨率特征图进行逐元素相加，完成跨尺度特征融合，使融合后的特征同时包含深层的语义信息与浅层的细节信息，最终输出多尺度增强特征图至transformer编码器，为后续的全局语义建模提供基础。

25、进一步地，步骤4中，通过transformer编解码结构对融合后的多尺度增强特征进行全局语义建模，首先由变换器编码器对特征图进行全局上下文编码，增强不同区域特征的语义关联，再由变换器解码器利用300个可学习的查询向量与编码特征进行交叉注意力交互，生成包含目标类别与边界框初步参数的预测集合，实现端到端的目标集合预测，无需依赖锚点设计与人工超参数调优。

26、进一步地，采用shapeiou联合边界回归损失的完整计算流程，替代原rt-detr的l1+giou损失函数，通过引入方向加权中心距离与尺度一致性约束，解决了传统损失函数对细长目标几何形态约束不足的问题，显著提升了长宽比异常目标的定位精度与稳定性；包括预测边界框参数输入端口、真实边界框标注参数输入端口、交并比iou基础计算单元、宽高比例自适应权重分配单元、方向加权中心距离惩罚项计算单元、尺度一致性约束项计算单元、shapeiou损失值合成单元和网络反向传播优化单元；

27、预测边界框参数输入端口接收检测头输出的预测边界框参数，包括目标中心点坐标(x,y)、宽度w和高度h，这些参数是模型对目标空间位置与尺度的初步估计，需要通过损失函数的约束不断优化，使其逼近真实标注值；

28、真实边界框标注参数输入端口接收人工标注的真实边界框参数，包括真实中心点坐标(x_gt,y_gt)、真实宽度w_gt和真实高度h_gt，作为损失计算的基准值，用于衡量预测边界框与真实目标之间的空间匹配程度；

29、交并比iou基础计算单元首先计算预测框与真实标注框的交并比iou，作为损失函数的基础项，直观反映边界框的空间重叠程度，但iou在两框无重叠时无法提供有效梯度，且对细长目标的比例偏移不敏感，因此需要后续的约束项进行补充完善；

30、宽高比例自适应权重分配单元根据真实框的宽高比例计算方向加权系数α_w和α_h，当目标为细长形时，对应几何主方向的权重会自动增大，引导模型优先优化该方向的定位误差，使预测框能够与真实目标的几何形态更好地对齐，解决传统损失函数对细长目标约束不足的问题；

31、方向加权中心距离惩罚项计算单元根据自适应权重计算预测框与真实框中心点的加权距离惩罚，相比giou的等权中心距离，方向加权能够更精准地约束细长目标的中心位置，减少因中心偏移导致的安全距离计算误差，提升风险评估的可靠性；

32、尺度一致性约束项计算单元计算预测框与真实框的宽高比例差异，引入指数映射形式的尺度一致性惩罚，在宽高比例偏差较小时保持平滑梯度，偏差较大时迅速增强惩罚强度，加速几何形态的收敛，有效抑制宽高比例失衡带来的形态偏差；

33、shapeiou损失值合成单元将iou基础项、方向加权中心距离项和尺度一致性约束项进行加权合成，得到最终的shapeiou损失值，综合考虑边界框的重叠度、中心位置和形状比例，实现对边界框的全方位约束，使预测框能够更准确地贴合真实目标的空间形态。

34、网络反向传播优化单元将shapeiou损失与l1坐标损失、分类损失进行加权求和，得到模型的总损失值，再通过反向传播算法更新模型的所有参数，不断迭代优化模型的检测精度与定位稳定性，最终使模型能够在复杂场景下实现准确的隐患检测与定位。

35、进一步地，步骤5中，通过检测头对transformer解码器输出的初步预测集合进行最终优化，完成目标类别概率预测与边界框参数回归，训练阶段采用l1坐标损失与shapeiou形状约束损失的联合优化策略，通过方向加权与尺度一致性约束引导预测框与真实目标的几何形态对齐，推理阶段直接输出置信度最高的目标预测结果，提升细长目标与不规则目标的定位稳定性。

36、为了实现本发明的目的，还公开了一种面向小目标的轻量化输电线路隐患detr检测系统，包括图像预处理模块、轻量化多尺度特征提取模块、动态自适应特征融合模块、全局语义建模与特征解码模块、边界框回归与目标检测输出模块和检测结果模块。

37、图像预处理模块对无人机采集的任意分辨率原始巡检图像进行标准化处理，生成标准化张量；

38、轻量化多尺度特征提取模块将标准化后的图像张量输入epnet主干网络，通过多个阶段逐级下采样与特征提取，形成层次化的多尺度特征表示体系；

39、动态自适应特征融合模块在混合编码器中完成跨尺度特征的自适应融合，生成融合全局语义与局部细节的多尺度增强特征；

40、全局语义建模与特征解码模块通过transformer编解码结构对融合后的多尺度增强特征进行全局语义建模，生成包含目标类别与边界框初步参数的预测集合；

41、边界框回归与目标检测输出模块通过检测头对transformer解码器输出的初步预测集合进行最终优化，完成目标类别概率预测与边界框参数回归；

42、检测结果模块对模型输出的原始检测结果进行后处理，过滤置信度低于预设值的低质量预测框，最终输出包含隐患类别、空间坐标、置信度得分的结构化检测数据，实现安全距离计算与风险评估，为输电线路隐患预警提供可直接调用的决策依据。

43、与现有技术相比，本发明的显著进步在于：

44、1）显著提升检测精度，在相同参数规模级别下，本发明的map@0.5达到了93.1%，相比基准模型提升了5.2个百分点；

45、2）有效降低计算复杂度并提升实时性，通过引入部分卷积（pconv），模型参数量从19.87m减少至17.2m，同时推理速度（fps）从141提高至190，完全满足无人机边缘端部署的实时性需求；

46、3）增强复杂场景下的小目标识别能力，动态采样（dysample）机制使得模型在复杂背景干扰、强光照退化以及局部遮挡等困难场景下，对小尺度目标（如塑料薄膜、风筝、鸟巢）具有更稳定的特征表达和更少的漏检率；

47、4）提升细长目标的定位稳定性：引入的shapeiou约束使得模型在面对长宽比异常的细长目标时，边界框回归更加稳定，维持了目标间的相对空间关系，为后续隐患风险评估提供了可靠基础。

48、为更清楚说明本发明的功能特性以及结构参数，下面结合附图及具体实施方式进一步说明。