基于改进RT-DETR的红外弱小目标检测方法

本发明涉及图像处理，具体涉及一种基于改进rt-detr的红外弱小目标检测方法。

背景技术：

1、在相关技术中，现有的红外弱小目标检测方法，根据图像数量一般分为单帧和多帧两类。其中，基于单帧图像的方法依赖当前帧信息，算法复杂度低，一般适用于资源受限的应用场景；但存在对噪声敏感，目标识别精度有限的问题。另外，基于多帧图像的方法，一般通过引入时序信息增强来提高目标识别的精度。但是，算法存在计算量大、硬件需求高，难以满足实时性要求的问题。现有的基于transformer架构的目标检测方法逐渐受到广泛关注，尤其是detr（detection transformer）系列方法的提出为端到端检测提供了全新思路。detr通过全局自注意力机制对图像进行特征提取，摒弃了传统锚框的使用，在一定程度上提高了目标检测的准确性。然而，该方法在面对红外图像中的弱小目标时，仍存在特征提取能力有限、对低信噪比目标不敏感等问题，检测精度难以满足实际需求。rt-detr（real-time detection transformer）作为实时端到端目标检测器，在精度和速度上取得了较好的平衡，但在红外弱小目标检测任务中，其主干网络对多尺度小目标的感知能力不足，特征融合模块缺乏对频域信息的利用，导致低信噪比目标的检测性能不佳。

2、总体而言，现有的红外弱小目标检查方法存在难以平衡精度与效率的问题。

3、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明针对现有技术中红外弱小目标因尺寸小、信噪比低导致的特征提取困难、检测精度不足且难以平衡实时性的技术缺陷，提供一种基于改进rt-detr的红外弱小目标检测方法，能够在一定程度上有效克服现有技术中存在的缺陷。

2、本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

3、根据本发明的第一方面，提供一种基于改进 rt-detr 的红外弱小目标检测方法，所述方法包括：

4、获取原始红外图像，对原始红外图像进行图像预处理，以用于对原始红外图像进行去噪和边缘增强处理；

5、将预处理后的红外图像输入红外弱小目标检测模型，利用基于改进rt-detr的主干网络对红外图像进行多尺度特征提取，获取多尺度特征；并通过动态多尺度注意力融合模块对多尺度特征进行特征融合和增强处理，获取增强多尺度特征；

6、利用优化的ccfm网络对增强多尺度特征进行全局与局部特征的多层次融合，以获取融合特征；其中，优化的ccfm网络基于频域感知特征融合模块构建；

7、基于iou的query selection策略选取候选框；利用解码器对筛选的候选框进行目标检测，获取红外弱小目标的位置与类别。

8、在一些示例性实施方式中，对原始红外图像进行图像预处理包括：

9、基于预设尺寸的滑动窗口，对原始红外图像的每个像素分别计算基于像素邻域的局部均值和局部方差；

10、根据局部方差对不同区域配置对应的动态滤波窗口尺寸；

11、基于局部方差对原始红外图像进行自适应lee滤波处理，以用于在不同区域进行动态降噪；

12、基于局部方差进行边缘区域对比度增强处理。

13、在一些示例性实施方式中，根据局部方差对不同区域配置对应的动态滤波窗口尺寸，包括：

14、定义滤波窗口尺寸的变化范围为3×3至11×11；

15、对局部方程进行归一化处理；利用分段函数对归一化后的局部方差与滤波窗口尺寸进行映射处理，确定各局部方差的分段结果对应的滤波窗口尺寸，包括：

16、归一化局部方差＜0.2，配置滤波窗口尺寸为11×11；

17、0.2≤归一化局部方差＜0.4，配置滤波窗口尺寸为9×9；

18、0.4≤归一化局部方差＜0.6，配置滤波窗口尺寸为7×7；

19、0.6≤归一化局部方差＜0.8，配置滤波窗口尺寸为5×5；

20、0.8≤归一化局部方差，配置滤波窗口尺寸为3×3。

21、在一些示例性实施方式中，通过动态多尺度注意力融合模块对多尺度特征进行特征融合处理，获取多尺度融合特征，包括：

22、对多尺度特征进行归一化处理，获取归一化特征；

23、对归一化特征进行多尺度的横向特征提取，获取多尺度横向特征fx；并对多尺度横向特征进行特征融合，获取横向特征并生成对应的查询向量、键向量和值向量；以及，

24、对归一化特征进行多尺度的纵向特征提取，获取多尺度纵向特征fy；并对多尺度纵向特征进行特征融合，获取纵向特征并生成对应的查询向量、键向量和值向量；

25、基于横向特征的键向量与纵向特征的查询向量配置第一注意力权重，并结合第一注意力权重与横向特征的值向量确定第一交互特征ax；以及

26、基于纵向特征的键向量与横向特征的查询向量配置第二注意力权重，并结合第二注意力权重与纵向特征的值向量确定第二交互特征ay；

27、对第一交互特征、第二交互特征进行逐元素相加以获取融合注意力特征；并对融合注意力特征进行尺度还原，以获取增强多尺度特征。

28、在一些示例性实施方式中，利用优化的ccfm网络对增强多尺度特征进行全局与局部特征的多层次融合，以获取融合特征，包括：

29、对增强多尺度特征进行快速傅里叶变换，获取频域特征fc（μ，v）；将频域特征分解为幅度谱ac（u，v）和相位谱ϕc（u，v）；

30、利用高斯高通滤波器和高斯低通滤波器，分别对幅度谱进行滤波处理，以获取对应的高频特征、低频特征；

31、分别对高频特征、低频特征进行特征增强和通道压缩处理，以获取增强高频特征、增强低频特征；

32、对高频特征、增强低频特征依次进行特征融合、逆傅里叶变换处理，以获取增强频域特征；

33、将增强频域特征与增强多尺度特征进行特征融合处理，以获取融合特征。

34、在一些示例性实施方式中，基于iou的query selection策略选取候选框；利用解码器对筛选的候选框进行目标检测，获取红外弱小目标的位置与类别，包括：

35、基于iou的query selection策略从融合特征中选取前300个iou得分最高的候选框作为解码器输入；

36、利用基于6层transformer的解码器对输入的候选框进行目标预测，输出红外弱小目标目标的边界框坐标和类别概率。

37、在一些示例性实施方式中，所述方法还包括：预先训练红外弱小目标检测模型，包括：

38、基于aircraft target detection and tracking数据集和hit-uav数据集构建训练数据集；

39、利用训练数据集对初始模型进行前向传播，并利用损失函数进行迭代训练至模型收敛；其中，损失函数包括分类损失和边界框回归损失；边界框回归损失结合l1损失和giou损失构建。

40、在一些示例性实施方式中，将图像中对比度小于15%、信噪比低于 1.5，且成像面积不超过80个像素的目标配置为红外弱小目标。

41、根据本发明的第二方面，提供一种计算机程序产品，其上存储有计算机程序，计算机程序被处理器执行时实现上述的基于改进 rt-detr 的红外弱小目标检测方法。

42、根据本发明的第三方面，提供一种电子设备，包括：

43、处理器；以及

44、存储器，用于存储所述处理器的可执行指令；

45、其中，所述处理器配置为经由执行所述可执行指令时实现上述的基于改进 rt-detr 的红外弱小目标检测方法。

46、根据本发明的第四方面，提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于改进 rt-detr 的红外弱小目标检测方法。

47、本发明的实施例所提供的基于改进 rt-detr 的红外弱小目标检测方法，通过融合改进lee滤波图像预处理、动态多尺度注意力融合模块与频域感知特征融合模块三类技术手段，充分利用空间域和频域的多维度特征信息，解决了现有技术中红外弱小目标因尺寸小、信噪比低导致的特征提取困难、检测精度不足且难以平衡实时性的问题。针对低对比度、低信噪比背景下的红外弱小目标检测场景，通过采用分层优化的网络架构：改进lee滤波算法在抑制背景噪声的同时有效保留目标边缘细节，动态多尺度注意力融合模块增强了模型对不同尺度目标的特征感知能力，频域感知特征融合模块加强了全局与局部特征的多层次融合并抑制了背景干扰。改进后的模型在保持120fps实时检测速度的同时，相比原rt-detr模型平均检测精度提升7.4%，显著提高了对低信噪比弱小目标的检测准确性和鲁棒性，适用于导弹预警、战场监视、森林防火、无人机探测等多种实际应用场景。

48、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。