一种基于小波多频的红外小目标检测方法及系统

本发明涉及目标检测，特别涉及一种基于小波多频的红外小目标检测方法及系统。

背景技术：

1、红外小目标检测技术在交通监管、无人机监控等方面发挥了重要作用。从红外成像系统采集的图像中分割出所关注的目标，得到其空间位置和运动状态，具有重要的应用价值。远距离成像场景下，红外小目标通常表现为形态模糊，无明确轮廓的点状光斑，存在信噪比低、复杂动态场景中定位识别困难的问题。

2、近年来，基于数据驱动的深度学习方法成为了学者的研究重点。基于深度学习的基于小波多频的红外小目标检测方法搭建类脑化的深度神经网络架构，采用梯度驱动的反向传播策略来驱使模型学习目标表征，从而实现对多类场景的鲁棒检测。

3、但是，现有基于深度学习的基于小波多频的红外小目标检测方法多聚焦于空域特征建模，由于红外目标像素占比极低，深层网络的空域池化下采样操作存在较为严重的信息损耗，极易导致弱小目标的语义特征混淆或重叠，甚至造成深层网络的响应丢失；另外，虽然部分方法利用了频域特征信息，但更侧重于搭建复杂的网络结构来增强特征表达能力，轻视了与目标特性相似的噪声易于引发虚警的问题，造成检测准确率下降。

4、综上，如何降低信息损失并提高检测准确率是当前亟待解决的问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于小波多频的红外小目标检测方法、系统、设备及存储介质，能够降低信息损失并提高检测准确率，其具体方案如下：

2、第一方面，本技术公开了一种基于小波多频的红外小目标检测方法，包括：

3、利用包含若干层串联的目标组合的编码器对红外图像进行多层特征提取得到每层的编码特征；其中，所述目标组合依次包括小波残差块和小波感知降采样模块；所述小波感知降采样模块中的空域分支用于处理目标特征得到空域特征，频域分支用于处理目标特征得到目标低频分量特征与目标高频分量特征，并将目标低频分量特征和利用目标低频分量特征对目标高频分量特征进行净化处理得到的净化后分量特征融合，得到频域特征；所述编码特征为对所述空域特征与所述频域特征进行融合后得到的特征；所述目标特征为当前层的小波残差块输出的多尺度空频融合特征；

4、对所述编码特征进行分块嵌入处理，得到每层的嵌入特征；

5、通过小波多频交叉注意力模块，对相邻两层的嵌入特征进行融合，得到适配相邻两层中浅层的融合特征，对每个所述融合特征进行重构处理以得到与所述编码特征的特征尺寸一致的重构特征；

6、利用解码器处理每个所述重构特征，得到每个所述重构特征对应的解码特征，基于所有所述解码特征和最深层的所述编码特征得到最终小目标检测结果。

7、可选的，所述通过小波多频交叉注意力模块，对相邻两层的嵌入特征进行融合，得到适配相邻两层中浅层的融合特征，包括：

8、将相邻两层的嵌入特征输入同一小波多频交叉注意力模块；

9、通过所述小波多频交叉注意力模块，对相邻两层中浅层的嵌入特征进行离散小波变换，以将相邻两层中浅层的嵌入特征分解为若干参考频率分量特征，基于所述参考频率分量特征分别生成每个所述参考频率分量特征对应的查询，基于所述参考频率分量特征中的参考低频分量特征生成键，基于相邻两层中深层的嵌入特征和所述参考频率分量特征中的参考低频分量特征生成值；

10、通过所述小波多频交叉注意力模块，并基于若干三元组执行自注意力计算，以得到适配相邻两层中浅层的待融合特征，基于待融合特征和相邻两层中浅层的嵌入特征进行融合得到适配相邻两层中浅层的融合特征；所述三元组包括键、值和一个所述参考频率分量特征对应的查询。

11、可选的，所述基于若干三元组执行自注意力计算，以得到适配相邻两层中浅层的待融合特征，包括：

12、计算每个所述三元组中查询和键之间的关联度，并通过softmax激活函数处理所述关联度，以得到每个所述三元组对应的多频自注意力权重图；

13、利用带残差连接的多层感知机，处理每个所述三元组对应的所述多频自注意力权重图和值，得到每个所述三元组对应的全局特征，并将所有所述全局特征拼接得到第一拼接特征；

14、确定若干参考频率分量特征分别对应的目标空频融合特征，将所有所述目标空频融合特征拼接得到第二拼接特征；

15、依次通过逆离散小波变换和空洞卷积模块分别对所述第一拼接特征和所述第二拼接特征进行处理，得到第一待聚合特征和第二待聚合特征，将所述第一待聚合特征和所述第二待聚合特征融合相加并聚合，以得到适配相邻两层中浅层的待融合特征。

16、可选的，利用解码器处理每个所述重构特征，得到每个所述重构特征对应的解码特征，包括：

17、利用解码器对每个所述重构特征对应的目标深层特征，进行上采样，得到上采样后特征，并通过通道交叉注意力处理所述上采样后特征和相应所述重构特征得到注意力增强后特征；其中，若所述重构特征为最深层的重构特征，则所述目标深层特征为最深层的所述编码特征，若所述重构特征不为最深层的重构特征，则所述目标深层特征为上一层所述重构特征对应的解码特征；

18、将所述上采样后特征和所述注意力增强后特征沿通道维度拼接后融合解码，得到每个所述重构特征对应的解码特征。

19、可选的，所述基于所有所述解码特征和最深层的所述编码特征得到最终小目标检测结果，包括：

20、分别对所有所述解码特征和最深层的所述编码特征进行逐点卷积，以得到通道数为1的聚合后特征，并通过sigmoid激活函数分别处理每个所述聚合后特征，以得到初始检测结果；

21、对每个所述初始检测结果进行上采样，以得到参考检测结果；所述参考检测结果的空间分辨率与所述红外图像的空间分辨率一致；

22、拼接并聚合所有所述参考检测结果，得到最终小目标检测结果。

23、可选的，所述基于小波多频的红外小目标检测方法，还包括：

24、利用复合损失函数分别计算每个所述参考检测结果与预设结果之间，以及所述最终小目标检测结果与预设结果之间的初始损失值；所述复合损失函数为dicetopk损失函数；

25、计算所有所述初始损失值之和得到综合损失值，并基于所述综合损失值执行反向梯度传播，以更新编码器、小波多频交叉注意力模块以及解码器的待学习参数。

26、可选的，所述小波感知降采样模块中的空域分支用于通过卷积块处理目标特征得到卷积后特征，并基于所述卷积后特征生成通道注意力，基于所述通道注意力和所述卷积后特征得到空域特征；所述小波感知降采样模块中的频域分支用于通过离散小波变换处理目标特征得到目标低频分量特征与目标高频分量特征，并利用目标低频分量特征生成空间注意力以对目标高频分量特征进行加权，对加权后的目标高频分量特征进行门控高斯滤波处理得到净化后分量特征，将目标低频分量特征与净化后分量特征融合，并利用所述通道注意力对分量融合后特征进行加权得到频域特征；

27、相应的，第一层目标组合中，所述目标特征为当前层的小波残差块处理红外图像后得到的多尺度空频融合特征；非第一层目标组合中，所述目标特征为当前层的小波残差块处理上一层的所述小波感知降采样模块输出的编码特征后得到的多尺度空频融合特征。

28、第二方面，本技术公开了一种基于小波多频的红外小目标检测系统，包括：

29、编码模块，用于利用包含若干层串联的目标组合的编码器对红外图像进行多层特征提取得到每层的编码特征；其中，所述目标组合依次包括小波残差块和小波感知降采样模块；所述小波感知降采样模块中的空域分支用于处理目标特征得到空域特征，频域分支用于处理目标特征得到目标低频分量特征与目标高频分量特征，并将目标低频分量特征和利用目标低频分量特征对目标高频分量特征进行净化处理得到的净化后分量特征融合，得到频域特征；所述编码特征为对所述空域特征与所述频域特征进行融合后得到的特征；所述目标特征为当前层的小波残差块输出的多尺度空频融合特征；

30、嵌入处理模块，用于对所述编码特征进行分块嵌入处理，得到每层的嵌入特征；

31、融合及重构模块，用于通过小波多频交叉注意力模块，对相邻两层的嵌入特征进行融合，得到适配相邻两层中浅层的融合特征，对每个所述融合特征进行重构处理以得到与所述编码特征的特征尺寸一致的重构特征；

32、解码模块，用于利用解码器处理每个所述重构特征，得到每个所述重构特征对应的解码特征，基于所有所述解码特征和最深层的所述编码特征得到最终小目标检测结果。

33、可选的，所述小波感知降采样模块中的空域分支用于通过卷积块处理目标特征得到卷积后特征，并基于所述卷积后特征生成通道注意力，基于所述通道注意力和所述卷积后特征得到空域特征；所述小波感知降采样模块中的频域分支用于通过离散小波变换处理目标特征得到目标低频分量特征与目标高频分量特征，并利用目标低频分量特征生成空间注意力以对目标高频分量特征进行加权，对加权后的目标高频分量特征进行门控高斯滤波处理得到净化后分量特征，将目标低频分量特征与净化后分量特征融合，并利用所述通道注意力对分量融合后特征进行加权得到频域特征；

34、相应的，第一层目标组合中，所述目标特征为当前层的小波残差块处理红外图像后得到的多尺度空频融合特征；非第一层目标组合中，所述目标特征为当前层的小波残差块处理上一层的所述小波感知降采样模块输出的编码特征后得到的多尺度空频融合特征。

35、可选的，所述融合及重构模块，包括：

36、嵌入特征输入模块，用于将相邻两层的嵌入特征输入同一小波多频交叉注意力模块；

37、小波变换模块，用于通过所述小波多频交叉注意力模块，对相邻两层中浅层的嵌入特征进行离散小波变换，以将相邻两层中浅层的嵌入特征分解为若干参考频率分量特征，基于所述参考频率分量特征分别生成每个所述参考频率分量特征对应的查询，基于所述参考频率分量特征中的参考低频分量特征生成键，基于相邻两层中深层的嵌入特征和所述参考频率分量特征中的参考低频分量特征生成值；

38、自注意力计算模块，用于通过所述小波多频交叉注意力模块，并基于若干三元组执行自注意力计算，以得到适配相邻两层中浅层的待融合特征，基于待融合特征和相邻两层中浅层的嵌入特征进行融合得到适配相邻两层中浅层的融合特征；所述三元组包括键、值和一个所述参考频率分量特征对应的查询。

39、可见，本技术利用包含若干层串联的目标组合的编码器对红外图像进行多层特征提取得到每层的编码特征；其中，所述目标组合依次包括小波残差块和小波感知降采样模块；所述小波感知降采样模块中的空域分支用于处理目标特征得到空域特征，频域分支用于处理目标特征得到目标低频分量特征与目标高频分量特征，并将目标低频分量特征和利用目标低频分量特征对目标高频分量特征进行净化处理得到的净化后分量特征融合，得到频域特征；所述编码特征为对所述空域特征与所述频域特征进行融合后得到的特征；所述目标特征为当前层的小波残差块输出的多尺度空频融合特征；对所述编码特征进行分块嵌入处理，得到每层的嵌入特征；通过小波多频交叉注意力模块，对相邻两层的嵌入特征进行融合，得到适配相邻两层中浅层的融合特征，对每个所述融合特征进行重构处理以得到与所述编码特征的特征尺寸一致的重构特征；利用解码器处理每个所述重构特征，得到每个所述重构特征对应的解码特征，基于所有所述解码特征和最深层的所述编码特征得到最终小目标检测结果。由此可见，本技术采用小波感知降采样模块，支持空频域双分支协同采样，能够在降维同时保持特征细节并强化目标响应，有利于降低池化操作造成的信息损失，并进一步提高检测准确率；本技术同时引入空域特征和频域特征，且频域特征并不是单一特征，而是包括了目标低频分量特征和净化后的目标高频分量特征，其中，净化后的目标高频分量特征减少了噪声的影响，有利于减少虚警，并进一步提高检测准确率；本技术引入了小波多频交叉注意力模块，进行相邻两层的特征融合，实现跨层特征交互融合，有利于提高检测准确率。