一种基于金字塔形态学网络的红外小目标检测方法及装置与流程

本发明涉及红外图像目标检测，尤其涉及一种基于金字塔形态学网络的红外小目标检测方法及装置。

背景技术：

1、红外探测技术凭借其全天候工作能力、抗干扰性强、隐蔽性好的独特优势，在军事侦察、精确制导、低空防御及民航安全等领域发挥着不可替代的作用。与可见光传感器相比，红外成像系统能够捕捉目标的温度辐射信息，不受光照条件限制，使其成为远距离目标探测与跟踪的核心技术手段。

2、红外航空飞机作为典型的高价值空中目标，其可靠检测直接关系到空域安全与国防能力。然而，在实际探测场景中，由于探测距离远、目标飞行高度高，红外飞机目标在图像中往往仅占据极少量像素。根据国际光学工程学会的定义，目标所占像素少于图像总像素的0.12%即可归类为小目标。此类目标不仅尺寸小，而且由于远距离传输过程中的大气衰减、传感器噪声以及环境热辐射干扰，目标信号强度低、对比度差，极易湮没在复杂的背景杂波之中。因此，红外地对空目标检测本质上是一个弱小目标检测难题，其核心挑战可归纳为以下几个方面：

3、（一）目标特征匮乏，辨识难度大。红外弱小目标在图像中通常呈现为无结构或弱结构的斑点状态，缺乏可见光图像中丰富的颜色、纹理、边缘等判别性特征。目标往往仅有几个至几十个像素，无法提供有效的形状信息，导致传统基于手工特征的目标检测算法难以建立可靠的目标表征模型。

4、（二）背景复杂多变，信杂比低。红外图像中的背景往往包含云层、地物、海面等强结构信息，这些背景区域可能存在剧烈的灰度变化和边缘纹理。与此同时，红外探测器自身的热噪声、读出噪声以及非均匀性噪声进一步降低了图像质量。目标和背景之间的热对比度受环境温度、时间变化影响显著，同一场景在不同时刻的红外特性可能截然不同。

5、（三）通用检测方法失效，领域适配性差。近年来，基于深度学习的目标检测技术（如yolo系列、faster r-cnn等）在可见光图像检测任务中取得了巨大成功。然而，将这些通用检测框架直接迁移至红外弱小目标检测任务时，性能出现断崖式下降。主要原因在于：首先，通用检测网络中的池化层和下采样操作会进一步压缩小目标的特征响应，导致目标在深层特征图中完全消失；其次，现有大规模目标检测数据集的构建以可见光图像为主，红外图像数据匮乏且标注成本高，模型难以获得充分的训练；此外，通用检测框架中预设的锚框尺度通常与红外小目标的实际尺寸严重不匹配，导致正样本稀缺、检测召回率低下。

6、总体而言，当前研究正致力于在缺乏显著特征的前提下，通过融合上下文信息、引入注意力机制及优化网络结构，提升红外弱小目标检测的精度与鲁棒性。

7、与本发明最接近的现有技术为申请号cn202211461433.8、名称为“一种基于上下文信息的红外小目标检测方法及系统”的发明专利。该专利的技术方案主要包括：通过动态上下文信息提取，对特征建立各个信息之间的远距离依赖；对输入的深层特征分块展平为序列并引入位置信息后，送入多头注意力机制进行加权求和，并采用残差连接优化结果、加快收敛；在特征融合过程中，利用多信息融合层聚合多重特征中的通道、空间信息，多信息融合层在每个特征尺度中进行信息融合操作。

8、上述现有技术存在以下不足：

9、第一，该方案在主干网络提取特征的过程中，主要依赖大量的串并联卷积进行特征提取，纯卷积结构受限于局部感受野，难以捕获红外小目标在不同空间方向上的全局特征依赖关系。对于呈现各向异性弥散斑形态的红外小目标（如因热扩散和大气湍流导致目标沿飞行方向拉伸），纯卷积操作无法根据目标的方向特性自适应调整特征提取策略，导致目标特征表征能力不足。

10、第二，该方案在网络下采样过程中主要依赖最大池化和平均池化来保留通道层的关键信息，池化操作会将特征图中的关键细节信息平均化和舍弃，导致红外小目标的微弱信号在深层特征图中进一步衰减甚至完全消失。此外，最大池化和平均池化仅能进行简单的统计聚合，不具备对特征图进行空间结构提纯的能力，无法有效抑制与目标尺寸相近的孤立噪声和背景杂波干扰。

11、因此，亟需一种能够自适应增强红外小目标方向特征、同时能够有效提纯空间结构并抑制背景噪声的检测方法。

技术实现思路

1、针对现有技术中所存在的不足，本发明提供了一种基于金字塔形态学网络的红外小目标检测方法及装置，旨在解决现有红外小目标检测方法中纯卷积结构无法自适应目标方向特性导致特征表征不足、以及常规池化操作缺乏空间结构提纯能力导致小目标信号衰减与背景干扰的问题。

2、根据本发明的实施例，一种基于金字塔形态学网络的红外小目标检测方法，其包括：

3、获取待检测的红外图像；

4、将所述红外图像输入至预先训练的特征提取网络中，得到目标检测结果；

5、其中，所述特征提取网络包括主干网络、可学习方向交互注意力模块和空间金字塔池化形态模块；

6、所述主干网络用于从所述红外图像中提取初始特征图；

7、所述可学习方向交互注意力模块用于对所述初始特征图执行多方向可学习旋转与能量注意力加权，融合不同方向分支的特征，输出增强特征图；

8、所述空间金字塔池化形态模块用于对所述增强特征图进行多尺度空间金字塔池化得到聚合特征，再对所述聚合特征进行形态学操作以实现空间结构提纯，输出提纯特征图，所述提纯特征图用于生成所述目标检测结果。

9、优选的，所述可学习方向交互注意力模块对输入的初始特征图执行以下操作，其中初始特征图为，c、h、w分别表示通道数、高度和宽度：

10、将初始特征图分别输入第一分支、第二分支和第三分支；

11、在所述第一分支中，对初始特征图沿高度轴逆时针旋转第一可学习角度，得到形状为的第一旋转特征图，实现高度与宽度维度的交换；对所述第一旋转特征图施加能量驱动的空间注意力获得第一注意力权重，将所述第一注意力权重与所述第一旋转特征图逐元素相乘后，沿宽度轴顺时针旋转所述第一可学习角度，得到形状恢复为的第一增强特征图；

12、在所述第二分支中，对初始特征图沿宽度轴逆时针旋转第二可学习角度，得到形状为的第二旋转特征图，实现高度与宽度维度的交换；对所述第二旋转特征图施加能量驱动的空间注意力获得第二注意力权重，将所述第二注意力权重与所述第二旋转特征图逐元素相乘后，沿高度轴顺时针旋转所述第二可学习角度，得到形状恢复为的第二增强特征图；

13、在所述第三分支中，对初始特征图直接施加所述能量驱动的空间注意力获得第三注意力权重，并与初始特征图逐元素相乘，得到第三增强特征图；

14、将所述第一增强特征图、第二增强特征图和第三增强特征图进行融合，得到所述增强特征图。

15、优选的，所述第一可学习角度和所述第二可学习角度通过反正切参数化定义：，其中，θ为第一可学习角度或所述第二可学习角度，和为可学习参数，以确保旋转角度在(-90°，90°)范围内有界，并通过反向传播自动优化。

16、优选的，通过如下方式施加能量驱动的空间注意力：

17、计算待处理特征图的空间均值μ：

18、计算所述待处理特征图中每个像素值x与所述空间均值μ的偏离程度，并据此计算空间方差；

19、对于每个像素，计算其归一化能量；

20、对所述归一化能量进行sigmoid激活，得到注意力权重图；

21、将所述注意力权重图与所述待处理特征图逐元素相乘。

22、优选的，所述空间金字塔池化形态模块的多尺度空间金字塔池化采用快速空间金字塔池化结构，对输入的增强特征图依次执行以下操作：

23、通过1×1卷积进行通道对齐；

24、对通道对齐后的特征图连续进行多次最大池化操作，每次池化均以上一次池化的输出作为输入；

25、将所有池化前的特征图与各次池化后的特征图在通道维度进行拼接；

26、对拼接后的特征图进行1×1卷积，得到所述聚合特征。

27、优选的，所述形态学操作通过形态学增强单元实现，所述形态学增强单元包含并行的四个形态学分支，对所述聚合特征进行处理；所述四个形态学分支分别为膨胀分支、腐蚀分支、开运算分支和闭运算分支；

28、所述膨胀分支用于对聚合特征执行膨胀操作；

29、所述腐蚀分支用于对聚合特征执行腐蚀操作；

30、所述开运算分支用于对聚合特征先执行腐蚀操作再执行膨胀操作；

31、所述闭运算分支用于对聚合特征先执行膨胀操作再执行腐蚀操作；

32、将所述四个形态学分支的输出分别通过1×1卷积进行通道调整后，在通道维度进行拼接，再通过1×1卷积进行融合，将融合后的特征乘以可学习增益参数β后，与所述聚合特征相加，得到所述空间金字塔池化形态模块的输出特征图。

33、优选的，所述膨胀操作通过最大池化层实现；所述腐蚀操作包括对聚合特征进行最大池化，将池化结果取负以近似滑动窗口取最小值。

34、优选的，所述特征提取网络以yolov8n为基准网络，所述主干网络为yolov8n的主干网络，所述可学习方向交互注意力模块加入在所述主干网络部分，所述空间金字塔池化形态模块用于替代yolov8n原有的空间金字塔池化模块。

35、另一方面，根据本发明实施例，还提供了一种基于金字塔形态学网络的红外小目标检测装置，其包括：

36、特征提取模块，用于从待检测红外图像中提取特征并输出目标检测结果；所述特征提取模块包括主干网络、可学习方向交互注意力单元和空间金字塔池化形态单元；

37、所述主干网络用于从所述红外图像中提取初始特征图；

38、所述可学习方向交互注意力单元用于对所述初始特征图执行多方向可学习旋转与能量注意力加权，融合不同方向分支的特征，输出增强特征图；

39、所述空间金字塔池化形态单元包括级联的多尺度空间金字塔池化子单元和形态学增强子单元；所述多尺度空间金字塔池化子单元用于对所述增强特征图进行多尺度池化聚合，输出聚合特征；所述形态学增强子单元用于对所述聚合特征进行形态学操作，输出提纯特征图；

40、目标检测模块，用于根据所述提纯特征图生成目标检测结果。

41、优选的，所述可学习方向交互注意力单元具体包括：

42、第一方向处理子单元，包括级联的第一可学习旋转层、第一能量注意力层和第一逆向旋转层；所述第一可学习旋转层用于将初始特征图沿高度轴逆时针旋转第一可学习角度，并交换高度与宽度维度；所述第一能量注意力层用于对旋转后的特征图施加能量驱动的空间注意力；所述第一逆向旋转层用于将加权后的特征图沿宽度轴顺时针旋转所述第一可学习角度，并恢复原始维度形状，得到第一增强特征；

43、第二方向处理子单元，包括级联的第二可学习旋转层、第二能量注意力层和第二逆向旋转层；所述第二可学习旋转层用于将初始特征图沿宽度轴逆时针旋转第二可学习角度，并交换高度与宽度维度；所述第二能量注意力层用于对旋转后的特征图施加能量驱动的空间注意力；所述第二逆向旋转层用于将加权后的特征图沿高度轴顺时针旋转所述第二可学习角度，并恢复原始维度形状，得到第二增强特征；

44、原始保留子单元，用于对初始特征图直接进行能量注意力加权，得到第三增强特征；

45、融合子单元，用于将所述第一增强特征、第二增强特征和第三增强特征进行相加融合，得到所述增强特征图。

46、相比于现有技术，本发明具有如下有益效果：

47、本发明通过引入可学习方向交互注意力模块，解决了现有技术中纯卷积结构受限于局部感受野、无法根据红外小目标各向异性弥散斑的方向特性自适应调整特征提取策略的问题。该模块通过可学习方向旋转与能量注意力机制的协同作用，使红外小目标在不同空间方向上均获得特征显著性增强；同时通过三分支融合策略实现对非目标背景的定向抑制；

48、本发明还通过引入空间金字塔池化形态模块，解决了现有技术中常规池化操作缺乏空间结构提纯能力、容易导致小目标微弱信号衰减并受背景噪声干扰的问题。该模块采用先sppf后形态学的级联架构，sppf负责放大感受野捕获多尺度上下文，形态学增强单元通过膨胀、腐蚀、开运算、闭运算四种操作的并行分支对特征图进行空间结构提纯，有效弥补了纯池化操作丢失细节信息的缺陷；

49、本发明将可学习方向交互注意力模块与空间金字塔池化形态模块协同使用，形成了先提纯、后增强的互补流程：空间金字塔池化形态模块首先通过形态学操作去除细小噪点、连接断裂目标，为可学习方向交互注意力模块提供干净的特征输入；可学习方向交互注意力模块在此基础上通过可学习方向旋转将提纯后的目标特征对齐到最优方向，能量注意力机制进一步放大目标与残余背景的差异。