一种基于双流互补编码的图像处理方法

本技术涉及图像处理，具体而言涉及一种基于双流互补编码的图像处理方法。

背景技术：

1、红外成像能够获取目标与背景之间的热辐射差异，在低照度、夜间以及复杂气象条件下具有较好的成像适应性，因此红外图像被广泛应用于对空观测、目标监视和图像分析等场景。在实际红外成像过程中，由于成像距离、目标尺度以及背景热辐射分布等因素的影响，红外图像中的目标区域可能表现为低对比度、弱边缘和局部细节不明显的图像结构，同时天空背景、云缘以及热噪声等区域可能产生与目标相近的局部响应。

2、针对上述红外图像数据特征，现有图像处理方法通常采用灰度增强、局部对比度增强、空间域滤波或频域滤波等方式对红外图像进行处理。然而，单一空间域表征主要反映图像的强度和局部结构信息，难以同时表征不同尺度的细节变化以及频域中的高频残差信息；分别采用不同图像处理方式获得的多种图像表征之间又存在数据分布差异，直接进行通道拼接容易使不同表征中的有效信息相互干扰。

3、此外，现有多尺度图像特征处理通常采用固定的特征融合方式，在不同尺度和不同特征传递路径之间采用相同或预设的特征组合关系，难以根据不同空间位置和不同特征通道的图像信息差异对特征贡献进行调整。当红外图像中同时存在不同尺度的目标结构、局部高频响应以及大面积缓变背景时，固定的特征融合方式容易造成有效图像细节在特征传递过程中的衰减，或者使背景纹理、噪声响应进入后续图像特征。

4、因此，需要一种针对红外图像数据特征的图像处理方法，在不增加额外成像模态的情况下，从同一幅红外图像中构造具有不同空间域和频域表征的信息，并对不同表征进行双流互补处理、特征分布对齐、空间选择性融合以及多尺度特征重构，从而形成具有增强的局部结构信息和多尺度表征能力的图像处理数据，为后续目标检测、目标跟踪或其他图像分析处理提供处理后的图像数据或图像特征。

技术实现思路

1、本技术的目的在于提供一种基于双流互补编码的图像处理方法，能够解决上述提到的至少一个技术问题。具体方案如下：

2、根据本技术的具体实施方式，本技术提供一种基于双流互补编码的图像处理方法，包括以下步骤：

3、对获取的原始红外图像提取亮度图，对提取后的亮度图信息进行处理，得到互补编码图；

4、将所述原始红外图像和所述互补编码图分别输入强度支路和互补编码支路进行处理，得到各尺度对应的图像处理结果；

5、对各尺度对应的图像处理结果进行逐通道权重调制，得到多尺度的图像处理结果；

6、对所述多尺度的图像处理结果进行全局空间位置关联建模和通道权重建模，将建模得到的修正特征与所述多尺度的图像处理结果进行融合处理，得到融合处理后的图像。

7、进一步地，对提取后的亮度图信息进行处理，得到互补编码图的方法为：

8、对提取后的局部对比度增强信息、多级小波细节能量信息和傅里叶变换软高通残差信息进行通道堆叠，得到互补编码图。

9、进一步地，所述局部对比度增强信息、所述多级小波细节能量信息的获取方法分别为：

10、将所述亮度图划分为多个局部图像块，对各所述局部图像块进行对比度受限自适应直方图均衡，并通过双线性插值对相邻局部图像块的处理结果进行连接，获取所述局部对比度增强信息；

11、对所述亮度图进行多级二维离散小波分解，获得各级对应的多个方向细节子带，对各所述细节子带进行绝对值处理和归一化处理，将处理后的各所述细节子带上采样至所述原始红外图像的尺寸后进行累加，获取所述多级小波细节能量信息。

12、进一步地，所述傅里叶变换软高通残差信息的获取方法为：

13、对所述亮度图进行二维傅里叶变换得到频域表示，根据所述频域表示对应的频域半径构造软高通掩膜，将所述软高通掩膜与所述频域表示相乘后进行逆傅里叶变换，对逆傅里叶变换结果进行归一化和伽马压缩。

14、进一步地，得到所述各尺度对应的图像处理结果的方法为：

15、将所述原始红外图像、所述互补编码图分别输入强度支路、互补编码支路，进行特征提取，分别得到强度特征和互补编码特征；

16、对各尺度对应的所述强度特征和所述互补编码特征进行跨流混合处理，并将跨流混合处理结果分别与所述强度特征和所述互补编码特征进行残差融合，得到各尺度对齐后的强度特征和对齐后的互补编码特征；

17、根据各尺度所述对齐后的强度特征和所述对齐后的互补编码特征，生成空间门控权重，利用所述空间门控权重对各尺度所述对齐后的强度特征和所述对齐后的互补编码特征进行加权融合，得到各尺度对应的融合特征。

18、进一步地，所述各尺度对齐后的强度特征和对齐后的互补编码特征的获取方法为：

19、将同一尺度的所述强度特征和所述互补编码特征沿通道维度拼接后进行跨流混合处理；

20、将跨流混合处理后的特征沿通道维度拆分为第一残差项和第二残差项；

21、将所述第一残差项与所述强度特征相加，得到所述对齐后的强度特征，将所述第二残差项与所述互补编码特征相加，得到所述对齐后的互补编码特征。

22、进一步地，所述各尺度对应的融合特征的获取方法为：

23、根据同一尺度的所述对齐后的强度特征和所述对齐后的互补编码特征生成与空间位置对应的空间门控权重；

24、利用所述空间门控权重对所述对齐后的强度特征进行加权；

25、利用所述空间门控权重的互补权重对所述对齐后的互补编码特征进行加权；

26、将加权后的所述对齐后的强度特征和加权后的所述对齐后的互补编码特征逐元素相加，得到各尺度对应的所述融合特征。

27、进一步地，得到各尺度对应的所述融合特征后，还包括以下步骤：

28、将各尺度对应的融合特征输入特征金字塔网络和路径聚合网络；

29、在所述特征金字塔网络和所述路径聚合网络的各拼接节点处获取待拼接的多路特征；

30、为多路所述待拼接的特征分别设置可学习的逐通道权重；

31、将多路所述待拼接的特征与对应的所述逐通道权重相乘后进行通道拼接，得到所述多尺度融合特征。

32、进一步地，对所述多尺度融合特征进行全局空间位置关联建模和通道权重建模的获取方法为：

33、对所述多尺度融合特征进行全局平均池化和全局最大池化，得到通道权重分布；

34、根据所述多尺度融合特征生成空间键特征和空间值特征，在全图空间维度建立空间位置关联；

35、根据所述通道权重分布和所述空间位置关联得到通道精炼项和空间精炼项；

36、将所述通道精炼项和所述空间精炼项逐元素相乘后，与所述多尺度融合特征进行残差相加，得到所述图像处理特征。

37、进一步地，在利用所述图像处理特征进行图像处理之前，对图像处理模型进行分阶段训练，包括：

38、第一阶段，对所述强度支路、所述互补编码支路和加权融合结构进行训练；

39、第二阶段，在所述第一阶段训练结果基础上，启用跨流混合处理和残差融合，以及所述全局空间位置关联建模和所述通道权重建模进行训练；

40、第三阶段，在所述第二阶段训练结果基础上，启用多尺度特征融合过程中的逐通道权重调制进行训练，得到训练完成的图像处理模型。

41、本技术实施例的上述方案与现有技术相比，至少具有以下有益效果：

42、1、本技术的一种基于双流互补编码的图像处理方法，仅依赖单台地面红外热像仪，通过同一帧红外图像提取亮度图并构造局部对比度增强信息、多级小波细节能量信息和傅里叶变换软高通残差信息形成互补编码图作为第二路输入，无需额外部署可见光相机或双红外探测器，降低了系统成本和部署复杂度。

43、2、本技术的一种基于双流互补编码的图像处理方法，将局部对比度增强信息、多级小波细节能量信息和傅里叶变换软高通残差信息组合为互补编码图，从局部对比、空间高频和频域残差三个角度增强暗弱目标的图像处理能力，克服了单流红外强度图信息不足、弱小目标特征经多次下采样后易衰减的问题。

44、3、本技术的一种基于双流互补编码的图像处理方法，通过跨流混合处理与残差融合实现双流特征分布对齐，通过空间门控加权融合实现自适应信息源选择，通过多尺度逐通道权重调制实现特征重标定，通过全局空间位置关联建模和通道权重建模抑制背景虚警，提升了复杂背景下暗弱集群图像处理精度。